JP7200379B2 - 二次変換に基づく映像コーディング方法、及びその装置 - Google Patents

Description

本文書は、映像コーディング技術に関し、より詳細には、映像コーディングシステムにおいて変換（ｔｒａｎｓｆｏｒｍ）に基づく映像コーディング方法、及びその装置に関する。

最近、４Ｋ又は８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像／ビデオのような高解像度、高品質の映像／ビデオに対する需要が様々な分野で増加している。映像／ビデオデータが高解像度、高品質になるほど、従来の映像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するため、従来の有無線広帯域回線のような媒体を利用して映像データを送信するか、または既存の保存媒体を利用して映像／ビデオデータを保存する場合、送信コストと保存コストが増加する。

また、最近、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム映像のように現実映像と異なる映像特性を有する映像／ビデオに対する放送が増加している。

そのため、前記のような多様な特性を有する高解像度高品質の映像／ビデオの情報を効果的に圧縮して送信または保存し、再生するために、高効率の映像／ビデオ圧縮技術が要求される。

本文書の技術的課題は、映像のコーディング効率を高める方法及び装置を提供することにある。

本文書の別の技術的課題は、変換効率を高める方法及び装置を提供することにある。

本文書のまた別の技術的課題は、変換インデックスのコーディングを通じて、２次変換の効率を高める方法及び装置を提供することにある。

本文書のまた別の技術的課題は、ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づく映像コーディング方法及び装置を提供することにある。

本文書のまた別の技術的課題は、コーディングの効率を増加させることができる変換セットに基づく映像コーディング方法及び装置を提供することにある。

本文書の一実施例によれば、デコーディング装置により行われる映像デコーディング方法を提供する。前記方法は、ビットストリームから対象ブロックに対する量子化された変換係数を導出するステップと、前記対象ブロックに対する量子化された変換係数に基づいて、逆量子化を介して変換係数を導出するステップと、前記変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて、修正された変換係数を導出するステップと、前記修正された変換係数に対する逆１次変換に基づいて、前記対象ブロックに対するレジデュアルサンプルを導出するステップと、前記対象ブロックに対するレジデュアルサンプルに基づいて、復元ピクチャを生成するステップとを含み、前記逆ＲＳＴは、前記対象ブロックに適用されるイントラ予測モードによるマッピング関係に基づいて決定される変換セット、及び前記変換セットそれぞれに含まれる２つの変換カーネルマトリックスのうち選択された変換カーネルマトリックスに基づいて行われ、前記逆ＲＳＴが適用されるか否か、及び前記変換セットに含まれた前記変換カーネルマトリックスのいずれか一つを指示する変換インデックスに基づいて行われることができる。

本文書の別の一実施例によれば、映像デコーディングを行うデコーディング装置が提供される。前記デコーディング装置は、ビットストリームから対象ブロックに対する量子化された変換係数及び予測に対する情報を導出するエントロピーデコーディング部と、前記予測に対する情報に基づいて、対象ブロックに対する予測サンプルを生成する予測部と、前記対象ブロックに対する量子化された変換係数に基づいて、逆量子化を介して変換係数を導出する逆量子化部と、前記変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて、修正された変換係数を導出する逆ＲＳＴ部と、前記修正された変換係数に対する逆１次変換に基づいて、前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部を含む逆変換部と、前記レジデュアルサンプル及び前記予測サンプルに基づいて、復元サンプルを生成する加算部とを含み、前記逆ＲＳＴは、前記対象ブロックに適用されるイントラ予測モードによるマッピング関係に基づいて決定される変換セット、及び前記変換セットそれぞれに含まれる２つの変換カーネルマトリックスのうち選択された変換カーネルマトリックスに基づいて行われ、前記逆ＲＳＴが適用されるか否か、及び前記変換セットに含まれた前記変換カーネルマトリックスのいずれか一つを指示する変換インデックスに基づいて行われることを特徴とする。

本文書の一実施例によれば、エンコーディング装置により行われる映像エンコーディング方法を提供する。前記方法は、対象ブロックに適用されるイントラ予測モードに基づいて、予測サンプルを導出するステップと、前記予測サンプルに基づいて、前記対象ブロックに対するレジデュアルサンプルを導出するステップと、前記レジデュアルサンプルに対する１次変換に基づいて、前記対象ブロックに対する変換係数を導出するステップと、前記変換係数に対するＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて、修正された変換係数を導出し、前記逆ＲＳＴは、前記対象ブロックにに適用されるイントラ予測モードによるマッピング関係に基づいて決定される変換セット、及び前記変換セットそれぞれに含まれる２つの変換カーネルマトリックスのうち選択された変換カーネルマトリックスに基づいて行われ、前記修正された変換係数に基づいて量子化を行い、量子化された変換係数を導出するステップと、前記ＲＳＴが適用されるか否か、及び前記変換セットに含まれた前記変換カーネルマトリックスのいずれか一つを指示する変換インデックスを生成することを特徴とする。

本文書のまた別の一実施例によれば、エンコーディング装置により行われた映像エンコーディング方法によって生成されたエンコーディングされた映像情報が含まれた映像データが保存されたデジタル保存媒体が提供できる。

本文書のまた別の一実施例によれば、デコーディング装置により前記映像デコーディング方法を行うように引き起こすエンコーディングされた映像情報が含まれた映像データが保存されたデジタル保存媒体が提供できる。

本文書によれば、全般的な映像／ビデオ圧縮の効率を高めることができる。

本文書によれば、変換インデックスのコーディングを介して２次変換の効率を高めることができる。

本文書によれば、変換セットに基づいて映像コーディングを行い、映像コーディングの効率を高めることができる。

本文書が適用できるビデオ／映像コーディングシステムの例を概略的に示す。 本文書が適用できるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。 本文書が適用できるビデオ／映像デコーディング装置の構成を概略的に説明する図である。 本文書の一実施例による多重変換技法を概略的に示す。 ６５個の予測方向のイントラ方向性モードを例示的に示す。 本文書の一実施例によるＲＳＴを説明するための図である。 本文書の一実施例による変換係数のスキャニング順序を示す図である。 本文書の一実施例による逆ＲＳＴ過程を示すフローチャートである。 本文書の一実施例によるビデオデコーディング装置の動作を示すフローチャートである。 本文書の一実施例による逆ＲＳＴを説明するための制御フローチャートである。 本文書の一実施例によるビデオエンコーディング装置の動作を示すフローチャートである。 本文書の一実施例によるＲＳＴを説明するための制御フローチャートである。 本文書が適用されるコンテンツストリーミングシステムの構造図を例示的に示す。

本文書は、多様な変更を加えることができ、様々な実施例を有することができるので、特定の実施例を図面に例示し、詳細に説明しようとする。しかし、これは、本文書を特定の実施例に限定しようとするものではない。本明細書において常用する用語は、ただ特定の実施例を説明するために使用されたものであって、本文書の技術的思想を限定しようとする意図として使用されるものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本明細書において「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとすることであり、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性を予め排除しないものと理解されなければならない。

一方、本文書において説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立に示されたものであって、各構成が互いに別のハードウェアまたは別のソフトウェアにより実現されるということを意味しない。例えば、各構成のうち、２つ以上の構成を合わせて１つの構成をなすこともあり、１つの構成が複数の構成に分けられることもある。各構成が統合及び／または分離された実施例も、本文書の本質から逸脱しない限り、本文書の権利範囲に含まれる。

以下、添付した図面を参照して、本文書の好ましい実施例をより詳細に説明しようとする。以下、図面上の同じ構成要素については同じ参照符号を使用し、同じ構成要素について重複した説明は省略する。

本文書は、ビデオ／映像コーディングに関する。例えば、本文書で開示された方法／実施例は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６６）、ＶＶＣ以降の次世代ビデオ／イメージコーディングの標準、又はそれ以外のビデオコーディング関連の標準（例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６５）、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶＳ２標準等）に関連し得る。

本文書では、ビデオ／映像コーディングに関する多様な実施例を提示し、別の言及がない限り、前記実施例は互いに組み合わせて行うこともある。

本文書で、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定時間帯の１つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、１つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。１つのピクチャは、１つ以上のスライス／タイルで構成されることができる。１つのピクチャは、１つ以上のタイルグループで構成されることができる。１つのタイルグループは、１つ以上のタイルを含むことができる。

ピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）は、１つのピクチャ（又は映像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的にピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。又は、サンプルは、空間ドメインでのピクセル値を意味することもでき、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインでの変換係数を意味することもできる。

ユニット（ｕｎｉｔ）は、映像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び該当領域に関する情報の少なくとも一つを含むことができる。１つのユニットは、１つのルマブロック及び２つのクロマ（例えば、ｃｂ，ｃｒ）ブロックを含むことができる。ユニットは、場合に応じて、ブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）等の用語と混用して使用されてもよい。一般的な場合、ＭｘＮのブロックは、Ｍ個の列とＮ個の行とからなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（又はアレイ）を含むことができる。

この文書で、「／」と「、」は、「及び／又は」と解釈される。例えば、「Ａ／Ｂ」は「Ａ及び／又はＢ」と解釈され、「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈される。さらに、「Ａ／Ｂ／Ｃ」は、「Ａ、Ｂ及び／又はＣの少なくとも一つ」を意味する。また、「Ａ、Ｂ、Ｃ」も「Ａ、Ｂ及び／又はＣの少なくとも一つ」を意味する。（Ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ，ｔｈｅ ｔｅｒｍ “／” ａｎｄ “，” ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｎｄ／ｏｒ．” Ｆｏｒ ｉｎｓｔａｎｃｅ，ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ “Ａ／Ｂ” ｍａｙ ｍｅａｎ “Ａ ａｎｄ／ｏｒ Ｂ．” Ｆｕｒｔｈｅｒ、“Ａ，Ｂ” ｍａｙ ｍｅａｎ “Ａ ａｎｄ／ｏｒ Ｂ．” Ｆｕｒｔｈｅｒ， “Ａ／Ｂ／Ｃ” ｍａｙ ｍｅａｎ “ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ，ａｎｄ／ｏｒ Ｃ．”Ａｌｓｏ， “Ａ／Ｂ／Ｃ” ｍａｙ ｍｅａｎ “ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ，ａｎｄ／ｏｒ Ｃ．”）

さらに、本文書で、「又は」は「及び／又は」と解釈される。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味し、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。言い換えると、本文書の「又は」は「更に又は代わりに（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。（Ｆｕｒｔｈｅｒ，ｉｎ ｔｈｅ ｄｏｃｕｍｅｎｔ，ｔｈｅ ｔｅｒｍ “ｏｒ” ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｎｄ／ｏｒ．” Ｆｏｒ ｉｎｓｔａｎｃｅ，ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ “Ａ ｏｒ Ｂ” ｍａｙ ｃｏｍｐｒｉｓｅ １）ｏｎｌｙ Ａ， ２）ｏｎｌｙ Ｂ，ａｎｄ／ｏｒ ３）ｂｏｔｈ Ａ ａｎｄ Ｂ． Ｉｎ ｏｔｈｅｒ ｗｏｒｄｓ，ｔｈｅ ｔｅｒｍ “ｏｒ” ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ．”）

図１は、本文書が適用できるビデオ／映像コーディングシステムの例を概略的に示す。

図１を参照すると、ビデオ／映像コーディングシステムは、ソースデバイス及び受信デバイスを含むことができる。ソースデバイスは、エンコーディングされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミングの形態でデジタル保存媒体又はネットワークを介して受信デバイスに伝達できる。

前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を含むことができる。前記受信デバイスは、受信部、デコーディング装置、及びレンダラーを含むことができる。前記エンコーディング装置は、ビデオ／映像エンコーディング装置と呼ばれ得、前記デコーディング装置は、ビデオ／映像デコーディング装置と呼ばれ得る。送信機は、エンコーディング装置に含まれ得る。受信機は、デコーディング装置に含まれ得る。レンダラーはディスプレイ部を含んでもよく、ディスプレイ部は別のデバイス又は外部コンポーネントで構成されてもよい。

ビデオソースは、ビデオ／映像のキャプチャー、合成又は生成過程等を介してビデオ／映像を獲得することができる。ビデオソースは、ビデオ／映像のキャプチャーデバイス及び／又はビデオ／映像の生成デバイスを含むことができる。ビデオ／映像のキャプチャーデバイスは、例えば、１つ以上のカメラ、以前にキャプチャーされたビデオ／映像を含むビデオ／映像のアーカイブ等を含むことができる。ビデオ／映像の生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォン等を含むことができ、（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータ等を介して仮想のビデオ／映像が生成でき、この場合、関連データが生成される過程としてビデオ／映像のキャプチャー過程に代えることができる。

エンコーディング装置は、入力ビデオ／映像をエンコーディングすることができる。エンコーディング装置は、圧縮及びコーディングの効率のために、予測、変換、量子化等一連の手続を行うことができる。エンコーディングされたデータ（エンコーディングされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）の形態で出力されることができる。

送信部は、ビットストリームの形態で出力されたエンコーディングされたビデオ／映像情報又はデータをファイル又はストリーミングの形態でデジタル保存媒体又はネットワークを介して、受信デバイスの受信部に伝達することができる。デジタル保存媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤ等多様な保存媒体を含むことができる。送信部は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出し、デコーディング装置に伝達することができる。

デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測等一連の手続を行い、ビデオ／映像をデコーディングすることができる。

レンダラーは、デコーディングされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像はディスプレイ部を介してディスプレイされることができる。

図２は、本文書が適用できるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。以下、ビデオエンコーディング装置とは、映像エンコーディング装置を含むことができる。

図２を参照すると、エンコーディング装置２００は、映像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を含んで構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を含むことができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を含むことができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ）２３１をさらに含むことができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）又は復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれ得る。前述した映像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコーディング部２４０、加算部２５０、及びフィルタリング部２６０は、実施例によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセット又はプロセッサ）により構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル保存媒体によって構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに含むこともできる。

映像分割部２１０は、エンコーディング装置２００に入力された入力映像（又は、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割できる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれ得る。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大のコーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はターナリー構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／又はターナリー構造が後で適用され得る。或いは、バイナリツリー構造が先に適用されることもある。これ以上分割されない最終のコーディングユニットに基づいて、本文書によるコーディング手続が行われる。この場合、映像の特性によるコーディング効率等に基づいて、最大のコーディングユニットが直ぐに最終のコーディングユニットとして使用されることができ、或いは必要に応じて、コーディングユニットは再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）より下位デプスのコーディングユニットに分割され、最適のサイズのコーディングユニットが最終のコーディングユニットとして使用されることができる。ここで、コーディング手続というのは、後述する予測、変換、及び復元などの手続を含むことができる。別の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、各々前述した最終のコーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットはサンプル予測の単位であってもよく、前記変換ユニットは変換係数を誘導する単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であってもよい。

ユニットは、場合に応じて、ブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）等の用語と混用して使用してもよい。一般的な場合、ＭｘＮのブロックは、Ｍ個の列とＮ個の行とからなるサンプル又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。サンプルは、一般的にピクセル又はピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（又は映像）をピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）に対応する用語として使用されることができる。

減算部２３１は、入力映像信号（原本ブロック、原本サンプル又は原本サンプルアレイ）で予測部２２０から出力された予測信号（予測されたブロック、予測サンプル又は予測サンプルアレイ）を減算し、レジデュアル信号（レジデュアルブロック、レジデュアルサンプル又はレジデュアルサンプルアレイ）を生成することができ、生成されたレジデュアル信号は変換部２３２に送信される。予測部２２０は、処理対象ブロック（以下、現在ブロックという）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部２２０は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、若しくはインター予測が適用されるか決定できる。予測部は、各予測モードに対する説明で後述するように、予測モード情報等の予測に関する多様な情報を生成してエントロピーエンコーディング部２４０に伝達することができる。予測に関する情報は、エントロピーエンコーディング部２４０でエンコーディングされ、ビットストリームの形態で出力されることができる。

イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置してもよく、或いは離れて位置してもよい。イントラ予測における予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細密な程度によって、例えば、３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。但し、これは例示であって、設定に応じてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部２２２は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づき、現在ブロックに対する予測されたブロックを誘導することができる。この際、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）の情報を更に含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間的周辺ブロックを含む参照ピクチャとは同一であってもよく、異なってもよい。前記時間的周辺ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）等の名称で呼ばれ得、前記時間的周辺ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）とも呼ばれ得る。例えば、インター予測部２２１は、周辺ブロックに基づいて動き情報の候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われ、例えば、スキップモードとマージモードの場合、インター予測部２２１は周辺ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードと異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることによって、現在ブロックの動きベクトルを指示することができる。

予測部２２０は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は１つのブロックに対する予測のためにイントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれ得る。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うことができる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）等のようにゲーム等のコンテンツ映像／動画のコーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点で、インター予測と同様に行われる。即ち、ＩＢＣは、本文書で説明されるインター予測技法の少なくとも一つを利用することができる。

インター予測部２２１及び／又はイントラ予測部２２２を介して生成された予測信号は、復元信号を生成するために利用されるか、レジデュアル信号を生成するために利用されることができる。変換部２３２は、レジデュアル信号に変換技法を適用して、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、 ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）等を含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するという際に、このグラフから得られた変換を意味する。ＣＮＴは以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を利用して予測信号を生成し、それに基づいて獲得される変換を意味する。また、変換過程は正方形の同じサイズを有するピクセルブロックに適用されてもよく、正方形ではない可変サイズのブロックに適用されてもよい。

量子化部２３３は、変換係数を量子化してエントロピーエンコーディング部２４０に送信され、エントロピーエンコーディング部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングして、ビットストリームとして出力することができる。前記量子化された変換係数に関する情報はレジデュアル情報と呼ばれ得る。量子化部２３３は係数のスキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロックの形態の量子化された変換係数を１次元のベクトルの形態で再整列することができ、前記１次元のベクトルの形態の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）等のような多様なエンコーディング方法を行うことができる。エントロピーエンコーディング部２４０は、量子化された変換係数の他にビデオ／イメージの復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共に、又は別にエンコーディングすることもできる。エンコーディングされた情報（例えば、エンコーディングされたビデオ／映像情報）は、ビットストリームの形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信又は保存されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）等の多様なパラメータセットに関する情報を更に含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書で後述するシグナリング／送信される情報及び／又はシンタックス要素は、前述したエンコーディング手続を通じてエンコーディングされ、前記ビットストリームに含まれ得る。前記ビットストリームは、ネットワークを介して送信されることができ、又はデジタル保存媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網等を含むことができ、デジタル保存媒体はＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤ等の多様な保存媒体を含むことができる。エントロピーエンコーディング部２４０から出力された信号は、送信する送信部（図示せず）及び／又は保存する保存部（図示せず）がエンコーディング装置２００の内／外部のエレメントとして構成されてもよく、又は送信部はエントロピーエンコーディング部２４０に含まれてもよい。

量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために利用されることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することによって、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。加算部２５０は、復元されたレジデュアル信号を予測部２２０から出力された予測信号に加えることによって、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプル、又は復元サンプルアレイ）が生成できる。スキップモードが適用された場合のように、処理対象のブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。生成された復元信号は、現在ピクチャ内の次の処理対象のブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て、次のピクチャのインター予測のために使用されることもできる。

一方、ピクチャエンコーディング及び／又は復元過程で、ＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもある。

フィルタリング部２６０は、復元信号にフィルタリングを適用し、主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに多様なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的にメモリ２７０のＤＰＢに保存することができる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）等を含むことができる。フィルタリング部２６０は、各フィルタリング方法に関する説明で後述するように、フィルタリングに関する多様な情報を生成してエントロピーエンコーディング部２９０へ伝達することができる。フィルタリング関する情報は、エントロピーエンコーディング部２９０でエンコーディングされて、ビットストリームの形態で出力されることができる。

メモリ２７０に送信された修正された復元ピクチャは、インター予測部２８０で参照ピクチャとして使用できる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置２００とデコーディング装置での予測のミスマッチを避けることができ、符号化の効率も向上させることができる。

メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１での参照ピクチャとして使用するために保存することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（又はエンコーディングされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間的周辺ブロックの動き情報、又は時間的周辺ブロックの動き情報として活用するために、インター予測部２２１に伝達することができる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２２２に伝達することができる。

図３は、本文書が適用できるビデオ／映像デコーディング装置の構成を概略的に説明する図である。

図３を参照すると、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を含んで構成できる。予測部３３０は、インター予測部３３１及びイントラ予測部３３２を含むことができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１、及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２１を含むことができる。前述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施例によって１つのハードウェアコンポーネント（例えば、デコーダチップセット又はプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル保存媒体によって構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部のコンポーネントにさらに含むこともできる。

ビデオ／映像情報を含むビットストリームが入力されると、デコーディング装置３００は、図２のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して、映像を復元することができる。例えば、デコーディング装置３００は、前記ビットストリームから獲得したブロック分割に関する情報に基づいて、ユニット／ブロックを導出することができる。デコーディング装置３００は、エンコーディング装置で適用された処理ユニットを利用してデコーディングを行うことができる。従って、デコーディングの処理ユニットは、例えば、コーディングユニットであってもよく、コーディングユニットは、コーディングツリーユニット又は最大のコーディングユニットからクアッドツリー構造、バイナリツリー構造及び／又はターナリーツリー構造に従って分割できる。コーディングユニットから１つ以上の変換ユニットが導出できる。また、デコーディング装置３００を介してデコーディング及び出力された復元映像信号は再生装置を介して再生できる。

デコーディング装置３００は、図２のエンコーディング装置から出力された信号をビットストリームの形態で受信することができ、受信された信号はエントロピーデコーディング部３１０を介してデコーディングできる。例えば、エントロピーデコーディング部３１０は、前記ビットストリームをパーシングして、映像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出することができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）等多様なパラメータセットに関する情報を更に含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）を更に含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報に基づいてさらにピクチャをデコーディングすることができる。本文書で後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコーディング手続を介してデコーディングされ、前記ビットストリームから獲得されることができる。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣ等のコーディング方法に基づいてビットストリーム内の情報をデコーディングし、映像の復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細に、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各構文要素に該当するビンを受信し、デコーディング対象の構文要素情報と周辺及びデコーディング対象のブロックのデコーディング情報、又は以前段階でデコーディングされたシンボル／ビンの情報を利用してコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルによってビン（ｂｉｎ）の発生確率を予測し、ビンの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行い、各構文要素の値に該当するシンボルを生成することができる。この際、ＣＡＢＡＣエントロピーデコーディング方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのためにデコーディングされたシンボル／ビンの情報を利用してコンテキストモデルをアップデートすることができる。エントロピーデコーディング部３１０でデコーディングされた情報のうちの予測に関する情報は、予測部３３０に提供され、エントロピーデコーディング部３１０でエントロピーデコーディングが行われたレジデュアルに対する情報、即ち、量子化された変換係数及び関連のパラメータ情報は、逆量子化部３２１に入力されることができる。また、エントロピーデコーディング部３１０でデコーディングされた情報のうちのフィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置３００の内／外部のエレメントとしてさらに構成されることができ、又は受信部はエントロピーデコーディング部３１０の構成要素であってもよい。一方、本文書によるデコーディング装置はビデオ／映像／ピクチャのデコーディング装置と呼ばれ得、前記デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャの情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャのサンプルデコーダ）と区分してもよい。前記情報デコーダは、前記エントロピーデコーディング部３１０を含んでもよく、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、予測部３３０、加算部３４０、フィルタリング部３５０、及びメモリ３６０の少なくとも一つを含んでもよい。

逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部３２１は、量子化された変換係数を２次元のブロックの形態で再整列することができる。この場合、前記再整列は、エンコーディング装置で行われた係数のスキャン順序に基づいて再整列を行うことができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を獲得することができる。

逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を獲得することになる。

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコーディング部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、又はインター予測が適用されるか決定することができ、具体的なイントラ／インター予測モードを決定することができる。

予測部は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のためにイントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれ得る。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）等のようにゲーム等のコンテンツ映像／動画のコーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点で、インター予測と同様に行われる。即ち、ＩＢＣは、本文書で説明されるインター予測技法の少なくとも一つを利用することができる。

イントラ予測部３３２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置してもよく、又は離れて位置してもよい。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。イントラ予測部３３２は、周辺ブロックに適用された予測モードを利用して、現在ブロックに適用される予測モードを決定することもできる。

インター予測部３３１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づき、現在ブロックに対する予測されたブロックを誘導することができる。この際、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）の情報をさらに含むことができる。インター予測の場合に、周辺ブロックは現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。例えば、インター予測部３３１は、周辺ブロックに基づいて動き情報の候補リストを構成し、受信した候補選択情報に基づいて、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。多様な予測モードに基づいてインター予測が行われ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。

加算部３４０は、獲得されたレジデュアル信号を予測部３３０から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることによって、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象のブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。

加算部３４０は、復元部又は復元ブロック生成部と呼ばれ得る。生成された復元信号は、現在ピクチャ内の次の処理対象のブロックのイントラ予測のために使用されることもあり、後述するように、フィルタリングを経て出力されることもあり、又は次のピクチャのインター予測のために使用されることもある。

一方、ピクチャのデコーディング過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもある。

フィルタリング部３５０は、復元信号にフィルタリングを適用し、主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに多様なフィルタリング方法を適用し、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的にメモリ３６０のＤＰＢに送信することができる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）等を含むことができる。

メモリ３６０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部３３１で参照ピクチャとして使用できる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（又はデコーディングされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間的周辺ブロックの動き情報又は時間的周辺ブロックの動き情報として活用するために、インター予測部３３１に伝達することができる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部３３２に伝達できる。

本明細書で、デコーディング装置３００の予測部３３０、逆量子化部３２１、逆変換部３２２、及びフィルタリング部３５０等で説明された実施例は、それぞれエンコーディング装置２００の予測部２２０、逆量子化部２３４、逆変換部２３５、及びフィルタリング部２６０等にも同一又は対応するように適用できる。

前述したように、ビデオコーディングを行うにあたって、圧縮効率を高めるために予測を行う。これを通じて、コーディングの対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（又はピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコーディング装置及びデコーディング装置で同様に導出され、前記エンコーディング装置は、原本ブロックの原本サンプル値そのものではなく、前記原本ブロックと前記予測されたブロック間のレジデュアルに対する情報（レジデュアル情報）をデコーディング装置にシグナリングすることで、映像コーディングの効率を高めることができる。デコーディング装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックとを合わせて復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。

前記レジデュアル情報は、変換及び量子化手続を通じて生成できる。例えば、エンコーディング装置は、前記原本ブロックと前記予測されたブロック間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれたレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手続を行って変換係数を導出し、前記変換係数に量子化手続を行って量子化された変換係数を導出し、関連するレジデュアル情報を（ビットストリームを介して）デコーディング装置にシグナリングできる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータ等の情報を含むことができる。デコーディング装置は、前記レジデュアル情報に基づいて逆量子化／逆変換手続を行い、レジデュアルサンプル（又はレジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックと前記レジデュアルブロックに基づいて復元ピクチャを生成することができる。エンコーディング装置はまた、以降のピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。

図４は、本文書による多重変換技法を概略的に示す。

図４を参照すると、変換部は、前述した図２のエンコーディング装置内の変換部に対応し得、逆変換部は、前述した図２のエンコーディング装置内の逆変換部又は図３のデコーディング装置内の逆変換部に対応し得る。

変換部は、レジデュアルブロック内のレジデュアルサンプル（レジデュアルサンプルアレイ）に基づいて１次変換を行い、（１次）変換係数を導出することができる（Ｓ４１０）。このような１次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）は、核心変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）と指称し得る。ここで、前記１次変換は、多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）に基づくことができ、１次変換として多重変換が適用される場合、多重核心変換と指称され得る。

多重核心変換は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ２と、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ７、ＤＣＴタイプ８、及び／又はＤＳＴタイプ１をさらに使用して変換する方式を示すことができる。即ち、前記多重核心変換は、前記Ｄ ＣＴタイプ２、前記ＤＳＴタイプ７、前記ＤＣＴタイプ８、及び前記ＤＳＴタイプ１のうち選択された複数の変換カーネルに基づいて、空間ドメインのレジデュアル信号（又はレジデュアルブロック）を周波数ドメインの変換係数（又は１次変換係数）に変換する変換方法を示すことができる。ここで、前記１次変換係数は、変換部の立場で仮の変換係数と呼ばれ得る。

言い換えると、既存の変換方法が適用される場合、ＤＣＴタイプ２に基づいてレジデュアル信号（又はレジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用され、変換係数が生成できた。これと異なり、前記多重核心変換が適用される場合、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及び／又はＤＳＴタイプ１等に基づいてレジデュアル信号（又はレジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用され、変換係数（又は１次変換係数）が生成できる。ここで、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及びＤＳＴタイプ１等は、変換タイプ、変換カーネル（ｋｅｒｎｅｌ）又は変換コア（ｃｏｒｅ）と呼ばれ得る。

参考までに、前記ＤＣＴ／ＤＳＴ変換タイプは、基底関数に基づいて定義でき、前記基底関数は、次の表のように示し得る。

前記多重核心変換が行われる場合、前記変換カーネルのうち対象ブロックに対する垂直変換カーネル及び水平変換カーネルが選択されることができ、前記垂直変換カーネルに基づいて前記対象ブロックに対する垂直変換が行われ、前記水平変換カーネルに基づいて前記対象ブロックに対する水平変換が行われることができる。ここで、前記水平変換は、前記対象ブロックの水平成分に対する変換を示し得、前記垂直変換は前記対象ブロックの垂直成分に対する変換を示し得る。前記垂直変換カーネル／水平変換カーネルは、レジデュアルブロックを含む対象ブロック（ＣＵ又はサブブロック）の予測モード及び／又は変換インデックスに基づいて適応的に決定されることができる。

また、一例によると、ＭＴＳを適用して１次変換を行う場合、特定の基底関数を所定値に設定し、垂直変換又は水平変換であるとき、どの基底関数が適用されるか否かを組み合わせて、変換カーネルに対するマッピング関係を設定することができる。例えば、水平方向の変換カーネルをｔｒＴｙｐｅＨｏｒで示し、垂直方向の変換カーネルをｔｒＴｙｐｅＶｅｒで示す場合、ｔｒＴｙｐｅＨｏｒ又はｔｒＴｙｐｅＶｅｒの値０はＤＣＴ２に設定され、ｔｒＴｙｐｅＨｏｒ又はｔｒＴｙｐｅＶｅｒの値１はＤＳＴ７に設定され、ｔｒＴｙｐｅＨｏｒ又はｔｒＴｙｐｅＶｅｒの値２はＤＣＴ８に設定されることができる。

この場合、多数の変換カーネルセットのいずれか一つを指示するために、ＭＴＳインデックス情報がエンコーディングされ、デコーディング装置にシグナリングされることができる。例えば、ＭＴＳインデックスが０であると、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒの値が全て０であることを指示し、ＭＴＳインデックスが１であると、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒの値が全て１であることを指示し、ＭＴＳインデックスが２であると、ｔｒＴｙｐｅＨｏｒの値は２であり、ｔｒＴｙｐｅＶｅｒの値は１であることを指示し、ＭＴＳインデックスが３であると、ｔｒＴｙｐｅＨｏｒの値は１であり、ｔｒＴｙｐｅＶｅｒの値は２であることを指示し、ＭＴＳインデックスが４であると、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒの値が全て２であることを指示することができる。

変換部は、前記（１次）変換係数に基づいて２次変換を行い、修正された（２次）変換係数を導出することができる（Ｓ４２０）。前記１次変換は、空間ドメインから周波数ドメインへの変換であり、前記２次変換は、（１次）変換係数の間に存在する相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を用いて、より圧縮的な表現に変換することを意味する。前記２次変換は、非分離変換（ｎｏｎ－ ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）を含むことができる。この場合、前記２次変換は、非分離２次変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）又はＭＤＮＳＳＴ（ｍｏｄｅ－ｄｅｐｅｎｄｅｎｔ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）と呼ばれ得る。前記非分離２次変換は、前記１次変換を通じて導出された（１次）変換係数を非分離変換マトリックス（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて２次変換して、レジデュアル信号に対する修正された変換係数（又は２次変換係数）を生成する変換を示すことができる。ここで、前記非分離変換マトリックスに基づいて、前記（１次）変換係数に対して垂直変換及び水平変換を分離して（又は水平垂直変換を独立に）適用せず、一度に変換を適用できる。言い換えると、前記非分離２次変換は、前記（１次）変換係数の垂直成分及び水平成分を分離せず、例えば、２次元の信号（変換係数）を特定の定められた方向（例えば、行優先（ｒｏｗ－ｆｉｒｓｔ）方向又は列優先（ｃｏｌｕｍｎ－ｆｉｒｓｔ）方向）を通じて１次元の信号に再整列した後、前記非分離変換マトリックスに基づいて修正された変換係数（又は２次変換係数）を生成する変換方法を示すことができる。例えば、行優先の順序は、ＭｘＮブロックに対して１番目の行、２番目の行、．．．、Ｎ番目の行の順序で一列に配置するものであり、列優先の順序は、ＭｘＮブロックに対して１番目の列、２番目の列、．．．、Ｍ番目の列の順序で一列に配置するものである。前記非分離２次変換は、（１次）変換係数で構成されたブロック（以下、変換係数ブロックと呼ばれ得る）の左上段（ｔｏｐ－ｌｅｆｔ）領域に対して適用できる。例えば、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも８以上である場合、８×８の非分離２次変換が、前記変換係数ブロックの左上段８×８の領域に対して適用できる。また、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも４以上であるとともに、前記変換係数ブロックの幅（Ｗ）又は高さ（Ｈ）が８よりも小さい場合、４×４の非分離２次変換が、前記変換係数ブロックの左上段ｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）の領域に対して適用できる。但し、実施例はこれに限定されず、例えば、前記変換係数ブロックの幅（Ｗ）又は高さ（Ｈ）が全て４以上の条件のみ満たしても、４×４の非分離２次変換が、前記変換係数ブロックの左上段ｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）の領域に対して適用できる。

具体的に、例えば、４×４の入力ブロックが使用される場合、非分離２次変換は次のように行われる。

前記４×４の入力ブロックＸは、次のように示し得る。

前記Ｘをベクトルの形態で示す場合、ベクトル

は、次のように示し得る。

数式２のように、ベクトル

は、行優先（ｒｏｗ－ｆｉｒｓｔ）の順序によって数式１のＸの２次元ブロックを１次元のベクトルに再配列する。

この場合、前記２次非分離の変換は次のように計算され得る。

ここで、

は、変換係数のベクトルを示し、Ｔは１６×１６の（非分離）変換マトリックスを示す。

前記数式３を通じて、１６×１の変換係数のベクトル

が導出でき、前記

は、スキャン順序（水平、垂直、対角（ｄｉａｇｏｎａｌ）等）を通じて、４×４のブロックで再構成（ｒｅ－ｏｒｇａｎｉｚｅｄ）できる。但し、前述した計算は例示であって、非分離２次変換の計算の複雑度を減らすために、ＨｙＧＴ（Ｈｙｐｅｒｃｕｂｅ－Ｇｉｖｅｎｓ Ｔｒａｎｓｆｏｒｍ）等が非分離２次変換の計算のために使用されることもある。

一方、前記非分離２次変換は、モードベース（ｍｏｄｅ ｄｅｐｅｎｄｅｎｔ）として変換カーネル（又は変換コア、変換タイプ）が選択され得る。ここで、モードは、イントラ予測モード及び／又はインター予測モードを含むことができる。

前述したように、前記非分離２次変換は、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）に基づいて決定された８×８の変換、又は４×４の変換に基づいて行われることができる。８ｘ８の変換は、ＷとＨが両方とも８よりも等しいか大きいとき、該当変換係数ブロックの内部に含まれた８ｘ８の領域に適用されることができる変換を指し、該当８ｘ８の領域は、該当変換係数ブロックの内部の左上段８ｘ８の領域であり得る。同様に、４ｘ４の変換は、ＷとＨが両方とも４よりも等しいか大きいとき、該当変換係数ブロックの内部に含まれた４ｘ４の領域に適用されることができる変換を指し、該当４ｘ４の領域は、該当変換係数ブロックの内部の左上段４ｘ４の領域であり得る。例えば、８ｘ８の変換カーネルマトリックスは、６４ｘ６４／１６ｘ６４行列、４ｘ４の変換カーネルマトリックスは、１６ｘ１６／８ｘ１６行列になり得る。

このとき、モードベースの変換カーネルの選択のために、８×８の変換及び４×４の変換の両方ともに対して、非分離２次変換のための変換セット当たり３個ずつの非分離２次変換カーネルが構成でき、変換セットは３５個であり得る。即ち、８×８の変換に対して３５個の変換セットが構成され、４×４の変換に対して３５個の変換セットが構成できる。この場合、８×８の変換に対する３５個の変換セットには、それぞれ３個ずつの８×８の変換カーネルが含まれ得、この場合、４×４の変換に対する３５個の変換セットには、それぞれ３個ずつの４×４の変換カーネルが含まれ得る。但し、前記変換のサイズ、前記セットの数、及びセット内の変換カーネルの数は例示であって、８×８又は４×４以外のサイズが使用されてもよく、或いはｎ個のセットが構成され、各セット内にｋ個の変換カーネルが含まれてもよい。

前記変換セットは、ＮＳＳＴセットと呼ばれ得、前記ＮＳＳＴセット内の変換カーネルは、ＮＳＳＴカーネルと呼ばれ得る。前記変換セットのうちの特定のセットの選択は、例えば、対象ブロック（ＣＵ又はサブブロック）のイントラ予測モードに基づいて行われることができる。

参考までに、例えば、イントラ予測モードは、２つの非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｎｏａｌ、又は非角度性（ｎｏｎ－ａｎｇｕｌａｒ））イントラ予測モードと、６５個の方向性（ｄｉｒｅｃｔｉｏｎａｌ、又は角度性（ａｎｇｕｌａｒ））イントラ予測モードとを含むことができる。前記非方向性イントラ予測モードは、０番のプラナー（ｐｌａｎａｒ）イントラ予測モード及び１番のＤＣイントラ予測モードを含むことができ、前記方向性イントラ予測モードは、２番乃至６６番の６５個のイントラ予測モードを含むことができる。但し、これは例示であって、本文書はイントラ予測モードの数が異なる場合にも適用されることができる。一方、場合に応じて、６７番のイントラ予測モードがさらに使用されることができ、前記６７番のイントラ予測モードは、ＬＭ（ｌｉｎｅａｒ ｍｏｄｅｌ）モードを示すことができる。

図５は、６５個の予測方向のイントラ方向性モードを例示的に示す。

図５を参照すると、左上向き対角の予測方向を有する３４番のイントラ予測モードを中心に水平方向性（ｈｏｒｉｚｏｎｔａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと垂直方向性（ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードとを区分することができる。図５のＨとＶは、それぞれ水平方向性と垂直方向性を意味し、－３２～３２の数字は、サンプルグリッドポジション（ｓａｍｐｌｅ ｇｒｉｄ ｐｏｓｉｔｉｏｎ）上で１／３２単位の変位を示す。これは、モードインデックス値に対するオフセットを示すことができる。２番乃至３３番のイントラ予測モードは水平方向性、３４番乃至６６番のイントラ予測モードは垂直方向性を有する。一方、３４番のイントラ予測モードは、厳密に言って、水平方向性でも垂直方向性でもないと見ることができるが、２次変換の変換セットを決定する観点から、水平方向性に属すると分類できる。これは、３４番のイントラ予測モードを中心に対称される垂直方向モードに対しては入力データをトランスポーズ（ｔｒａｎｓｐｏｓｅ）して使用し、３４番のイントラ予測モードに対しては水平方向モードに対する入力データの整列方式を使用するためである。入力データをトランスポーズすることは、２次元ブロックのデータＭｘＮに対して行が列になり、列が行になり、ＮｘＭのデータを構成することを意味する。１８番のイントラ予測モードと５０番のイントラ予測モードは、それぞれ水平イントラ予測モード（ｈｏｒｉｚｏｎｔａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、垂直イントラ予測モード（ｖｅｒｔｉｃａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）を示し、２番のイントラ予測モードは、左側の参照ピクセルを有し、右上向きの方向に予測するので、右上向き対角のイントラ予測モードと呼ばれ得、同じ筋道で、３４番のイントラ予測モードは右下向き対角のイントラ予測モード、６６番のイントラ予測モードは左下向き対角のイントラ予測モードと呼ばれ得る。

この場合、前記３５個の変換セットと前記イントラ予測モードとの間のマッピング（ｍａｐｐｉｎｇ）は、例えば、次の表のように示し得る。参考までに、対象ブロックにＬＭモードが適用される場合、前記対象ブロックに対しては２次変換が適用されなくてもよい。

一方、特定のセットが使用されると決定されると、非分離２次変換のインデックスを通じて、前記特定のセット内ｋ個の変換カーネルのうち一つが選択できる。エンコーディング装置は、ＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）チェックに基づいて、特定の変換カーネルを指す非分離２次変換インデックスを導出することができ、前記非分離２次変換のインデックスをデコーディング装置にシグナリングできる。デコーディング装置は、前記非分離２次変換のインデックスに基づいて、特定のセット内ｋ個の変換カーネルのうち一つを選択することができる。例えば、ＮＳＳＴのインデックス値０は、一番目の非分離２次変換カーネルを指すことができ、ＮＳＳＴのインデックス値１は、二番目の非分離２次変換カーネルを指すことができ、ＮＳＳＴのインデックス値２は、三番目の非分離２次変換カーネルを指すことができる。又は、ＮＳＳＴのインデックス値０は、対象ブロックに対して一番目の非分離２次変換が適用されないことを指すことができ、ＮＳＳＴのインデックス値１乃至３は、前記３個の変換カーネルを指すことができる。

再度図４を参照すると、変換部は選択された変換カーネルに基づいて前記非分離２次変換を行い、修正された（２次）変換係数を獲得することができる。前記修正された変換係数は、前述したように量子化部を介して量子化された変換係数として導出されることができ、エンコーディングされてデコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。

一方、前述したように２次変換が省略される場合、前記１次（分離）変換の出力である（１次）変換係数が、前述したように量子化部を介して量子化された変換係数として導出されることができ、エンコーディングされてデコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。

逆変換部は、前述した変換部で行われた手続の逆順で一連の手続を行うことができる。逆変換部は、（逆量子化された）変換係数を受信し、２次（逆）変換を行って（１次）変換係数を導出し（Ｓ４５０）、前記（１次）変換係数に対して１次（逆）変換を行って、レジデュアルブロック（レジデュアルサンプル）を獲得することができる（Ｓ４６０）。ここで、前記１次変換係数は、逆変換部の立場で修正された（ｍｏｄｉｆｉｅｄ）変換係数と呼ばれ得る。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成することができることは前述した通りである。

一方、デコーディング装置は、２次逆変換の適用可否決定部（又は２次逆変換の適用可否を決定する要素）と、２次逆変換決定部（又は２次逆変換を決定する要素）をさらに含むことができる。２次逆変換の適用可否決定部は、２次逆変換の適用可否を決定することができる。例えば、２次逆変換はＮＳＳＴ又はＲＳＴであり得、２次逆変換の適用可否決定部は、ビットストリームからパーシングした２次変換フラグに基づいて、２次逆変換の適用可否を決定することができる。別の一例として、２次逆変換の適用可否決定部は、レジデュアルブロックの変換係数に基づいて、２次逆変換の適用可否を決定することもできる。

２次逆変換決定部は２次逆変換を決定することができる。このとき、２次逆変換 決定部は、イントラ予測モードによって指定されたＮＳＳＴ（又はＲＳＴ）変換セットに基づいて、現在ブロックに適用される２次逆変換を決定することができる。また、一実施例として、１次変換決定方法に依存して（ｄｅｐｅｎｄ ｏｎ）２次変換決定方法が決定できる。イントラ予測モードによって１次変換と２次変換の多様な種々の組み合わせが決定できる。また、一例として、２次逆変換決定部は、現在ブロックの大きさに基づいて、２次逆変換が適用される領域を決定することもできる。

一方、前述したように、２次（逆）変換が省略される場合、（逆量子化された）変換係数を受信して、前記１次（分離）逆変換を行ってレジデュアルブロック（レジデュアルサンプル）を獲得することができる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成することができることは前述した通りである。

一方、本文書では、非分離２次変換に伴われる計算量とメモリ要求量の低減のために、ＮＳＳＴの概念で変換マトリックス（カーネル）の大きさが減少したＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）を適用することができる。

一方、本文書で説明された変換カーネル、変換マトリックス、変換カーネルマトリックスを構成する係数、即ち、カーネル係数又はマトリックス係数は８ビットで表現されることができる。これは、デコーディング装置及びエンコーディング装置で実現されるための一つの条件であり得、既存の９ビット又は１０ビットと比較し、合理的に収容できる性能低下を伴いながら、変換カーネルを保存するためのメモリ要求量を減らすことができる。また、カーネルマトリックスを８ビットで表現することによって、小さい乗算器を使用することができ、最適のソフトウェアの実現のために使用されるＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ Ｍｕｌｔｉｐｌｅ Ｄａｔａ）命令により好適であり得る。

本明細書において、ＲＳＴは簡素化ファクター（ｆａｃｔｏｒ）によって大きさが減少した変換マトリックス（ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて、対象ブロックに対するレジデュアルサンプルに対して行われる変換を意味することができる。簡素化変換を行う場合、変換マトリックスの大きさ減少により、変換時に要求される演算量が減少することができる。即ち、ＲＳＴは大きさが大きいブロックの変換又は非分離変換時に発生する演算複雑度（ｃｏｍｐｌｅｘｉｔｙ）のイシューを解消するために用いられることができる。

ＲＳＴは、減少した変換、減少変換、ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｔｉｏｎ ｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｉｆｉｅｄ ｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｅ ｔｒａｎｓｆｏｒｍ等多様な用語で指称され得、ＲＳＴが指称され得る名称は、羅列された例示に限定されない。或いは、ＲＳＴは主に変換ブロックで０ではない係数を含む低周波領域で行われるので、ＬＦＮＳＴ（Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）で指称されることもある。

一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコーディング装置２００の逆変換部２３５とデコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部とを含むことができる。逆１次変換は、レジデュアルに適用された１次変換の逆変換を意味する。本文書で変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出することを意味することができる。

図６は、本文書の一実施例によるＲＳＴを説明するための図である。

本明細書において、「対象ブロック」は、コーディングが行われる現在ブロック又はレジデュアルブロックを意味することができる。

一実施例によるＲＳＴで、Ｎ次元のベクトル（Ｎ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）が異なる空間に位置したＲ次元のベクトル（Ｒ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）にマッピングされ、減少した変換マトリックスが決定されることができ、ここで、ＲはＮよりも小さい。Ｎは、変換が適用されるブロックの一辺の長さ（ｌｅｎｇｔｈ）の二乗、又は変換が適用されるブロックと対応する変換係数の総数を意味することができ、簡素化ファクターはＲ／Ｎ値を意味することができる。簡素化ファクターは、減少したファクター、減少ファクター、ｒｅｄｕｃｅｄ ｆａｃｔｏｒ、ｒｅｄｕｃｔｉｏｎ ｆａｃｔｏｒ、ｓｉｍｐｌｉｆｉｅｄ ｆａｃｔｏｒ、ｓｉｍｐｌｅ ｆａｃｔｏｒ等多様な用語で指称され得る。一方、Ｒは、簡素化係数（ｒｅｄｕｃｅｄ ｃｏｅｆｆｉｃｉｅｎｔ）で指称され得るが、場合に応じては、簡素化ファクターがＲを意味することもある。また、場合に応じて、簡素化ファクターは、Ｎ／Ｒ値を意味することもある。

一実施例において、簡素化ファクター又は簡素化係数はビットストリームを介してシグナリングできるが、実施例がこれに限定されるわけではない。例えば、簡素化ファクター又は簡素化係数に対する既定義された値が、各エンコーディング装置２００及びデコーディング装置３００に保存されていてもよく、この場合、簡素化ファクター又は簡素化係数は別にシグナリングされなくてもよい。

一実施例による簡素化変換マトリックスのサイズは、通常の変換マトリックスのサイズＮｘＮよりも小さいＲｘＮであり、下記の数式４のように定義できる。

図６の（ａ）に示す減少した変換（Ｒｅｄｕｃｅｄ Ｔｒａｎｓｆｏｒｍ）ブロック内のマトリックスＴは、数式４のマトリックスＴ_ＲｘＮを意味することができる。図６の（ａ）のように、対象ブロックに対するレジデュアルサンプルに対して簡素化変換マトリックスＴ_ＲｘＮが掛けられる場合、対象ブロックに対する変換係数が導出できる。

一実施例において、変換が適用されるブロックのサイズが８ｘ８であり、Ｒ＝１６（即ち、Ｒ／Ｎ＝１６／６４＝１／４である）の場合、図６の（ａ）によるＲＳＴは、下記の数式５のような行列演算で表現できる。この場合、メモリと乗算演算が簡素化ファクターにより略１／４と減少することができる。

数式５において、ｒ_１乃至ｒ_６４は対象ブロックに対するレジデュアルサンプルを示すことができ、より具体的に、１次変換を適用して生成された変換係数であり得る。数式５の演算結果、対象ブロックに対する変換係数ｃ_ｉが導出でき、ｃ_ｉの導出過程は数式６の通りである。

数式６の演算結果、対象ブロックに対する変換係数ｃ_１乃至ｃ_Ｒが導出できる。即ち、Ｒ＝１６の場合、対象ブロックに対する変換係数ｃ_１乃至ｃ_１６が導出できる。もし、ＲＳＴではなく、通常の（ｒｅｇｕｌａｒ）変換が適用され、サイズが６４ｘ６４（ＮｘＮ）の変換マトリックスが、サイズが６４ｘ１（Ｎｘ１）のレジデュアルサンプルに掛けられたら、対象ブロックに対する変換係数が６４個（Ｎ個）導出されるはずだが、ＲＳＴが適用されたため、対象ブロックに対する変換係数が１６個（Ｒ個）のみ導出される。対象ブロックに対する変換係数の総数がＮ個からＲ個に減少し、エンコーディング装置２００がデコーディング装置３００に送信するデータの量が減少するので、エンコーディング装置２００－デコーディング装置３００間の送信効率が増加することができる。

変換マトリックスのサイズの観点から検討すると、通常の変換マトリックスのサイズは、６４ｘ６４（ＮｘＮ）であるが、簡素化変換マトリックスのサイズは１６ｘ６４（ＲｘＮ）と減少するので、通常の変換を行う場合と比較すると、ＲＳＴを行う際、メモリの使用をＲ／Ｎの割合で減少させることができる。また、通常の変換マトリックスを用いる際の乗算演算の数ＮｘＮと比較すると、簡素化変換マトリックスを利用すれば、乗算演算の数をＲ／Ｎの割合で減少（ＲｘＮ）させることができる。

一実施例において、エンコーディング装置２００の変換部２３２は、対象ブロックに対するレジデュアルサンプルを１次変換及びＲＳＴベースの２次変換を行うことによって対象ブロックに対する変換係数を導出できる。このような変換係数は、デコーディング装置３００の逆変換部に伝達されることができ、デコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出し、修正された変換係数に対する逆１次変換に基づいて、対象ブロックに対するレジデュアルサンプルを導出することができる。

一実施例による逆ＲＳＴマトリックスＴ_ＮｘＲのサイズは、通常の逆変換マトリックスのサイズＮｘＮよりも小さいＮｘＲであり、数式４に示された簡素化変換マトリックスＴ_ＲｘＮとトランスポーズ（ｔｒａｎｓｐｏｓｅ）の関係にある。

図６の（ｂ）に示された減少したＩｎｖ．変換（Ｒｅｄｕｃｅｄ Ｉｎｖ． Ｔｒａｎｓｆｏｒｍ）ブロック内のマトリックスＴ^ｔは、逆ＲＳＴマトリックスＴ_ＲｘＮ ^Ｔを意味することができる（上添字Ｔはトランスポーズを意味する）。図６の（ｂ）のように、対象ブロックに対する変換係数に対して逆ＲＳＴマトリックスＴ_ＲｘＮ ^Ｔが掛けられる場合、対象ブロックに対する修正された変換係数又は対象ブロックに対するレジデュアルサンプルが導出できる。逆ＲＳＴマトリックスＴ_ＲｘＮ ^Ｔは、（Ｔ_ＲｘＮ）^Ｔ _ＮｘＲで表現してもよい。

より具体的に、２次逆変換として逆ＲＳＴが適用される場合には、対象ブロックに対する変換係数に対して逆ＲＳＴマトリックスＴ_ＲｘＮ ^Ｔが掛けられると、対象ブロックに対する修正された変換係数が導出できる。一方、逆１次変換として逆ＲＳＴが適用されることができ、この場合、対象ブロックに対する変換係数に対して逆ＲＳＴマトリックスＴ_ＲｘＮ ^Ｔが掛けられると、対象ブロックに対するレジデュアルサンプルが導出できる。

一実施例において、逆変換が適用されるブロックのサイズが８ｘ８であり、Ｒ＝１６（即ち、Ｒ／Ｎ＝１６／６４＝１／４の場合）の場合、図６の（ｂ）によるＲＳＴは、下記の数式７のような行列演算で表現され得る。

数式７において、ｃ_１乃至ｃ_１６は、対象ブロックに対する変換係数を示すことができる。数式７の演算結果、対象ブロックに対する修正された変換係数又は対象ブロックに対するレジデュアルサンプルを示すｒ_ｊが導出でき、ｒ_ｊの導出過程は数式８と通りである。

数式８の演算結果、対象ブロックに対する修正された変換係数又は対象ブロックに対するレジデュアルサンプルを示すｒ_１乃至ｒ_Ｎが導出できる。逆変換マトリックスのサイズの観点から見ると、通常の逆変換マトリックスのサイズは、６４ｘ６４（ＮｘＮ）であるが、簡素化逆変換マトリックスのサイズは６４ｘ１６（ＮｘＲ）と減少するので、通常の逆変換を行うときと比較すると、逆ＲＳＴを行う際にメモリの使用をＲ／Ｎの割合で減少させることができる。また、通常の逆変換マトリックスを用いる際の乗算演算の数ＮｘＮと比較すると、簡素化逆変換マトリックスを用いると、乗算演算の数をＲ／Ｎの割合で減少（ＮｘＲ）させることができる。

一方、８ｘ８のＲＳＴについても、表２のような変換セットの構成を適用することができる。即ち、表２での変換セットによって、該当８ｘ８のＲＳＴが適用できる。一つの変換セットは、画面内の予測モードによって２つ又は３つの変換 （カーネル）で構成されているので、２次変換を適用しない場合まで含んで最大４つの変換のうち１つを選択するように構成されることができる。２次変換を適用しない際の変換は、恒等行列が適用されたものとみなされ得る。４つの変換に対して、各々０、１、２、３のインデックスを付与するとしたとき（例えば、０番のインデックスを恒等行列、即ち、２次変換を適用しない場合と割り当てることができる）、ＮＳＳＴのインデックスというシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を変換係数ブロック毎にシグナリングして適用される変換を指定することができる。即ち、ＮＳＳＴのインデックスを介して８ｘ８の左上段ブロックに対して、８ｘ８のＮＳＳＴを指定することができ、ＲＳＴ構成では８ｘ８のＲＳＴを指定することができる。８ｘ８のＮＳＳＴ及び８ｘ８のＲＳＴは、変換の対象になる対象ブロックのＷとＨが両方とも８よりも等しいか大きいとき、該当変換係数ブロックの内部に含まれた８ｘ８の領域に適用されることができる変換を指し、該当８ｘ８の領域は、該当変換係数ブロックの内部の左上段８ｘ８の領域であり得る。同様に、４ｘ４のＮＳＳＴ及び４ｘ４のＲＳＴは、対象ブロックのＷとＨが両方とも４よりも等しいか大きいとき、該当変換係数ブロックの内部に含まれた４ｘ４の領域に適用されることができる変換を指し、該当４ｘ４の領域は、該当変換係数ブロックの内部の左上段４ｘ４の領域であり得る。

一方、数式４のような（順方向）８ｘ８のＲＳＴを適用することになると、１６個の有効な変換係数が生成されるので、８ｘ８の領域を構成する６４個の入力データが１６個の出力データに縮小すると見ることができ、２次元領域の観点からみると、１／４だけの領域にのみ有効な変換係数が埋められることになる。従って、順方向の８ｘ８のＲＳＴを適用して得た１６個の出力データを図７のようにブロックの左上段領域（１番から１６番の変換係数）に埋めることができる。

図７は、本文書の一実施例による変換係数のスキャニング順序を示した図である。前述したように、順方向のスキャン順序が１番から始まると、逆方向のスキャニングは、順方向のスキャン順序上に６４番目から１７番目まで図７に示された矢印方向及び順序で行われることができる。

図７では、左上段４ｘ４の領域が有効な変換係数が満たされるＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域であり、残りの領域は空けられることになる。空けられた領域には０値がデフォールトとして埋められ得る。

即ち、順方向の変換行列の形態が１６ｘ６４である８ｘ８のＲＳＴを８ｘ８の領域に対して適用したとき、出力変換係数は左上段４ｘ４の領域に配置され、出力変換係数が存在しない領域は、図７でのスキャン順序に従って（６４番目から１７番目まで）０に埋められ得る。

もし、図７のＲＯＩ領域以外に０ではない有効な変換係数が見つかったとすれば、８ｘ８のＲＳＴが適用されないことが確実であるので、該当ＮＳＳＴのインデックスコーディングが省略され得る。逆に、図７のＲＯＩ領域以外に０ではない変換係数が見つからなければ（例えば、８ｘ８のＲＳＴが適用される場合、ＲＯＩ以外の領域への変換係数を０に設定したとき）、８ｘ８のＲＳＴが適用されている可能性があるので、ＮＳＳＴのインデックスをコーディングすることができる。このような条件的ＮＳＳＴのインデックスコーディングは、０ではない変換係数の存在有無をチェックしなければならないので、レジデュアルコーディング（ｒｅｓｉｄｕａｌ ｃｏｄｉｎｇ）過程以降に行われることができる。

本文書は、本実施例で記述したＲＳＴ構造から４ｘ４ブロックに適用されることができるＲＳＴの設計、及び関連の最適化方法を扱っている。当然に一部概念については、４ｘ４のＲＳＴだけでなく、８ｘ８のＲＳＴ又は他の形態の変換にも適用されることができる。

図８は、本文書の一実施例による逆ＲＳＴ過程を示すフローチャートである。

図８に開示された各ステップは、図３に開示されたデコーディング装置３００により行われることができる。より具体的に、Ｓ８００は、図３に開示された逆量子化部３２１により行われことができ、Ｓ８１０及びＳ８２０は、図３に開示された逆変換部３２２により行われることができる。従って、図３で前述した内容と重複する具体的な内容は説明を省略するか、簡単にすることとする。一方、本文書において、ＲＳＴは順方向による変換に適用されるものであり、逆ＲＳＴはインバース方向に適用される変換を意味することができる。

一実施例において、逆ＲＳＴによる細部動作は、ＲＳＴによる細部動作と順序が正反対であるだけであり、ＲＳＴによる細部動作と逆ＲＳＴによる細部動作は、実質的に類似することがある。従って、当該技術分野における通常の技術者は、以下で説明される逆ＲＳＴに対するＳ８００乃至Ｓ８２０の説明が、ＲＳＴにも同一又は類似するように適用できることを容易に理解できる。

一実施例によるデコーディング装置３００は、対象ブロックに対する量子化された変換係数に対して逆量子化を行い、変換係数を導出することができる（Ｓ８００）。

一方、デコーディング装置３００は、逆１次変換後、逆２次変換前に逆２次変換の適用可否を決定することができる。例えば、逆２次変換は、ＮＳＳＴ又はＲＳＴであり得る。一例として、デコーディング装置はビットストリームからパーシングした２次変換のフラグに基づいて、逆２次変換の適用可否を決定することができる。別の一例として、デコーディング装置は、レジデュアルブロックの変換係数に基づいて逆２次変換の適用可否を決定することもできる。

また、デコーディング装置３００は逆２次変換を決定することができる。このとき、デコーディング装置３００は、イントラ予測モードによって指定されたＮＳＳＴ（又は ＲＳＴ）変換セットに基づいて、現在ブロックに適用される逆２次変換を決定することができる。さらに、一実施例として、１次変換決定方法に依存して２次変換決定方法が決定できる。例えば、１次変換で変換カーネルとしてＤＣＴ－２が適用される場合にのみ、ＲＳＴ又はＬＦＮＳＴが適用されると決定できる。又は、イントラ予測モードによって１次変換と２次変換の多様な種々の組み合わせが決定できる。

また、一例として、デコーディング装置３００は逆２次変換を決定するステップに先だって、現在ブロックの大きさに基づいて、逆２次変換が適用される領域を決定することもできる。

一実施例によるデコーディング装置３００は、変換カーネル（ｔｒａｎｓｆｏｒｍ ｋｅｒｎｅｌ）を選択することができる（Ｓ８１０）。より具体的に、デコーディング装置３００は、変換インデックス、変換が適用される領域の幅（ｗｉｄｔｈ）及び高さ（ｈｅｉｇｈｔ）、映像デコーディングで用いられるイントラ予測モード及び対象ブロックの色成分（ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）に対する情報の少なくとも一つに基づいて変換カーネルを選択することができる。但し、実施例はこれに限定されず、例えば、変換カーネルは既定義されたものであって、変換カーネルを選択するための別途の情報がシグナリングされないこともある。

一例示において、対象ブロックの色成分に対する情報はＣＩｄｘを介して指示されることができる。対象ブロックがルマ（ｌｕｍａ）ブロックである場合、ＣＩｄｘは０を指示することができ、対象ブロックがクロマ（ｃｈｒｏｍａ）ブロック、例えば、Ｃｂブロック又はＣｒブロックである場合、ＣＩｄｘは０ではない値（例えば、１）を指示することができる。

一実施例によるデコーディング装置３００は、選択された変換カーネル及び簡素化ファクター（ｒｅｄｕｃｅｄ ｆａｃｔｏｒ）に基づいて、変換係数に対して逆ＲＳＴを適用することができる（Ｓ８２０）。

以下では、本文書の一実施例によって、イントラ予測モードとブロックの大きさを考慮し、２次ＮＳＳＴセット、即ち、２次変換セット又は変換セットを決定する方法を提案する。

一実施例として、前述したイントラ予測モードに基づいて、現在の変換ブロックに対するセットを構成することによって、変換ブロックに多様な大きさの変換カーネルで構成された変換セットを適用することができる。表３の変換セットを０から３で表示すると表４の通りである。

表３で示されているインデックス０、２、１８、３４は、表４の０、１、２、３にそれぞれ対応する。表３及び表４には、変換セットは３５個の変換セットではなく、ただ４個の変換セットのみが使用され、これによってメモリ空間が顕著に減り得る。

また、各変換セットに含まれ得る変換カーネルマトリックスの多様な数は、下記表のように設定できる。

表５は、各変換セットに対して２つの利用可能な（ａｖａｉｌａｂｌｅ）変換カーネルが使用され、これによって、変換インデックスは０から２までの範囲を有することになる。

表６によると、変換セット０、即ち、イントラ予測モードのうち、ＤＣモードとプラナーモードに対する変換セットに対しては２つの利用可能な変換カーネルが使用され、残りの変換セットに対してはそれぞれ１つの変換カーネルが使用される。このとき、変換セット１に対する利用可能な変換インデックスは０から２となり、残りの変換セット１乃至３に対する変換インデックスは０から１となる。

表７では、各変換セットに対して１つの利用可能な（ａｖａｉｌａｂｌｅ）変換カーネルが使用され、これによって、変換インデックスは０から１までの範囲を有することになる。

一方、前記表３の変換セットのマッピングでは、全て４つの変換セットが使用でき、４つの変換セットは、０、１、２、３のインデックスに区分されるように表４のように再配列できる。下記の表８及び表９は、２次変換に使用できる４つの変換セットを例示的に示しており、表８は、８ｘ８ブロックに適用できる変換カーネルマトリックス、表９は、４ｘ４ブロックに適用できる変換カーネルマトリックスを提示している。表８及び表９は、変換セット当たり２個の変換カーネルマトリックスで構成されており、表５のように全てのイントラ予測モードに対して２つずつの変換カーネルマトリックスを適用できる。

表８に提示された変換カーネルマトリックスの例示は、すべて１２８がスケーリング値と掛けられた変換カーネルマトリックスである。表８のマトリックス配列で登場するｇ＿ａｉＮｓｓｔ８ｘ８［Ｎ１］［Ｎ２］［１６］［６４］アレイで、Ｎ１は、変換セットの数を示し（Ｎ１は、４又は３５、インデックス０、１、…、Ｎ１－１に区分）、Ｎ２は、各変換セットを構成する変換カーネルマトリックスの数を示し（１又は２）、［１６］［６４］は１６ｘ６４ Ｒｅｄｕｃｅｄ Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ（ＲＳＴ）を示す。

表３及び表４のように、ある変換セットが１個の変換カーネルマトリックスで構成される場合、表８で、該当変換セットに対して１番目又は２番目の変換カーネルマトリックスのいずれか一つを使用することができる。

該当ＲＳＴを適用すると、１６個の変換係数が出力されるが、１６ｘ６４行列のうち、ｍｘ６４部分のみ適用することになると、ｍ個の変換係数のみ出力されるように構成できる。例えば、ｍ＝８とし、最上から８ｘ６４行列のみを掛けて、８つの変換係数のみ出力する代わりに、計算量は半分に減らすことができる。最悪の場合（Ｗｏｒｓｔ ｃａｓｅ）の計算量を減らすために、８ｘ８の変換ユニット（ＴＵ）に対して、８ｘ６４行列を適用できる。

４ｘ４の領域に適用できる表９に提示された変換カーネルマトリックスの例示は、全て１２８がスケーリング値と掛けられた変換カーネルマトリックスである。表９のマトリックス配列で登場するｇ＿ａｉＮｓｓｔ４ｘ４［Ｎ１］［Ｎ２］［１６］［６４］アレイで、Ｎ１は、ｔｒａｎｓｆｏｒｍ ｓｅｔの数を示し（Ｎ１は、４又は３５、インデックス０、１、…、Ｎ１－１に区分）、Ｎ２は、各変換セットを構成する変換カーネルマトリックスの数を示し（１又は２）、［１６］［１６］は１６ｘ１６の変換を示す。

表３及び表４のように、ある変換セットが１つの変換カーネルマトリックスで構成される場合、表９で、該当変換セットに対して１番目又は２番目の変換カーネルマトリックスのいずれか一つを使用することができる。

８ｘ８のＲＳＴの場合と同様に、１６ｘ１６行列のうち、ｍｘ１６部分のみ使用することになると、ｍ個の変換係数のみ出力されるように構成できる。例えば、ｍ＝８とし、最上から８ｘ１６行列のみを掛けて８つの変換係数のみ出力する代わりに、計算量は半分に減らすことができる。最悪の場合の計算量を減らすために、４ｘ４の変換ユニット（ＴＵ）に対して８ｘ１６行列を適用できる。

基本的に、表９で提示された４ｘ４の領域に適用できる変換カーネルマトリックスは、４ｘ４のＴＵ、４ｘＭのＴＵ、Ｍｘ４のＴＵに対して適用されるか（Ｍ＞４、４ｘＭのＴＵとＭｘ４のＴＵの場合、４ｘ４の領域に分けて各々指定された変換カーネルマトリックスを適用するか、最大の左上段４ｘ８又は８ｘ４の領域に対してのみ適用できる）、左上段４ｘ４の領域に対してのみ適用されることができる。２次変換が左上段４ｘ４の領域に対してのみ適用されるように構成されると、表８に提示された８ｘ８の領域に適用されることができる変換カーネルマトリックスは不要になることがある。

一方、最悪の場合に対する計算量を減らすために、次のような実施例が提案できる。以下で、Ｍ個の行とＮ個の列とで構成された行列をＭｘＮ行列で表示し、ＭｘＮ行列は順方向変換、即ち、エンコーディング装置で変換（ＲＳＴ）を行う際に適用される変換行列を意味する。従って、デコーディング装置で行われる逆変換（逆ＲＳＴ）では、ＭｘＮ行列にトランスポーズを取ったＮｘＭ行列が使用できる。

１）幅がＷであり、高さがＨであるブロック（例えば、変換ユニット）に対してＷ≧８であり、Ｈ≧８である場合は、８ｘ８の領域に適用されることができる変換カーネルマトリックスをブロックの左上段８ｘ８の領域に適用する。Ｗ＝８であり、Ｈ＝８である場合に対しては、１６ｘ６４行列のうち、８ｘ６４部分のみ適用できる。即ち、８つの変換係数が生成できる。

２）幅がＷであり、高さがＨであるブロック（例えば、変換ユニット）に対して、ＷとＨのうち一つが８よりも小さい場合、即ち、ＷとＨのうち一つが４である場合、４ｘ４の領域に適用されることができる変換カーネルマトリックスをブロックの左上段に適用する。Ｗ＝４であり、Ｈ＝４である場合に対しては、１６ｘ１６行列のうち、８ｘ１６部分のみ適用でき、この場合、８つの変換係数が生成される。

もし、（Ｗ，Ｈ）＝（４，８）又は（８，４）である場合、左上段４ｘ４の領域に対してのみ２次変換を適用する。Ｗ又はＨが８よりも大きいと、即ち、Ｗ又はＨが１６よりも等しいか大きく、もう一つは４である場合、左上段の二つの４ｘ４ブロックまでのみ２次変換を適用する。即ち、最大の左上段４ｘ８又は８ｘ４の領域までのみ４ｘ４のブロック２つに分けられて指定された変換カーネルマトリックスが適用できる。

３）幅がＷであり、高さがＨであるブロック（例えば、変換ユニット）に対して、ＷとＨが両方とも４である場合に対しては、２次変換を適用しないことがある。

４）幅がＷであり、高さがＨであるブロック（例えば、変換ユニット）に対して、２次変換を適用して生成される係数の数を変換ユニットの面積（即ち、変換ユニットを構成する全ピクセルの数＝ＷｘＨ）に対して、１／４以下に維持されるように構成できる。例えば、ＷとＨが両方とも４である場合に対しては、４つの変換係数が生成されるように１６ｘ１６行列のうち、最上位４ｘ１６行列を適用できる。

全体の変換ユニット（ＴＵ）のうち、最大の左上段８ｘ８の領域に対してのみ２次変換を適用するとしたとき、４ｘ８の変換ユニット又は８ｘ４の変換ユニットに対しては、８つ以下の係数が生成されなければならないので、左上段４ｘ４の領域に対して、１６ｘ１６行列のうち、最上位の８ｘ１６行列を適用するように構成できる。８ｘ８の変換ユニットに対しては、最大１６ｘ６４行列まで適用でき（１６個まで係数生成可能）、４ｘＮ又はＮｘ４（Ｎ≧１６）の変換ユニットに対しては、左上段の４ｘ４ブロックに対して１６ｘ１６行列を適用するか、左上段に位置した２つの４ｘ４ブロックに対して１６ｘ１６行列のうち、最上位の８ｘ１６行列を適用することができる。同様の方式で４ｘ８の変換ユニット又は８ｘ４の変換ユニットに対しては、左上段に位置した２つの４ｘ４ブロックに対して１６ｘ１６行列のうち、最上位の４ｘ１６行列をそれぞれ適用し、全て８つの変換係数を生成することができる。

５）４ｘ４の領域に適用される２次変換の最大サイズを８ｘ１６に制限できる。この場合、４ｘ４の領域に適用される変換カーネルマトリックスを保存するのに必要なメモリの量を１６ｘ１６行列に比べて半分に減らすことができる。

例えば、表９に提示された全ての変換カーネルマトリックスに対して、各々１６ｘ１６行列のうち最上位の８ｘ１６行列のみを抽出し、最大サイズを８ｘ１６に制限でき、実際の映像コーディングシステムで変換カーネルマトリックスの該当８ｘ１６行列のみ保存するように実現できる。

最大に適用可能な変換のサイズが８ｘ１６であり、係数一つを生成するのに必要な最大の掛け算の数を８に制限すれば、４ｘ４ブロックの場合、最大８ｘ１６行列を適用でき、４ｘＮブロックやＮｘ４ブロックに対しては、（Ｎ≧８、Ｎ＝２^ｎ、ｎ≧３）内部を構成する最大の左上段２つの４ｘ４ブロックに対して、それぞれ最大８ｘ１６行列を適用できる。例えば、４ｘＮブロックやＮｘ４ブロックに対しては、（Ｎ≧８、Ｎ＝２^ｎ、ｎ≧３）、左上段１つの４ｘ４ブロックに対して８ｘ１６行列を保存することができる。

一実施例によって、ルマ成分に適用する２次変換を指定するインデックスをコーディングするとき、より具体的に、一つの変換セットが２つの変換カーネルマトリックスで構成された場合、２次変換を適用するか否かと、適用する場合、どの変換カーネルマトリックスを適用するかを指定しなければならない。例えば、２次変換を適用しない場合には、変換インデックスを０にコーディングし、適用する場合には、２つの変換セットに対する変換インデックスをそれぞれ１と２にコーディングできる。

この場合、変換インデックスをコーディングするときは、トランケーテッドユーナリ（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ）コーディングを使用することができ、例えば、変換インデックス０、１、２にそれぞれ０、１０、１１の二進コード（ｂｉｎａｒｙ ｃｏｄｅ）を割り当ててコーディングできる。

また、トランケーテッドユーナリ方式でコーディングされる場合、各ビン毎に異なるＣＡＢＡＣコンテキストを付与することができ、前述した例示によって変換インデックス０、１０、１１をコーディングするとき、２個のＣＡＢＡＣコンテキストを使用することができる。

一方、色差成分に適用する２次変換を指定する変換インデックスをコーディングするとき、より具体的に、一つの変換セットが２つの変換カーネルマトリックスで構成された場合、ルマ成分に対する２次変換に対する変換インデックスをコーディングするときと同様に２次変換を適用するか否かと、適用する場合、どの変換カーネルマトリックスを適用するかを指定しなければならない。例えば、２次変換を適用しない場合には、変換インデックスを０にコーディングし、適用する場合には、２つの変換セットに対する変換インデックスをそれぞれ１と２にコーディングできる。

この場合、変換インデックスをコーディングするときは、トランケーテッドユーナリ（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ）コーディングを使用することができ、例えば、変換インデックス０、１、２にそれぞれ０、１０、１１の二進コード（ｂｉｎａｒｙ ｃｏｄｅ）を割り当ててコーディングできる。

また、トランケーテッドユーナリ方式でコーディングされる場合、各ビン毎に異なるＣＡＢＡＣコンテキストを付与することができ、前述した例示によって、変換インデックス０、１０、１１をコーディングするとき、２つのＣＡＢＡＣコンテキストを使用することができる。

また、一実施例によって、クロマイントラ予測モードによって異なるＣＡＢＡＣコンテキストセットを割り当てることができる。例えば、プラナーモード又はＤＣモードの場合のような非方向モードと、その他の方向性モードの場合に区分する場合（即ち、二つのグループに区分する場合）、前述した例示のように、０、１０、１１をコーディングするとき、グループ別に（２個のコンテキストで構成された）該当ＣＡＢＡＣコンテキストセットを割り当てることができる。

このように、クロマイントラ予測モードを幾つかのグループに分割し、該当ＣＡＢＡＣコンテキストセットを割り当てる場合、２次変換に対する変換インデックスコーディングの前にクロマイントラ予測モード値を見つけ出すべきである。しかし、クロマダイレクトモード（Ｃｈｒｏｍａ ｄｉｒｅｃｔ ｍｏｄｅ、ＤＭ）の場合、ルマイントラ予測モード値をそのまま使用するので、ルマ成分に対するイントラ予測モード値も見つけ出すべきである。従って、色差成分に対する情報をコーディングするとき、ルマ成分の情報に対するデータ依存性（ｄａｔａ ｄｅｐｅｎｄｅｎｃｙ）が発生し得るので、クロマＤＭモードである場合、イントラ予測モードに対する情報なく２次変換に対する変換インデックスコーディングを行うとき、ある特定のグループにマッピングし、前述したデータ依存性を除去することができる。例えば、クロマイントラ予測モードがクロマＤＭモードであると、プラナーモード又はＤＣモードであるとみなし、該当ＣＡＢＡＣコンテキストセットを使用し、該当変換インデックスコーディングを行うか、それともその他の方向性モードであるとみなし、該当ＣＡＢＡＣコンテキストセットを適用することができる。

図９は、本文書の一実施例によるビデオデコーディング装置の動作を示すフローチャートである。

図９に開示された各ステップは、図３に開示されたデコーディング装置３００により行われることができる。より具体的に、Ｓ９１０は、図３に開示されたエントロピーデコーディング部３１０により行われることができ、Ｓ９２０は、図３に開示された逆量子化部３２１により行われることができ、Ｓ９３０及びＳ９４０は、図３に開示された逆変換部３２２により行われることができ、Ｓ９５０は、図３に開示された加算部３４０により行われることができる。また、Ｓ９１０乃至Ｓ９５０による動作は、図４乃至図８で前述した内容のうち一部に基づいたものである。従って、図３乃至図８で前述した内容と重複する具体的な内容は、説明を省略するか、簡単にすることとする。

一実施例によるデコーディング装置３００は、ビットストリームから対象ブロックに対する量子化された変換係数を導出することができる（Ｓ９１０）。より具体的に、デコーディング装置３００は、ビットストリームから対象ブロックに対する量子化された変換係数に関する情報をデコーディングすることができ、対象ブロックに対する量子化された変換係数に関する情報に基づいて、対象ブロックに対する量子化された変換係数を導出することができる。対象ブロックに対する量子化された変換係数に関する情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）又はスライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）に含まれることができ、簡素化変換（ＲＳＴ）が適用されるか否かに対する情報、簡素化ファクターに関する情報、簡素化変換を適用する最小の変換サイズに対する情報、簡素化変換を適用する最大の変換サイズに対する情報、簡素化逆変換サイズ、変換セットに含まれた変換カーネルマトリックスのいずれか一つを指示する変換インデックスに対する情報の少なくとも一つを含むことができる。

一実施例によるデコーディング装置３００は、対象ブロックに対する量子化された変換係数に対して、逆量子化を行って変換係数を導出することができる（Ｓ９２０）。

一実施例によるデコーディング装置３００は、変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて、修正された変換係数を導出することができる（Ｓ９３０）。

一例示において、逆ＲＳＴは、逆ＲＳＴマトリックスに基づいて行われることができ、逆ＲＳＴマトリックスは、列の数が行の数よりも少ない非正方形マトリックスであり得る。

一実施例において、Ｓ９３０は変換インデックスをデコーディングするステップ、変換インデックスに基づいて逆ＲＳＴを適用する条件に該当するか否かを判断するステップ、変換カーネルマトリックスを選択するステップ、及び逆ＲＳＴを適用する条件に該当する場合、選択された変換カーネルマトリックス及び／又は簡素化ファクターに基づいて、変換係数に対して逆ＲＳＴを適用するステップを含むことができる。このとき、簡素化逆変換マトリックスのサイズは、簡素化ファクターに基づいて決定できる。

一実施例によるデコーディング装置３００は、修正された変換係数に対する逆変換に基づいて、対象ブロックに対するレジデュアルサンプルを導出することができる（Ｓ９４０）。

デコーディング装置３００は、対象ブロックに対する修正された変換係数に対して逆１次変換を行うことができ、このとき、逆１次変換は、簡素化逆変換が適用されることもあり、通常の分離変換が使用されることもある。

一実施例によるデコーディング装置３００は、対象ブロックに対するレジデュアルサンプル、及び対象ブロックに対する予測サンプルに基づいて復元サンプルを生成することができる（Ｓ９５０）。

Ｓ９３０を参照すると、対象ブロックに対する変換係数に対する逆ＲＳＴに基づいて、対象ブロックに対するレジデュアルサンプルが導出されることを確認することができる。逆変換マトリックスのサイズの観点から検討すると、通常の逆変換マトリックスのサイズはＮｘＮであるが、逆ＲＳＴマトリックスのサイズはＮｘＲと減少するので、通常の変換を行うときと比較すると、逆ＲＳＴを行う際にメモリの使用をＲ／Ｎの割合で減少させることができる。また、通常の逆変換マトリックスを用いるときの乗算演算の数ＮｘＮと比較すると、逆ＲＳＴマトリックスを用いると、乗算演算の数をＲ／Ｎの割合で減少（ＮｘＲ）させることができる。また、逆ＲＳＴを適用するとき、Ｒ個の変換係数のみをデコーディングすればよいので、通常の逆変換が適用されるとき、Ｎ個の変換係数をデコーディングしなければならないことと比較すると、対象ブロックに対する変換係数の総数がＮ個からＲ個に減少し、デコーディング効率が増加することができる。まとめると、Ｓ９３０によれば、逆ＲＳＴを介してデコーディング装置３００の（逆）変換効率及びデコーディング効率が増加することができる。

図１０は、本文書の一実施例による逆ＲＳＴを説明するための制御フローチャートである。

デコーディング装置３００は、ビットストリームから変換インデックス及びイントラ予測モードに対する情報を受信する（Ｓ１０００）。

このような情報はシンタックス情報として受信され、シンタックス情報は０と１とを含む二進化したビンストリングとして受信される。

一方、エントロピーデコーディング部３１０は、変換インデックスのシンタックス要素に対する二進化情報を導出することができる。

これは、受信された変換インデックスのシンタックス要素が有し得る二進化値に対する候補セットを生成するもので、本実施例に従う場合、変換インデックスのシンタックス要素は、トランケーテッドユーナリコード方式で二進化できる。

本実施例による変換インデックスのシンタックス要素は、逆ＲＳＴが適用されるか否か、及び変換セットに含まれた変換カーネルマトリックスのいずれか一つを指示することができ、変換セットが２つの変換カーネルマトリックスを含む場合、変換インデックスのシンタックス要素の値は３つであり得る。

即ち、一実施例によって、変換インデックスに対するシンタックス要素値は、対象ブロックに逆ＲＳＴが適用されない場合を指示する０、変換カーネルマトリックスのうち、１番目の変換カーネルマトリックスを指示する１、変換カーネルマトリックス のうち、２番目の変換カーネルマトリックスを指示する２を含むことができる。

この場合、３つの変換インデックスに対するシンタックス要素値は、トランケーテッドユーナリコード方式によって、０、１０、１１でコーディングされることができる。即ち、シンタックス要素に対する値０は「０」で、シンタックス要素に対する値１は「１０」で、シンタックス要素に対する値２は「１１」で二進化することができる。

エントロピーデコーディング部３１０は、変換インデックスのビンストリングに対するコンテキスト情報、即ち、コンテキストモデルを導出し（Ｓ１０１０）、コンテキスト情報に基づいて、シンタックス要素のビンストリングのビンをデコーディングできる（Ｓ１０２０）。

まとめると、エントロピーデコーディング部３１０は、トランケーテッドユーナリコード方式で二進化したビンストリングを受信し、該当二進化値に対する候補セットを通じて、変換インデックスのシンタックス要素をデコーディングする。

本実施例によれば、変換インデックスの２つのビンに対して、それぞれ互いに異なるコンテキスト情報、即ち、確率モデルが適用できる。即ち、変換インデックスの２つのビンは、いずれもバイパス方式ではなく、コンテキスト方式でデコーディングされることができ、変換インデックスに対するシンタックス要素のビンのうち、１番目のビンは、第１コンテキスト情報に基づいてデコーディングされ、変換インデックスに対するシンタックス要素のビンのうち、２番目のビンは、第２コンテキスト情報に基づいてデコーディングされることができる。

このようなコンテキスト情報ベースデコーディングにより変換インデックスのシンタックス要素が有し得る二進化値のうち、対象ブロックに適用される変換インデックスに対するシンタックス要素の値が導出できる（Ｓ１０３０）。

即ち、変換インデックス０、１、２のいずれか一つが現在の対象ブロックに適用されるか導出されることができる。

デコーディング装置３００の逆変換部３３２は、対象ブロックに適用されるイントラ予測モードによるマッピング関係に基づいて変換セットを決定し（Ｓ１０４０）、変換セット及び変換インデックスに対するシンタックス要素の値に基づいて逆ＲＳＴを行うことができる（Ｓ１０５０）。

前述したように、変換の対象になる変換ブロックのイントラ予測モードによって複数の変換セットが決定でき、逆ＲＳＴは、変換インデックスにより指示される変換セットに含まれている変換カーネルマトリックスのいずれか一つに基づいて行われることができる。

図１１は、本文書の一実施例によるビデオエンコーディング装置の動作を示すフローチャートである。

図１１に開示された各ステップは、図２に開示されたエンコーディング装置２００により行われることができる。より具体的に、Ｓ１１１０は、図２に開示された予測部２２０により行われることができ、Ｓ１１２０は、図２に開示された減算部２３１により行われることができ、Ｓ１１３０及びＳ１１４０は、図２に開示された変換部２３２により行われることができ、Ｓ１１５０は、図２に開示された量子化部２３３及びエントロピーエンコーディング部２４０により行われることができる。また、Ｓ１１１０乃至Ｓ１１５０による動作は、図４乃至図８で前述した内容のうち一部に基づいたものである。従って、図２及び図４乃至図８で前述した内容と重複する具体的な内容は説明を省略するか、簡単にすることとする。

一実施例によるエンコーディング装置２００は、対象ブロックに適用されるイントラ予測モードに基づいて予測サンプルを導出することができる（Ｓ１１１０）。

一実施例によるエンコーディング装置２００は、対象ブロックに対するレジデュアルサンプルを導出することができる（Ｓ１１２０）。

一実施例によるエンコーディング装置２００は、レジデュアルサンプルに対する１次変換に基づいて前記対象ブロックに対する変換係数を導出することができる（Ｓ１１３０）。１次変換は、複数の変換カーネルを通じて行われることができ、この場合、イントラ予測モードに基づいて変換カーネルが選択できる。

デコーディング装置３００は、対象ブロックに対する変換係数に対して２次変換、具体的にＮＳＳＴを行うことができ、このとき、ＮＳＳＴは、簡素化変換（ＲＳＴ）に基づいて行われるか、ＲＳＴに基づくことなく行われることができる。ＮＳＳＴがＲＳＴに基づいて行われると、Ｓ１１４０による動作と対応し得る。

一実施例によるエンコーディング装置２００は、変換係数に対するＲＳＴに基づいて対象ブロックに対する修正された変換係数を導出することができる（Ｓ１１４０）。 一例示において、ＲＳＴは、簡素化変換マトリックス又は変換カーネルマトリックスに基づいて行われることができ、簡素化変換マトリックスは、行の数が列の数よりも少ない非正方形マトリックスであり得る。

一実施例において、Ｓ１１４０はＲＳＴを適用する条件に該当するか否かを判断するステップ、前記判断に基づいて変換インデックスを生成及びエンコーディングするステップ、変換カーネルマトリックスを選択するステップ、並びにＲＳＴを適用する条件に該当する場合、選択された変換カーネルマトリックス及び／又は簡素化ファクターに基づいて、レジデュアルサンプルに対してＲＳＴを適用するステップを含むことができる。このとき、簡素化変換カーネルマトリックスのサイズは、簡素化ファクターに基づいて決定できる。

一実施例によるエンコーディング装置２００は、対象ブロックに対する修正された変換係数に基づいて量子化を行い、量子化された変換係数を導出し、量子化された変換係数に関する情報をエンコーディングすることができる（Ｓ１１６０）。

より具体的に、エンコーディング装置２００は、量子化された変換係数に関する情報を生成し、生成された量子化された変換係数に関する情報をエンコーディングすることができる。

一例示において、量子化された変換係数に関する情報は、ＲＳＴが適用されるか否かに対する情報、簡素化ファクターに関する情報、ＲＳＴを適用する最小の変換サイズに対する情報、及びＲＳＴを適用する最大の変換サイズに対する情報の少なくとも一つを含むことができる。

Ｓ１１４０を参照すると、レジデュアルサンプルに対するＲＳＴに基づいて対象ブロックに対する変換係数が導出されることを確認することができる。変換カーネルマトリックスのサイズの観点から検討すると、通常の変換カーネルマトリックスのサイズはＮｘＮであるが、簡素化変換マトリックスのサイズはＲｘＮに減少するので、通常の変換を行うときと比較すると、ＲＳＴを行う際にメモリの使用をＲ／Ｎの割合で減少させることができる。また、通常の変換カーネルマトリックスを用いる際の乗算演算の数ＮｘＮと比較すると、簡素化変換カーネルマトリックスを用いると、乗算演算の数をＲ／Ｎの割合で減少（ＲｘＮ）させることができる。さらに、ＲＳＴが適用されるとＲ個の変換係数のみが導出されるので、通常の変換が適用されるとき、Ｎ個の変換係数が導出されることと比較すると、対象ブロックに対する変換係数の総数がＮ個からＲ個に減少し、エンコーディング装置２００がデコーディング装置３００へ送信するデータの量が減少することができる。まとめると、Ｓ１１４０によると、ＲＳＴを介してエンコーディング装置２００の変換効率及びコーディング効率が増加することができる。

図１２は、本文書の一実施例によるＲＳＴを説明するための制御フローチャートである。

まず、エンコーディング装置２００は、対象ブロックに適用されるイントラ予測モードによるマッピング関係に基づいて変換セットを決定することができる（Ｓ１２００）。

その後、変換部２３２は、変換セットに含まれた変換カーネルマトリックスのいずれか一つに基づいてＲＳＴを行うことによって、変換係数を導出することができる（Ｓ１２１０）。

本実施例において、変換係数は、１次変換後に２次変換が行われた修正された変換係数であり、変換セットそれぞれには２つの変換カーネルマトリックスが含まれ得る。

このようにＲＳＴが行われると、ＲＳＴに対する情報がエントロピーエンコーディング部２４０でエンコーディングされることができる。

まず、エントロピーエンコーディング部２４０は、変換セットに含まれた変換カーネルマトリックスのいずれか一つを指示する変換インデックスに対するシンタックス要素値を導出することができる（Ｓ１２２０）。

本実施例による変換インデックスのシンタックス要素は、（逆）ＲＳＴが適用されるか否か、及び変換セットに含まれた変換カーネルマトリックスのいずれか一つを指示することができ、変換セットが２つの変換カーネルマトリックスを含む場合、変換インデックスのシンタックス要素の値は３つであり得る。

一実施例によって、変換インデックスに対するシンタックス要素値は、対象ブロックに（逆）ＲＳＴが適用されない場合を指示する０、変換カーネルマトリックスのうち、１番目の変換カーネルマトリックスを指示する１、変換カーネルマトリックスのうち、２番目の変換カーネルマトリックスを指示する２として導出されることができる。

その後、エントロピーエンコーディング部２４０は、導出された変換インデックスに対するシンタックス要素値を二進化することができる（Ｓ１２３０）。

エントロピーエンコーディング部２４０は、３つの変換インデックスに対するシンタックス要素値をトランケーテッドユーナリコード方式によって、０、１０、１１で二進化できる。即ち、シンタックス要素に対する値０は「０」で、シンタックス要素に対する値１は「１０」で、シンタックス要素に対する値２は「１１」で二進化でき、エントロピーエンコーディング部２４０は、導出された変換インデックスに対するシンタックス要素に対して、「０」、「１０」、及び「１１」のいずれか一つで二進化できる。

エントロピーエンコーディング部２４０は、変換インデックスのビンストリングに対するコンテキスト情報、即ち、コンテキストモデルを導出し（Ｓ１２４０）、コンテキスト情報に基づいてシンタックス要素のビンストリングのビンをエンコーディングすることができる（Ｓ１２５０）。

本実施例によれば、変換インデックスの２つのビンに対して、それぞれ互いに異なるコンテキスト情報が適用できる。即ち、変換インデックスの２つのビンは、すべてバイパス方式ではないコンテキスト方式でエンコーディングされることができ、変換インデックスに対するシンタックス要素のビンのうち、１番目のビンは第１コンテキスト情報に基づいてエンコーディングされ、変換インデックスに対するシンタックス要素のビンのうち、２番目のビンは第２コンテキスト情報に基づいてエンコーディングされることができる。

エンコーディングされたシンタックス要素のビンストリングは、ビットストリームの形態でデコーディング装置３００又は外部に出力されることができる。

前述した実施例において、方法は一連のステップ又はブロックとしてフローチャートに基づいて説明されているが、本文書は、ステップの順序に限定されるわけではなく、あるステップは、前述したところと異なるステップと異なる順序で、又は同時に発生し得る。また、当業者であれば、フローチャートに示しているステップが排他的ではなく、他のステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本文書の範囲に影響を与えずに削除され得ることを理解できるはずだ。

前述した本文書による方法は、ソフトウェアの形態で実現され得、本文書にかかるエンコーディング装置及び／又はデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置等の映像処理を行う装置に含まれ得る。

本文書で実施例がソフトウェアで実現される際、前述した方法は、前述した機能を行うモジュール（過程、機能等）で実現され得る。モジュールはメモリに保存され、プロセッサにより実行され得る。メモリはプロセッサの内部又は外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、保存媒体及び／又は他の保存装置を含むことができる。即ち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラ、又はチップ上で実現されて行われることができる。例えば、各図で示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ、又はチップ上で実現されて行われることができる。

また、本文書が適用されるデコーディング装置及びエンコーディング装置は、マルチメディア放送の送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイムの通信装置、モバイルストリーミング装置、保存媒体、カムコーダ、オーダーメイドビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、映像電話ビデオ装置、及び医療用ビデオ装置などに含まれ得、ビデオ信号又はデータ信号を処理するために使用され得る。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含み得る。

また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取られる記録媒体に保存されることができる。本発明によるデータ構造を有するマルチメディアデータもまた、コンピュータが読み取られる記録媒体に保存されることができる。前記コンピュータが読み取られる記録媒体は、コンピュータで読み取られるデータが保存される全ての種類の保存装置及び分散保存装置を含む。前記コンピュータが読み取られる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピディスク、及び光学的データ保存装置を含み得る。また、前記コンピュータが読み取られる記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で実現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームが、コンピュータが読み取られる記録媒体に保存されるか、有無線通信ネットワークを介して送信されることができる。また、本文書の実施例は、プログラムコードによるコンピュータプログラム製品で実現されることができ、前記プログラムコードは、本文書の実施例によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に保存されることができる。

図１３は、本文書が適用されるコンテンツストリーミングシステムの構造度を例示的に示す。

また、本文書が適用されるコンテンツストリーミングシステムは、大きくエンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディアストレージ、ユーザ装置、及びマルチメディア入力装置を含むことができる。

前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダ等のようなマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。別の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは省略され得る。前記ビットストリームは、本文書が適用されるエンコーディング方法又はビットストリームの生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信又は受信する過程で、一時的に前記ビットストリームを保存することができる。

前記ストリーミングサーバは、ウェブサーバを介したユーザの要請に基づいて、マルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのサービスがあるかを知らせる媒介体の役割をする。ユーザが前記ウェブサーバに希望するサービスを要請すると、前記ウェブサーバはこれをストリーミングサーバに伝達し、前記ストリーミングサーバはユーザにマルチメディアデータを送信する。この際、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。

前記ストリーミングサーバは、メディアストレージ及び／又はエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信することになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間で保存することができる。

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ラップトップパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、ガラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージ等があり得る。前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。

Claims (11)

1. デコーディング装置により行われる映像デコーディング方法において、
   ビットストリームから対象ブロックに対する量子化された変換係数を導出するステップと、
   前記対象ブロックに対する量子化された変換係数に基づいて、逆量子化を介して変換係数を導出するステップと、
   前記変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて、修正された変換係数を導出するステップと、
   前記修正された変換係数に対する逆１次変換に基づいて、前記対象ブロックに対するレジデュアルサンプルを導出するステップと、
   前記対象ブロックに対するレジデュアルサンプルに基づいて、復元ピクチャを生成するステップとを含み、
   前記逆ＲＳＴは、左上段（top-left）領域に対する前記変換係数に基づいて前記対象ブロックの予め決定した前記左上段領域に対する変換係数より小さい変換係数の数を導出する変換の逆変換であり、
   前記逆ＲＳＴは、前記対象ブロックに適用されるイントラ予測モードによるマッピング関係に基づいて決定される変換セット、及び前記変換セットそれぞれに含まれる２つの変換カーネルマトリックスのうちから選択された変換カーネルマトリックスに基づいて行われ、
   前記逆ＲＳＴは、前記逆ＲＳＴが適用されるか否か、及び前記変換セットに含まれる前記変換カーネルマトリックスの一つに関連する変換インデックスに基づいて行われ、
   前記変換インデックスに対するシンタックス要素のビンストリングに対する第１ビンは、第１コンテキスト情報に基づいてデコードされ、前記変換インデックスに対するシンタックス要素のビンストリングに対する第２ビンは、第２コンテキスト情報に基づいてデコードされる、映像デコーディング方法。
2. 前記変換インデックスに対する前記第１コンテキスト情報及び前記第２コンテキスト情報を導出するステップと、
   前記第１コンテキスト情報及び前記第２コンテキスト情報に基づいて、前記変換インデックスについての前記ビンストリングのビンをデコーディングするステップと、
   前記変換インデックスに対するシンタックス要素の値を導出するステップをさらに含む、請求項１に記載の映像デコーディング方法。
3. 前記シンタックス要素の値は、前記対象ブロックに前記逆ＲＳＴが適用されないことを指示する０、前記変換カーネルマトリックスのうち、１番目の変換カーネルマトリックスを指示する１、前記変換カーネルマトリックスのうち、２番目の変換カーネルマトリックスを指示する２のいずれか一つを含む、請求項２に記載の映像デコーディング方法。
4. 前記シンタックス要素の値は、トランケーテッドユーナリコードに二進化され、
   前記シンタックス要素の値０は「０」に二進化され、前記シンタックス要素の値１は「１０」に二進化され、前記シンタックス要素の値２は「１１」に二進化される、請求項３に記載の映像デコーディング方法。
5. 前記イントラ予測モードを含む複数のイントラ予測モードは、１つの変換セットにマッピングされる、請求項１に記載の映像デコーディング方法。
6. 映像エンコーディング装置により行われる映像エンコーディング方法において、
   対象ブロックに適用されるイントラ予測モードに基づいて予測サンプルを導出するステップと、
   前記予測サンプルに基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップと、
   前記レジデュアルサンプルに対する１次変換に基づいて、前記対象ブロックに対する変換係数を導出するステップと、
   前記変換係数のＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて、修正された変換係数を導出ステップであって、前記ＲＳＴは、前記対象ブロックに適用されるイントラ予測モードによるマッピング関係に基づいて決定される変換セット、及び前記変換セットそれぞれに含まれる２つの変換カーネルマトリックスから選択された変換カーネルマトリックスに基づいて行われる、ステップと、
   前記修正された変換係数に基づいて量子化を行うことにより、量子化された変換係数を導出するステップと、
   前記ＲＳＴが適用されるか否か、及び前記変換セットに含まれる前記変換カーネルマトリックスの一つを指示する変換インデックスを生成するステップと、を含み、
   前記ＲＳＴは、左上段（top-left）領域に対する前記変換係数に基づいて前記対象ブロックの予め決定された前記左上段領域に対する変換係数より小さい数の変換係数を導出する変換であり、
   前記変換インデックスに対するシンタックス要素のビンストリングに対する第１ビンは、第１コンテキスト情報に基づいてデコードされ、前記変換インデックスに対するシンタックス要素のビンストリングに対する第２ビンは、第２コンテキスト情報に基づいてデコードされる、映像エンコーディング方法。
7. 前記変換インデックスを生成するステップは、
   前記変換インデックスに対する前記シンタックス要素の値を導出するステップと、
   前記変換インデックスに対するシンタックス要素の前記第１コンテキスト情報と前記第２コンテキスト情報を導出するステップと、
   前記第１コンテキスト情報及び前記第２コンテキスト情報に基づいて、前記変換インデックスについての前記ビンストリングのビンをエンコーディングするステップと、を含む、請求項６に記載の映像エンコーディング方法。
8. 前記シンタックス要素の値は、前記対象ブロックに前記ＲＳＴが適用されないことを指示する０、前記変換カーネルマトリックスの１番目の変換カーネルマトリックスを指示する１、前記変換カーネルマトリックスの２番目の変換カーネルマトリックスを指示する２のいずれか一つを含む、請求項７に記載の映像エンコーディング方法。
9. 前記シンタックス要素の値はトランケーテッドユーナリコードにより二進化され、
   前記シンタックス要素の値０は、「０」に二進化され、前記シンタックス要素に対する値１は「１０」に二進化され、前記シンタックス要素に対する値２は「１１」に二進化される、請求項８に記載の映像エンコーディング方法。
10. 前記イントラ予測モードを含む複数のイントラ予測モードは、一つの変換セットにマッピングされる、請求項６に記載の映像エンコーディング方法。
11. 映像に対するデータを送信する方法であって、
    前記映像に対するビットストリームを取得するステップであって、前記ビットストリームは、対象ブロックに適用されたイントラ予測モードに基づいて予測サンプルを導出し、前記予測サンプルに基づいて前記対象ブロックに対するレジデュアルサンプルを導出し、前記レジデュアルサンプルに対する１次変換に基づいて前記対象ブロックに対する変換係数を導出し、前記変換係数のＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正変換係数を導出し、前記ＲＳＴは、前記対象ブロックに適用された前記イントラ予測モードによるマッピング関係に基づいて決定される変換セット、及び前記変換セットのそれぞれに含まれる２つの変換カーネルマトリクスの中から選択された変換カーネルマトリクスに基づいて実行され、前記修正変換係数に基づいて量子化することにより量子化変換係数を導出し、前記ＲＳＴが適用されたか、前記変換カーネルマトリクスの１つが前記変換セットに含まれるかを示す変換インデックスを生成し、前記ビットストリームを生成するために前記量子化された変換係数に関連するレジデュアル情報を符号化することに基づいて生成される、ステップと、
    前記ビットストリームを含む前記データを送信するステップを含み、
    前記ＲＳＴは、左上段（top-left）領域に対する前記変換係数に基づいて前記対象ブロックの予め決められた前記左上段領域に対する変換係数より小さい数の変換係数を導出する変換であり、
    前記変換インデックスに対するシンタックス要素のビンストリングに対する第１ビンは、第１コンテキスト情報に基づいてデコードされ、前記変換インデックスに対するシンタックス要素のビンストリングに対する第２ビンは、第２コンテキスト情報に基づいてデコードされる、データを送信する方法。

Images