JP7420982B2 - 選択的変換に基づいた映像コーディング方法およびその装置 - Google Patents

選択的変換に基づいた映像コーディング方法およびその装置 Download PDF

Info

Publication number
JP7420982B2
JP7420982B2 JP2023005817A JP2023005817A JP7420982B2 JP 7420982 B2 JP7420982 B2 JP 7420982B2 JP 2023005817 A JP2023005817 A JP 2023005817A JP 2023005817 A JP2023005817 A JP 2023005817A JP 7420982 B2 JP7420982 B2 JP 7420982B2
Authority
JP
Japan
Prior art keywords
transform
transformation
target block
transform coefficients
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023005817A
Other languages
English (en)
Other versions
JP2023033549A (ja
Inventor
サレヒファー メウディ
スンファン キム
ムンモ ク
ジェヒョン イム
パルリ シータル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2023033549A publication Critical patent/JP2023033549A/ja
Priority to JP2024002581A priority Critical patent/JP2024026721A/ja
Application granted granted Critical
Publication of JP7420982B2 publication Critical patent/JP7420982B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Description

本発明は、映像コーディング技術に関し、より詳しくは、映像コーディングシステムにおける選択的変換に従う映像デコード方法および装置に関する。
最近、ＨＤ（High Definition）映像およびＵＨＤ（Ultra High Definition）映像のような高解像度、高品質の映像に対する需要が、多様な分野で増加している。映像データが高解像度、高品質になるほど、既存の映像データに比べて相対的に送信される情報量またはビット量が増加するため、既存の有無線広帯域回線のような媒体を利用して映像データを送信するか、または既存の記憶（格納）媒体を利用して映像データを記憶する場合、送信コスト（費用）および記憶コストが増加する。
これによって、高解像度、高品質映像の情報を効果的に送信または記憶し、再生するために高効率の映像圧縮技術が要求される。
本発明の技術的課題は、映像コーディング効率を高める方法および装置を提供することにある。
本発明の他の技術的課題は、変換効率を高める方法および装置を提供することにある。
本発明のさらに他の技術的課題は、変換を通じて残差（レジデュアル）コーディングの効率を高める方法および装置を提供することにある。
本発明のさらに他の技術的課題は、選択的変換（selective transform）に基づいた映像コーディング方法および装置を提供することにある。
本発明の一実施例によれば、デコード装置により行われる映像デコード方法が提供される。上記方法は、ビットストリームから対象ブロックの変換係数を導出するステップと、変換係数に対する選択的変換に基づいて対象ブロックに対する残差サンプルを導出するステップと、対象ブロックに対する残差サンプルおよび対象ブロックに対する予測サンプルに基づいて復元ピクチュアを生成するステップと、を有し、選択的変換は、修正された変換行列（マトリックス）に基づいて行われ、修正された変換行列は、修正された基底ベクトルを有する行列であり、修正された基底ベクトルは、Ｎ個の要素のうち、選択された特定個数の要素を有することを特徴とする。
本発明の他の一実施例によれば、映像デコーディングを行うデコード装置が提供される。上記デコード装置は、ビットストリームから対象ブロックの変換係数を導出するエントロピデコード部と、変換係数に対する選択的変換（selective transform）に基づいて対象ブロックに対する残差サンプルを導出する逆変換部と、対象ブロックに対する残差サンプルおよび対象ブロックに対する予測サンプルに基づいて復元ピクチュアを生成する加算部と、を有し、選択的変換は、修正された（modified）変換行列（transform matrix）に基づいて行われ、修正された変換行列は、修正された基底ベクトルを有する行列であり、修正された基底ベクトルは、Ｎ個の要素のうち、選択された特定個数の要素を有することを特徴とする。
本発明のさらに他の一実施例によれば、エンコード装置により行われるビデオエンコード方法を提供する。上記方法は、対象ブロックの残差サンプルを導出するステップと、残差サンプルに対する選択的変換（selective transform）に基づいて対象ブロックの変換係数を導出するステップと、変換係数に関する情報をエンコードするステップと、を有し、選択的変換は、修正された（modified）変換行列（transform matrix）に基づいて行われ、修正された変換行列は、修正された基底ベクトルを有する行列であり、修正された基底ベクトルは、Ｎ個の要素のうち、選択された特定個数の要素を有することを特徴とする。
本発明のさらに他の一実施例によれば、ビデオエンコード装置を提供する。上記エンコード装置は、対象ブロックの残差サンプルを導出する加算部と、残差サンプルに対する選択的変換（selective transform）に基づいて対象ブロックの変換係数を導出する変換部と、変換係数に関する情報をエンコードするエントロピエンコード部と、を有し、選択的変換は、修正された（modified）変換行列（transform matrix）に基づいて行われ、修正された変換行列は、修正された基底ベクトルを有する行列であり、修正された基底ベクトルは、Ｎ個の要素のうち、選択された特定個数の要素を有することを特徴とする。
本発明によれば、効率の良い変換を通じて残差処理のために転送されなければならないデータ量を減らすことができ、残差コーディング効率を高めることができる。
本発明によれば、選択された特定個数の要素を含む基底ベクトルで構成された変換行列に基づいて非分離変換を行うことができ、これを通じて非分離変換のためのメモリ負荷（ロード）および計算複雑度を減らすことができ、残差コーディング効率を高めることができる。
本発明によれば、単純化された構造の変換行列に基づいて非分離変換を行うことができ、これを通じて残差処理のために転送（送信）されなければならないデータ量を減らすことができ、残差コーディング効率を高めることができる。
本発明が適用されることができるビデオエンコード装置の構成を概略的に説明する図である。 本発明が適用されることができるビデオデコード装置の構成を概略的に説明する図である。 本発明に従う多重変換（multiple transform）技法を概略的に示す図である。 ６５個の予測方向のイントラ方向性モードを例示的に示す図である。 本発明の一実施例に従う選択的変換（selective transform）を説明する図である。 本発明の一実施例に従う選択的変換（selective transform）を説明する図である。 本発明の一実施例に従う選択的変換（selective transform）を説明する図である。 上記選択的変換を２次変換に適用した多重変換技法を概略的に示す図である。 本発明の実施例に従う対象ブロックに基づいて変換係数の配列を説明する図である。 上記簡素化変換と上記選択的変換とが結合された変換を通じて変換係数を導出する一例を示す図である。 上記選択的変換を通じて変換係数を導出する一例を示す図である。 関連ベクトルに対する２つのファクタに基づいて、上記関連ベクトルを導出して選択的変換を行う一例を示す図である。 本発明に従うエンコード装置による映像エンコード方法を概略的に示す図である。 本発明に従う映像エンコード方法を行うエンコード装置を概略的に示す図である。 本発明に従うデコード装置による映像デコード方法を概略的に示す図である。 本発明に従う映像デコード方法を行うデコード装置を概略的に示す図である。
本発明は、多様な変更を加えることができ、様々な実施例を有することができ、特定の実施例を図面に例示して詳細に説明する。しかしながら、これは、本発明を特定の実施例に限定するものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであり、本発明の技術的思想を限定しようとする意図に使われるものではない。単数の表現は、文脈上明白に異なる意味でない限り、複数の表現を含む。本明細書において、“含む”または“有する”などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはそれらを組み合わせたものが存在することを指定するものであり、一つまたは複数の他の特徴や数字、ステップ、動作、構成要素、部品またはそれらを組み合わせたものの存在または付加の可能性を予め排除しないと理解しなければならない。
一方、本発明で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立して図示されたものであり、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されることを意味しない。例えば、各構成のうちの二つ以上の構成が合わせられて一つの構成をなすこともあり、一つの構成が複数の構成に分けられることもある。各構成が統合および／または分離された実施例も、本発明の本質から外れない限り、本発明の権利範囲に含まれる。
以下、添付図面を参照し、本発明の好ましい実施例をより詳細に説明する。以下、図面上の同一の構成要素については同一の参照符号を使用し、同一の構成要素について重複する説明は省略する。
一方、本発明は、ビデオ／映像コーディングに関する。例えば、本発明で開示された方法／実施例は、ＶＶＣ（Versatile Video Coding）標準または次世代ビデオ／イメージコーディングに開示された方法に適用されることができる。
本明細書において、ピクチャ（picture）は、一般的に特定の時間帯の一つの映像を示す単位を意味し、スライス（slice）は、コーディングにおいてピクチャの一部を構成する単位である。一つのピクチャは、複数のスライスで構成されてもよく、必要に応じて、ピクチャとスライスとは、互いに混用されてもよい。
ピクセル（pixel）またはペル（pel）は、一つのピクチャ（または、映像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（sample）」が使用されることができる。サンプルは、一般的にピクセルまたはピクセルの値を示し、輝度（ルマ）成分のピクセル／ピクセルの値のみを示してもよく、彩度（クロマ）成分のピクセル／ピクセルの値のみを示してもよい。
ユニット（unit）は、映像処理の基本単位を示す。ユニットは、ピクチャの特定領域および該当領域に関する情報のうちの少なくとも一つを含むことができる。ユニットは、場合によってブロック（block）または領域（area）などの用語と混用されてもよい。一般的な場合、ＭｘＮのブロックは、Ｍ個の列およびＮ個の行からなるサンプルまたは変換係数（transform coefficient）の集合を示すことができる。
図１は、本発明が適用されることができるビデオエンコード装置の構成を概略的に説明する図面である。
図１を参照すると、ビデオエンコード装置１００は、ピクチャ分割部１０５、予測部１１０、残差（レジデュアル）処理部１２０、エントロピエンコード部１３０、加算部１４０、フィルタ部１５０、およびメモリ１６０を含むことができる。残差処理部１２０は、減算部１２１、変換部１２２、量子化部１２３、再整列部１２４、逆量子化部１２５、および逆変換部１２６を含むことができる。
ピクチャ分割部１０５は、入力されたピクチャを少なくとも一つの処理ユニット（processing unit）に分割できる。
一例として、処理ユニットは、コーディングユニット（Coding Unit、ＣＵ）と呼ばれる。この場合、コーディングユニットは、最大コーディングユニット（Largest Coding Unit、ＬＣＵ）からＱＴＢＴ（Quad-Tree Binary-Tree）構造によって再帰的に（recursively）分割されることができる。例えば、一つのコーディングユニットは、四分木（クアッドツリー）構造および／または二分木（バイナリツリー）構造に基づいて下位デプスの（deeper）複数のコーディングユニットに分割されることができる。この場合、例えば、四分木構造が先に適用され、二分木構造が後に適用されることができる。あるいは、二分木構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて、本発明によるコーディング手順が実行されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または、必要によって、コーディングユニットは、再帰的に（recursively）より下位デプスのコーディングユニットに分割されて最適なサイズのコーディングユニットが最終コーディングユニットとして使われることができる。ここで、コーディング手順とは、後述する予測、変換、および復元などの手順を含むことができる。
他の例として、処理ユニットは、コーディングユニット（Coding Unit、ＣＵ）、予測ユニット（Prediction Unit、ＰＵ）または変換ユニット（Transform Unit、ＴＵ）を含むこともできる。コーディングユニットは、最大コーディングユニット（Largest Coding Unit、ＬＣＵ）から四分木構造によって下位デプスの（deeper）コーディングユニットに分割（split）されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または、必要によって、コーディングユニットは、再帰的に（recursively）より下位デプスのコーディングユニットに分割されて最適なサイズのコーディングユニットが最終コーディングユニットとして使われることができる。最小コーディングユニット（Smallest Coding Unit、ＳＣＵ）が設定された場合、コーディングユニットは、最小コーディングユニットより小さいコーディングユニットに分割されることができない。ここで、最終コーディングユニットとは、予測ユニットまたは変換ユニットにパーティショニングまたは分割される基盤となるコーディングユニットを意味する。予測ユニットは、コーディングユニットからパーティショニング（partitioning）されるユニットであって、サンプル予測のユニットである。このとき、予測ユニットは、サブブロック（subblock）に分けられることもできる。変換ユニットは、コーディングユニットから四分木構造によって分割されることができ、変換係数を導出（誘導）するユニットおよび／または変換係数から残差信号（residual signal）を導出するユニットである。以下、コーディングユニットはコーディングブロック（Coding Block、ＣＢ）、予測ユニットは予測ブロック（Prediction Block、ＰＢ）、変換ユニットは変換ブロック（Transform Block、ＴＢ）とも呼ばれる。予測ブロックまたは予測ユニットは、ピクチャ内におけるブロック形態の特定領域を意味し、予測サンプルのアレイ（array）を含むことができる。また、変換ブロックまたは変換ユニットは、ピクチャ内におけるブロック形態の特定領域を意味し、変換係数または残差サンプルのアレイを含むことができる。
予測部１１０は、処理対象ブロック（以下、現（現在）ブロックという）に対する予測を実行し、上記現ブロックに対する予測サンプルを含む予測されたブロック（predicted block）を生成することができる。予測部１１０で実行される予測の単位は、コーディングブロック、または変換ブロック、または予測ブロックである。
予測部１１０は、現ブロックにイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができる。一例として、予測部１１０は、ＣＵ単位でイントラ予測またはインター予測のいずれが適用されるかを決定することができる。
イントラ予測の場合、予測部１１０は、現ブロックが属するピクチャ（以下、現ピクチャ）内の現ブロックの外部の参照サンプルに基づいて、現ブロックに対する予測サンプルを導出することができる。このとき、予測部１１０は、（ｉ）現ブロックの隣接（neighboring）参照サンプルの平均（average）または補間（interpolation）に基づいて予測サンプルを導出することができ、（ｉｉ）現ブロックの隣接参照サンプルのうち、予測サンプルに対して特定（予測）方向に存在する参照サンプルに基づいて上記予測サンプルを導出することもできる。（ｉ）の場合は、非方向性モードまたは非角度モードと呼ばれ、（ｉｉ）の場合は、方向性（directional）モードまたは角度（angular）モードと呼ばれる。イントラ予測における予測モードは、例えば、３３個の方向性予測モードと少なくとも２個以上の非方向性モードとを有することができる。非方向性モードは、ＤＣ予測モードおよび平面（プラナー）モード（Ｐｌａｎａｒモード）を含むことができる。予測部１１０は、隣接ブロックに適用された予測モードを利用し、現ブロックに適用される予測モードを決定することもできる。
インター予測の場合、予測部１１０は、参照ピクチャ上で動きベクトルにより特定されるサンプルに基づいて、現ブロックに対する予測サンプルを導出することができる。予測部１１０は、スキップ（skip）モード、マージ（merge）モード、およびＭＶＰ（Motion Vector Prediction）モードのうちのいずれか一つを適用して、現ブロックに対する予測サンプルを導出することができる。スキップモードおよびマージモードの場合、予測部１１０は、隣接ブロックの動き情報を現ブロックの動き情報として利用できる。スキップモードの場合、マージモードと違って予測サンプルとオリジナル（原本）サンプルとの間の差（残差）が送信されない。ＭＶＰモードの場合、隣接ブロックの動きベクトルを、動きベクトル予測子（Motion Vector Predictor）として利用し、現ブロックの動きベクトル予測子として利用して現ブロックの動きベクトルを導出することができる。
インター予測の場合、隣接ブロックは、現ピクチャ内に存在する空間的隣接ブロック（spatial neighboring block）と参照ピクチャ（reference picture）に存在する時間的隣接ブロック（temporal neighboring block）とを含むことができる。上記時間的隣接ブロックを含む参照ピクチャは、コロケート（同一位置）ピクチャ（collocated Picture、ｃｏｌＰｉｃ）とも呼ばれる。動き情報（motion information）は、動きベクトルおよび参照ピクチャインデックスを含むことができる。予測モード情報および動き情報などの情報は、（エントロピ）エンコードされてビットストリーム形態で出力されることができる。
スキップモードおよびマージモードで時間的隣接ブロックの動き情報が利用される場合、参照ピクチャリスト（reference picture list）上の最上位ピクチャが参照ピクチャとして利用されることもできる。参照ピクチャリスト（Picture Order Count）に含まれる参照ピクチャは、現ピクチャと該当参照ピクチャとの間のＰＯＣ（Picture Order Count）の差に基づいて整列されることができる。ＰＯＣは、ピクチャの表示順序に対応し、コーディング順序と区分されることができる。
減算部１２１は、オリジナルサンプルと予測サンプルとの間の差である残差サンプルを生成する。スキップモードが適用される場合には、前述したように残差サンプルを生成しない。
変換部１２２は、変換ブロック単位で残差サンプルを変換して変換係数（transform coefficient）を生成する。変換部１２２は、該当変換ブロックのサイズと、該当変換ブロックと空間的に重なるコーディングブロックまたは予測ブロックに適用された予測モードと、によって変換を実行することができる。例えば、上記変換ブロックと重なる上記コーディングブロックまたは上記予測ブロックにイントラ予測が適用され、上記変換ブロックが４×４の残差アレイ（array）である場合、残差サンプルは、ＤＳＴ（Discrete Sine Transform）変換カーネルを利用して変換され、その他の場合、残差サンプルは、ＤＣＴ（Discrete Cosine Transform）変換カーネルを利用して変換できる。
量子化部１２３は、変換係数を量子化し、量子化された変換係数を生成することができる。
再整列部１２４は、量子化された変換係数を再整列する。再整列部１２４は、係数スキャン（scanning）方法を介して、ブロック形態の量子化された変換係数を１次元ベクトル形態で再整列できる。ここで、再整列部１２４は、別途の構成で説明したが、量子化部１２３の一部であってもよい。
エントロピエンコード部１３０は、量子化された変換係数に対するエントロピエンコーディングを実行することができる。エントロピエンコーディングは、例えば、指数ゴロム（exponential Golomb）、ＣＡＶＬＣ（Context-Adaptive Variable Length Coding）、ＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）などのエンコード方法を含むことができる。エントロピエンコード部１３０は、量子化された変換係数以外にビデオ復元に必要な情報（例えば、シンタックス要素（syntax element）の値など）を、共にまたは別途にエントロピエンコーディングまたは予め（既）設定された方法によってエンコードすることもできる。エンコードされた情報は、ビットストリーム形態でＮＡＬ（Network Abstraction Layer）ユニット単位で送信または記憶されることができる。
逆量子化部１２５は、量子化部１２３で量子化された値（量子化された変換係数）を逆量子化し、逆変換部１２６は、逆量子化部１２５で逆量子化された値を逆変換して残差サンプルを生成する。
加算部１４０は、残差サンプルと予測サンプルとを加算してピクチャを復元する。残差サンプルと予測サンプルとは、ブロック単位に加算されて、復元ブロックが生成されることができる。ここで、加算部１４０は、別途の構成で説明したが、予測部１１０の一部であってもよい。一方、加算部１４０は、復元部（reconstruction module）または復元ブロック生成部とも呼ばれる。
復元されたピクチャ（reconstructed picture）に対してフィルタ部１５０は、デブロッキングフィルタおよび／またはサンプル適応オフセット（sample adaptive offset）を適用することができる。デブロックフィルタリングおよび／またはサンプル適応オフセットを介して、復元ピクチャ内のブロック境界のアーチファクトや量子化過程における歪曲が補正されることができる。サンプル適応オフセットは、サンプル単位に適用されることができ、デブロックフィルタリングの過程が完了した後に適用されることができる。フィルタ部１５０は、ＡＬＦ（Adaptive Loop Filter）を復元されたピクチャに適用することもできる。ＡＬＦは、デブロッキングフィルタおよび／またはサンプル適応オフセットが適用された後の復元されたピクチャに対して適用されることができる。
メモリ１６０は、復元ピクチャ（デコードされたピクチャ）またはエンコーディング／デコーディングに必要な情報を記憶することができる。ここで、復元ピクチャは、上記フィルタ部１５０によるフィルタリング手順が完了した復元ピクチャである。上記記憶された復元ピクチャは、他のピクチャの（インター）予測のための参照ピクチャとして活用されることができる。例えば、メモリ１６０は、インター予測に使われる（参照）ピクチャを記憶することができる。このとき、インター予測に使われるピクチャは、参照ピクチャセット（reference picture set）または参照ピクチャリスト（reference picture list）により指定されることができる。
図２は、本発明が適用されることができるビデオデコード装置の構成を概略的に説明する図面である。
図２を参照すると、ビデオデコード装置２００は、エントロピデコード部２１０、残差処理部２２０、予測部２３０、加算部２４０、フィルタ部２５０、およびメモリ２６０を含むことができる。ここで、残差処理部２２０は、再整列部２２１、逆量子化部２２２、逆変換部２２３を含むことができる。
ビデオ情報を含むビットストリームが入力されると、ビデオデコード装置２００は、ビデオエンコード装置でビデオ情報が処理されたプロセスに対応してビデオを復元することができる。
例えば、ビデオデコード装置２００は、ビデオエンコード装置で適用された処理ユニットを利用してビデオデコーディングを実行することができる。したがって、ビデオデコーディングの処理ユニットブロックは、一例としてコーディングユニットであり、他の例としてコーディングユニット、予測ユニットまたは変換ユニットである。コーディングユニットは、最大コーディングユニットから四分木構造および／または二分木構造によって分割されることができる。
予測ユニットおよび変換ユニットが場合によってさらに使用されることができ、この場合、予測ブロックは、コーディングユニットから導出またはパーティショニングされるブロックであって、サンプル予測のユニットである。このとき、予測ユニットは、サブブロックに分けられることもできる。変換ユニットは、コーディングユニットから四分木構造によって分割されることができ、変換係数を導出するユニットまたは変換係数から残差信号を導出するユニットである。
エントロピデコード部２１０は、ビットストリームをパージングしてビデオ復元またはピクチャ復元に必要な情報を出力することができる。例えば、エントロピデコード部２１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコードし、ビデオ復元に必要なシンタックスエレメントの値、残差に対する変換係数の量子化された値を出力することができる。
より詳細には、ＣＡＢＡＣエントロピデコード方法は、ビットストリームで各シンタックス要素に該当するＢＩＮを受信し、デコーディング対象シンタックス要素情報ならびに隣接およびデコーディング対象ブロックのデコーディング情報または以前のステップでデコードされたシンボル／ＢＩＮの情報を利用してコンテキスト（context）モデルを決定し、決定されたコンテキストモデルによってＢＩＮの発生確率を予測してＢＩＮの算術復号（デコーディング）（arithmetic decoding）を実行することで、各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピデコード方法は、コンテキストモデルの決定後、次のシンボル／ＢＩＮのコンテキストモデルのために、デコードされたシンボル／ＢＩＮの情報を利用してコンテキストモデルをアップデートすることができる。
エントロピデコード部２１０でデコードされた情報のうちの予測に関する情報は、予測部２３０に提供され、エントロピデコード部２１０でエントロピデコーディングが実行された残差値、すなわち、量子化された変換係数は、再整列部２２１に入力されることができる。
再整列部２２１は、量子化されている変換係数を２次元のブロック形態で再整列できる。再整列部２２１は、エンコード装置で実行された係数スキャンに対応して再整列を実行することができる。ここで、再整列部２２１は、別途の構成で説明したが、逆量子化部２２２の一部であってもよい。
逆量子化部２２２は、量子化されている変換係数を、（逆）量子化パラメータに基づいて逆量子化して変換係数を出力することができる。このとき、量子化パラメータを導出するための情報は、エンコード装置からシグナリングされることができる。
逆変換部２２３は、変換係数を逆変換して残差サンプルを導出することができる。
予測部２３０は、現ブロックに対する予測を実行し、上記現ブロックに対する予測サンプルを含む予測されたブロック（predicted block）を生成することができる。予測部２３０で実行される予測の単位は、コーディングブロック、または変換ブロック、または予測ブロックである。
予測部２３０は、上記予測に関する情報に基づいて、イントラ予測を適用するか、またはインター予測を適用するかを決定することができる。このとき、イントラ予測およびインター予測のうちのいずれを適用するかを決定する単位と予測サンプルを生成する単位とは異なる。併せて、インター予測とイントラ予測とにおいて、予測サンプルを生成する単位も異なる。例えば、インター予測およびイントラ予測のうちのいずれを適用するかは、ＣＵ単位で決定されることができる。また、例えば、インター予測において、ＰＵ単位で予測モードを決定して予測サンプルを生成することができ、イントラ予測において、ＰＵ単位で予測モードを決定し、ＴＵ単位で予測サンプルを生成することもできる。
イントラ予測の場合、予測部２３０は、現ピクチャ内の隣接参照サンプルに基づいて現ブロックに対する予測サンプルを導出することができる。予測部２３０は、現ブロックの隣接参照サンプルに基づいて方向性モードまたは非方向性モードを適用して、現ブロックに対する予測サンプルを導出することができる。このとき、隣接ブロックのイントラ予測モードを利用して、現ブロックに適用する予測モードが決定されることもできる。
インター予測の場合、予測部２３０は、参照ピクチャ上で動きベクトルにより参照ピクチャ上で特定されるサンプルに基づいて、現ブロックに対する予測サンプルを導出することができる。予測部２３０は、スキップ（skip）モード、マージ（merge）モード、およびＭＶＰモードのうちのいずれか一つを適用して、現ブロックに対する予測サンプルを導出することができる。このとき、ビデオエンコード装置で提供された現ブロックのインター予測に必要な動き情報、例えば、動きベクトル、参照ピクチャインデックスなどに関する情報は、上記予測に関する情報に基づいて取得または導出されることができる。
スキップモードおよびマージモードの場合、隣接ブロックの動き情報が現ブロックの動き情報として利用されることができる。このとき、隣接ブロックは、空間的隣接ブロックおよび時間的隣接ブロックを含むことができる。
予測部２３０は、使用可能（可用）な隣接ブロックの動き情報でマージ候補リストを構成し、マージインデックスがマージ候補リスト上で指示する情報を現ブロックの動きベクトルとして使用することができる。マージインデックスは、エンコード装置からシグナリングされることができる。動き情報は、動きベクトルおよび参照ピクチャを含むことができる。スキップモードおよびマージモードで時間的隣接ブロックの動き情報が利用される場合、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして利用されることができる。
スキップモードの場合、マージモードと違って予測サンプルとオリジナルサンプルとの間の差（残差）が送信されない。
ＭＶＰモードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（motion vector predictor）として利用して、現ブロックの動きベクトルが導出されることができる。このとき、隣接ブロックは、空間的隣接ブロックおよび時間的隣接ブロックを含むことができる。
一例として、マージモードが適用される場合、復元された空間的隣接ブロックの動きベクトルおよび／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルを利用し、マージ候補リストが生成されることができる。マージモードでは、マージ候補リストから選択された候補ブロックの動きベクトルが現ブロックの動きベクトルとして使われる。上記予測に関する情報は、上記マージ候補リストに含まれている候補ブロックの中から選択された最適な動きベクトルを有する候補ブロックを指示するマージインデックスを含むことができる。このとき、予測部２３０は、上記マージインデックスを利用し、現ブロックの動きベクトルを導出することができる。
他の例として、ＭＶＰ（Motion Vector Prediction）モードが適用される場合、復元された空間的隣接ブロックの動きベクトルおよび／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルを利用し、動きベクトル予測子候補リストが生成されることができる。すなわち、復元された空間的隣接ブロックの動きベクトルおよび／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルは、動きベクトル候補として使われることができる。上記予測に関する情報は、上記リストに含まれている動きベクトル候補の中から選択された最適な動きベクトルを指示する予測動きベクトルインデックスを含むことができる。このとき、予測部２３０は、上記動きベクトルインデックスを利用し、動きベクトル候補リストに含まれている動きベクトル候補の中から、現ブロックの予測動きベクトルを選択することができる。エンコード装置の予測部は、現ブロックの動きベクトルと動きベクトル予測子との間の動きベクトルの差分（ＭＶＤ）を求めることができ、これをエンコードしてビットストリーム形態で出力できる。すなわち、ＭＶＤは、現ブロックの動きベクトルから上記動きベクトル予測子を引いた値として求められる。このとき、予測部２３０は、上記予測に関する情報に含まれている動きベクトル差分を取得し、上記動きベクトル差分と上記動きベクトル予測子との加算を介して現ブロックの上記動きベクトルを導出することができる。また、予測部は、参照ピクチャを指示する参照ピクチャインデックスなどを上記予測に関する情報から取得または導出できる。
加算部２４０は、残差サンプルと予測サンプルとを加算して現ブロックまたは現ピクチャを復元することができる。加算部２４０は、残差サンプルと予測サンプルとをブロック単位に加算して現ピクチャを復元することもできる。スキップモードが適用された場合には残差が送信されないため、予測サンプルが復元サンプルになることができる。ここで、加算部２４０は、別途の構成で説明したが、予測部２３０の一部であってもよい。一方、加算部２４０は、復元部（reconstruction module）または復元ブロック生成部とも呼ばれる。
フィルタ部２５０は、復元されたピクチャにデブロックフィルタリングサンプル適応オフセット、および／またはＡＬＦなどを適用することができる。このとき、サンプル適応オフセットは、サンプル単位に適用されることができ、デブロックフィルタリング以後に適用されることもできる。ＡＬＦは、デブロックフィルタリングおよび／またはサンプル適応オフセット以後に適用されることもできる。
メモリ２６０は、復元ピクチャ（デコードされたピクチャ）またはデコーディングに必要な情報を記憶することができる。ここで、復元ピクチャは、上記フィルタ部２５０によるフィルタリング手順が完了した復元ピクチャである。例えば、メモリ２６０は、インター予測に使われるピクチャを記憶することができる。このとき、インター予測に使われるピクチャは、参照ピクチャセットまたは参照ピクチャリストにより指定されることもできる。復元されたピクチャは、他のピクチャに対する参照ピクチャとして利用されることができる。また、メモリ２６０は、復元されたピクチャを出力順序によって出力することもできる。
一方、前述した変換を通じて上記現ブロックの残差ブロックに対する低周波数（lower frequency）の変換係数が導出されることができ、上記残差ブロックの端にはゼロテール（zero tail）が導出されることができる。
具体的には、上記変換は、２つの主要過程で構成されることができるところ、上記主要過程は、コア（変換）（core transform）および２次変換（secondary transform）を含むことができる。上記コア変換（core transform）および上記２次変換を含む変換は、多重変換技法と示されることができる。
図３は、本発明に従う多重変換技法を概略的に示す。
図３を参照すると、変換部は、前述した図１のエンコード装置内の変換部に対応することができ、逆変換部は、前述した図１のエンコード装置内の逆変換部または図２のデコード装置内の逆変換部に対応できる。
変換部は、残差ブロック内の残差サンプル（残差サンプルアレイ）に基づいて１次変換を行って、（１次）変換係数を導出することができる（Ｓ３１０）。ここで、上記１次変換は、適応的マルチ（多重）コア変換（Adaptive Multiple core Transform、ＡＭＴ）を含むことができる。上記適応的マルチコア変換は、ＭＴＳ（Multiple Transform Set）と示されることができる。
上記適応的マルチコア変換は、ＤＣＴ（Discrete Cosine Transform）タイプ２およびＤＳＴ（Discrete Sine Transform）タイプ７、ＤＣＴタイプ８、および／またはＤＳＴタイプ１を追加的に使用して変換する方式を示すことができる。すなわち、上記適応的マルチコア変換は、上記ＤＣＴタイプ２、上記ＤＳＴタイプ７、上記ＤＣＴタイプ８、および上記ＤＳＴタイプ１のうち、選択された複数の変換カーネルに基づいて、空間領域（ドメイン）の残差信号（または、残差ブロック）を周波数領域の変換係数（または、１次変換係数）に変換する変換方法を示すことができる。ここで、上記１次変換係数は、変換部の立場で一時（臨時）変換係数と称されることもできる。
言い換えると、既存の変換方法が適用される場合、ＤＣＴタイプ２に基づいて残差信号（または、残差ブロック）に対する空間領域から周波数領域への変換が適用されて、変換係数が生成されることができる。これとは異なり、上記適応的マルチコア変換が適用される場合、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、および／またはＤＳＴタイプ１などに基づいて残差信号（または、残差ブロック）に対する空間領域から周波数領域への変換が適用されて、変換係数（または、１次変換係数）が生成されることができる。ここで、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、およびＤＳＴタイプ１などは、変換タイプ、変換カーネル（kernel）、または変換コア（core）と称されることができる。
参考に、上記ＤＣＴ／ＤＳＴ変換タイプは、基底関数（basis functions）に基づいて定義されることができ、上記基底関数は、次の表の通り示すことができる。
＜表１＞
Figure 0007420982000001
上記適応的マルチコア変換が行われる場合、上記変換カーネルのうち、対象ブロックに対する垂直変換カーネルおよび水平変換カーネルが選択されることができ、上記垂直変換カーネルに基づいて上記対象ブロックに対する垂直変換が行われ、上記水平変換カーネルに基づいて上記対象ブロックに対する水平変換が行われることができる。ここで、上記水平変換は、上記対象ブロックの水平成分に対する変換を示すことができ、上記垂直変換は、上記対象ブロックの垂直成分に対する変換を示すことができる。上記垂直変換カーネル／水平変換カーネルは、残差ブロックを取り囲む（encompass）対象ブロック（ＣＵまたはサブブロック）の予測モードおよび／または変換サブセットを指し示す変換インデックスに基づいて適応的に決定されることができる。
例えば、上記適応的マルチコア変換は、対象ブロックの幅（width）および高さ（height）が全て６４より小さいか等しい場合に適用されることができ、上記対象ブロックの上記適応的マルチコア変換が適用されるか否かは、ＣＵレベルフラグに基づいて決定できる。具体的には、上記ＣＵレベルフラグが０の場合、前述した既存の変換方法が適用されることができる。すなわち、上記ＣＵレベルフラグが０の場合、上記ＤＣＴタイプ２に基づいて残差信号（または、残差ブロック）に対する空間領域から周波数領域への変換が適用されて変換係数が生成されることができ、上記変換係数がエンコードされることができる。一方、ここで上記対象ブロックは、ＣＵでありえる。上記ＣＵレベルフラグが０の場合、上記適応的マルチコア変換が上記対象ブロックに適用されることができる。
また、上記適応的マルチコア変換が適用される対象ブロックのルマブロックの場合、２つの追加的なフラグがシグナリングされることができ、上記フラグに基づいて垂直変換カーネルおよび水平変換カーネルが選択されることができる。上記垂直変換カーネルに関するフラグは、ＡＭＴ垂直フラグと示されることができ、ＡＭＴ＿ＴＵ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ（またはＥＭＴ＿ＴＵ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ）は、上記ＡＭＴ垂直フラグのシンタックス要素（syntax element）を示すことができる。上記水平変換カーネルに関するフラグは、ＡＭＴ水平フラグと示されることができ、ＡＭＴ＿ＴＵ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ（または、ＥＭＴ＿ＴＵ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ）は、上記ＡＭＴ水平フラグのシンタックス要素を示すことができる。上記ＡＭＴ垂直フラグは、上記垂直変換カーネルに対する変換サブセットに含まれる変換カーネル候補のうちの１つの変換カーネル候補を指し示すことができ、上記ＡＭＴ垂直フラグが指し示す変換カーネル候補は、上記対象ブロックに対する垂直変換カーネルとして導出されることができる。また、上記ＡＭＴ水平フラグは、上記水平変換カーネルに対する変換サブセットに含まれる変換カーネル候補のうちの１つの変換カーネル候補を指し示すことができ、上記ＡＭＴ水平フラグが指し示す変換カーネル候補は、上記対象ブロックに対する水平変換カーネルとして導出されることができる。一方、上記ＡＭＴ垂直フラグは、ＭＴＳ垂直フラグと示されることもでき、上記ＡＭＴ水平フラグは、ＭＴＳ水平フラグと示されることもできる。
一方、３個の変換サブセットが予め設定されることができ、上記対象ブロックに適用されたイントラ予測モードに基づいて、上記変換サブセットのうちの１つが上記垂直変換カーネルに対する変換サブセットとして導出されることができる。また、上記対象ブロックに適用されたイントラ予測モードに基づいて、上記変換サブセットのうちの１つが上記水平変換カーネルに対する変換サブセットとして導出されることができる。例えば、上記予め設定された変換サブセットは、次の表の通り導出されることができる。
＜表２＞
Figure 0007420982000002
表２を参照すると、インデックス値が０である変換サブセットは、ＤＳＴタイプ７およびＤＣＴタイプ８を変換カーネル候補として含む変換サブセットを示すことができ、インデックス値が１である変換サブセットは、ＤＳＴタイプ７およびＤＳＴタイプ１を変換カーネル候補として含む変換サブセットを示すことができ、インデックス値が２である変換サブセットは、ＤＳＴタイプ７およびＤＣＴタイプ８を変換カーネル候補として含む変換サブセットを示すことができる。
上記対象ブロックに適用されたイントラ予測モードに基づいて導出される上記垂直変換カーネルに対する変換サブセットおよび上記水平変換カーネルに対する変換サブセットは、次の表の通り導出できる。
＜表３＞
Figure 0007420982000003
ここで、Ｖは、上記垂直変換カーネルに対する変換サブセットを示し、Ｈは、上記水平変換カーネルに対する変換サブセットを示す。
上記対象ブロックに対するＡＭＴフラグ（または、ＥＭＴ＿ＣＵ＿ｆｌａｇ）の値が１の場合、表３に図示したように、上記対象ブロックのイントラ予測モードに基づいて上記垂直変換カーネルに対する変換サブセットと上記水平変換カーネルに対する変換サブセットとが導出されることができる。この後、上記垂直変換カーネルに対する変換サブセットに含まれる変換カーネル候補のうち、上記対象ブロックのＡＭＴ垂直フラグが指し示す変換カーネル候補が上記対象ブロックの垂直変換カーネルとして導出されることができ、上記水平変換カーネルに対する変換サブセットに含まれる変換カーネル候補のうち、上記対象ブロックのＡＭＴ水平フラグが指し示す変換カーネル候補が上記対象ブロックの水平変換カーネルとして導出されることができる。一方、上記ＡＭＴフラグは、ＭＴＳフラグと示されることもできる。
参考に、例えば、イントラ予測モードは、２つの非方向性（non-directional、または非角度性（non-angular））イントラ予測モードと６５個の方向性（directional、または角度性（angular））イントラ予測モードとを含むことができる。上記非方向性イントラ予測モードは、０番である平面（プランナー）（planar）イントラ予測モードと１番であるＤＣイントラ予測モードとを含むことができ、上記方向性イントラ予測モードは、２番乃至６６番の６５個のイントラ予測モードを含むことができる。ただし、これは例であって、本発明は、イントラ予測モードの数が異なる場合にも適用されることができる。一方、場合によって６７番イントラ予測モードがさらに使用されることができ、上記６７番イントラ予測モードは、ＬＭ（Linear Model）モードを示すことができる。
図４は、６５個の予測方向のイントラ方向性モードを例示的に示す。
図４を参照すると、左上向対角予測方向を有する３４番イントラ予測モードを中心として、水平方向性（horizontal directionality）を有するイントラ予測モードと垂直方向性（vertical directionality）を有するイントラ予測モードとを区分することができる。図４のＨおよびＶは、各々水平方向性および垂直方向性を意味し、－３２～３２の数字は、サンプルグリッドポジション（sample grid position）上で１／３２単位の変位を示す。２番乃至３３番イントラ予測モードは水平方向性、３４番乃至６６番イントラ予測モードは垂直方向性を有する。１８番イントラ予測モードおよび５０番イントラ予測モードは、各々水平イントラ予測モード（horizontal intra prediction mode）、垂直イントラ予測モード（vertical intra prediction mode）を示し、２番イントラ予測モードは左下向対角イントラ予測モード、３４番イントラ予測モードは左上向対角イントラ予測モード、６６番イントラ予測モードは右上向対角イントラ予測モード、と称されることができる。
変換部は、上記（１次）変換係数に基づいて２次変換を行って（２次）変換係数を導出することができる（Ｓ３２０）。上記１次変換が空間領域から周波数領域への変換であったとすれば、上記２次変換は、周波数領域から周波数領域への変換と見ることができる。上記２次変換は、非分離変換（non-separable transform）を含むことができる。この場合、上記２次変換は、非分離２次変換（Non-Separable Secondary Transform、ＮＳＳＴ）またはＭＤＮＳＳＴ（Mode-Dependent Non-Separable Secondary Transform）と称されることができる。上記非分離２次変換は、上記１次変換を通じて導出された（１次）変換係数を非分離変換行列（non-separable transform matrix）に基づいて２次変換して残差信号に対する変換係数（または、２次変換係数）を生成する変換を示すことができる。ここで、上記非分離変換行列に基づいて上記（１次）変換係数に対して垂直変換および水平変換を分離して（または、水平垂直変換を独立して）適用せず、一度に変換を適用することができる。言い換えると、上記非分離２次変換は、上記非分離変換行列に基づいて上記（１次）変換係数の垂直成分および水平成分を分離せず、共に変換して変換係数（または、２次変換係数）を生成する変換方法を示すことができる。上記非分離２次変換は、（１次）変換係数で構成されたブロック（以下、変換係数ブロックまたは対象ブロックと称されることができる）の左上段（top-left）領域に対して適用されることができる。例えば、上記変換係数ブロックの幅（Ｗ）および高さ（Ｈ）が両方とも８以上である場合、８×８非分離２次変換が上記変換係数ブロックの左上段８×８領域（以下左上段対象領域）に対して適用できる。また、上記変換係数ブロックの幅（Ｗ）および高さ（Ｈ）が両方とも４以上で、かつ上記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が８より小さい場合、４×４非分離２次変換が上記変換係数ブロックの左上段ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることができる。
具体的には、例えば、４×４入力ブロックが使われる場合、非分離２次変換は、次の通り遂行できる。
上記４×４入力ブロックＸは、次の通り示されることができる。
＜数式１＞
Figure 0007420982000004
上記Ｘをベクトル形態で示す場合、ベクトル
Figure 0007420982000005
は、次の通り示されることができる。
＜数式２＞
Figure 0007420982000006
この場合、上記２次非分離変換は、次の通り計算できる。
＜数式３＞
Figure 0007420982000007
ここで、
Figure 0007420982000008
は、変換係数ベクトルを示し、Ｔは、１６×１６（非分離）変換行列を示す。
上記数式３を通じて１６×１変換係数ベクトル
Figure 0007420982000009
が導出されることができ、上記
Figure 0007420982000010
は、スキャン順序（水平、垂直、対角（diagonal）など）を通じて４×４ブロックに再構成される（re-organized）ことができる。ただし、前述した計算は例であって、非分離２次変換の計算複雑度を減らすためにＨｙＧＴ（Hypercube-Givens Transform）などが非分離２次変換の計算のために使われることもできる。
一方、上記非分離２次変換において、モードに依存する（mode dependent）ように変換カーネル（または、変換コア、変換タイプ）が選択されることができる。ここで、モードは、イントラ予測モードおよび／またはインター予測モードを含むことができる。
前述したように、上記非分離２次変換は、上記変換係数ブロックの幅（Ｗ）および高さ（Ｈ）に基づいて決定された８×８変換または４×４変換に基づいて遂行できる。すなわち、上記非分離２次変換は、８×８サブブロックサイズまたは４×４サブブロックサイズに基づいて行われることができる。例えば、上記モード依存変換カーネル選択のために、８×８サブブロックサイズおよび４×４サブブロックサイズ両方に対して、非分離２次変換のための３個ずつ３５セットの非分離２次変換カーネルが構成されることができる。すなわち、８×８サブブロックサイズに対して３５個の変換セットが構成され、４×４サブブロックサイズに対して３５個の変換セットが構成されることができる。この場合、８×８サブブロックサイズに対する３５個の変換セットには、各々、８×８変換カーネルが３個ずつ含まれることができ、この場合、４×４サブブロックサイズに対する３５個の変換セットには、各々、４×４変換カーネルが３個ずつ含まれることができる。ただし、上記変換サブブロックサイズ、上記セットの数、およびセット内の変換カーネルの数には、例として８×８もしくは４×４以外のサイズが使われることができ、またはｎ個のセットが構成され、各セット内にｋ個の変換カーネルが含まれることもできる。
上記変換セットは、ＮＳＳＴセットと称されることができ、上記ＮＳＳＴセット内の変換カーネルは、ＮＳＳＴカーネルと称されることができる。上記変換セットのうち、特定セットの選択は、例えば、対象ブロック（ＣＵまたはサブブロック）のイントラ予測モードに基づいて遂行できる。
この場合、上記３５個の変換セットと上記イントラ予測モードとの間のマッピング（mapping）は、例えば次の表の通り示されることができる。参考として、対象ブロックにＬＭモードが適用される場合、上記対象ブロックに対しては、２次変換が適用されないことがある。
＜表４＞
Figure 0007420982000011
一方、特定セットが使われると決定されれば、非分離２次変換インデックスを通じて上記特定セット内のｋ個の変換カーネルのうちの１つが選択されることができる。エンコード装置は、ＲＤ（Rate-Distortion）チェックに基づいて特定変換カーネルを指し示す非分離２次変換インデックスを導出することができ、上記非分離２次変換インデックスをデコード装置にシグナリングすることができる。デコード装置は、上記非分離２次変換インデックスに基づいて特定セット内のｋ個の変換カーネルのうちの１つを選択することができる。例えば、ＮＳＳＴインデックス値０は、最初の非分離２次変換カーネルを指し示すことができ、ＮＳＳＴインデックス値１は、２番目の非分離２次変換カーネルを指し示すことができ、ＮＳＳＴインデックス値２は、３番目の非分離２次変換カーネルを指し示すことができる。あるいは、ＮＳＳＴインデックス値０は、対象ブロックに対して最初の非分離２次変換が適用されないことを指し示すことができ、ＮＳＳＴインデックス値１乃至３は、上記３個の変換カーネルを指し示すことができる。
また、図３を参照すると、変換部は、選択された変換カーネルに基づいて上記非分離２次変換を行い（２次）変換係数を獲得することができる。上記変換係数は、前述したように、量子化部を通じて量子化された変換係数として導出されることができ、エンコードされてデコード装置にシグナリングおよびエンコード装置内の逆量子化／逆変換部に伝達されることができる。
一方、２次変換が省略される場合、上記１次（分離）変換の出力である（１次）変換係数は、前述したように、量子化部を通じて量子化された変換係数として導出されることができ、エンコードされてデコード装置にシグナリングおよびエンコード装置内の逆量子化／逆変換部に伝達されることができる。
逆変換部は、前述した変換部で行われた手続きの逆順で一連の手続きを行うことができる。逆変換部は、（逆量子化された）変換係数を受信して、２次（逆）変換を行って、（１次）変換係数を導出し（Ｓ３５０）、上記（１次）変換係数に対して１次（逆）変換を行って残差ブロック（残差サンプル）を獲得することができる（Ｓ３６０）。ここで、上記１次変換係数は、逆変換部の立場で修正された（modified）変換係数と称されることができる。エンコード装置およびデコード装置は、上記残差ブロックおよび予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチュアが生成されることができることは、前述した通りである。
一方、前述したように、２次（逆）変換が省略される場合、（逆量子化された）変換係数を受信して上記１次（分離）変換を行って残差ブロック（残差サンプル）を獲得することができる。エンコード装置およびデコード装置は、上記残差ブロックおよび予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチュアが生成されることができることは、前述した通りである。
図５Ａから図５Ｃは、本発明の一実施例に従う選択的変換（selective transform）を説明する図である。
本明細書において、“対象ブロック”は、コーディングが行われる現ブロックまたは残差ブロックを意味することができる。
図５Ａは、変換を通じて変換係数を導出する一例を示す。
ビデオコーディングにおける変換（transform）は、図５Ａに図示したように、入力ベクトルＲを変換行列（transform matrix）に基づいて変換して入力ベクトルＲに対する変換係数ベクトルＣを生成する過程を示すことができる。上記入力ベクトルＲは、１次変換係数を示すこともできる。あるいは、上記入力ベクトルＲは、残差ベクトル、すなわち、残差サンプルを示すこともできる。一方、上記変換係数ベクトルＣは、出力ベクトルＣと示されることもできる。
図５Ｂは、変換を通じて変換係数を導出する具体的な例を示す。図５Ｂは、図５Ａに図示した変換過程を具体的に示す。図３で前述したように、非分離２次変換（以下、‘ＮＳＳＴ’という）において、１次変換を適用して獲得した変換係数のブロックデータをＭｘＭブロックに分割した後、各ＭｘＭブロックに対してＭ2ｘＭ2 ＮＳＳＴが行われることができる。Ｍは、例えば４または８でありえるが、これに限定されない。上記Ｍ2はＮでありえる。この場合、図５Ｂに図示したように、上記入力ベクトルＲは、（１次）変換係数ｒ1乃至ｒNを含む（１ｘＮ）次元ベクトルでありえ、上記変換係数ベクトルＣは、変換係数ｃ1乃至ｃNを含む（Ｎｘ１）次元ベクトルでありえる。すなわち、上記入力ベクトルＲ、は、Ｎ個の（１次）変換係数ｒ1乃至ｒNを含むことができ、上記入力ベクトルＲのサイズは、１ｘＮでありえる。また、上記変換係数ベクトルＣは、Ｎ個の変換係数ｃ1乃至ｃNを含むことができ、上記変換係数ベクトルＣのサイズは、Ｎｘ１でありえる。
上記変換係数ベクトルＣを導出するために、上記入力ベクトルＲは、上記変換行列を通過する（経る、go through）ことができる。すなわち、上記入力ベクトルＲは、上記変換行列に基づいて上記変換係数ベクトルＣとして導出されることができる。
一方、上記変換行列は、Ｎ個の基底ベクトル（basis vectors）Ｂ1乃至ＢNを含むことができる。図５Ｂ図示したように、上記基底ベクトルＢ1乃至ＢNは、（１ｘＮ）次元ベクトルでありえる。すなわち、上記基底ベクトルＢ1乃至ＢNのサイズは、１ｘＮでありえる。上記入力ベクトルＲの（１次）変換係数と上記変換行列の上記基底ベクトルの各々とに基づいて変換係数ベクトルＣが生成されることができる。例えば、上記入力ベクトルと各基底ベクトルとの内積（inner product）は、上記変換係数ベクトルＣとして導出できる。
一方、前述した変換には、２つの主要な（メイン）問題（イシュー）（main issues）が発生する。具体的には、出力ベクトルを生成するために必要な掛け算および足し算の回数と関連して、高い計算複雑度と生成された係数を記憶するためのメモリ要求（memory requirement）とが主要な問題として発生し得る。
例えば、分離変換（separable transform）および非分離変換（non separable transform）に必要な計算複雑度およびメモリ要求は、次の表の通り導出されることができる。
＜表５＞
Figure 0007420982000012
表５を参照すると、上記分離変換を通じて生成された係数を記憶するためのメモリは、Ｎ2を要求されることができ、上記計算回数は、２Ｎ3でありえる。上記計算回数は、計算複雑度を示す。また、上記非分離変換を通じて生成された係数を記憶（貯蔵）するためのメモリはＮ4を要求されることができ、上記計算回数は、Ｎ4でありえる。上記計算回数は、計算複雑度を示す。すなわち、上記計算回数が多いほど計算複雑度が高いことがあり、上記計算回数が少ないほど上記計算複雑度が低いことがある。
上記表５に図示したように、上記分離変換と比較して上記非分離変換のためのメモリ要求および計算回数は、格段に増加できる。また、上記非分離変換が行われる対象ブロックのサイズが増加するほど、すなわち、上記Ｎが大きくなるほど、上記分離変換のためのメモリ要求および計算回数と上記非分離変換のためのメモリ要求および計算回数との間の不一致は、増加できる。
上記非分離変換は、分離変換と比較してより良いコーディング利得（coding gain）を提供するが、上記表５に図示したように、上記非分離変換の計算複雑度のため、既存のビデオコーディング標準では、上記非分離変換が使われておらず、また、分離変換の計算複雑度も対象ブロックのサイズが大きくなるほど増加するので、既存のＨＥＶＣ標準では、上記分離変換がサイズが３２ｘ３２サイズ以下である対象ブロックのみで使われるように制限された。
ここで、本発明は、選択的変換を提案する。上記選択的変換は、計算複雑度およびメモリ要求を格段に減らすことができ、これを通じて計算集約的な変換ブロックの効率性を増加させ、コーディング効率を向上させる効果を発生させることができる。すなわち、上記選択的変換は、サイズの大きいブロックの変換または非分離変換時に発生する演算複雑度（complexity）の問題を解消するために利用されることができる。上記選択的変換は、１次変換（または、コア（核心）変換（core transform）と称されることができる）、２次変換など、いかなるタイプ（類型）の変換にも利用できる。例えば、上記選択的変換は、エンコード装置／デコード装置に対する上記コア変換に適用されることができ、エンコーディング時間／デコーディング時間を格段に減らす効果を発生させることができる。
図５Ｃは、上記選択的変換を通じて変換係数を導出する一例を示す。上記選択的変換は、選択的な個数の要素を含む基底ベクトルを含む変換行列に基づいて対象ブロックに対して行われる変換を意味することができる。
簡素化変換には、変換行列の基底ベクトルのＮ個の要素のうち、重複するか、または重要でない要素が含まれることがあり、上記要素を除外して計算複雑度およびメモリ要求を減らすことができるという動機（motivation）を通じて提案された方式である。例えば、図５Ｃを参照すると、基底ベクトルＢ1のＮ個の要素のうち、Ｚ0個の要素は、重要でない要素であることがあり、この場合、Ｎ1個の要素のみを含むトランケートされた（truncated）基底ベクトルＢ1が導出されることができる。ここで、上記Ｎ1は、Ｎ－Ｚ0でありえる。上記トランケートされた基底ベクトルＢ1は、修正された（modified）基底ベクトルＢ1と示されることができる。
図５Ｃを参照すると、上記入力ベクトルＲに上記修正された基底ベクトルＢ1が変換行列の一部として適用される場合、変換係数Ｃ1が導出されることができる。実験結果より、上記変換係数Ｃ1は、上記入力ベクトルＲに既存の基底ベクトルＢ1が変換行列の一部として適用されて導出される変換係数Ｃ1と同一の値であることが観察される。すなわち、各基底ベクトルの微小な要素が０であると仮定して結果を導出することが、結果の大きい差無しで必要な掛け算の回数を格段に減らすことができることを意味する。また、次に、この演算のために記憶しなければならない要素（すなわち、変換行列の要素）の数を減らすことができる。
基底ベクトルの要素のうち、重要（または、有意義）でない要素の位置を定義するために、関連ベクトル（association vector）が提案される。上記Ｎ1次元の修正された基底ベクトルＢ1を導出するために（１ｘＮ）次元の関連ベクトルＡ1が考慮されることができる。すなわち、１ｘＮ1サイズの修正された基底ベクトルＢ1（すなわち、Ｎ1個の要素を含む修正された基底ベクトルＢ1）を導出するために１ｘＮサイズの関連ベクトルＡ1が考慮されることができる。
図５Ｃを参照すると、上記入力ベクトルＲに上記基底ベクトルＢ1乃至ＢNの各々に対する関連ベクトルが適用されて導出された値が、上記基底ベクトルに伝達されることができる。これを通じて、上記入力ベクトルＲの一部の要素のみが、基底ベクトルの要素と計算されることができる。具体的には、上記関連ベクトルは、０および１を含むことができ、上記入力ベクトルＲの要素のうち、選択された要素には１が掛けられ、選択されていない要素には０が掛けられるように演算されて、上記選択された要素のみが通過して上記基底ベクトルに伝達されることができる。
例えば、上記入力ベクトルＲに上記関連ベクトルＡ1が適用されることができ、上記入力ベクトルＲの要素のうち、上記関連ベクトルＡ1により指定されたＮ1個の要素のみが、上記基底ベクトルＢ1との内積を計算するのに使われることができる。上記内積は、上記変換係数ベクトルＣのＣ1を示すことができる。ここで、上記基底ベクトルＢ1は、Ｎ1個の要素を含むことができ、上記Ｎ1は、Ｎ以下でありえる。前述した上記入力ベクトルＲと関連ベクトルＡ1および基底ベクトルＢ1との演算は、関連ベクトルＡ2乃至ＡNおよび基底ベクトルＢ2乃至ＢNに対しても行われることができる。
上記関連ベクトルは、０および／または１、二進数値（binary values）のみを含むので、上記関連ベクトルを記憶するに当たって利点がありえる。上記関連ベクトルの０は、上記０に対する上記入力ベクトルＲの要素が上記内積計算のための変換行列に伝達されないことを示すことができ、上記関連ベクトルの１は、上記１に対する上記入力ベクトルＲの要素が上記内積計算のための上記変換行列に伝達されることを示すことができる。例えば、１ｘＮサイズの関連ベクトルＡkは、Ａk1乃至ＡkNを含むことができる。上記関連ベクトルＡkのＡknが０の場合、上記入力ベクトルＲのｒnは、通過できないことがある。すなわち、上記入力ベクトルＲのｒnは、上記変換ベクトルＢnに伝達されないことがある。また、上記Ａknが１の場合、上記入力ベクトルＲのｒnは、通過できる。すなわち、上記入力ベクトルＲのｒnは、上記変換ベクトルＢnに伝達されることができ、上記変換係数ベクトルＣのｃnを導出するための計算に使われることができる。
図６は、上記選択的変換を２次変換に適用した多重変換技法を概略的に示す。
図６を参照すると、変換部は、前述した図１のエンコード装置内の変換部に対応することができ、逆変換部は、前述した図１のエンコード装置内の逆変換部または図２のデコード装置内の逆変換部に対応できる。
変換部は、残差ブロック内の残差サンプル（残差サンプルアレイ）に基づいて１次変換を行って、（１次）変換係数を導出することができる（Ｓ６１０）。ここで、上記１次変換は、前述したＡＭＴを含むことができる。
上記適応的マルチコア変換が適用される場合、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、および／またはＤＳＴタイプ１などに基づいて残差信号（または、残差ブロック）に対する空間領域から周波数領域への変換が適用されて、変換係数（または、１次変換係数）が生成されることができる。ここで、上記１次変換係数は、変換部の立場で一時変換係数と称されることができる。また、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、およびＤＳＴタイプ１などは、変換タイプ、変換カーネル（kernel）または変換コア（core）と称されることができる。参考までに、上記ＤＣＴ／ＤＳＴ変換タイプは、基底関数（basis functions）に基づいて定義されることができ、上記基底関数は、前述した表１のように示すことができる。具体的には、上記適応的マルチコア変換を適用して上記１次変換係数を導出する過程は、前述した通りである。
変換部は、上記（１次）変換係数に基づいて選択的変換を行って、（２次）変換係数を導出することができる（Ｓ６２０）。選択的変換は、修正された基底ベクトルを含む変換行列および上記基底ベクトルに対する関連ベクトルを含む関連行列（association matrix）に基づいて、対象ブロックに対する上記（１次）変換係数に対して行われる変換を意味することができる。上記修正された基底ベクトルは、Ｎ以下の要素を含む基底ベクトルを示すことができる。すなわち、上記修正された基底ベクトルは、Ｎ個の要素のうちの選択された特定個数の要素を含む基底ベクトルを示すことができる。例えば、修正された基底ベクトルＢnは、（１ｘＮn）次元ベクトルでありえ、上記Ｎnは上記Ｎより小さいか等しいことがある。すなわち、修正された基底ベクトルＢnのサイズは、（１ｘＮn）サイズでありえ、上記Ｎnは、上記Ｎより小さいか等しいことがある。ここで、上記Ｎは、上記選択された変換が適用される上記対象ブロックの左上段対象領域の高さと幅との積でありえる。あるいは、上記Ｎは、上記選択された変換が適用される上記対象ブロックの左上段対象領域の変換係数の総数でありえる。一方、上記修正された基底ベクトルを含む上記変換行列は、修正された（modified）変換行列として示されることができる。また、上記変換行列は、変換ベーシスブロック（Transform Bases Block、ＴＢＢ）として示されることもでき、上記関連行列は、関連ベクトルブロック（Association Vectors Block、ＡＶＢ）として示されることができる。
変換部は、上記修正された変換行列および上記関連行列に基づいて上記選択的変換を行い、（２次）変換係数を獲得することができる。上記変換係数は、前述したように、量子化部を通じて量子化された変換係数として導出されることができ、エンコードされてデコード装置にシグナリングおよびエンコード装置内の逆量子化部／逆変換部に伝達されることができる。
逆変換部は、前述した変換部で行われた手続きの逆順で一連の手続きを行うことができる。逆変換部は、（逆量子化された）変換係数を受信して、選択的（逆）変換を行って（１次）変換係数を導出し（Ｓ６５０）、上記（１次）変換係数に対して１次（逆）変換を行って残差ブロック（残差サンプル）を獲得することができる（Ｓ６６０）。ここで、上記１次変換係数は、逆変換部の立場で修正された（modified）変換係数と称されることができる。エンコード装置およびデコード装置は、上記残差ブロックおよび予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチュアが生成されることができることは、前述した通りである。
一方、本発明は、上記選択的変換の一実施例において、簡素化変換と結合された選択的変換を提案する。
本明細書において、“簡素化変換”は、簡素化ファクタ（factor）によってサイズが減少した変換行列（transform matrix）に基づいて対象ブロックに対する残差サンプルに対して行われる変換を意味することができる。
一実施例に従う簡素化変換で、Ｎ次元ベクトル（N dimensional vector）が他の空間に位置するＲ次元ベクトル（R dimensional vector）にマッピングされて簡素化変換行列が決定されることができ、ここで、Ｒは、Ｎより小さい。すなわち、上記簡素化変換は、Ｒ個の基底ベクトルを含む簡素化変換行列（reduced transform matrix）に基づいて対象ブロックに対する残差サンプルに対して行われる変換を意味することができる。ここで、Ｎは、変換が適用されるブロック（または、対象領域）の一辺の長さ（length）の自乗または変換が適用されるブロック（または、対象領域）と対応する変換係数の総数を意味することができ、簡素化ファクタは、Ｒ／Ｎ値を意味することができる。簡素化ファクタは、減少したファクタ、減少ファクタ、ｒｅｄｕｃｅｄ ｆａｃｔｏｒ、ｒｅｄｕｃｔｉｏｎ ｆａｃｔｏｒ、ｓｉｍｐｌｉｆｉｅｄ ｆａｃｔｏｒ、ｓｉｍｐｌｅ ｆａｃｔｏｒなど、多様な用語で称されることができる。一方、Ｒは、簡素化係数（reduced coefficient）と称されることができるが、場合によっては、簡素化ファクタがＲを意味することができる。また、場合によって、簡素化ファクタは、Ｎ／Ｒ値を意味することもできる。
一実施例に従う上記簡素化変換行列のサイズは、通常の変換行列のサイズＮｘＮより小さいＲｘＮであり、以下の数式４の通り定義されることができる。
＜数式４＞
Figure 0007420982000013
対象ブロックの１次変換が適用された変換係数に対して簡素化変換行列ＴRxNが掛けられる場合、上記対象ブロックに対する（２次）変換係数が導出されることができる。
上記ＲＳＴが適用される場合、２次変換にＲｘＮサイズである簡素化変換行列が適用されるので、Ｒ＋１からＮまでの変換係数は、暗示的に（implicitly）０になることができる。言い換えると、対象ブロックの変換係数が上記ＲＳＴが適用されて導出された場合、上記Ｒ＋１からＮまでの変換係数の値は、０でありえる。ここで、上記Ｒ＋１からＮまでの変換係数は、変換係数のうち、Ｒ＋１番目の変換係数からＮ番目の変換係数を示すことができる。具体的には、対象ブロックの変換係数の配列は、次のように説明できる。
図７は、本発明の実施例に従う対象ブロックに基づいて変換係数の配列を説明する図である。以下、図７で後述する変換に関する説明は、逆変換にも同様に適用できる。対象ブロック（または、残差ブロック）７００に対して、１次変換および簡素化変換を基盤とするＮＳＳＴが行われることができる。一例において、図７に図示された１６ｘ１６ブロックは、対象ブロック７００を示し、Ａ乃至Ｐで表記された４ｘ４ブロックは、対象ブロック７００のサブグループを示すことができる。１次変換は、対象ブロック７００の全体範囲で行われることができ、１次変換が行われた以後、ＮＳＳＴは、サブグループＡ、Ｂ、Ｅ、およびＦが構成する８ｘ８ブロック（以下、左上段対象領域）に対して適用されることができる。この際、簡素化変換に基づくＮＳＳＴが行われれば、Ｒ個（ここで、Ｒは簡素化係数を意味し、ＲはＮより小さい）のＮＳＳＴ変換係数のみ導出されるので、Ｒ＋１番目からＮ番目の範囲のＮＳＳＴ変換係数は、各々０に決定できる。例えば、Ｒが１６の場合、簡素化変換に基づくＮＳＳＴが行われて導出された１６個の変換係数は、対象ブロック７００の左上段対象領域に含まれる左上段４ｘ４ブロックであるサブグループＡに含まれる各ブロックに割り当てられることができ、サブグループＢ、Ｅ、およびＦに含まれるＮ－Ｒ個、すなわち６４－１６＝４８個の各ブロックに対しては、変換係数０が割り当てられることができる。簡素化変換に基づくＮＳＳＴが行われない１次変換係数は、サブグループＣ、Ｄ、Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍ、Ｎ、Ｏ、およびＰに含まれる各ブロックに割り当てられることができる。
図８は、上記簡素化変換と上記選択的変換とが結合された変換を通じて変換係数を導出する一例を示す。図８を参照すると、変換行列は、Ｒ個の基底ベクトルを含むことができ、上記関連行列は、Ｒ個の関連ベクトルを含むことができる。ここで、Ｒ個の基底ベクトルを含む上記変換行列は、簡素化変換行列（reduced transform matrix）として示されることができ、上記Ｒ個の関連ベクトルを含む関連行列は、簡素化関連行列（reduced association matrix）として示されることができる。
また、上記基底ベクトルの各々は、Ｎ個の要素のうち、選択された要素のみを含むことができる。例えば、図８を参照すると、基底ベクトルＢ1は、Ｎ1個の要素を含む１ｘＮ1次元ベクトルでありえ、基底ベクトルＢ2は、Ｎ2個の要素を含む１ｘＮ2次元ベクトルでありえ、基底ベクトルＢRは、ＮR個の要素を含む１ｘＮR次元ベクトルでありえる。上記Ｎ1、Ｎ2、およびＮRは、上記Ｎ以下の値でありえる。上記簡素化変換および上記選択的変換が結合された変換は、２次変換および１次変換など、いかなるタイプの変換にも利用できる。
図８を参照すると、エンコード装置およびデコード装置は、上記簡素化変換と上記選択的変換とが結合された変換を２次変換に適用することができる。例えば、上記修正された基底ベクトルを含む簡素化変換行列および簡素化関連行列に基づいて上記選択的変換が行われることができ、（２次）変換係数が獲得されることができる。また、上記選択的変換の計算複雑度を減らすためにＨｙＧＴ（Hypercube-Givens Transform）などが上記選択的変換の計算のために使われることもできる。
図９は、上記選択的変換を通じて変換係数を導出する一例を示す。上記選択的変換に対する一実施例において、上記関連行列の関連ベクトルＡ1、Ａ2、．．．ＡNに対するパターンは、存在しないことがあり、上記関連ベクトルは、互いに異なる形態として導出されることができる。あるいは、上記選択的変換に対する他の実施例において、上記関連行列の関連ベクトルＡ1、Ａ2、．．．ＡNは、同一の形態として導出されることができる。
具体的には、例えば、上記関連ベクトルは、同一の個数の１を含むことができる。例えば、１の個数がＭの場合、上記関連ベクトルは、Ｍ個の１およびＮ－Ｍ個の０を含むことができる。この場合、上記入力ベクトルＲの（１次）変換係数のうち、Ｍ個の変換係数が基底ベクトルに伝達できる。したがって、上記基底ベクトルの長さもＭでありえる。すなわち、図９に図示したように、上記基底ベクトルは、Ｍ個の要素を含むことができ、（1xM）次元ベクトルでありえ、Ｎ1＝Ｎ2＝．．．＝ＮN＝Ｍとして導出されることができる。図９に図示した関連行列および修正された変換行列構造は、上記選択的変換に対する対称構造（symmetric architecture）と示されることができる。
また、他の例において、値が１である要素の特定パターンが存在することができ、任意の方式により上記パターンが反復、回転、および／または変換（translate）されて上記関連ベクトルが導出されることができる。
一方、前述した選択的変換は、上記簡素化変換および／または上記ＨｙＧＴだけでなく、他の変換技術と共に適用されることもできる。
また、本発明は、前述した選択的変換において、上記関連ベクトルを単純化（simplifying）する方式を提案する。上記関連ベクトルを単純化することによって、上記選択的変換を行うための情報の記憶（storing）および上記選択的変換のハンドリング（handling）がより向上できる。すなわち、上記選択的変換を行うためのメモリ負荷（memory load）が減ることができ、上記選択的変換のハンドリング能力がより向上できる。
上記関連ベクトルの単純化による効果は、上記関連ベクトルが含む要素のうち、０でない要素が連続する分布を有する場合にさらに明白に表れることができる。例えば、関連ベクトルＡkは、１の連続したストリング（continuous string）を含むことができる。この場合、上記Ａkは、２つのファクタ（factors）ＡksおよびＡkLを通じて表現されることができる。すなわち、上記ファクタＡksおよびＡkLに基づいて上記関連ベクトルＡkが導出されることができる。ここで、上記Ａksは、０でない要素（例えば、１）の開始点を示すファクタでありえ、上記ＡkLは、０でない要素の長さを示すファクタでありえる。上記ファクタに基づいて示した上記関連ベクトルＡkは、次の表の通り導出されることができる。
＜表６＞
表６を参照すると、上記関連ベクトルＡkは、１６個の要素を含むことができる。すなわち、上記関連ベクトルＡkは、１ｘ１６次元ベクトルでありえる。上記関連ベクトルＡkの０でない要素の開始点を示すファクタＡksの値は、０として導出されることができ、この場合、上記ファクタＡksは、上記０でない要素の開始点を上記関連ベクトルＡkの最初の要素として指し示すことができる。また、上記関連ベクトルＡkの０でない要素の長さを示すファクタＡkLの値は、８として導出されることができ、この場合、上記ファクタＡkLは、上記０でない要素の長さを８個と指し示すことができる。したがって、上記Ａkは、上記ファクタに基づいて、表６に図示したように、最初の要素乃至８番目の要素は１であり、残りの要素は０であるベクトルとして導出されることができる。
図１０は、関連ベクトルに対する２つのファクタに基づいて上記関連ベクトルを導出して選択的変換を行う一例を示す。図１０を参照すると、各関連ベクトルに対するファクタに基づいて関連行列が導出されることができ、上記関連行列および上記修正された変換行列に基づいて対象ブロックに対する変換係数が導出されることができる。
一方、関連ベクトルの各々の０でない要素の開始点および０でない要素の数は、固定された（fixed）値として導出されることができ、または上記関連ベクトルの各々の０でない要素の開始点および０でない要素の数は、多様に導出されることもできる。
また、例えば、関連ベクトルの０でない要素の開始点および０でない要素の数は、変換が行われる左上段対象領域のサイズに基づいて導出されることもできる。ここで、上記左上段対象領域のサイズは、上記左上段対象領域の変換係数の数を示すことができ、または、上記左上段対象領域の高さと幅との積を示すことができる。また、他の例において、関連ベクトルの０でない要素の開始点および０でない要素の数は、対象ブロックのイントラ予測モードに基づいて導出されることもできる。具体的には、例えば、上記対象ブロックの上記イントラ予測モードが非方向性イントラ予測モードか否かに基づいて上記関連ベクトルの０でない要素の開始点および０でない要素の数が導出されることができる。
あるいは、例えば、関連ベクトルの０でない要素の開始点および０でない要素の数は、予め設定されることができる。あるいは、例えば、上記関連ベクトルの０でない要素の開始点を示す情報および０でない要素の数を示す情報は、シグナリングされることができ、上記０でない要素の開始点を示す情報および上記０でない要素の数を示す情報に基づいて、上記関連ベクトルが導出されることができる。あるいは、上記０でない要素の開始点を示す情報の代わりに、他の情報が使われることもできる。例えば、上記０でない要素の開始点を示す情報の代わりに、上記０でない要素の最後の位置（last position）を示す情報が使われることができ、上記０でない要素の最後の位置を示す情報に基づいて、上記関連ベクトルが導出されることができる。
一方、上記ファクタに基づいて上記関連ベクトルを導出する方式は、分離変換と、簡素化変換ＨｙＧＴなどの非分離変換と、に適用されることができる。
図１１は、本発明に従うエンコード装置による映像エンコード方法を概略的に示す。図１１で開示された方法は、図１で開示されたエンコード装置により行われることができる。具体的には、例えば、図１１のＳ１１００は上記エンコード装置の減算部、Ｓ１１１０は上記エンコード装置の変換部、Ｓ１１２０は上記エンコード装置のエントロピエンコード部により遂行できる。また、図示してはいないが、予測サンプルを導出する過程は、上記エンコード装置の予測部により遂行できる。
エンコード装置は、対象ブロックの残差サンプルを導出する（Ｓ１１００）。例えば、エンコード装置は、対象ブロックに対してインター予測を行うか、またはイントラ予測を行うかを決定することができ、具体的なインター予測モードまたは具体的なイントラ予測モードをＲＤコストに基づいて決定することができる。決定されたモードによって、エンコード装置は、上記対象ブロックに対する予測サンプルを導出することができ、上記対象ブロックに対するオリジナルサンプルと上記予測サンプルとの加算を通じて上記残差サンプルを導出することができる。
エンコード装置は、上記残差サンプルに対する選択的変換（selective transform）に基づいて上記対象ブロックの変換係数を導出する（Ｓ１１１０）。上記選択的変換は、修正された（modified）変換行列（transform matrix）に基づいて行われることができ、上記修正された変換行列は、修正された基底ベクトル（basis vector）を含む行列であり、上記修正された基底ベクトルは、Ｎ個の要素のうちの選択された特定個数の要素を含むことができる。また、上記選択的変換は、上記対象ブロックの左上段対象領域で行われることができ、上記Ｎは、上記左上段対象領域に位置する残差サンプルの数でありえる。あるいは、上記Ｎは、上記左上段対象領域の幅と高さとを掛けた値でありえる。例えば、上記Ｎは、１６または６４でありえる。
エンコード装置は、上記残差サンプルに対するコア変換を行って修正された変換係数を導出することができ、上記修正された変換行列および上記修正された基底ベクトルに対する関連ベクトル（association vector）を含む関連行列（association matrix）に基づいて、上記対象ブロックの左上段対象領域に位置する修正された変換係数に対する上記選択的変換を行って、上記対象ブロックの変換係数を導出することができる。
具体的には、上記残差サンプルに対するコア変換は、次のように行われることができる。エンコード装置は、上記対象ブロックに対する適応的マルチコア変換（Adaptive Multiple core Transform、ＡＭＴ）を適用するか否かを決定することができる。この場合、上記対象ブロックの適応的マルチコア変換が適用されるか否かを示すＡＭＴフラグを生成できる。上記対象ブロックに上記ＡＭＴが適用されない場合、エンコード装置は、ＤＣＴタイプ２を上記対象ブロックに対する変換カーネルとして導出することができ、上記ＤＣＴタイプ２に基づいて上記残差サンプルに対する変換を行って上記修正された変換係数を導出することができる。
上記対象ブロックに上記ＡＭＴが適用される場合、エンコード装置は、水平変換カーネルに対する変換サブセットおよび垂直変換カーネルに対する変換サブセットを構成することができ、上記変換サブセットに基づいて水平変換カーネルおよび垂直変換カーネルを導出することができ、上記水平変換カーネルおよび上記垂直変換カーネルに基づいて上記残差サンプルに対する変換を行って修正された変換係数を導出することができる。ここで、上記水平変換カーネルに対する変換サブセットおよび上記垂直変換カーネルに対する変換サブセットは、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、および／またはＤＳＴタイプ１を候補として含むことができる。また、変換インデックス情報が生成されることができ、上記変換インデックス情報は、上記水平変換カーネルを指し示すＡＭＴ水平フラグおよび上記垂直変換カーネルを指し示すＡＭＴ垂直フラグを含むことができる。一方、上記変換カーネルは、変換タイプまたは変換コア（core）と称されることができる。
上記修正された変換係数が導出された場合、エンコード装置は、上記修正された変換行列および上記修正された基底ベクトルに対する関連ベクトル（association vector）を含む関連行列（association matrix）に基づいて、上記対象ブロックの左上段対象領域に位置する修正された変換係数に対する上記選択的変換を行って、上記対象ブロックの上記変換係数を導出することができる。上記対象ブロックの上記左上段領域に位置する上記修正された変換係数以外の修正された変換係数は、そのまま上記対象ブロックの上記変換係数として導出されることができる。
具体的には、上記左上段対象領域に位置する上記修正された変換係数のうち、上記関連ベクトルの１である要素（elements）に対する修正された変換係数が導出されることができ、上記導出された修正された変換係数および上記修正された基底ベクトルに基づいて上記対象ブロックの変換係数が導出されることができる。ここで、上記修正された基底ベクトルに対する上記関連ベクトルは、Ｎ個の要素を含むことができ、上記Ｎ個の要素は、１の要素および／または０の要素を含むことができ、上記１の要素の個数は、Ａ個でありえる。また、上記修正された基底ベクトルは、上記Ａ個の要素を含むことができる。
一方、一例において、上記修正された変換行列は、Ｎ個の修正された基底ベクトルを含むことができ、上記関連行列は、Ｎ個の関連ベクトルを含むことができる。上記関連ベクトルは同一の個数の１の要素を含むことができ、上記修正された基底ベクトルは、全て同一の個数の要素を含むことができる。あるいは、上記関連ベクトルは、同一の個数の１の要素を含まないことがあり、上記修正された基底ベクトルは、全て同一の個数の要素を含まないことがある。
あるいは、他の例において、上記修正された変換行列は、Ｒ個の修正された基底ベクトルを含むことができ、上記関連行列は、Ｒ個の関連ベクトルを含むことができる。上記Ｒは、簡素化係数（reduced coefficient）でありえ、上記Ｒは、Ｎより小さいことがある。上記関連ベクトルは、同一の個数の１の要素を含むことができ、上記修正された基底ベクトルは、全て同一の個数の要素を含むことができる。あるいは、上記関連ベクトルは、同一の個数の１の要素を含まないことがあり、上記修正された基底ベクトルは、全て同一の個数の要素を含まないことがある。
一方、上記関連ベクトルは、１の要素が連続するように構成できる。この場合、一例において、上記関連ベクトルに関する情報がエントロピエンコードされることができる。例えば、上記関連ベクトルに関する情報は、１の要素の開始点を示す情報および１の要素の個数を示す情報を含むことができる。あるいは、例えば、上記関連ベクトルに関する情報は、１の要素の最後の位置を示す情報および１の要素の個数を示す情報を含むことができる。
また、他の例において、上記左上段対象領域のサイズに基づいて、上記関連ベクトルが導出されることができる。例えば、上記左上段対象領域のサイズに基づいて、上記関連ベクトルの１の要素の開始点および上記１の要素の個数が導出されることができる。
あるいは、他の例において、上記対象ブロックのイントラ予測モードに基づいて、上記関連ベクトルが導出されることができる。例えば、上記イントラ予測モードに基づいて、上記関連ベクトルの１の要素の開始点および上記１の要素の個数が導出されることができる。また、例えば、上記イントラ予測モードが非方向性（non-directional）イントラ予測モードか否かに基づいて、上記関連ベクトルの１の要素の開始点および上記１の要素の個数が導出されることができる。
エンコード装置は、変換係数に関する情報をエンコードする（Ｓ１３３０）。上記変換係数に関する情報は、上記変換係数のサイズ、位置などに関する情報を含むことができる。また、前述したように、上記関連ベクトルに関する情報をエントロピエンコードできる。例えば、上記関連ベクトルに関する情報は、１の要素の開始点を示す情報および１の要素の個数を示す情報を含むことができる。あるいは、例えば、上記関連ベクトルに関する情報は、１の要素の最後の位置を示す情報および１の要素の個数を示す情報を含むことができる。
上記変換係数に関する情報および／または上記関連ベクトルに関する情報を含む映像情報は、ビットストリーム形態で出力されることができる。また、上記映像情報は、予測情報をさらに含むことができる。上記予測情報は、上記予測手続きに関連する情報として予測モード情報および動き情報に関する情報（例えば、インター予測が適用される場合）などを含むことができる。
出力されたビットストリームは、記憶媒体またはネットワークを介してデコード装置に伝達されることができる。
図１２は、本発明に従う映像エンコード方法を行うエンコード装置を概略的に示す。図１１で開示した方法は、図１２で開示したエンコード装置により遂行できる。具体的には、例えば、図１２の上記エンコード装置の加算部は図１１のＳ１１００を行うことができ、上記エンコード装置の変換部はＳ１１１０を行うことができ、上記エンコード装置のエントロピエンコード部はＳ１１２０乃至Ｓ１１３０を行うことができる。また、図示してはいないが、予測サンプルを導出する過程は、上記エンコード装置の予測部により行われることができる。
図１３は、本発明に従うデコード装置による映像デコード方法を概略的に示す。図１３で開示した方法は、図２で開示したデコード装置により行われることができる。具体的には、例えば、図１３のＳ１３００乃至Ｓ１３１０は上記デコード装置のエントロピデコード部、Ｓ１３２０は上記デコード装置の逆変換部、Ｓ１３３０は上記デコード装置の加算部により行われることができる。また、図示してはいないが、予測サンプルを導出する過程は、上記デコード装置の予測部により行われることができる。
デコード装置は、上記ビットストリームから上記対象ブロックの変換係数を導出する（Ｓ１３００）。デコード装置は、上記ビットストリームを通じて受信した上記対象ブロックの変換係数に関する情報をデコードして上記対象ブロックの変換係数を導出することができる。上記受信した上記対象ブロックの変換係数に関する情報は、残差（residual）情報として示されることができる。
デコード装置は、上記変換係数に対する選択的変換（selective transform）に基づいて、上記対象ブロックに対する残差サンプルを導出する（Ｓ１３１０）。上記選択的変換は、修正された（modified）変換行列（transform matrix）に基づいて行われることができ、上記修正された変換行列は、修正された基底ベクトル（basis vector）を含む行列であり、上記修正された基底ベクトルは、Ｎ個の要素のうちの選択された特定個数の要素を含むことができる。また、上記選択的変換は、上記対象ブロックの左上段対象領域に位置する変換係数に対して行われることができ、上記Ｎは、上記左上段対象領域に位置する変換係数などの数でありえる。あるいは、上記Ｎは、上記左上段対象領域の幅と高さとを掛けた値でありえる。例えば、上記Ｎは、１６または６４でありえる。
デコード装置は、上記修正された変換行列および上記修正された基底ベクトルに対する関連ベクトル（association vector）を含む関連行列（association matrix）に基づいて、上記対象ブロックの左上段対象領域に位置する変換係数に対する上記選択的変換を行って修正された変換係数を導出することができる。
具体的には、上記左上段対象領域に位置する変換係数のうちの上記関連ベクトルの１の要素（elements）に対する変換係数が導出されることができ、上記導出された変換係数と上記修正された基底ベクトルとに基づいて、修正された変換係数が導出されることができる。ここで、上記修正された基底ベクトルに対する上記関連ベクトルは、Ｎ個の要素を含むことができ、上記Ｎ個の要素は、１の要素および／または０の要素を含むことができ、上記１の要素の個数は、Ａ個でありえる。また、上記修正された基底ベクトルは、上記Ａ個の要素を含むことができる。
一方、一例において、上記修正された変換行列は、Ｎ個の修正された基底ベクトルを含むことができ、上記関連行列は、Ｎ個の関連ベクトルを含むことができる。上記関連ベクトルは、同一の個数の１の要素を含むことができ、上記修正された基底ベクトルは、全て同一の個数の要素を含むことができる。あるいは、上記関連ベクトルは、同一の個数の１の要素を含まないことがあり、上記修正された基底ベクトルは、全て同一の個数の要素を含まないことがある。
あるいは、他の例において、上記修正された変換行列は、Ｒ個の修正された基底ベクトルを含むことができ、上記関連行列は、Ｒ個の関連ベクトルを含むことができる。上記Ｒは、簡素化係数（reduced coefficient）でありえ、上記Ｒは、Ｎより小さいことがある。上記関連ベクトルは、同一の個数の１の要素を含むことができ、上記修正された基底ベクトルは、全て同一の個数の要素を含むことができる。あるいは、上記関連ベクトルは、同一の個数の１の要素を含まないことがあり、上記修正された基底ベクトルは、全て同一の個数の要素を含まないことがある。
一方、上記関連ベクトルは、１の要素が連続するように構成できる。この場合、一例において、上記関連ベクトルに関する情報がビットストリームから獲得されることができ、上記関連ベクトルに関する情報に基づいて、上記関連ベクトルが導出されることができる。例えば、上記関連ベクトルに関する情報は、１の要素の開始点を示す情報および１の要素の個数を示す情報を含むことができる。あるいは、例えば、上記関連ベクトルに関する情報は、１の要素の最後の位置を示す情報および１の要素の個数を示す情報を含むことができる。
あるいは、他の例において、上記左上段対象領域のサイズに基づいて、上記関連ベクトルが導出されることができる。例えば、上記左上段対象領域のサイズに基づいて、上記関連ベクトルの１の要素の開始点および上記１の要素の個数が導出されることができる。
あるいは、他の例において、上記対象ブロックのイントラ予測モードに基づいて、上記関連ベクトルが導出されることができる。例えば、上記イントラ予測モードに基づいて、上記関連ベクトルの１の要素の開始点および上記１の要素の個数が導出されることができる。また、例えば、上記イントラ予測モードが非方向性（non-directional）イントラ予測モードか否かに基づいて、上記関連ベクトルの１の要素の開始点および上記１の要素の個数が導出されることができる。
上記修正された変換係数が導出された場合、デコード装置は、上記修正された変換係数を含む上記対象ブロックに対するコア変換を行って、上記残差サンプルを導出することができる。
上記対象ブロックに対するコア変換は、次のように行われることができる。デコード装置は、ビットストリームから適応的マルチコア変換（Adaptive Multiple core Transform、ＡＭＴ）が適用されるか否かを示すＡＭＴフラグを獲得することができ、上記ＡＭＴフラグの値が０の場合、デコード装置は、ＤＣＴタイプ２を上記対象ブロックに対する変換カーネルとして導出することができ、上記ＤＣＴタイプ２に基づいて上記修正された変換係数を含む上記対象ブロックに対する逆変換を行って、上記残差サンプルを導出することができる。
上記ＡＭＴフラグの値が１の場合、デコード装置は、水平変換カーネルに対する変換サブセットおよび垂直変換カーネルに対する変換サブセットを構成することができ、上記ビットストリームから獲得した変換インデックス情報、上記変換サブセットに基づいて、水平変換カーネル、および垂直変換カーネルを導出することができ、上記水平変換カーネルおよび上記垂直変換カーネルに基づいて、上記修正された変換係数を含む上記対象ブロックに対する逆変換を行って、上記残差サンプルを導出することができる。ここで、上記水平変換カーネルに対する変換サブセットおよび上記垂直変換カーネルに対する変換サブセットは、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、および／またはＤＳＴタイプ１を候補として含むことができる。また、上記変換インデックス情報は、上記水平変換カーネルに対する変換サブセットに含まれる候補のうちの１つを指し示すＡＭＴ水平フラグおよび上記垂直変換カーネルに対する変換サブセットに含まれる候補のうちの１つを指し示すＡＭＴ垂直フラグを含むことができる。一方、上記変換カーネルは、変換タイプまたは変換コア（core）と称されることができる。
デコード装置は、上記残差サンプルに基づいて復元ピクチュアを生成する（Ｓ１３２０）。デコード装置は、上記残差サンプルに基づいて復元ピクチュアを生成することができる。例えば、デコード装置は、ビットストリームを通じて受信した予測情報に基づいて対象ブロックに対するインター予測またはイントラ予測を行い、予測サンプルを導出することができ、上記予測サンプルと上記残差サンプルとの加算を通じて上記復元ピクチュアを生成することができる。以後、必要によって、主観的／客観的画質を向上させるために、デブロックフィルタリング、ＳＡＯおよび／またはＡＬＦ手続きなどのインループフィルタリング手続きを上記復元ピクチュアに適用できることは前述した通りである。
図１４は、本発明に従う映像デコード方法を行うデコード装置を概略的に示す。図１３で開示した方法は、図１４で開示したデコード装置により行われることができる。具体的には、例えば、図１４の上記デコード装置のエントロピデコード部は図１３のＳ１３００を行うことができ、図１４の上記デコード装置の逆変換部は図１３のＳ１３１０を行うことができ、図１６の上記デコード装置の加算部は図１５のＳ１３２０を行うことができる。また、図示してはいないが、予測サンプルを導出する過程は、図１４の上記デコード装置の予測部により行われることができる。
前述した本発明によれば、効率の良い変換を通じて残差処理のために転送されなければならないデータ量を減らすことができ、残差コーディング効率を高めることができる。
また、本発明によれば、選択された特定個数の要素を含む基底ベクトルで構成された変換行列に基づいて非分離変換を行うことができ、これを通じて非分離変換のためのメモリ負荷および計算複雑度を減らすことができ、残差コーディング効率を高めることができる。
また、本発明によれば、単純化された構造の変換行列に基づいて非分離変換を行うことができ、これを通じて残差処理のために転送されなければならないデータ量を減らすことができ、残差コーディング効率を高めることができる。
前述した実施例において、方法は、一連のステップまたはブロックにて順序度（フローチャート）に基づいて説明されているが、本発明は、ステップの順序に限定されるのではなく、あるステップは、前述したのと異なるステップおよび異なる順序で、または同時に発生することができる。また、当業者であれば、フローチャートに示されたステップが排他的でなく、他のステップが含まれるか、またはフローチャートの１つもしくは複数のステップが、本発明の範囲に影響を及ぼさずに削除できることを理解することができる。
前述した本発明に従う方法は、ソフトウェア形態で具現されることができ、本発明に従うエンコード装置および／またはデコード装置は、例えばＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの映像処理を行う装置に含まれることができる。
本発明において、実施例がソフトウェアで具現されるとき、前述した方法は、前述した機能を行うモジュール（過程、機能など）で具現されることができる。モジュールは、メモリに記憶され、プロセッサにより実行されることができる。メモリは、プロセッサの内部または外部に在ってもよく、よく知られた多様な手段によりプロセッサと連結されることができる。プロセッサは、ＡＳＩＣ（Application-Specific Integrated Circuit）、他のチップセット、論理回路および／またはデータ処理装置を含むことができる。メモリは、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ、メモリカード、記憶媒体、および／または他の記憶装置を含むことができる。すなわち、本発明で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で具現されて遂行できる。例えば、各図面で図示した機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で具現されて遂行できる。
また、本発明が適用されるデコード装置およびエンコード装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、ビデオオンデマンド（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Over the top video）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、および医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために使われることができる。例えば、ＯＴＴビデオ（Over The Top video）装置は、ゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Digital Video Recorder）などを含むことができる。
また、本発明が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータにより読み取りできる記録媒体に記憶されることができる。また、本発明に従うデータ構造を有するマルチメディアデータも、コンピュータにより読み取りできる記録媒体に記憶されることができる。上記コンピュータにより読み取りできる記録媒体は、コンピュータにより読み取りできるデータが記憶される全ての種類の記憶装置および分散記憶装置を含む。上記コンピュータにより読み取りできる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、ユニバーサルシリアル（汎用直列）バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピ（登録商標）ディスク、および光学データ記憶装置を含むことができる。また、上記コンピュータにより読み取りできる記録媒体は、搬送波（例えば、インターネットを通じての転送）の形態に具現されたメディアを含む。また、エンコード方法により生成されたビットストリームがコンピュータにより読み取りできる記録媒体に記憶されるか、または有無線通信ネットワークを介して転送できる。また、本発明の実施例は、プログラムコードによるコンピュータプログラム製品で具現されることができ、上記プログラムコードは、本発明の実施例によりコンピュータで行われることができる。上記プログラムコードは、コンピュータにより読み取り可能なキャリア上に記憶されることができる。
また、本発明が適用されるコンテンツストリーミングシステムは、大別してエンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディア記憶所、ユーザ装置、およびマルチメディア入力装置を含むことができる。
上記エンコードサーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを上記ストリーミングサーバに転送する役割を担う。他の例において、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置がビットストリームを直接生成する場合、上記エンコードサーバは、省略されることができる。上記ビットストリームは、本発明が適用されるエンコード方法またはビットストリーム生成方法により生成されることができ、上記ストリーミングサーバは、上記ビットストリームを転送または受信する過程で一時的に上記ビットストリームを記憶することができる。
上記ストリーミングサーバは、ウェブサーバを通じてのユーザ要求（要請）に基づいてマルチメディアデータをユーザ装置に転送し、上記ウェブサーバは、ユーザにいかなるサービスがあるかを知らせる媒介体の役割を担う。ユーザが上記ウェブサーバに所望のサービスを要求すれば、上記ウェブサーバは、これをストリーミングサーバに伝達し、上記ストリーミングサーバは、ユーザにマルチメディアデータを転送する。この際、上記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、上記制御サーバは、上記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を担う。
上記ストリーミングサーバは、メディア記憶所および／またはエンコードサーバからコンテンツを受信することができる。例えば、上記エンコードサーバからコンテンツを受信するようになる場合、上記コンテンツをリアルタイムに受信することができる。この場合、円滑なストリーミングサービスを提供するために、上記ストリーミングサーバは、上記ビットストリームを一定時間の間記憶することができる。
上記ユーザ装置の例には、携帯電話、スマートフォン（smart phone）、ノートブックコンピュータ（laptop computer）、デジタル放送用端末機、ＰＤＡ（Personal Digital Assistants）、ＰＭＰ（Portable Multimedia Player）、ナビゲーション（ナビゲータ）、スレートＰＣ（slate PC）、タブレットＰＣ（tablet PC）、ウルトラブック（ULTRABOOK（登録商標））、ウェアラブルデバイス（wearable device、例えば、スマートウォッチ（smartwatch）、スマートグラス（smart glass）、ＨＭＤ（Head Mounted Display））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがありえる。上記コンテンツストリーミングシステム内の各サーバは、分散サーバで運用されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。

Claims (3)

  1. デコード装置により行われる映像デコード方法であって、
    ビットストリームから対象ブロックの逆量子化された変換係数を導出するステップと、
    前記逆量子化された変換係数に対する非分離変換（non-separable transform）に基づいて前記対象ブロックに対する１次変換係数を導出するステップと、
    前記１次変換係数に対する分離変換（separable transform）に基づいて前記対象ブロックに対する残差サンプルを導出するステップと、
    前記対象ブロックに対する前記残差サンプルおよび前記対象ブロックに対する予測サンプルに基づいて復元ピクチャを生成するステップと、を有し、
    前記非分離変換は、変換行列（transform matrix）に基づいて行われ、
    前記変換行列は、修正された基底ベクトルを有し、
    前記修正された基底ベクトルのそれぞれは、Ｎ個の要素より少ない要素を有し、
    Ｎは、前記対象ブロックにおいて前記非分離変換が適用される領域に位置する逆量子化された変換係数の数に等しく、
    前記非分離変換が適用される領域は、前記対象ブロックにおける８ｘ８左上段対象領域であり、
    Ｎは、６４に等しく、
    前記修正された基底ベクトルの数は、Ｎより小さい、映像デコード方法。
  2. エンコード装置により行われる映像エンコード方法であって、
    対象ブロックの残差サンプルを導出するステップと、
    前記残差サンプルに対する分離変換（separable transform）に基づいて前記対象ブロックに対する１次変換係数を導出するステップと、
    前記１次変換係数に対する非分離変換（non-separable transform）に基づいて前記対象ブロックに対する２次変換係数を導出するステップと、
    前記２次変換係数に基づいて前記対象ブロックに対する量子化された変換係数を導出するステップと、
    前記量子化された変換係数に関する情報をエンコードするステップと、を有し、
    前記非分離変換は、変換行列（transform matrix）に基づいて行われ、
    前記変換行列は、修正された基底ベクトルを有し、
    前記修正された基底ベクトルのそれぞれは、Ｎ個の要素より少ない要素を有し、
    Ｎは、前記対象ブロックにおいて前記非分離変換が適用される領域に位置する１次変換係数の数に等しく、
    前記非分離変換が適用される領域は、前記対象ブロックにおける８ｘ８左上段対象領域であり、
    Ｎは、６４に等しく、
    前記修正された基底ベクトルの数は、Ｎより小さい、映像エンコード方法。
  3. 映像に関するビットストリームを有するデータの送信方法であって、
    前記映像に関するビットストリームを取得するステップであって、前記ビットストリームは、
    対象ブロックの残差サンプルを導出するステップと、
    前記残差サンプルに対する分離変換（separable transform）に基づいて前記対象ブロックに対する１次変換係数を導出するステップと、
    前記１次変換係数に対する非分離変換（non-separable transform）に基づいて前記対象ブロックに対する２次変換係数を導出するステップと、
    前記２次変換係数に基づいて前記対象ブロックに対する量子化された変換係数を導出するステップと、
    前記量子化された変換係数に関する情報をエンコードするステップと、によって生成されるステップと、
    前記ビットストリームを有する前記データを送信するステップと、を有し、
    前記非分離変換は、変換行列（transform matrix）に基づいて行われ、
    前記変換行列は、修正された基底ベクトルを有し、
    前記修正された基底ベクトルのそれぞれは、Ｎ個の要素より少ない要素を有し、
    Ｎは、前記対象ブロックにおいて前記非分離変換が適用される領域に位置する１次変換係数の数に等しく、
    前記非分離変換が適用される領域は、前記対象ブロックにおける８ｘ８左上段対象領域であり、
    Ｎは、６４に等しく、
    前記修正された基底ベクトルの数は、Ｎより小さい、方法。
JP2023005817A 2017-12-21 2023-01-18 選択的変換に基づいた映像コーディング方法およびその装置 Active JP7420982B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024002581A JP2024026721A (ja) 2017-12-21 2024-01-11 選択的変換に基づいた映像コーディング方法およびその装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762609270P 2017-12-21 2017-12-21
US62/609,270 2017-12-21
JP2021186851A JP7214820B2 (ja) 2017-12-21 2021-11-17 選択的変換に基づいた映像コーディング方法およびその装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021186851A Division JP7214820B2 (ja) 2017-12-21 2021-11-17 選択的変換に基づいた映像コーディング方法およびその装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024002581A Division JP2024026721A (ja) 2017-12-21 2024-01-11 選択的変換に基づいた映像コーディング方法およびその装置

Publications (2)

Publication Number Publication Date
JP2023033549A JP2023033549A (ja) 2023-03-10
JP7420982B2 true JP7420982B2 (ja) 2024-01-23

Family

ID=66994867

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2020534591A Active JP6980920B2 (ja) 2017-12-21 2018-12-21 選択的変換に基づいた映像コーディング方法およびその装置
JP2021186851A Active JP7214820B2 (ja) 2017-12-21 2021-11-17 選択的変換に基づいた映像コーディング方法およびその装置
JP2023005817A Active JP7420982B2 (ja) 2017-12-21 2023-01-18 選択的変換に基づいた映像コーディング方法およびその装置
JP2024002581A Pending JP2024026721A (ja) 2017-12-21 2024-01-11 選択的変換に基づいた映像コーディング方法およびその装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2020534591A Active JP6980920B2 (ja) 2017-12-21 2018-12-21 選択的変換に基づいた映像コーディング方法およびその装置
JP2021186851A Active JP7214820B2 (ja) 2017-12-21 2021-11-17 選択的変換に基づいた映像コーディング方法およびその装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024002581A Pending JP2024026721A (ja) 2017-12-21 2024-01-11 選択的変換に基づいた映像コーディング方法およびその装置

Country Status (8)

Country Link
US (3) US11184618B2 (ja)
EP (2) EP4307676A3 (ja)
JP (4) JP6980920B2 (ja)
KR (3) KR102489149B1 (ja)
CN (5) CN111615830B (ja)
BR (5) BR122021019719B1 (ja)
MX (1) MX2020006623A (ja)
WO (1) WO2019125035A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4307676A3 (en) * 2017-12-21 2024-03-13 LG Electronics Inc. Method for coding image on basis of selective transform and device therefor
WO2019194503A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 분할된 블록에 2차 변환을 적용하여 비디오 신호를 처리하는 방법 및 장치
CN116546198A (zh) 2018-08-12 2023-08-04 Lg电子株式会社 解码装置、编码装置、存储介质和发送图像的数据的装置
KR20200028856A (ko) * 2018-09-07 2020-03-17 김기백 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20220047628A (ko) * 2019-09-21 2022-04-18 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
MX2022003996A (es) * 2019-10-04 2022-04-26 Lg Electronics Inc Metodo de codificacion de imagenes a base de transformacion, y dispositivo para el mismo.
CN117714715A (zh) * 2019-10-08 2024-03-15 Lg电子株式会社 图像解码设备、图像编码设备和数据发送设备
US20220201334A1 (en) 2020-12-23 2022-06-23 Tencent America LLC Method and apparatus for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013542664A (ja) 2010-09-28 2013-11-21 サムスン エレクトロニクス カンパニー リミテッド 映像変換方法及びその装置、並びに映像逆変換方法及びその装置
US20170034530A1 (en) 2015-07-28 2017-02-02 Microsoft Technology Licensing, Llc Reduced size inverse transform for decoding and encoding
WO2017058614A1 (en) 2015-09-29 2017-04-06 Qualcomm Incorporated Non-separable secondary transform for video coding

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US8428133B2 (en) * 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
CN102388610B (zh) * 2009-02-09 2015-03-04 三星电子株式会社 使用低复杂度频率变换的视频编码方法和设备以及视频解码方法和设备
US9215470B2 (en) * 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
US8885701B2 (en) * 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
JP5781313B2 (ja) * 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
US9338449B2 (en) * 2011-03-08 2016-05-10 Qualcomm Incorporated Harmonized scan order for coding transform coefficients in video coding
GB2492333B (en) * 2011-06-27 2018-12-12 British Broadcasting Corp Video encoding and decoding using transforms
CA2853002C (en) * 2011-10-18 2017-07-25 Kt Corporation Method for encoding image, method for decoding image, image encoder, and image decoder
KR101418096B1 (ko) * 2012-01-20 2014-07-16 에스케이 텔레콤주식회사 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
US9215464B2 (en) * 2013-09-19 2015-12-15 Blackberry Limited Coding position data for the last non-zero transform coefficient in a coefficient group
US9432696B2 (en) * 2014-03-17 2016-08-30 Qualcomm Incorporated Systems and methods for low complexity forward transforms using zeroed-out coefficients
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10200719B2 (en) * 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
CN113411580B (zh) * 2016-05-13 2024-01-30 夏普株式会社 图像解码装置及其方法、图像编码装置及其方法
JP6868785B2 (ja) * 2016-05-13 2021-05-12 ソニーグループ株式会社 画像処理装置および方法
US11758136B2 (en) * 2016-06-24 2023-09-12 Electronics And Telecommunications Research Institute Method and apparatus for transform-based image encoding/decoding
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
US10848788B2 (en) * 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
US10855997B2 (en) 2017-04-14 2020-12-01 Mediatek Inc. Secondary transform kernel size selection
CN116055721A (zh) * 2017-07-28 2023-05-02 松下电器（美国）知识产权公司 编码装置和编码方法
EP4307676A3 (en) * 2017-12-21 2024-03-13 LG Electronics Inc. Method for coding image on basis of selective transform and device therefor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013542664A (ja) 2010-09-28 2013-11-21 サムスン エレクトロニクス カンパニー リミテッド 映像変換方法及びその装置、並びに映像逆変換方法及びその装置
US20170034530A1 (en) 2015-07-28 2017-02-02 Microsoft Technology Licensing, Llc Reduced size inverse transform for decoding and encoding
WO2017058614A1 (en) 2015-09-29 2017-04-06 Qualcomm Incorporated Non-separable secondary transform for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jianle Chen, et al.，Algorithm Description of Joint Exploration Test Model 7 (JEM 7)，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-G1001-v1，7th Meeting: Torino, IT，2017年08月，pp.28-32

Also Published As

Publication number Publication date
JP2024026721A (ja) 2024-02-28
BR122021019694B1 (pt) 2022-05-17
US11184618B2 (en) 2021-11-23
CN115834876A (zh) 2023-03-21
BR122021019719B1 (pt) 2022-05-24
KR20200084354A (ko) 2020-07-10
MX2020006623A (es) 2020-09-14
EP3716631A1 (en) 2020-09-30
BR122021019687B1 (pt) 2022-05-17
CN115941940A (zh) 2023-04-07
CN111615830A (zh) 2020-09-01
BR122021019686B1 (pt) 2022-05-24
CN115767086A (zh) 2023-03-07
BR112020012643B1 (pt) 2022-05-17
JP7214820B2 (ja) 2023-01-30
BR112020012643A2 (pt) 2020-12-01
JP2021507634A (ja) 2021-02-22
KR102604680B1 (ko) 2023-11-21
JP2022036081A (ja) 2022-03-04
US20200322611A1 (en) 2020-10-08
US20230224467A1 (en) 2023-07-13
WO2019125035A1 (ko) 2019-06-27
US20210360254A1 (en) 2021-11-18
CN111615830B (zh) 2022-12-09
EP3716631A4 (en) 2020-09-30
KR20230161537A (ko) 2023-11-27
JP2023033549A (ja) 2023-03-10
US11647199B2 (en) 2023-05-09
EP4307676A3 (en) 2024-03-13
CN115776572A (zh) 2023-03-10
EP4307676A2 (en) 2024-01-17
KR102489149B1 (ko) 2023-01-17
KR20230010067A (ko) 2023-01-17
JP6980920B2 (ja) 2021-12-15

Similar Documents

Publication Publication Date Title
JP7420982B2 (ja) 選択的変換に基づいた映像コーディング方法およびその装置
JP7423835B2 (ja) 非分離二次変換に基づいた画像コーディング方法及びその装置
JP7260665B2 (ja) Ｂｄｐｃｍに基づく映像コーディング方法、及びその装置
JP7476401B2 (ja) 画像コーディングにおいて変換カーネルセットを表す情報のシグナリング
JP7214894B2 (ja) イントラ予測ベースの映像コーディングにおける変換
US20220417517A1 (en) Image decoding method using cclm prediction in image coding system, and apparatus therefor
JP7303335B2 (ja) 変換カーネルセットに関する情報に対するコーディング
JP2023168536A (ja) 変換に基づく映像コーディング方法及びその装置
JP2021502771A (ja) 画像コーディングシステムにおいてブロックサイズに応じた変換を使用する画像デコード方法およびその装置
US11671598B2 (en) Image decoding method and device using residual information in image coding system
JP2023112079A (ja) 画像コーディングシステムにおいて変換カーネルセットに関する情報に対するコンテキストコーディング

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240111

R150 Certificate of patent or registration of utility model

Ref document number: 7420982

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150