JP7446988B2 - ビデオ圧縮のための変換を構成する方法および装置 - Google Patents
ビデオ圧縮のための変換を構成する方法および装置 Download PDFInfo
- Publication number
- JP7446988B2 JP7446988B2 JP2020505860A JP2020505860A JP7446988B2 JP 7446988 B2 JP7446988 B2 JP 7446988B2 JP 2020505860 A JP2020505860 A JP 2020505860A JP 2020505860 A JP2020505860 A JP 2020505860A JP 7446988 B2 JP7446988 B2 JP 7446988B2
- Authority
- JP
- Japan
- Prior art keywords
- transform
- transformation
- amt
- index
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 103
- 238000006243 chemical reaction Methods 0.000 title claims description 86
- 238000007906 compression Methods 0.000 title description 3
- 230000006835 compression Effects 0.000 title description 2
- 230000009466 transformation Effects 0.000 claims description 180
- 230000003044 adaptive effect Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000008569 process Effects 0.000 description 29
- 238000013139 quantization Methods 0.000 description 27
- 238000000844 transformation Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 24
- 101100278585 Dictyostelium discoideum dst4 gene Proteins 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 12
- 238000001914 filtration Methods 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000000638 solvent extraction Methods 0.000 description 7
- 101001016186 Homo sapiens Dystonin Proteins 0.000 description 4
- 101000832669 Rattus norvegicus Probable alcohol sulfotransferase Proteins 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 101150089388 dct-5 gene Proteins 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 239000013074 reference sample Substances 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- OVSKIKFHRZPJSS-UHFFFAOYSA-N 2,4-D Chemical compound OC(=O)COC1=CC=C(Cl)C=C1Cl OVSKIKFHRZPJSS-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 101150090341 dst1 gene Proteins 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、ビデオ信号を処理する方法および装置に関し、より具体的には、予測モード、ブロックサイズおよびブロック形状（block shape）の少なくとも１つにより区分される変換設定グループ（transform configuration group）別に変換組合せ（transform combination）を構成する技術に関する。
次世代ビデオコンテンツは、高解像度（high spatial resolution）、高フレームレート（率）（high frame rate）および画像表現の高次元化（high dimensionality of scene representation）という特徴を有する。そのようなコンテンツを処理するためには、メモリ記憶（格納）量（memory storage）、メモリアクセスレート（率）（memory access rate）および処理電力（processing power）の側面で多大な増加をもたらすだろう。
したがって、次世代ビデオコンテンツをより効率的に処理するためのコーディングツールをデザインする必要がある。特に、変換（transform）を適用するとき、符号化効率および複雑度の側面ではるかに効率的な変換を設計する必要がある。
本発明は、符号化効率および複雑度の側面ではるかに効率的な変換設定（transform configuration）を設計しようとする。
本発明は、予測モード、ブロックサイズおよびブロック形状（block shape）の少なくとも１つにより区分される変換設定グループ（transform configuration group）別に変換組合せ（transform combination）を構成する方法を提案する。
また、本発明は、新しい変換デザインを反映するためのエンコーダ／デコーダ構造を提案する。
上記課題を解決するために、
本発明は、ＤＣＴ８（Discrete Cosine Transform type 8）に対してＤＳＴ７（Discrete Sine Transform type 7）のカーネル係数データをそのまま使用するとともに、ＤＳＴ７の変形した形態に代替する方法を提供する。
また、本発明は、ＤＳＴ７をＤＳＴ４に代替し、ＤＣＴ８に対してＤＳＴ４のカーネル係数データをそのまま使用するとともに、ＤＣＴ４の変形した形態に代替する方法を提供する。
また、本発明は、予測モード、ブロックサイズおよびブロック形状（block shape）の少なくとも１つに基づいて変換設定グループ（transform configuration group）を構成し、１つの変換設定グループは、１つまたは複数の変換組合せで構成され、１つの変換組合せは、全ての行（row）および列（column）に対応する変換で構成されるとともに、各行（row）または列（column）に対応する変換は、相異なるように構成される方法を提供する。
また、本発明は、ＤＳＴ７またはＤＳＴ４などの１つの変換とそれから変形された変換とに基づいて、全ての行（row）および列（column）に対する変換を構成する方法を提供する。
また、本発明は、全ての三角変換（trigonometric transforms）（８つのＤＣＴ、８つのＤＳＴ）間に存在する線形関係を利用するか、変換入出力部分に前後処理過程を追加する方式により、全ての変換に対してそれぞれ導出（誘導）可能な変換集合を構成することができ、このように導出した変換集合の和集合を求めて変換組合せを決定するのに活用する方法を提供する。
本発明は、静止画像または動画を符号化するとき、決まった個数の変換に基づいて全ての行（row）および列（column）に対する変換を変換設定グループ（transform configuration group）別に構成することにより、よりコーディング効率の高い変換係数を生成することができる。
本発明は、適応マルチ変換（Adaptive Multiple Transforms；ＡＭＴ）に基づいてビデオ信号をデコードする方法であって、ビデオ信号からＡＭＴインデックスを取得するステップであって、ＡＭＴインデックスは、変換設定グループ内の複数の変換組合せのいずれか１つを示し、変換設定グループは、ＤＳＴ７（Discrete Sine Transform type 7）およびＤＣＴ８（Discrete Cosine Transform type 8）を有するステップと、ＡＭＴインデックスに対応する変換組合せを導出するステップであって、変換組合せは、水平変換および垂直変換で構成され、ＤＳＴ７およびＤＣＴ８の少なくとも１つを有するステップと、変換組合せに基づいて、現ブロックに対して逆変換を行うステップと、逆変換された現ブロックを利用してビデオ信号を復元するステップと、を有し、ＡＭＴは、複数の変換組合せから適応的に選択される変換組合せに基づいて行われる変換方式を示す、ことを特徴とする方法を提供する。
本発明において、変換設定グループは、現ブロックの予測モード、ブロックサイズおよびブロック形状の少なくとも１つに基づいて設定される、ことを特徴とする。
本発明において、逆変換は、変換単位の幅および高さが両方とも３２以下である場合にのみ適用される、ことを特徴とする。
本発明において、方法は、ビデオ信号からＡＭＴフラグを取得するステップであって、ＡＭＴフラグは、ＡＭＴが行われるか否かを示すステップをさらに有し、ＡＭＴインデックスは、ＡＭＴフラグによってＡＭＴが行われる場合に取得される、ことを特徴とする。
本発明において、方法は、ＡＭＴフラグによってＡＭＴが行われる場合、０でない変換係数の個数が閾値より大きいか否かを確認するステップをさらに有し、ＡＭＴインデックスは、０でない変換係数の個数が閾値より大きい場合に取得される、ことを特徴とする。
本発明において、逆変換を行うステップは、垂直変換または水平変換がＤＳＴ７またはＤＣＴ８である場合、ＤＳＴ７の逆変換またはＤＣＴ８の逆変換を列ごとに適用した後、行ごとに適用する、ことを特徴とする。
本発明において、垂直変換または水平変換は、各行ごとにおよび／または各列ごとに異なる変換が適用される、ことを特徴とする。
本発明において、ＡＭＴフラグまたはＡＭＴインデックスは、シーケンス、ピクチャ、スライス、ブロック、コーディングユニット、変換ユニットおよび予測ユニットの少なくとも１つのレベルにおいて定義される、ことを特徴とする。
本発明は、適応マルチ変換（Adaptive Multiple Transforms；ＡＭＴ）に基づいてビデオ信号をデコードする装置であって、ビデオ信号からＡＭＴインデックスをパージングするパージング部であって、ＡＭＴインデックスは、変換設定グループ内の複数の変換組合せのいずれか１つを示し、変換設定グループは、ＤＳＴ７（Discrete Sine Transform type 7）およびＤＣＴ８（Discrete Cosine Transform type 8）を有するパージング部と、ＡＭＴインデックスに対応する変換組合せを導出し、変換組合せに基づいて現ブロックに対して逆変換を行う逆変換部と、逆変換された現ブロックを利用してビデオ信号を復元する復元部と、を有し、ＡＭＴは、複数の変換組合せから適応的に選択される変換組合せに基づいて行われる変換方式を示し、変換組合せは、水平変換および垂直変換で構成され、ＤＳＴ７およびＤＣＴ８の少なくとも１つを有する、ことを特徴とする装置を提供する。
本発明において、パージング部は、さらに、ビデオ信号からＡＭＴが行われるか否かを示すＡＭＴフラグをパージングし、ＡＭＴインデックスは、ＡＭＴフラグによってＡＭＴが行われる場合に取得される、ことを特徴とする。
本発明において、逆変換部は、さらに、ＡＭＴフラグによってＡＭＴが行われる場合、０でない変換係数の個数が閾値より大きいか否かを確認し、ＡＭＴインデックスは、０でない変換係数の個数が閾値より大きい場合に取得される、ことを特徴とする。
本発明において、逆変換部は、垂直変換または水平変換がＤＳＴ７またはＤＣＴ８である場合、ＤＳＴ７の逆変換またはＤＣＴ８の逆変換を列ごとに適用した後、行ごとに適用する、ことを特徴とする。
〔発明を実施するための形態〕
以下、添付の図面を参照して本発明の実施形態の構成およびその作用を説明し、図面により説明される本発明の構成および作用は、１つの実施形態として説明されるものであり、これにより本発明の技術的思想並びにその核心構成および作用が制限されるものではない。
以下、添付の図面を参照して本発明の実施形態の構成およびその作用を説明し、図面により説明される本発明の構成および作用は、１つの実施形態として説明されるものであり、これにより本発明の技術的思想並びにその核心構成および作用が制限されるものではない。
併せて、本発明で使われる用語は、できる限り現在広く使われる一般的な用語を選択したが、特定の場合は、出願人が任意に選定した用語を使用して説明する。そのような場合には該当部分の詳細説明でその意味を明確に記載するので、本発明の説明で使われた用語の名称だけで単純に解析されてはならず、その該当の用語の意味まで把握して解析（解釈）されるべきであることを明らかにする。
また、本発明で使われる用語は、発明を説明するために選択された一般的な用語であるが、類似の意味を有する他の用語がある場合、より適切な解析のために代替可能である。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディング過程で適切に代替されて解析できるものである。また、パーティショニング（partitioning）、分解（decomposition）、スプリット（splitting）および分割（division）などの場合にも各コーディング過程で適切に代替され解析できるものである。
図１は、本発明が適用される実施形態として、ビデオ信号のエンコード（符号化）が行われるエンコーダの概略ブロック図を示す。
図１に示すように、エンコーダ１００は、画像分割部１１０、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、フィルタリング部１６０、復号ピクチャバッファ（ＤＰＢ：Decoded Picture Buffer）１７０、インター予測部１８０、イントラ予測部１８５およびエントロピエンコード部１９０を含んで構成される。
画像分割部１１０は、エンコーダ１００に入力された入力画像（Input image）（または、ピクチャ、フレーム）を１つまたは複数の処理ユニットに分割する。例えば、上記処理ユニットは、コーディングツリーユニット（ＣＴＵ：Coding Tree Unit）、コーディングユニット（ＣＵ：Coding Unit）、予測ユニット（ＰＵ：Prediction Unit）または変換ユニット（ＴＵ：Transform Unit）であり得る。
ただし、上記用語は、本発明に関する説明の便宜のために使用されるだけであり、本発明は、当該用語の定義に限定されない。また、本明細書では、説明の便宜のために、ビデオ信号をエンコードまたはデコードする過程で用いられる単位としてコーディングユニットという用語を使用するが、本発明は、それに限定されず、本発明の内容に応じて適切に解析可能である。
エンコーダ１００は、入力画像信号から、インター予測部１８０またはイントラ予測部１８５から出力された予測信号（prediction signal）を減算して残差信号（residual signal）を生成し、生成された残差信号は、変換部１２０に送信される。
変換部１２０は、残差信号に変換技法を適用して変換係数（transform coefficient）を生成する。変換過程は、クアッドツリー（quadtree）構造の正方形ブロック、二分木（二進木、バイナリツリー）（binarytree）構造、三分木（三進木、３進ツリー）（ternary）構造または非対称ツリー（asymmetric）構造により分割されたブロック（正方形または長方形）に適用できる。
上記変換部１２０は、複数の変換（または、変換の組合せ（変換組合せ））に基づいて変換を行い、このような変換方式をＥＭＴ（Enhanced Multiple Transform）という。上記ＥＭＴは、ＡＭＴ（Adaptive Multiple Transform）またはＭＴＳ（Multiple Transform Selection）と言ってもよい。
上記ＥＭＴ（または、ＡＭＴ、ＭＴＳ）は、複数の変換（または、変換組合せ）から適応的に選択される変換（または、変換組合せ）に基づいて行われる変換方式を意味する。
上記複数の変換（または、変換組合せ）は、本明細書の図６および図１２ないし図１７で説明する変換（または、変換組合せ）を含んでもよい。本明細書において、上記変換または変換タイプは、例えば、ＤＣＴ－Ｔｙｐｅ ２、ＤＣＴ－ＩＩ、ＤＣＴ－２、ＤＣＴ２などと表記することができる。
上記変換部１２０は、次の実施形態を行うことができる。
本発明は、ＤＣＴ８（Discrete Cosine Transform type 8）に対して、ＤＳＴ７（Discrete Sine Transform type 7）のカーネル係数データをそのまま使用するとともに、ＤＳＴ７の変形した形態に代替する方法を提供する。
また、本発明は、ＤＳＴ７をＤＳＴ４に代替し、ＤＣＴ８に対してＤＳＴ４のカーネル係数データをそのまま使用するとともに、ＤＣＴ４の変形した形態に代替する方法を提供する。
また、本発明は、予測モード、ブロックサイズおよびブロック形状（block shape）の少なくとも１つに基づいて変換設定グループ（transform configuration group）を構成し、１つの変換設定グループは、１つまたは複数の変換の組合せで構成され、１つの変換組合せは、全ての行（row）および列（column）に対応する変換で構成されるとともに、各行（row）または列（column）に対応する変換は、相異なるように構成される方法を提供する。
また、本発明は、ＤＳＴ７またはＤＳＴ４などの１つの変換と、それから変形された変換に基づいて全ての行（row）および列（column）に対する変換と、を構成する方法を提供する。
また、本発明は、全ての三角変換（trigonometric transforms）（８つのＤＣＴ、８つのＤＳＴ）間に存在する線形関係を利用するか、変換入出力部分に前後処理過程を追加する方式により、全ての変換に対してそれぞれ導出可能な変換集合を構成することができ、このように導出した変換集合の和集合を求めて変換組合せを決定するのに活用する方法を提供する。
これに関する具体的な実施形態は、本明細書においてより詳細に説明する。
量子化部１３０は、変換係数を量子化してエントロピエンコード部１９０に送信し、エントロピエンコード部１９０は、量子化された信号（quantized signal）をエントロピコーディングしてビットストリームに出力する。
上記変換部１２０および上記量子化部１３０は、別個の機能ユニットとして説明されるが、本発明はこれに限定されず、１つの機能ユニットに結合されてもよい。上記逆量子化部１４０および上記逆変換部１５０の場合も、同様に１つの機能ユニットに結合されてもよい。
量子化部１３０から出力された量子化された信号（quantized signal）は、予測信号を生成するために利用されることができる。例えば、量子化された信号（quantized signal）は、ループ内の逆量子化部１４０および逆変換部１５０により逆量子化および逆変換を適用することにより残差信号を復元することができる。復元された残差（残余）信号をインター予測部１８０またはイントラ予測部１８５から出力された予測信号（prediction signal）に足すことにより、復元信号（reconstructed signal）が生成される。
一方、前述したような圧縮過程で発生した量子化エラーによりブロック境界が見える劣化が発生する可能性がある。このような現象をブロックアーチファクト（ブロッキング劣化）（blocking artifacts）といい、これは、画質を評価する重要な要素の１つである。このような劣化を減らすためにフィルタリング過程を行うことができる。このようなフィルタリング過程によりブロックアーチファクトを除去するとともに、現ピクチャに対する誤差を減らすことにより画質を向上させることができる。
フィルタリング部１６０は、復元信号にフィルタリングを適用してこれを再生装置に出力するか、復号ピクチャバッファ１７０に送信する。復号ピクチャバッファ１７０に送信されたフィルタリングされた信号は、インター予測部１８０において参照ピクチャとして使用されることができる。このように、フィルタリングされたピクチャを画面間予測モードにおいて参照ピクチャとして利用することにより、画質だけでなく符号化効率も向上させることができる。
復号ピクチャバッファ１７０は、フィルタリングされたピクチャをインター予測部１８０における参照ピクチャとして使用するために記憶する。
インター予測部１８０は、復元ピクチャ（reconstructed picture）を参照して時間的冗長性および／または空間的冗長性を除去するために、時間予測および／または空間予測を行う。ここで、予測を行うために用いられる参照ピクチャは、以前の時間に符号化／復号の時にブロック単位で量子化および逆量子化を経た変換された信号であるため、ブロックアーチファクトやリングアーチファクト（ringing artifact）が存在し得る。
したがって、インター予測部１８０は、このような信号の不連続や量子化による性能低下を解決するために、ローパスフィルタ（lowpass filter）を適用することにより、ピクセル間の信号をサブピクセル単位で補間することができる。ここで、サブピクセルは、補間フィルタを適用して生成された仮想のピクセルを意味し、整数ピクセルは、復元されたピクチャに存在する実際のピクセルを意味する。補間方法としては、線形補間、双線形補間（bi-linear interpolation）、ウィナーフィルタ（wiener filter）などが適用されてもよい。
補間フィルタは、復元ピクチャ（reconstructed picture）に適用されて予測の精密度を向上させる。例えば、インター予測部１８０は、整数ピクセルに補間フィルタを適用して補間ピクセルを生成し、補間ピクセル（interpolated pixels）で構成された補間ブロック（interpolated block）を予測ブロック（prediction block）として使用して予測を行うことができる。
一方、イントラ予測部１８５は、現在符号化を行おうとするブロックの周辺にあるサンプルを参照して現ブロックを予測することができる。上記イントラ予測部１８５は、イントラ予測を行うために次のような過程を行う。まず、予測信号を生成するために必要な参照サンプルを用意する。そして、用意された参照サンプルを利用して予測信号を生成する。以後、予測モードを符号化する。ここで、参照サンプルは、参照サンプルパディングおよび／または参照サンプルフィルタリングにより用意される。参照サンプルは、予測および復元過程を経ているため、量子化エラーが存在する可能性がある。したがって、このようなエラーを減らすために、イントラ予測に用いられる各予測モードに対して参照サンプルフィルタリングの過程が行われる。
上記インター予測部１８０または上記イントラ予測部１８５により生成された予測信号（prediction signal）は、復元信号を生成するために利用されるか、残差信号を生成するために利用される。
図２は、本発明が適用される実施形態として、ビデオ信号のデコード（復号）が行われるデコーダの概略ブロック図を示す。
図２に示すように、デコーダ２００は、パージング部（図示せず）、エントロピデコード部２１０、逆量子化部２２０、逆変換部２３０、フィルタリング部２４０、復号ピクチャバッファ（ＤＰＢ：Decoded Picture Buffer unit）２５０、インター予測部２６０およびイントラ予測部２６５を含んで構成される。
そして、デコーダ２００を介して出力された復元ビデオ信号（reconstructed video signal）は、再生装置により再生される。
デコーダ２００は、図１のエンコーダ１００から出力された信号を受信し、受信した信号は、エントロピデコード部２１０によりエントロピデコードされる。
逆量子化部２２０においては、量子化ステップサイズ情報を利用してエントロピデコードされた信号から変換係数（transform coefficient）を取得する。
逆変換部２３０においては、変換係数を逆変換して残差信号（residual signal）を取得する。
ここで、本発明は、予測モード、ブロックサイズおよびブロック形状（block shape）の少なくとも１つにより区分される変換設定グループ（transform configuration group）別に変換組合せ（transform combination）を構成する方法を提供し、上記逆変換部２３０は、本発明により構成された変換組合せに基づいて逆変換を行うことができる。また、本明細書において説明した実施形態が適用されることができる。
上記逆量子化部２２０と上記逆変換部２３０とは、別個の機能ユニットとして説明されるが、本発明はこれに限定されず、１つの機能ユニットに結合されてもよい。
取得された残差信号をインター予測部２６０またはイントラ予測部２６５から出力された予測信号（prediction signal）に足すことにより、復元信号（reconstructed signal）が生成される。
フィルタリング部２４０は、復元信号（reconstructed signal）にフィルタリングを適用してこれを再生装置に出力するか、復号ピクチャバッファ部２５０に送信する。復号ピクチャバッファ部２５０に送信されたフィルタリングされた信号は、インター予測部２６０において参照ピクチャとして使用可能である。
本明細書において、エンコーダ１００の変換部１２０および各機能ユニットにおいて説明された実施形態は、それぞれデコーダの逆変換部２３０および対応する機能ユニットにも同様に適用されることができる。
図３は、本発明が適用されることができる実施形態として、図３Ａは、ＱＴ（QuadTree、以下「ＱＴ」という）、図３Ｂは、ＢＴ（Binary Tree、以下「ＢＴ」という）、図３Ｃは、ＴＴ（Ternary Tree、以下「ＴＴ」という）、図３Ｄは、ＡＴ（Asymmetric Tree、以下「ＡＴ」という）によるブロック分割構造を説明する図である。
ビデオコーディングにおいて１つのブロックは、ＱＴ（QuadTree）ベースに分割されることができる。また、ＱＴにより分割された１つのサブブロック（sub block）は、ＱＴを使用して再帰的にさらに分割されることができる。これ以上ＱＴ分割されないリーフブロック（leaf block）は、ＢＴ（Binary Tree）、ＴＴ（Ternary Tree）およびＡＴ（Asymmetric Tree）の少なくとも１つの方式により分割されることができる。ＢＴは、ｈｏｒｉｚｏｎｔａｌ ＢＴ（２Ｎ×Ｎ、２Ｎ×Ｎ）およびｖｅｒｔｉｃａｌ ＢＴ（Ｎ×２Ｎ、Ｎ×２Ｎ）の２つの形態の分割を有する。ＴＴは、ｈｏｒｉｚｏｎｔａｌ ＴＴ（２Ｎ×１／２Ｎ、２Ｎ×Ｎ、２Ｎ×１／２Ｎ）およびｖｅｒｔｉｃａｌ ＴＴ（１／２Ｎ×２Ｎ、Ｎ×２Ｎ、１／２Ｎ×２Ｎ）の２つの形態の分割を有する。ＡＴは、ｈｏｒｉｚｏｎｔａｌ－ｕｐ ＡＴ（２Ｎｘ１／２Ｎ、２Ｎｘ３／２Ｎ）、ｈｏｒｉｚｏｎｔａｌ－ｄｏｗｎ ＡＴ（２Ｎ×３／２Ｎ、２Ｎ×１／２Ｎ）、ｖｅｒｔｉｃａｌ－ｌｅｆｔ ＡＴ（１／２Ｎ×２Ｎ、３／２Ｎ×２Ｎ）、ｖｅｒｔｉｃａｌ－ｒｉｇｈｔ ＡＴ（３／２Ｎ×２Ｎ、１／２Ｎ×２Ｎ）の４つの形態の分割を有する。それぞれのＢＴ、ＴＴ、ＡＴは、ＢＴ、ＴＴ、ＡＴを使用して再帰的にさらに分割されることができる。
図３Ａは、ＱＴ分割の例を示す。ブロックＡは、ＱＴにより４つのサブブロック（Ａ０、Ａ１、Ａ２、Ａ３）に分割される。サブブロックＡ１は、ＱＴにより４つのサブブロック（Ｂ０、Ｂ１、Ｂ２、Ｂ３）にさらに分割される。
図３Ｂは、ＢＴ分割の例を示す。ＱＴによりこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ ＢＴ（Ｃ０、Ｃ１）またはｈｏｒｉｚｏｎｔａｌ ＢＴ（Ｄ０、Ｄ１）により分割される。ブロックＣ０のように、それぞれのサブブロックは、ｈｏｒｉｚｏｎｔａｌ ＢＴ（Ｅ０、Ｅ１）またはｖｅｒｔｉｃａｌ ＢＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。
図３Ｃは、ＴＴ分割の例を示す。ＱＴによりこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ ＴＴ（Ｃ０、Ｃ１、Ｃ２）またはｈｏｒｉｚｏｎｔａｌ ＴＴ（Ｄ０、Ｄ１、Ｄ２）により分割される。ブロックＣ１のように、それぞれのサブブロックは、ｈｏｒｉｚｏｎｔａｌ ＴＴ（Ｅ０、Ｅ１、Ｅ２）またはｖｅｒｔｉｃａｌ ＴＴ（Ｆ０、Ｆ１、Ｆ２）の形態のように再帰的にさらに分割されることができる。
図３Ｄは、ＡＴ分割の例を示す。ＱＴによりこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ ＡＴ（Ｃ０、Ｃ１）またはｈｏｒｉｚｏｎｔａｌ ＡＴ（Ｄ０、Ｄ１）により分割される。ブロックＣ１のように、それぞれのサブブロックは、ｈｏｒｉｚｏｎｔａｌ ＡＴ（Ｅ０、Ｅ１）またはｖｅｒｔｉｃａｌ ＴＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。
一方、ＢＴ、ＴＴ、ＡＴ分割は、共に使用して分割可能である。例えば、ＢＴにより分割されたサブブロックは、ＴＴまたはＡＴによる分割が可能である。また、ＴＴにより分割されたサブブロックは、ＢＴまたはＡＴによる分割が可能である。ＡＴにより分割されたサブブロックは、ＢＴまたはＴＴによる分割が可能である。例えば、ｈｏｒｉｚｏｎｔａｌ ＢＴ分割の後、それぞれのサブブロックがｖｅｒｔｉｃａｌ ＢＴにより分割されることができ、またはｖｅｒｔｉｃａｌ ＢＴ分割の後、それぞれのサブブロックがｈｏｒｉｚｏｎｔａｌ ＢＴにより分割されることができる。上記２種類の分割方法は、分割順序は異なるが、最終的に分割される形状は同一である。
また、ブロックが分割されると、ブロックを探索する順序を多様に定義することができる。一般に、左側から右側へ、上段から下段へ探索を行い、ブロックを探索するということは、各分割されたサブブロックの追加的なブロック分割を行うか否かを決定する順序を意味するか、ブロックがこれ以上分割されない場合、各サブブロックの符号化順序を意味するか、またはサブブロックにおいて他の隣接ブロックの情報を参照するときの探索順序を意味する。
図４および図５は、本発明が適用される実施形態として、図４は、エンコーダ内の変換および量子化部１２０／１３０、逆量子化および逆変換部１４０／１５０の概略ブロック図を示し、図５は、デコーダ内の逆量子化および逆変換部２２０／２３０の概略ブロック図を示す。
図４に示すように、変換および量子化部１２０／１３０は、１次変換部（primary transform unit）１２１、２次変換部（secondary transform unit）１２２および量子化部１３０を含む。逆量子化および逆変換部１４０／１５０は、逆量子化部１４０、逆２次変換部（inverse secondary transform unit）１５１および逆１次変換部（inverse primary transform unit）１５２を含む。
図５に示すように、逆量子化および逆変換部２２０／２３０は、逆量子化部２２０、逆２次変換部（inverse secondary transform unit）２３１および逆１次変換部（inverse primary transform unit）２３２を含む。
本発明において、変換を行うときに複数の段階を経て変換を行うことができる。例えば、図４のように、１次変換（primary transform）、２次変換（secondary transform）の２段階を適用することができ、またはアルゴリズムによってそれ以上の変換段階が利用されることもできる。ここで、上記１次変換（primary transform）は、主要変換（core transform）ということもできる。
上記１次変換部（primary transform unit）１２１は、残差信号に対して１次変換（primary transform）を適用し、ここで、上記１次変換（primary transform）は、エンコーダおよび／またはデコーダにおいてテーブルとして予め（既に）定義されることができる。
上記１次変換（primary transform）の場合、Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ ｔｙｐｅ ２（以下、「ＤＣＴ２」という）が適用されることができる。あるいは、特定の場合に限定して、Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ－ｔｙｐｅ ７（以下、「ＤＳＴ７」という。）が適用されることもできる。例えば、イントラ予測モードにおいて４×４ブロックに対してＤＳＴ７が適用されることができる。
また、上記１次変換（primary transform）の場合、ＡＭＴ（Adaptive Multiple Transforms）の様々な変換（ＤＳＴ７、ＤＣＴ８、ＤＳＴ１、ＤＣＴ５）の組合せが適用されることもできる。例えば、図６が適用されることもできる。
上記２次変換部（secondary transform unit）１２２は、１次変換された信号に対して２次変換（secondary transform）を適用し、ここで、上記２次変換（secondary transform）は、エンコーダおよび／またはデコーダにおいてテーブルとして予め定義されることができる。
一実施形態として、上記２次変換（secondary transform）は、Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ（以下、「ＮＳＳＴ」という）が条件的に適用されることができる。例えば、上記ＮＳＳＴは、イントラ予測ブロックである場合にのみ適用され、予測モードグループごとに適用可能な変換セットを有することができる。
ここで、上記予測モードグループは、予測方向に対する対称性に基づいて設定される。例えば、予測モード５２と予測モード１６とは、予測モード３４（対角方向）を基準に対称であるので、１つのグループを形成して同一の変換セット（transform set）が適用されることができる。ここで、上記予測モード５２に対する変換を適用するとき、入力データをトランスポーズ（転置）（transpose）した後に適用し、これは、予測モード１６と変換セットとが同一であるためである。
一方、プラナーモード（Planar mode）およびＤＣモード（DC mode）の場合、方向に対する対称性が存在しないので、それぞれの変換セットを有し、該当変換セットは、２つの変換で構成される。残りの方向性モードに対しては、変換セットごとに３つの変換で構成される。
他の実施形態として、上記ＮＳＳＴは、１次変換されたブロック全体に対して適用されるのではなく、左上側（top-left）の８×８の領域に対してのみ適用されることができる。例えば、ブロックのサイズが８×８以上である場合は、８×８のＮＳＳＴが適用され、８×８未満である場合は、４×４のＮＳＳＴが適用されるが、ここで、４×４ブロックに分けた後、それぞれ４×４のＮＳＳＴが適用される。
上記量子化部１３０は、２次変換された信号に対して量子化を行う。
上記逆量子化および逆変換部１４０／１５０は、前述した過程を逆に行い、重複される説明は省略する。
図５は、デコーダ内の逆量子化および逆変換部２２０／２３０の概略ブロック図を示す。
図５に示すように、逆量子化および逆変換部２２０／２３０は、逆量子化部２２０、逆２次変換部（inverse secondary transform unit）２３１および逆１次変換部（inverse primary transform unit）２３２を含む。
上記逆量子化部２２０は、量子化ステップサイズ情報を利用してエントロピデコードされた信号から変換係数（transform coefficient）を取得する。
上記逆２次変換部（inverse secondary transform unit）２３１は、上記変換係数に対して逆２次変換を行う。ここで、上記逆２次変換は、図４で説明した上記２次変換（secondary transform）の逆変換を示す。
上記逆１次変換部（inverse primary transform unit）２３２は、逆２次変換された信号（または、ブロック）に対して逆１次変換を行い、残差信号（residual signal）を取得する。ここで、上記逆１次変換は、図４で説明した上記１次変換（primary transform）の逆変換を示す。
本発明は、予測モード、ブロックサイズおよびブロック形状（block shape）の少なくとも１つにより区分される変換設定グループ（transform configuration group）別に変換組合せ（transform combination）を構成する方法を提供し、上記逆１次変換部（inverse primary transform unit）２３２は、本発明により構成された変換組合せに基づいて逆変換を行う。また、本明細書で説明した実施形態が適用されることができる。
図６は、本発明が適用される実施形態として、ＡＭＴ（Adaptive Multiple Transforms）が適用される変換設定グループ（transform configuration group）を示す表である。
ＡＭＴ（Adaptive Multiple Transforms）が適用される変換設定グループ
本明細書では、変換設定グループＧiに対するｊ番目の変換組合せ候補を次の数式１のようにペアで表示する。
＜数式１＞
ここで、Ｈ（Ｇi，ｊ）は、ｊ番目の候補に対する水平変換（horizontal transform）を示し、Ｖ（Ｇi，ｊ）は、ｊ番目の候補に対する垂直変換（vertical transform）を示す。例えば、図６においてＨ（Ｇ3，２）＝ＤＳＴ７、Ｖ（Ｇ３，２）＝ＤＣＴ８のように表記することができる。コンテキスト（文脈、状況）によってＨ（Ｇi，ｊ）またはＶ（Ｇi，ｊ）に割り当てられる値は、上記の例のように変換を区分するための表示上の値（nominal value）であってもよく、当該変換を示すインデックス値であってもよく、該当変換に対する２Ｄ（二次元）行列（2 Dimensional matrix）であってもよい。
また、本明細書において、ＤＣＴおよびＤＳＴに対する２Ｄの行列値を次の数式２ないし３のように表記することができる。
＜数式２＞
＜数式３＞
ここで、ＤＳＴまたはＤＣＴであるか否かは、ＳまたはＣにより示し、ｔｙｐｅの数字は、ローマ数字の形態で上付き文字により表記し、下付き文字のＮは、Ｎ×Ｎ変換であることを示す。また、上記
および
のような２Ｄ行列は、列ベクトル（column vector）が変換基底（transform basis）をなすことを仮定する。
図６に示すように、変換設定グループ（transform configuration group）は、予測モードに基づいて決定され、グループの数は、計６つ（Ｇ０～Ｇ５）であり得る。そして、Ｇ０～Ｇ４は、イントラ予測が適用される場合に該当し、Ｇ５は、インター予測により生成された残差（residual）ブロックに適用される変換組合せ（または、変換セット、変換組合せセット）を示す。
１つの変換組合せは、当該２Ｄブロックの行（row）に適用される水平変換（horizontal transform）（または、行変換（row transform））と列（column）に適用される垂直変換（vertical transform）（または、列変換（column transform））とからなる。
ここで、全ての変換設定グループは、各４つの変換組合せ候補を有することができる。上記４つの変換組合せ候補は、０～３の変換組合せインデックスにより選択または決定され、エンコーダからデコーダに、上記変換組合せインデックスをエンコードして送信することができる。
一実施形態として、イントラ予測により取得した残差データ（または、残差信号）は、イントラ予測モードによってその統計的特性がそれぞれ異なることがある。したがって、図６のように、イントラ予測モード別に一般的なコサイン変換ではない他の変換を適用することができる。
図６を見ると、３５個のイントラ予測モードを使用する場合と６７個のイントラ予測モードを使用する場合とを示す。各イントラ予測モード列において区分された変換設定グループ別に複数の変換組合せが適用されることができる。例えば、上記複数の変換組合せは、４つの（行方向変換、列方向変換）組合せで構成される。具体的な例として、グループ０においては、行（水平）方向および列（垂直）方向の両方にＤＳＴ－７およびＤＣＴ－５が適用されることができるため、計４つの組合せが可能である。
各イントラ予測モードに対して、計４つの変換カーネル組合せが適用されることができるので、そのうちの１つを選択するための変換組合せインデックスが変換単位（transform unit）ごとに送信されることができる。本明細書において、上記変換組合せインデックスは、ＡＭＴインデックス（AMT index）と呼ぶことができ、ａｍｔ＿ｉｄｘと表現できる。
また、図６において提示した変換カーネル以外にも、残差信号（residual signal）の特性上、行方向および列方向の両方に対してＤＣＴ－２が最適である場合が発生し得る。したがって、コーディングユニット（Coding Unit）ごとにＡＭＴフラグを定義することにより適応的に変換を行うことができる。ここで、ＡＭＴフラグが０である場合、行方向および列方向の両方に対してＤＣＴ－２を適用し、ＡＭＴフラグが１である場合、ＡＭＴインデックスにより４つの組み合せのうちの１つを選択または決定する。
一実施形態として、ＡＭＴフラグが１である場合、１つの変換単位に対して０でない変換係数の個数が閾値より大きくなければ、図６の変換カーネルを適用せずに行方向および列方向の両方に対してＤＳＴ－７を適用することができる。例えば、上記閾値は、２に設定されることができ、これは、ブロックサイズまたは変換ユニットのサイズに基づいて異なるように設定されることができる。これは、明細書の他の実施形態にも適用可能である。
一実施形態として、変換係数値を先にパージングして０でない変換係数の個数が閾値より大きくない場合、ＡＭＴインデックスをパージングせずにＤＳＴ－７を適用することにより付加情報の送信量を減らすことができる。
一実施形態として、ＡＭＴフラグが１である場合、１つの変換単位に対して０でない変換係数の個数が閾値より大きければ、ＡＭＴインデックスをパージングし、ＡＭＴインデックスに基づいて水平変換および垂直変換を決定することができる。
一実施形態として、ＡＭＴは、変換単位の幅および高さが両方とも３２以下である場合にのみ適用されることができる。
一実施形態として、図６は、オフライントレーニング（off-line training）により予め設定されることができる。
一実施形態として、上記ＡＭＴインデックスは、水平変換と垂直変換との組合せを同時に示し得る１つのインデックスとして定義されることができる。あるいは、上記ＡＭＴインデックスは、水平変換インデックスと垂直変換インデックスとを別途に定義することもできる。
一実施形態として、上記ＡＭＴフラグまたは上記ＡＭＴインデックスは、シーケンス、ピクチャ、スライス、ブロック、コーディングユニット、変換ユニット、および予測ユニットの少なくとも１つのレベルにおいて定義されることができる。例えば、上記ＡＭＴフラグまたは上記ＡＭＴインデックスは、ＳＰＳ（Sequence Parameter Set）および変換ユニットの少なくとも１つのレベルにおいて定義されることができる。
実施形態（１）：ＤＣＴ８をＤＳＴ７の変形した形態に代替する方法
＜数式４＞
上記数式４において、
は、逆対角線にのみ１の値を有する行列であり、
は、対角線にのみ１と－１が交互に登場する行列である。
次の数式５は、Ｎ×１入力ベクトル
に対してＤＣＴ８の順方向変換（forward transform）
を適用して、Ｎ×１変換係数ベクトル
を求める過程を示す。
＜数式５＞
ここで、添字Ａは、ａｌｔｅｒｎａｔｅの略語として符号が交互に変わることを示し、添字Ｒは、ベクトルの順序が変わることを意味し、添字ＡＲは、２つとも適用されることを意味する。
上記数式４を適用して上記数式５のように展開すると、
を成す変換基底ベクトルのみを利用して
に対する変換を適用できるので、コーデック内部において
を記憶するための別途のメモリ空間が不要となる。
上記数式５のように、
に対する順方向変換（forward transform）を適用するときは、
を求めて
を乗じてもよく、または、
をそのままにして
を乗じてもよい。また、
および
を適用するときは、
を成す基底ベクトル自体に符号反転（sign inversion）を適用するのではなく、次の数式６のように、各基底ベクトルおよび
に対する内積を求めるとき、
に符号反転（sign inversion）を適用して内積を求めてもよい。
＜数式６＞
上記数式５および６は、
を
のカーネル係数データとして表現して
を記憶するために必要なメモリをなくす方法を提示する。これに加えて、上記数式４の関係式をそのまま適用するのではなく、次の数式７のように
の代わりに
を使用するように構成することができる。
＜数式７＞
ここで、
は、ｆｌｉｐｐｅｄ ＤＳＴ７を示す。上記数式７のように
を使用すると、
の代わりに
に対して
を適用することと同様になり、上記数式５および６のように交互に符号反転（sign inversion）を適用する必要がない。上記数式５に対応する逆方向変換（backward (inverse) transform）の適用方法は、数式８と同一であり、上記数式７に対応する逆方向変換（backward (inverse) transform）の適用方法は、数式９と同一である。
＜数式８＞
＜数式９＞
実施形態（２）：ＤＳＴ７をＤＳＴ４に代替し、ＤＣＴ８をＤＳＴ４の変形した形態に代替する方法
本発明の一実施形態として、ＤＳＴ７の代わりにＤＳＴ４を使用する方法を提案する。次の数式１０のように、ＤＳＴ４とＤＣＴ４との間にもＤＳＴ７とＤＣＴ８との間と同一の関係式が成立する。
＜数式１０＞
したがって、ＤＳＴ７の代わりにＤＳＴ４を使用する場合、ＤＣＴ８の代わりにＤＣＴ４を使用することになると、上記数式１０を利用してＤＣＴ４をＤＳＴ４で表現することができるため、ＤＣＴ４を記憶するための別途のメモリ空間が不必要になる。上記数式５と同一の方法でＤＣＴ４に対する順方向変換（forward transform）を適用する方法を記述すると、次の数式１１の通りである。
＜数式１１＞
次の数式１２においては、上記数式６と同様の方式で
に対する符号反転（sign inversion）を適切に取って
のカーネル係数データに対するいかなる修正もせずに上記数式１１と同一の結果を得ることができる。
＜数式１２＞
また、次の数式１３のように上記数式７と同一の方法で
の代わりに
を使用して符号反転（sign inversion）をなくすことができる。
＜数式１３＞
上記数式１１に対応する逆方向変換（backward (inverse) transform）の適用方法は、次の数式１４と同一であり、上記数式１３に対応する逆方向変換（backward (inverse) transform）の適用方法は、次の数式１５と同一である。
＜数式１４＞
＜数式１５＞
図７は、本発明が適用される実施形態として、ＡＭＴ（Adaptive Multiple Transforms）が行われるエンコード過程を示すフローチャートである。
本明細書においては、基本的に水平方向と垂直方向とに対して分離して変換を適用する実施形態を説明しているが、変換組合せは非分離変換（non-separable transform）で構成することも可能である。
あるいは、可分離変換（分離可能な変換）（separable transform）と非分離変換（non-separable transform）との混合で構成することもできる。この場合、非分離変換（non-separable transform）が利用されると、行／列（row/column）別の変換選択や水平／垂直（horizontal/vertical）方向別の選択は不要となり、可分離変換（separable transform）が選択される場合にのみ図６の変換組合せが利用されることができる。
また、本明細書で提案する方式は、１次変換（primary transform）や２次変換（secondary transform）に関係なく適用することができる。すなわち、いずれか一方にのみ適用されなければならないという制約はなく、両方とも適用されることもできる。ここで、上記１次変換（primary transform）は、残差（residual）ブロックを最初に変換するための変換を意味し、上記２次変換（secondary transform）は、上記１次変換の結果として生成されたブロックに対して変換を適用するための変換を意味する。
まず、エンコーダは、現ブロックに対応する変換設定グループを決定する（Ｓ７１０）。ここで、上記変換設定グループは、図６の変換設定グループを意味し得るが、本発明はこれに限定されず、他の変換組合せで構成されることもできる。
上記エンコーダは、上記変換設定グループ内の利用可能な候補変換組合せに対して変換を行う（Ｓ７２０）。
上記変換の実行の結果、上記エンコーダは、ＲＤ（Rate Distortion）コスト（費用）が最も小さい変換組合せを決定または選択する（Ｓ７３０）。
上記エンコーダは、上記選択された変換組合せに対応する変換組合せインデックスをエンコードする（Ｓ７４０）。
図８は、本発明が適用される実施形態として、ＡＭＴ（Adaptive Multiple Transforms）が行われるデコード過程を示すフローチャートである。
まず、デコーダは、現ブロックのための変換設定グループを決定する（Ｓ８１０）。
上記デコーダは、ビデオ信号から変換組合せインデックスをパージング（または、取得）し、ここで、上記変換組合せインデックスは、上記変換設定グループ内の複数の変換組合せのいずれか１つに対応する（Ｓ８２０）。例えば、上記変換設定グループは、ＤＳＴ７（Discrete Sine Transform type 7）およびＤＣＴ８（Discrete Cosine Transform type 8）を含むことができる。上記変換組合せインデックスは、ＡＭＴインデックスと言ってもよい。
一実施形態として、上記変換設定グループは、現ブロックの予測モード、ブロックサイズおよびブロック形式の少なくとも１つに基づいて設定される。
上記デコーダは、上記変換組合せインデックスに対応する変換組合せを導出する（Ｓ８３０）。ここで、上記変換組合せは、水平変換および垂直変換で構成され、上記ＤＳＴ－７およびＤＣＴ－８の少なくとも１つを含むことができる。
また、上記変換組合せは、図６で説明した変換組合せを意味し得るが、本発明は、これに限定されない。すなわち、本明細書内の他の実施形態による他の変換組合せによる構成も可能である。
上記デコーダは、上記変換組合せに基づいて上記現ブロックに対して逆変換を行う（Ｓ８４０）。上記変換組合せが行（水平）変換および列（垂直）変換で構成された場合、行（水平）変換を先に適用した後、列（垂直）変換を適用することができる。ただし、本発明はこれに限定されず、逆に適用されるか、または非分離変換で構成される場合には、すぐに非分離変換が適用されることもできる。
一実施形態として、上記垂直変換または上記水平変換が上記ＤＳＴ－７またはＤＣＴ－８である場合、上記ＤＳＴ－７の逆変換またはＤＣＴ－８の逆変換を列ごとに適用した後、行ごとに適用することができる。
一実施形態として、上記垂直変換または上記水平変換は、各行ごとにおよび／または各列ごとに異なる変換が適用されることができる。
一実施形態として、上記変換組合せインデックスは、ＡＭＴが行われるか否かを示すＡＭＴフラグに基づいて取得できる。すなわち、上記変換組合せインデックスは、上記ＡＭＴフラグによってＡＭＴが行われる場合に取得できる。
一実施形態として、上記デコーダは、０でない変換係数の個数が閾値より大きいか否かを確認する。ここで、上記変換組合せインデックスは、上記０でない変換係数の個数が閾値より大きい場合に取得される。
一実施形態として、上記ＡＭＴフラグまたは上記ＡＭＴインデックスは、シーケンス、ピクチャ、スライス、ブロック、コーディングユニット、変換ユニット、および予測ユニットの少なくとも１つのレベルにおいて定義されることができる。
一実施形態として、上記逆変換は、変換単位の幅および高さが両方とも３２以下である場合にのみ適用されることができる。
一方、他の実施形態として、変換設定グループを決定する過程と変換組合せインデックスをパージングする過程とは同時に実行されてもよい。あるいは、上記Ｓ８１０ステップは、エンコーダおよび／またはデコーダにおいて予め設定されて省略されることもできる。
図９は、本発明が適用される実施形態として、ＡＭＴフラグおよびＡＭＴインデックスをエンコードする過程を説明するためのフローチャートである。
エンコーダは、現ブロックに対してＡＭＴ（Adaptive Multiple Transforms）が適用されるか否かを決定する（Ｓ９１０）。
ＡＭＴ（Adaptive Multiple Transforms）が適用される場合、上記エンコーダは、ＡＭＴフラグ＝１でエンコードする（Ｓ９２０）。
そして、上記エンコーダは、上記現ブロックの予測モード、水平変換、垂直変換の少なくとも１つに基づいてＡＭＴインデックスを決定する（Ｓ９３０）。ここで、ＡＭＴインデックスは、各イントラ予測モードに対して複数の変換組合せのいずれか１つを示すインデックスを意味し、上記ＡＭＴインデックスは、変換単位（transform unit）ごとに送信されることができる。
上記ＡＭＴインデックスが決定されると、上記エンコーダは、上記ＡＭＴインデックスをエンコードする（Ｓ９４０）。
一方、上記ＡＭＴ（Adaptive Multiple Transforms）が適用されない場合、上記エンコーダは、ＡＭＴフラグ＝０でエンコードする（Ｓ９５０）。
図１０は、本発明が適用される実施形態として、ＡＭＴフラグおよびＡＭＴインデックスに基づいて水平変換または垂直変換を行または列に適用するデコード過程を説明するためのフローチャートである。
デコーダは、ビットストリームからＡＭＴフラグをパージングする（Ｓ１０１０）。ここで、ＡＭＴフラグは、現ブロックに対してＡＭＴ（Adaptive Multiple Transforms）が適用されるか否かを示す。
上記デコーダは、上記ＡＭＴフラグに基づいて現ブロックに対してＡＭＴ（Adaptive Multiple Transforms）が適用されるか否かを確認する（Ｓ１０２０）。例えば、上記ＡＭＴフラグが１である否かを確認する。
上記ＡＭＴフラグが１である場合、上記デコーダは、０でない変換係数の個数が閾値より大きいか（または、閾値以上であるか）否かを確認する（Ｓ１０３０）。例えば、上記閾値は２に設定されることができ、これは、ブロックサイズまたは変換ユニットのサイズに基づいて異なるように設定されることができる。
上記０でない変換係数の個数が閾値より大きい場合、上記デコーダは、ＡＭＴインデックスをパージングする（Ｓ１０４０）。ここで、上記ＡＭＴインデックスは、各イントラ予測モードまたはインター予測モードに対して複数の変換組合せのいずれか１つを示すインデックスを意味し、上記ＡＭＴインデックスは、変換単位（transform unit）ごとに送信されることができる。あるいは、上記ＡＭＴインデックスは、予め設定された変換組合せのテーブルに定義されたいずれか１つの変換組合せを示すインデックスを意味し、ここで、上記予め設定された変換組合せテーブルは、図６を意味し得るが、本発明はこれに限定されない。
上記デコーダは、上記ＡＭＴインデックスおよび予測モードの少なくとも１つに基づいて水平変換および垂直変換を導出または決定する（Ｓ１０５０）。
あるいは、上記デコーダは、上記ＡＭＴインデックスに対応する変換組合せを導出する。例えば、上記デコーダは、上記ＡＭＴインデックスに対応する水平変換および垂直変換を導出または決定することができる。
一方、上記０でない変換係数の個数が閾値より大きくない場合、上記デコーダは、予め設定された垂直逆変換を列ごとに適用する（Ｓ１０６０）。例えば、上記垂直逆変換は、ＤＳＴ７の逆変換であり得る。
そして、上記デコーダは、予め設定された水平逆変換を行ごとに適用する（Ｓ１０７０）。例えば、上記水平逆変換は、ＤＳＴ７の逆変換であり得る。すなわち、上記０でない変換係数の個数が閾値より大きくない場合は、エンコーダまたはデコーダにおいて予め設定された変換カーネルが利用されることができる。例えば、図６のような変換組合せのテーブルにおいて定義されたものではなく、多く利用される変換カーネルが利用されることができる。
一方、上記ＡＭＴフラグが０である場合、上記デコーダは、予め設定された垂直逆変換を列ごとに適用する（Ｓ１０８０）。例えば、上記垂直逆変換は、ＤＣＴ－２の逆変換であり得る。
そして、上記デコーダは、予め設定された水平逆変換を行ごとに適用する（Ｓ１０９０）。例えば、上記水平逆変換は、ＤＣＴ－２の逆変換であり得る。すなわち、ＡＭＴフラグが０である場合は、エンコーダまたはデコーダにおいて予め設定された変換カーネルが利用されることができる。例えば、図６のような変換組合せのテーブルにおいて定義されたものではなく、多く利用される変換カーネルが利用されることができる。
図１１は、本発明が適用される実施形態として、変換組合せの各行（row）または列（column）に対応する変換を相異なるように構成する方法を説明する図である。
実施形態（３）：変換組合せの各行（row）または列（column）に対応する変換を相異なるように構成する方法
本発明の一実施形態として、Ｍ×Ｎの２Ｄブロック（2 Dimensional block）に対して、水平（行）方向にはＮ×Ｎ変換が適用され、垂直（列）方向にはＭ×Ｍ変換が適用される。
他の一実施形態として、図１１のＭ個の行（rows）に対してそれぞれ異なる変換が適用されてもよく、Ｎ個の列（columns）に対してもそれぞれ異なる変換を適用されてもよい。適用される全ての水平（行）変換（horizontal (row) transforms）および垂直（列）変換（vertical (column) transforms）を記号で表記すると、次の数式１６の通りである。
＜数式１６＞
上記
および
は、それぞれある指定された変換セット（transform set）に属する要素になり得る。例えば、次のように、
のための変換セット（transform set）である
と、
のための変換セット（transform set）である
と、が存在すると、次の数式１７および数式１８のように表現できる。
＜数式１７＞
＜数式１８＞
ここで、
および
が成立し、
および
は互いに重複し得る。すなわち、同一の変換を有することができる。
全ての
が同一の変換であり、
も同一の変換である場合は、通常の２Ｄ可分離変換（separable transform）になる。Ｍ＝Ｎである場合に
と
とは、共通元素を有し得る。すなわち、空集合ではない共通集合を有することができる。
＜数式１９＞
＜数式２０＞
＜数式２１＞
図６のように変換設定グループによって相異なる
を有することができる。また、変換設定グループだけでなく、２Ｄブロックの各辺の長さによっても異なる
を有することができ、ブロック形状（block shape）によっても異なる
を有するように構成することができる。
上記数式２１においては、変換サイズが指定されていないが（・と表記）、これは、変換を選択（または、決定）するにおいてサイズを考慮しないか、または変換が適用される状況によって適当なサイズを適応的に選択することを意味する。例えば、
が選択されたとすると、長さが８である場合は、
が適用され、長さ４である場合は、
が使用されることを意味し得る。例えば、図６においてＧ1における水平変換（horizontal transform）に対する
は、
になる。
図１２は、本発明が適用される実施形態として、予測モード、ブロックサイズおよびブロック形状（block shape）の少なくとも１つに基づいて変換設定グループ（transform configuration group）を構成する一般的な方法を説明する図である。
図６において前述したように、変換設定グループ（transform configuration group）Ｇiに対するｊ番目の変換組合せ候補を（Ｈ（Ｇi，ｊ）、Ｖ（Ｇi，ｊ））のように表記した。ここで、Ｈ（Ｇi，ｊ）およびＶ（Ｇi，ｊ）は、それぞれ適用される水平変換（horizontal transform）および垂直変換（vertical transform）を示す。
図６において、各候補の水平変換（horizontal transform）および垂直変換（vertical transform）が単一変換（例えば、ＤＳＴ７、ＤＣＴ５）であるので、Ｈ（Ｇi，ｊ）＝ＤＳＴ７のような方式で表記したが、全ての行（row）または列（column）に対してそれぞれ異なる変換が適用されることができる場合、Ｈ（Ｇi，ｊ）およびＶ（Ｇi，ｊ）は、次の数式２２のようにそれぞれＭ個およびＮ個の元素で構成されたタプル（tuple）で表現することができる。
＜数式２２＞
上記数式２２において、
は、それぞれ異なる
から選択されることもあり、同一の
から指定されることもある。
も同様である。上記数式２２における表記法（notation）を活用して一般的な変換設定グループを構成するテーブルを示すと、図１２の通りである。
図１２の変換設定グループは、図６のように予測モードに基づいて構成されてもよく、予測モード、ブロックサイズ、ブロック形状の少なくとも１つの組合せに基づいて構成されてもよい。例えば、イントラ予測モード０（planar mode）により生成された４×８残差ブロック（residual block）に適用される変換候補を、Ｇｒｏｕｐ ０に割り当てることができる。ここで、Ｈ（Ｇ0，ｊ）は、４つの８×８変換で構成されたタプル（tuple）になり、Ｖ（Ｇ0，ｊ）は、８つの４×４変換で構成されたタプル（tuple）になる。
図１２のように、全ての場合を一度に区分して変換設定グループを構成することもできるが、複数のテーブルに分割して変換設定グループを組み合わせることもできる。
図１３および図１４は、本発明が適用される実施形態として、予測モード、ブロックサイズ、ブロック形状の少なくとも１つに基づく複数のテーブルに区分して変換設定グループを組み合わせる方法を説明する表である。
図１３は、行変換（row transform）（または、水平変換（horizontal transform））を構成するグループを示し、上記図１４は、列変換（column transform）（または、垂直変換（vertical transform））を構成するグループを示す。
本発明の一実施形態として、行変換（row transform）構成のためのテーブルと列変換（column transform）構成のためのテーブルとに区分する方法を提供する。
エンコーダにおいてどの変換組合せを利用するかを示す変換インデックスを送信する場合、行変換（row transform）（Ｈ（ＨＧi，ｊ））を指定するための行変換インデックスと列変換（column transform）（Ｖ（ＶＧi，ｊ））を指定するための列変換インデックスとをそれぞれシグナリングするか、または２つのインデックス情報を両方とも含んでいる１つの変換インデックスをシグナリングすることができる。
図１３および図１４においては、４×４の変換に対するテーブルのみを提供しているが、本発明はこれに限定されない。例えば、異なるサイズ（例えば、８×８、３２×３２）に対してもそれぞれ変換設定グループテーブルが定義されることができる。
１６×８ブロックに変換を適用する場合、水平方向に８×８水平変換（horizontal transform）テーブルを参照し、垂直方向には１６×１６垂直変換（vertical transform）テーブルを参照すればよい。
図１５は、本発明が適用される実施形態として、１つの変換セットを利用して、全ての変換設定グループ（transform configuration group）を構成する一例を示す。
実施形態（４）：１つの変換セットを利用して変換設定グループ（transform configuration group）を構成する方法
図６の実施形態（１）において前述したように、変換セット
としてＤＳＴ７およびＤＳＴ７の変形した形態を使用でき、全ての水平変換（horizontal transform）に対するタプル（tuple）（Ｈ（Ｇi，ｊ））、垂直変換（vertical transform）に対するタプル（tuple）（Ｖ（Ｇi，ｊ））に同一の
を適用することができる。ここで、変換セット
を構成する変換は、変換サイズ（４×４、８×８など）を区分せずに、状況に応じて当該サイズを選択するようにすることができる。関連して利用可能な変換セット
を列挙してみると、次の数式２３の通りである。
＜数式２３＞
ここで、上付き文字Ａは、ａｌｔｅｒｎａｔｅの略語として符号が交互に変わることを示し、上付き文字Ｒは、ベクトルの順序が変わることを意味し、上付き文字ＡＲは、２つとも適用されることを意味する。
上記数式２３において、
は、
と同一のカーネル係数のデータを使用するため、事実上、別途のカーネル係数データの追加が不要である。
また、一般的なコーデックにおいては、ＤＣＴ２を予め含んでいるので、メモリの追加なしで変換セット
にＤＣＴ２を含ませることができる。ＤＣＴ２が含まれた変換セット
の例は、次の数式２４の通りである。
＜数式２４＞
上記数式２３においてまたは数式２４においての変換セット
を利用して変換設定グループを図６または図１２のように構成することができる。
例えば、図６のように構成する場合は、１つのブロックに対して全ての行（rows）に同一の水平変換（horizontal transform）を適用し、全ての列（columns）にも同一の垂直変換（vertical transform）を適用する方式を示す。
また、図６においては、ブロック形状やサイズによってテーブルが区分されないので、指定された変換に対して当該ブロックのサイズに対応する変換を選択すればよい。図６のように構成するときは、変換カーネル係数データを記憶するために必要なメモリを減らすために、上記数式２３で提示した変換セット
のうちの１つを選択して全ての変換設定グループの候補を記述するか、上記数式２４で提示した変換セット
のうちの１つを選択して全ての変換設定グループの候補を決定することができる。
図１５は、変換セット
のみを使用して全ての変換設定グループの変換組合せを記述した例を示す。
以下、図１６においては、変換ブロックサイズに基づいて相異なる変換セットを利用して変換設定グループ（transform configuration group）を構成する例を説明する。
図１６は、本発明が適用される実施形態として、変換ブロックサイズに基づいて相異なる変換セットを利用して変換設定グループ（transform configuration group）を構成する一例を示す。
図１２の方式で変換設定グループを構成する例として、図１６は、４×４変換の場合は変換セット
を使用し、８×８変換の場合は変換セット
を使用する場合を示す。
例えば、図１６のＧｒｏｕｐ ０は、プラナーモード（planar mode）およびＤＣモードが適用される８×４ブロックに対応する。
本発明の一実施形態として、前述した実施形態（２）のようにＤＳＴ７の代わりにＤＳＴ４を使用できると仮定するとき、上記数式２３および２４の場合と同一の方法で変換セット
を設定することができる。次の数式２５は、変換カーネル係数データとして
のみを使用した例を示し、数式２６は、
および
を使用した例を示す。
＜数式２５＞
＜数式２６＞
同様に、上記数式２５および２６で提示した変換セット
を利用して、図１５または図１６のような変換組合せを構成することができる。ブロックサイズまたはブロック形状によって変換設定グループが変わる場合は、ブロックサイズに対応する変換セット
を選択して使用すればよい。
基本的には、変換セット
はいずれの変換も含むことができる。例えば、次の数式２７のように、
および
に関連する変換を全て含めて変換セット
を構成することができる。あるいは、数式２８のように全ての種類のコサイン変換／サイン変換を含めて変換セット
を構成することもできる。あるいは、数式２９のようにトレーニング（training）データから取得されたＫＬＴ（Karhunen Loeve Transform）またはＳＯＴ（Sparse Orthonormal Transform）を含めて変換セット
を構成することもできる。
＜数式２７＞
＜数式２８＞
＜数式２９＞
また、本明細書においては、基本的に水平方向と垂直方向とに対して分離して変換を適用することを仮定しているが、変換セット
は、非分離変換（non-separable transform）で構成することもでき、場合によっては、可分離変換（separable transform）と非分離変換（non-separable transform）との混合で構成することもできる。
混合構成の場合、非分離変換（non-separable transform）が選択されると、行／列（row/column）別の変換選択や水平／垂直（horizontal/vertical）方向別の変換選択が不要である。可分離変換（separable transform）が選択される場合にのみ、前述した実施形態により提示した変換組合せを構成することができる。
本明細書の一実施形態は、１次変換（primary transform）や２次変換（secondary transform）に関係なく適用されることができる。すなわち、いずれか一方にのみ適用されなければならないという制約はなく、両方とも適用されることもできる。
図１７は、本発明が適用される実施形態として、スパンセット（spanned set）を構成する一例を示す。
実施形態（５）：スパンセット（spanned set）を構成
本明細書において適用されるコサイン変換（cosine transform）に対する数式は、次の数式３０の通りである。
＜数式３０＞
ここで、
は、上記値以外の場合、１の値を有する。すなわち、デフォルトとして１の値を有する。
そして、本明細書において適用されるサイン変換（sine transform）に対する数式は、次の数式３１の通りである。
＜数式３１＞
ここで、
は、上記値以外の場合、１の値を有する。すなわち、デフォルトとして１の値を有する。
上記コサイン変換（cosine transform）およびサイン変換（sine transform）に対する数式から、実施形態（１）および（２）により提示した
と
との関係、
と
との関係を含めて次の数式３２の関係式を導出することができる。
＜数式３２＞
また、上記数式３２における関係式から次の数学の式３３のような関係式が導出されることができる。
＜数式３３＞
上記数式３３で登場する
および
に対する計算は、次の数式３４のように入力に対する順序反転と符号反転とのパターンを適切に組み合わせて行うことができる。
＜数式３４＞
したがって、上記数式３２および３３における関係式から、１つの特定変換に対するカーネル係数データのみを有しても様々な異なる変換を導出することができる。次の数式３５は、１つの変換がスパン（span）できる変換を集合として表現したものである。
＜数式３５＞
上記数式３５において提示した各スパンセット（span set）に対して該当のべき集合を計算することができる。例えば、
に対するべき集合
は、次の数式３６のように表現できる。
＜数式３６＞
Ａというスパンセット（span set）に対するべき集合の１つの元素を
と表示すると、次の数式３７のように表現することができる。
＜数式３７＞
上記、実施形態（２）および（３）において定義した変換セット
を、上記数式３７のように構成することができる。上記数式３５におけるスパンセットに対するべき集合間には重なる元素が存在するため、上記数式３７で登場する
は、ｄｉｓｊｏｉｎｔしない可能性がある。
上記数式３５のように、１つの変換が複数の変換にスパン（span）されることも可能であるので、実際のメモリ空間に係数データの形態で記憶すべき変換の数は、はるかに少ない。例えば、
をスパンするためには２つの変換で十分であり、様々な組合せの１つとして
が可能である。
大部分のコーデックシステムにおいては、
を含み、イントラ予測から生成された残差データには、大体
が効率的であると知られており、実施形態（２）のように
を
に代替できるとすると、図１７のようにシード（seed）になる変換からスパン（span）できる最大の変換集合を生成することができる。
図１７で提示した最大スパンセット（maximally spanned set）は、最大に使用できる変換の集合であるので、変換セット
として使用するときは、図１７の部分集合を使用することができる。
上記数式３２および３３における関係式から、
および
に対するスパンセット（span set）を、次の数式３８のように、
および
により表現することができる。ここで、
および
は、上記数式４において定義されている。
＜数式３８＞
実施形態（１）においては、上記数式７のように
の代わりに
を使用する例を提示したが、これは順方向変換（forward transform）
を適用したときに生成される係数の符号（sign）を反転せずに使用する効果をもたらす。同一の方式を上記数式３８にも適用すると、順方向変換（forward transform）の一番前に乗じられる
ＤN
が脱落して次の数式３９のように該当スパンセット（span set）が変更される。
ＤN
が脱落して次の数式３９のように該当スパンセット（span set）が変更される。
＜数式３９＞
したがって、上記数式３５および上記図１７において羅列されたスパンセット（span set）においても、各スパンセット（span set）に含まれた全ての変換を上記数式３２および３３における関係式を用いて、上記数式３８のように
と
とシード変換（seed transform）との線形関係式で表現することができる。以後、上記数式３９のように順方向変換（forward transform）を算出し、一番前の
を除去すると、変換係数の符号を反転しない変換で構成されたスパンセット（span set）の導出が可能になる。このように取得されたスパンセット（span set）を利用して、上記数式３７の関係式に基づいて希望する変換セット
を構成することができる。
上記数式３８を見ると、
というシード変換（seed transform）を中心に置いて前後に
および
を適切に乗じて変換をスパンすることが確認できる。前に乗じられる行列は、中心のシード変換（seed transform）を適用した後に得られた出力を後処理するものと見ることができる。そして、後に乗じられる行列は、中心のシード変換（seed transform）を適用する前に入力に対して前処理を行うものと見ることができる。
と
とを多様な組合せで何度も乗じたときに出る結果は、次の数式４０のように整理することができる。
＜数式４０＞
したがって、１つのシード変換（seed transform）に対して前処理および後処理の方にそれぞれ８つの場合が可能になり、両方の組合せにより６４個の場合が発生する。しかしながら、前処理の方のｃ値と後処理の方のｃ値とを共に考慮すると、重なる場合が発生するので（すなわち、符号変化は、最終的に＋／－の２つに帰結されるので）、場合の数は計３２種類になる。変換結果の符号変化の様相のみを考慮し、符号値そのものに対して無視すると、上記数式４０において、ｃ値は１に固定できるので、場合の数の総計は、１６種類になる。上記数式４０を前処理および後処理に全て適用した例を見ると、次の数式４１の通りである。
＜数式４１＞
上記数式４１の例に対してｃ値を考慮しない場合に関する例を見ると、次の数式４２の通りである。
＜数式４２＞
上記数式３９のように順方向変換（forward transform）を適用して求めた変換係数の符号を気にしないとすると、順方向変換（forward transform）に対して入力前処理の方では、
と
との組合せをそのまま使用し、出力後処理の方では、
のみを使用すればいいので、場合の数の総計は、８つに減少する。次の数式４３において、該当例を見せる。
＜数式４３＞
本発明は、全てのコサイン変換／サイン変換に対して上記数式４３のようにスパンセットを導出することができる。上記数式３６のようにそれぞれ該当べき集合を構成することができ、上記数式３７により変換組合せの決定に使用する変換セット
を構成することができる。
また、実施形態（４）で提示した方式から導出した変換セット
を利用して実施形態（３）で提示した様々な変換組合せを構成する方式を適用してみることもできる。
上記数式４０ないし４３のように１つの変換に入力前処理段階（ステップ）および出力後処理段階を様々な形態で追加する方式は、上記数式４１ないし４３のように三角変換（trigonometric transform）にのみ適用できるのではなく、他の任意の変換（例えは、ＫＬＴ、ＳＯＴなど）にも適用されるので、それに対応するスパンセットを導出することができる。
また、上記数式４０ないし４３では、前後処理段階に該当する行列を
と
との組合せのみで構成したが、
および
以外の他の行列を有してもいずれの形態の演算により構成することもできる。
図１８は、本発明が適用されるビデオコーディングシステムを示す。
ビデオコーディングシステムは、ソースデバイス（source device）および受信デバイス（receiving device）を含む。ソースデバイスは、エンコードされたビデオ／画像情報またはデータをファイルまたはストリーミング形式でデジタル記憶媒体またはネットワークを介して受信デバイスに伝達する。
上記ソースデバイスは、ビデオソース（video source）、エンコード装置（encoding apparatus）、送信部（transmitter）を含む。上記受信デバイスは、受信部（receiver）、デコード装置（decoding apparatus）およびレンダラ（renderer）を含む。上記エンコード装置は、ビデオ／画像エンコード装置と呼ばれてもよく、上記デコード装置は、ビデオ／画像デコード装置と呼ばれてもよい。送信器は、エンコード装置に含まれてもよい。受信器は、デコード装置に含まれてもよい。レンダラは、ディスプレイ部を含んでもよく、ディスプレイ部は、別のデバイスまたは外部コンポーネントで構成されてもよい。
ビデオソースは、ビデオ／画像のキャプチャ、合成または生成過程によりビデオ／画像を取得することができる。ビデオソースは、ビデオ／画像キャプチャデバイスおよび／またはビデオ／画像生成デバイスを含んでもよい。ビデオ／画像キャプチャデバイスは、例えば、１つまたは複数のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含む。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレットおよびスマートフォンなどを含み、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどにより仮想のビデオ／画像が生成されることができ、この場合、関連データが生成される過程がビデオ／画像のキャッチャ過程に代わることができる。
エンコード装置は、入力ビデオ／画像をエンコードする。エンコードは、圧縮およびコーディング効率のために予測、変換、量子化などの一連の手順を行う。エンコードされたデータ（エンコードされたビデオ／画像情報）は、ビットストリーム形式で出力される。
送信部は、ビットストリーム形式で出力されたエンコードされたビデオ／画像情報またはデータを、ファイルまたはストリーミング形式でデジタル記憶媒体またはネットワークを介して受信デバイスの受信部に伝達する。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの多様な記憶媒体を含む。送信部は、予め決められたファイルフォーマットによりメディアファイルを生成するためのエレメントを含み、放送／通信ネットワークを介した送信のためのエレメントを含む。受信部は、上記ビットストリームを抽出してデコード装置に伝達する。
デコード装置は、エンコード装置の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像をデコードする。
レンダラは、デコードされたビデオ／画像をレンダリングする。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示される。
図１９は、本発明が適用される実施形態として、コンテンツストリーミングシステム構造図を示す。
図１９に示すように、本発明が適用されるコンテンツストリーミングシステムは、概して、エンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディア記憶装置（Media storage）、ユーザ装置およびマルチメディア入力装置を含む。
上記エンコードサーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを上記ストリーミングサーバに送信する役割を果たす。他の例として、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置がビットストリームを直接生成する場合、上記エンコードサーバは、省略されてもよい。
上記ビットストリームは、本発明が適用されるエンコード方法またはビットストリーム生成方法により生成され、上記ストリーミングサーバは、上記ビットストリームを送信または受信する過程で一時的に上記ビットストリームを記憶することができる。
上記ストリーミングサーバは、ウェブサーバを介するユーザ要求に基づいてマルチメディアデータをユーザ装置に送信し、上記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介の役割を果たす。ユーザが上記ウェブサーバに希望のサービスを要求すると、上記ウェブサーバは、これをストリーミングサーバに伝達し、上記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。ここで、上記コンテンツストリーミングシステムは、別途の制御サーバを含んでもよく、この場合、上記制御サーバは、上記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たす。
上記ストリーミングサーバは、メディア記憶装置および／またはエンコードサーバからコンテンツを受信する。例えば、上記エンコードサーバからコンテンツを受信する場合、上記コンテンツをリアルタイムに受信できる。この場合、円滑なストリーミングサービスを提供するために、上記ストリーミングサーバは、上記ビットストリームを一定時間記憶することができる。
上記ユーザ装置の例としては、携帯電話、スマートフォン（smart phone）、ノートブックコンピュータ（laptop computer）、デジタル放送用端末、ＰＤＡ（Personal Digital Assistants）、ＰＭＰ（Portable Multimedia Player）、ナビゲーション、スレートＰＣ（slate PC）、タブレットＰＣ（tablet PC）、ウルトラブック（ultrabook）、ウェアラブルデバイス（wearable device、例えば、スマートウォッチ（smartwatch）、スマートグラス（smart glass）、ＨＭＤ（Head Mounted Display））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどを有することができる。
上記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運用でき、この場合、各サーバで受信するデータは、分散処理されることができる。
前述したように、本発明で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で実現されて行われることができる。例えば、各図面に示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で実現されて行われることができる。
また、本発明が適用されるデコーダおよびエンコーダは、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、ビデオオンデマンド（注文型ビデオ）（VoD）サービス提供装置、ＯＴＴ（Over The Top Video）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、および医療用ビデオ装置などに含まれることができ、ビデオ信号およびデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Over The Top video）装置としては、ゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Digital Video Recorder）などが含まれる。
また、本発明が適用される処理方法は、コンピュータにより実行されるプログラムの形態で生産されることができ、コンピュータにより読み取りできる記録（記憶）媒体に記憶できる。本発明によるデータ構造を有するマルチメディアデータもまたコンピュータにより読み取りできる記録媒体に記憶できる。上記コンピュータにより読み取りできる記録媒体は、コンピュータにより読み取りできるデータが記憶される全ての種類の記憶装置および分散記憶装置を含む。上記コンピュータにより読み取りできる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、ユニバーサルシリアルバス（汎用直列バス）（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピ（登録商標）ディスク、および光学データ記憶装置を含むことができる。また、上記コンピュータにより読み取りできる記録媒体は、搬送波（例えば、インターネットを介する送信）の形態で実現されたメディアを含む。また、エンコード方法により生成されたビットストリームは、コンピュータにより読み取りできる記録媒体に記憶されるか、有無線通信ネットワークを介して送信できる。
また、本発明の実施形態は、プログラムコードによるコンピュータプログラム製品として実現され、上記プログラムコードは、本発明の実施形態によりコンピュータにおいて行われる。上記プログラムコードは、コンピュータにより読み取りできるキャリア上に記憶されることができる。
以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたものであり、当業者であれば、以下に添付された特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内において、様々な他の実施形態を改良、変更、代替または付加などが可能であろう。
Claims (8)
- 適応マルチ変換（Adaptive Multiple Transforms；ＡＭＴ）に基づいてビデオ信号をデコードする方法であって、
前記ビデオ信号からＡＭＴフラグを取得するステップであって、前記ＡＭＴフラグは、前記ＡＭＴが行われるか否かを表すのに使用されるステップと、
前記ＡＭＴフラグに基づいて、前記ビデオ信号からＡＭＴインデックスを取得するステップであって、
前記ＡＭＴインデックスは、変換設定グループ内の複数の変換組合せのいずれか１つを示し、
前記変換設定グループは、離散サイン変換タイプ７（Discrete Sine Transform type 7；ＤＳＴ７）および離散コサイン変換タイプ８（Discrete Cosine Transform type 8；ＤＣＴ８）を有し、
前記ＡＭＴインデックスは、水平変換および垂直変換に関する２つのインデックス情報を有する１つの変換インデックスである、ステップと、
前記ＡＭＴインデックスに対応する変換組合せを導出するステップであって、
前記変換組合せは、水平変換および垂直変換で構成され、前記ＤＳＴ７および前記ＤＣＴ８の少なくとも１つを有する、ステップと、
前記変換組合せに基づいて変換ユニットに対して逆変換を行うステップと、
前記変換ユニットに基づいて前記ビデオ信号を復元するステップと、を有し、
前記逆変換のための行列は、変換カーネルタイプと前記変換ユニットのサイズが３２以下であることとに基づいて導出され、
前記方法は、０でない変換係数の個数が閾値より小さいか否かを確認するステップをさらに有し、
前記０でない変換係数の個数が前記閾値より小さい場合、前記ＡＭＴインデックスは取得されず、
前記閾値は、前記変換ユニットのサイズに基づいて異なるように決定される、方法。 - 前記変換組合せは、前記変換ユニットの予測モード、サイズおよび形状の少なくとも１つに基づいて選択される、請求項１に記載の方法。
- 前記ＡＭＴフラグに基づいてＡＭＴが行われることに基づいて、０でない変換係数の個数が閾値より大きいか否かを確認するステップをさらに有し、
前記ＡＭＴインデックスは、前記０でない変換係数の個数が前記閾値より大きいことに基づいて取得される、請求項１に記載の方法。 - 前記逆変換を行うステップは、
前記垂直変換または前記水平変換が前記ＤＳＴ７または前記ＤＣＴ８である場合、前記ＤＳＴ７の逆変換または前記ＤＣＴ８の逆変換を列ごとに適用した後、行ごとに適用することを有する、請求項１に記載の方法。 - 前記垂直変換に関する異なる変換が各列に適用される、または、前記水平変換に関する異なる変換が各行に適用される、請求項１に記載の方法。
- 前記ＡＭＴフラグまたは前記ＡＭＴインデックスは、シーケンス、ピクチャ、スライス、ブロック、コーディングユニット、変換ユニットおよび予測ユニットの少なくとも１つのレベルにおいて定義される、請求項１に記載の方法。
- 適応マルチ変換（Adaptive Multiple Transforms；ＡＭＴ）に基づいてビデオ信号をエンコードする方法であって、
変換ユニットに適用される変換組合せを導出するステップであって、前記変換組合せは、水平変換および垂直変換で構成され、離散サイン変換タイプ７（Discrete Sine Transform type 7；ＤＳＴ７）および離散コサイン変換タイプ８（Discrete Cosine Transform type 8；ＤＣＴ８）の少なくとも１つを有する、ステップと、
前記変換組合せに基づいて、前記変換ユニットに対して変換を行うステップと、
ＡＭＴフラグを生成するステップであって、前記ＡＭＴフラグは、前記ＡＭＴが行われるか否かを表すのに使用されるステップと、
前記変換組合せに対応するＡＭＴインデックスを生成するステップと、を有し、
前記ＡＭＴインデックスは、複数の変換組合せのいずれか１つを示し、
前記ＡＭＴインデックスは、水平変換および垂直変換に関する２つのインデックス情報を有する１つの変換インデックスであり、
前記変換に関する行列は、変換カーネルタイプと前記変換ユニットのサイズが３２以下であることとに基づいて導出され、
前記方法は、０でない変換係数の個数が閾値より小さいか否かを確認するステップをさらに有し、
前記０でない変換係数の個数が前記閾値より小さい場合、前記ＡＭＴインデックスはエンコードされず、
前記閾値は、前記変換ユニットのサイズに基づいて異なるように決定される、方法。 - 画像に関するビットストリームを有するデータに関する送信方法であって、
前記画像に関する前記ビットストリームを取得するステップであって、前記ビットストリームは、
変換ユニットに適用される変換組合せを導出するステップであって、前記変換組合せは、水平変換および垂直変換で構成され、離散サイン変換タイプ７（Discrete Sine Transform type 7；ＤＳＴ７）および離散コサイン変換タイプ８（Discrete Cosine Transform type 8；ＤＣＴ８）の少なくとも１つを有する、ステップと、
前記変換組合せに基づいて、前記変換ユニットに対して変換を行うステップと、
適応マルチ変換（Adaptive Multiple Transforms；ＡＭＴ）フラグを生成するステップであって、前記ＡＭＴフラグは、前記ＡＭＴが行われるか否かを表すのに使用されるステップと、
前記変換組合せに対応するＡＭＴインデックスを生成するステップと、によって生成される、ステップと、
前記ビットストリームを有する前記データを送信するステップと、を有し、
前記ＡＭＴインデックスは、複数の変換組合せのいずれか１つを示し、
前記ＡＭＴインデックスは、水平変換および垂直変換に関する２つのインデックス情報を有する１つの変換インデックスであり、
前記変換に関する行列は、変換カーネルタイプと前記変換ユニットのサイズが３２以下であることとに基づいて導出され、
前記方法は、０でない変換係数の個数が閾値より小さいか否かを確認するステップをさらに有し、
前記０でない変換係数の個数が前記閾値より小さい場合、前記ＡＭＴインデックスはエンコードされず、
前記閾値は、前記変換ユニットのサイズに基づいて異なるように決定される、方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762541103P | 2017-08-04 | 2017-08-04 | |
| US62/541,103 | 2017-08-04 | ||
| PCT/KR2018/008907 WO2019027302A1 (ko) | 2017-08-04 | 2018-08-06 | 비디오 압축을 위한 변환을 구성하는 방법 및 장치 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2020529782A JP2020529782A (ja) | 2020-10-08 |
| JP2020529782A5 JP2020529782A5 (ja) | 2021-06-10 |
| JP7446988B2 true JP7446988B2 (ja) | 2024-03-11 |
Family
ID=65233487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020505860A Active JP7446988B2 (ja) | 2017-08-04 | 2018-08-06 | ビデオ圧縮のための変換を構成する方法および装置 |
Country Status (11)
| Country | Link |
|---|---|
| US (3) | US11277640B2 (ja) |
| EP (1) | EP3661214B1 (ja) |
| JP (1) | JP7446988B2 (ja) |
| KR (4) | KR102447500B1 (ja) |
| CN (1) | CN111226442B (ja) |
| AU (2) | AU2018311237B2 (ja) |
| BR (1) | BR112020002317A8 (ja) |
| CA (3) | CA3073674C (ja) |
| MX (2) | MX2020001377A (ja) |
| RU (2) | RU2769944C1 (ja) |
| WO (1) | WO2019027302A1 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102575635B1 (ko) | 2016-02-12 | 2023-09-06 | 삼성전자주식회사 | 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치 |
| CN114449270B (zh) | 2017-07-04 | 2023-09-26 | 三星电子株式会社 | 使用多核变换的视频解码/编码方法和设备 |
| FR3071690B1 (fr) * | 2017-09-22 | 2022-09-30 | Bcom | Procede de decodage d'une image, procede de codage, dispositifs, equipement terminal et programmes d'ordinateurs associes |
| JP7036123B2 (ja) * | 2017-12-05 | 2022-03-15 | 株式会社ソシオネクスト | 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム |
| CN116546199A (zh) | 2018-08-12 | 2023-08-04 | Lg电子株式会社 | 解码装置、编码装置、存储介质和发送图像的数据的装置 |
| US11589075B2 (en) * | 2018-10-01 | 2023-02-21 | Lg Electronics Inc. | Encoding/decoding method for video signal and device therefor |
| CN113411613B (zh) * | 2019-01-11 | 2022-06-28 | 华为技术有限公司 | 对图像块进行视频译码的方法、解码设备和编/解码器 |
| CN113905231A (zh) * | 2019-03-09 | 2022-01-07 | 杭州海康威视数字技术股份有限公司 | 进行编码和解码的方法、解码端、编码端和系统 |
| KR20220047725A (ko) * | 2019-05-31 | 2022-04-19 | 인터디지털 브이씨 홀딩스 인코포레이티드 | 암시적 다중 변환 선택을 위한 변환 선택 |
| MX2021016011A (es) * | 2019-06-25 | 2022-02-22 | Fraunhofer Ges Forschung | Decodificador, codificador y metodos que comprenden una codificacion para intra-subparticiones. |
| CN115004704A (zh) * | 2019-11-21 | 2022-09-02 | 北京达佳互联信息技术有限公司 | 变换与系数信令的方法和装置 |
| GB2593778A (en) * | 2020-04-03 | 2021-10-06 | Sony Group Corp | Video data encoding and decoding |
| GB2603559B (en) * | 2021-07-22 | 2023-08-09 | Imagination Tech Ltd | Coding blocks of pixels |
| WO2023146358A1 (ko) * | 2022-01-27 | 2023-08-03 | 세종대학교 산학협력단 | 영상 부호화/복호화 방법 및 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160219290A1 (en) | 2015-01-26 | 2016-07-28 | Qualcomm Incorporated | Enhanced multiple transforms for prediction residual |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003230140A (ja) * | 2002-02-04 | 2003-08-15 | Sony Corp | 画像圧縮装置と画像圧縮方法、並びにその画像伸張装置と画像伸張方法 |
| JP5259879B2 (ja) * | 2010-07-15 | 2013-08-07 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
| US8885701B2 (en) * | 2010-09-08 | 2014-11-11 | Samsung Electronics Co., Ltd. | Low complexity transform coding using adaptive DCT/DST for intra-prediction |
| GB2492333B (en) * | 2011-06-27 | 2018-12-12 | British Broadcasting Corp | Video encoding and decoding using transforms |
| GB2559062B (en) * | 2011-10-17 | 2018-11-14 | Kt Corp | Video decoding method using transform method selected from a transform method set |
| CN107360421B (zh) * | 2011-10-17 | 2020-03-06 | 株式会社Kt | 利用解码装置解码视频信号的方法 |
| US9319684B2 (en) * | 2012-08-21 | 2016-04-19 | Qualcomm Incorporated | Alternative transform in scalable video coding |
| WO2015172337A1 (en) * | 2014-05-14 | 2015-11-19 | Mediatek Singapore Pte. Ltd. | Alternative transforms for data compression |
| ES2930030T3 (es) * | 2014-11-28 | 2022-12-05 | Hfi Innovation Inc | Método y aparato de la transformada alternativa para la codificación de video |
| US10681379B2 (en) * | 2015-09-29 | 2020-06-09 | Qualcomm Incorporated | Non-separable secondary transform for video coding with reorganizing |
| EP3439304A4 (en) * | 2016-03-28 | 2020-02-26 | KT Corporation | VIDEO SIGNAL PROCESSING METHOD AND APPARATUS |
| CN113411580B (zh) * | 2016-05-13 | 2024-01-30 | 夏普株式会社 | 图像解码装置及其方法、图像编码装置及其方法 |
| CN109716767B (zh) * | 2016-07-14 | 2021-09-21 | 弗劳恩霍夫应用研究促进协会 | 使用基于变换的残差编码的预测图像编码 |
| US10554974B2 (en) * | 2017-01-13 | 2020-02-04 | Mediatek Inc. | Method and apparatus enabling adaptive multiple transform for chroma transport blocks using control flags |
| EP3586511B1 (en) * | 2017-03-16 | 2022-01-05 | MediaTek Inc. | Method and apparatus of enhanced multiple transforms and non-separable secondary transform for video coding |
| US10750181B2 (en) * | 2017-05-11 | 2020-08-18 | Mediatek Inc. | Method and apparatus of adaptive multiple transforms for video coding |
| US11070806B2 (en) * | 2017-06-28 | 2021-07-20 | Lg Electronics Inc. | Method and apparatus for performing low complexity computation in transform kernel for video compression |
| CN114449270B (zh) * | 2017-07-04 | 2023-09-26 | 三星电子株式会社 | 使用多核变换的视频解码/编码方法和设备 |
| US11303928B2 (en) * | 2017-09-28 | 2022-04-12 | Sharp Kabushiki Kaisha | Image decoding apparatus and image coding apparatus |
| WO2019188466A1 (ja) * | 2018-03-30 | 2019-10-03 | ソニー株式会社 | 画像処理装置および方法 |
| KR102488860B1 (ko) * | 2018-09-02 | 2023-01-13 | 엘지전자 주식회사 | 영상 신호를 처리하기 위한 방법 및 장치 |
| US11616966B2 (en) * | 2019-04-03 | 2023-03-28 | Mediatek Inc. | Interaction between core transform and secondary transform |
| EP3949414A4 (en) * | 2019-04-16 | 2023-04-12 | HFI Innovation Inc. | METHODS AND APPARATUS FOR CODING VIDEO DATA WITH ADAPTIVE SECONDARY TRANSFORM SIGNALING |
| CN113812162B (zh) * | 2019-05-10 | 2022-12-30 | 北京字节跳动网络技术有限公司 | 视频中的简化二次变换的上下文建模 |
| EP3989581A4 (en) * | 2019-06-19 | 2023-06-28 | LG Electronics Inc. | Signaling of information indicating transform kernel set in image coding |
-
2018
- 2018-08-06 KR KR1020227011496A patent/KR102447500B1/ko active IP Right Grant
- 2018-08-06 EP EP18842329.7A patent/EP3661214B1/en active Active
- 2018-08-06 KR KR1020247002343A patent/KR20240015154A/ko active Search and Examination
- 2018-08-06 AU AU2018311237A patent/AU2018311237B2/en active Active
- 2018-08-06 CN CN201880065218.1A patent/CN111226442B/zh active Active
- 2018-08-06 BR BR112020002317A patent/BR112020002317A8/pt unknown
- 2018-08-06 RU RU2021106466A patent/RU2769944C1/ru active
- 2018-08-06 MX MX2020001377A patent/MX2020001377A/es unknown
- 2018-08-06 RU RU2020109334A patent/RU2745021C1/ru active
- 2018-08-06 KR KR1020207004145A patent/KR102385399B1/ko active IP Right Grant
- 2018-08-06 CA CA3073674A patent/CA3073674C/en active Active
- 2018-08-06 CA CA3175176A patent/CA3175176A1/en active Pending
- 2018-08-06 CA CA3238672A patent/CA3238672A1/en active Pending
- 2018-08-06 WO PCT/KR2018/008907 patent/WO2019027302A1/ko active Application Filing
- 2018-08-06 KR KR1020227032869A patent/KR102629234B1/ko active IP Right Grant
- 2018-08-06 JP JP2020505860A patent/JP7446988B2/ja active Active
-
2020
- 2020-01-31 MX MX2023012003A patent/MX2023012003A/es unknown
- 2020-02-04 US US16/781,416 patent/US11277640B2/en active Active
-
2021
- 2021-10-29 AU AU2021258067A patent/AU2021258067B2/en active Active
-
2022
- 2022-02-10 US US17/668,934 patent/US11825119B2/en active Active
-
2023
- 2023-10-13 US US18/380,044 patent/US20240056607A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160219290A1 (en) | 2015-01-26 | 2016-07-28 | Qualcomm Incorporated | Enhanced multiple transforms for prediction residual |
| WO2016123091A1 (en) | 2015-01-26 | 2016-08-04 | Qualcomm Incorporated | Enhanced multiple transforms for prediction residual |
| JP2018506905A (ja) | 2015-01-26 | 2018-03-08 | クアルコム，インコーポレイテッド | 予測残差のための機能強化された複数の変換 |
Non-Patent Citations (2)
| Title |
|---|
| CHEN, Jianle et al.，Algorithm Description of Joint Exploration Test Model 5 (JEM 5)，JVET-E1001 (version 2)，ITU，2017年02月11日，pp.1-3, 27-33，JVET-E1001-v2.docx |
| ZHAO, Xin et al.，Enhanced Multiple Transform for Video Coding，Proc. Data Compression Conference 2016，米国，IEEE，2016年12月19日，pp.73-82，[online]，Retrieved from the Internet: <URL: https://ieeexplore.ieee.org/document/7786151>，https://doi.org/10.1109/DCC.2016.9 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7446988B2 (ja) | ビデオ圧縮のための変換を構成する方法および装置 | |
| KR102659354B1 (ko) | 축소된 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치 | |
| KR102599446B1 (ko) | 인트라 예측 모드에 기초하여 변환 인덱스 코딩을 수행하는 방법 및 이를 위한 장치 | |
| KR20240017106A (ko) | 축소된 2차 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치 | |
| US11503298B2 (en) | Signaling of information indicating transform kernel set in image coding | |
| KR102664785B1 (ko) | 비디오 신호를 처리하기 위한 방법 및 장치 | |
| US11570438B2 (en) | Coding of information about transform kernel set | |
| US20230209061A1 (en) | Context coding for information on transform kernel set in image coding system | |
| RU2795258C1 (ru) | Способ и устройство для конфигурирования преобразования для сжатия видео |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210312 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210420 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221003 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230414 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231115 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240228 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7446988 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |