JP7087071B2 - 符号化方法及び機器 - Google Patents

符号化方法及び機器 Download PDF

Info

Publication number
JP7087071B2
JP7087071B2 JP2020521423A JP2020521423A JP7087071B2 JP 7087071 B2 JP7087071 B2 JP 7087071B2 JP 2020521423 A JP2020521423 A JP 2020521423A JP 2020521423 A JP2020521423 A JP 2020521423A JP 7087071 B2 JP7087071 B2 JP 7087071B2
Authority
JP
Japan
Prior art keywords
residual
conversion
mode
size
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020521423A
Other languages
English (en)
Other versions
JP2020537451A (ja
Inventor
ジャオ，イン
ヤン，ハイタオ
チェン，ジエンレェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2020537451A publication Critical patent/JP2020537451A/ja
Priority to JP2022093165A priority Critical patent/JP7381660B2/ja
Application granted granted Critical
Publication of JP7087071B2 publication Critical patent/JP7087071B2/ja
Priority to JP2023188106A priority patent/JP2024015480A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

［関連出願］
本願は、２０１８年２月２３日に米国特許庁に出願した米国特許出願番号第６２／６３４，６１３号、２０１８年３月３１日に米国特許庁に出願した米国特許出願番号第６２／６７８，７３８号、及び２０１７年１０月１６日に米国特許庁に出願した米国特許出願番号第６２／５７２，９８７号、並びに２０１８年８月２７日に中国特許庁に出願したＰＣＴ／ＣＮ２０１８／１０２５２４の優先権を主張する。
［技術分野］
本発明は、通信の分野に関し、特に、符号化方法及び機器に関する。
比較的短いビデオでも描写するために必要なビデオデータの量は相当なものになり得る。これは、データが限られた帯域幅能力を有する通信ネットワークに渡りストリーミングされる又は通信されるとき、困難をもたらすことがある。したがって、ビデオデータは、通常、今日の通信ネットワークに渡り通信される前に、圧縮される。ビデオが記憶装置に格納されるとき、メモリリソースが限られていることがあるので、ビデオのサイズも問題になり得る。ビデオ圧縮装置は、送信又は記憶の前に、ソースにおいてビデオデータを符号化するためにソフトウェア及び／又はハードウェアを度々使用し、それによりデジタルビデオ画像を表現するために必要なデータの量を削減する。圧縮されたデータは、次に、ビデオデータを復号するビデオ復元装置により宛先において受信される。
限られたネットワークリソース及びより高いビデオ品質の増え続ける要求に伴い、画像品質を僅かしか又は全く犠牲にせずに圧縮率を向上する改良された圧縮及び復元技術が望ましい。
本発明の実施形態は、オーディオ信号のスペクトル係数に適正な量子化ビット割り当てを実行できる符号化方法及び機器を提供し、それにより復号によってデコーダにより得られる信号の品質を向上する。
前述の目的を達成するために、以下の技術的ソリューションは、本発明の実施形態において使用される。
第１の態様によると、本発明の一実施形態は、ビデオ復号方法であって、
受信したビットストリームをパースして、符号化ユニット（coding unit, CU）の予測情報を取得するステップと、
前記ＣＵが１つのみの残差変換ユニット（residual transform unit, TU）を有し、前記残差ＴＵのサイズが前記ＣＵのサイズより小さいとき、前記残差ＴＵの目標変換モードを取得するステップであって、前記目標変換モードは、前記ＣＵのＴＵパーティションモード、前記残差ＴＵの位置、及び前記残差ＴＵの変換タイプを指定する、ステップと、
前記受信したビットストリームをパースして、前記残差ＴＵの変換係数を取得するステップと、
前記残差ＴＵの前記変換係数に逆量子化を適用して、逆量子化された係数を取得するステップと、
前記目標変換モードに基づき、前記逆量子化された係数に逆変換を適用して、前記残差ＴＵの残差ブロックを取得するステップと、
前記予測情報に基づき、前記ＣＵの予測ブロックを取得するステップと、
前記残差ブロック及び前記予測ブロックに基づき、ビデオブロックを取得するステップと、
ビデオシーケンスを出力するステップであって、前記ビデオシーケンスは前記ビデオブロックを含むビデオフレームを含む、ステップと、
を含む方法を提供する。
目標変換モードは、ＣＵのＴＵパーティションモード、残差ＴＵの位置、及び残差の変換タイプを指定できるので、その結果、復号効率を向上できるだけでなく、復号品質も向上でき、並びに、目標変換モードについて上述の情報を指定でき、したがって、上述の情報を伝送するために必要なビットを削減でき、符号化オーディオデータを伝送するための伝送リソース、例えば帯域幅を節約できる。
第１の態様の第１の可能な実装方法では、前記ＣＵの前記サイズはＷ×Ｈにより示され、前記残差ＴＵの前記目標変換モードは、以下のモードのうちの１つである：
変換モードＱ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵをサイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵに分け、前記残差ＴＵの位置は左上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８であり、前記残差ＴＵの垂直変換がＤＣＴ－８である、ことを指定するモード；
変換モードＱ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵをサイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵに分け、前記残差ＴＵの位置は右上であり、前記変換タイプが、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＣＴ－８である、ことを指定するモード；
変換モードＱ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵをサイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵに分け、前記残差ＴＵの位置が左下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；
変換モードＱ３であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵをサイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵに分け、前記残差ＴＵの位置は右下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；
変換モードＱＨ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは上にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは下にありサイズＷ×（Ｈ／２）を有し、前記残差ＴＵの位置は左上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８であり、前記残差ＴＵの垂直変換がＤＣＴ－８である、ことを指定するモード；
変換モードＱＨ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは上にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは下にありサイズＷ×（Ｈ／２）を有し、前記残差ＴＵの位置は右上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＣＴ－８である、ことを指定するモード；
変換モードＱＨ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは下にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは上にありサイズＷ×（Ｈ／２）を有し、前記残差ＴＵの位置は左下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；
変換モードＱＨ３であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは下にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは上にありサイズＷ×（Ｈ／２）を有し、前記残差ＴＵの位置は右下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；
変換モードＱＶ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは左にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは右にありサイズ（Ｗ／２）×Ｈを有し、前記残差ＴＵの位置は左上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８であり、前記残差ＴＵの垂直変換がＤＣＴ－８である、ことを指定するモード；
変換モードＱＶ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは右にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは左にありサイズ（Ｗ／２）×Ｈを有し、前記残差ＴＵの位置は右上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＣＴ－８である、ことを指定するモード；
変換モードＱＶ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは左にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは右にありサイズ（Ｗ／２）×Ｈを有し、前記残差ＴＵの位置は左下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；
変換モードＱＶ３であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは右にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは左にありサイズ（Ｗ／２）×Ｈを有し、前記残差ＴＵの位置は右下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；
変換モードＨＱ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、上のＴＵのサイズは下のＴＵのサイズより小さく、前記残差ＴＵの位置は上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７又はＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＣＴ－８である、ことを指定するモード；
変換モードＨＱ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、下のＵＴのサイズは上のＴＵのサイズより小さく、前記残差ＴＵの位置は下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７又はＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；
変換モードＶＱ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、左のＴＵのサイズは右のＴＵのサイズより小さく、前記残差ＴＵの位置は左であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８であり、前記残差ＴＵの垂直変換がＤＳＴ－７又はＤＣＴ－２である、ことを指定するモード；
変換モードＶＱ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、右のＴＵのサイズは左のＴＵのサイズより小さく、前記残差ＴＵの位置は右であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＳＴ－７又はＤＣＴ－２である、ことを指定するモード；
変換モードＨＨ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、上のＴＵのサイズは下のＴＵのサイズと等しく、前記残差ＴＵの位置は上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７又はＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＣＴ－８である、ことを指定するモード；
変換モードＨＨ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、上のＴＵのサイズは下のＴＵのサイズに等しく、前記残差ＴＵの位置は下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７又はＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；
変換モードＨＨ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、上のＴＵのサイズは下のＴＵのサイズと等しく、前記上のＴＵの前記サイズは中央のＴＵのサイズより小さく、前記残差ＴＵの位置は中央であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＣＴ－２である、又は前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＳＴ－１である、ことを指定するモード；
変換モードＶＨ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、左のＴＵのサイズは右のＴＵのサイズと等しく、前記残差ＴＵの位置は左であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８であり、前記残差ＴＵの垂直変換がＤＳＴ－７又はＤＣＴ－２である、ことを指定するモード；
変換モードＶＨ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、左のＴＵのサイズは右のＴＵのサイズと等しく、前記残差ＴＵの位置は右であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＳＴ－７又はＤＣＴ－２である、ことを指定するモード；又は、
変換モードＶＨ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、左のＴＵのサイズは右のＴＵのサイズと等しく、前記左のＴＵの前記サイズは中央のＴＵのサイズより小さく、前記残差ＴＵの位置は中央であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、又は前記残差ＴＵの水平変換がＤＳＴ－１であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；代替の実装方法では、本開示を通じて、ＤＳＴ－７はＤＳＴ－４で置き換えられてよく、ＤＣＴ－８はＤＣＴ－４で置き換えられてよい。したがって、第１の態様の別の可能な実装方法では、前記ＣＵの前記サイズはＷ×Ｈにより示され、前記残差ＴＵの前記目標変換モードは、以下のモードのうちの１つである：
変換モードＱ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵをサイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵに分け、前記残差ＴＵの位置は左上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４であり、前記残差ＴＵの垂直変換がＤＣＴ－４である、ことを指定するモード；
変換モードＱ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵをサイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵに分け、前記残差ＴＵの位置は右上であり、前記変換タイプが、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＣＴ－４である、ことを指定するモード；
変換モードＱ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵをサイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵに分け、前記残差ＴＵの位置が左下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード；
変換モードＱ３であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵをサイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵに分け、前記残差ＴＵの位置は右下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード；
変換モードＱＨ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは上にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは下にありサイズＷ×（Ｈ／２）を有し、前記残差ＴＵの位置は左上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４であり、前記残差ＴＵの垂直変換がＤＣＴ－４である、ことを指定するモード；
変換モードＱＨ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは上にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは下にありサイズＷ×（Ｈ／２）を有し、前記残差ＴＵの位置は右上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＣＴ－４である、ことを指定するモード；
変換モードＱＨ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは下にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは上にありサイズＷ×（Ｈ／２）を有し、前記残差ＴＵの位置は左下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード；
変換モードＱＨ３であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは下にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは上にありサイズＷ×（Ｈ／２）を有し、前記残差ＴＵの位置は右下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード；
変換モードＱＶ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは左にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは右にありサイズ（Ｗ／２）×Ｈを有し、前記残差ＴＵの位置は左上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４であり、前記残差ＴＵの垂直変換がＤＣＴ－４である、ことを指定するモード；
変換モードＱＶ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは右にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは左にありサイズ（Ｗ／２）×Ｈを有し、前記残差ＴＵの位置は右上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＣＴ－４である、ことを指定するモード；
変換モードＱＶ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは左にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは右にありサイズ（Ｗ／２）×Ｈを有し、前記残差ＴＵの位置は左下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード；
変換モードＱＶ３であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは右にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは左にありサイズ（Ｗ／２）×Ｈを有し、前記残差ＴＵの位置は右下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード；
変換モードＨＱ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、上のＴＵのサイズは下のＴＵのサイズより小さく、前記残差ＴＵの位置は上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４又はＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＣＴ－４である、ことを指定するモード；
変換モードＨＱ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、下のＵＴのサイズは上のＴＵのサイズより小さく、前記残差ＴＵの位置は下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４又はＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード；
変換モードＶＱ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、左のＴＵのサイズは右のＴＵのサイズより小さく、前記残差ＴＵの位置は左であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４又はＤＣＴ－２である、ことを指定するモード；
変換モードＶＱ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、右のＴＵのサイズは左のＴＵのサイズより小さく、前記残差ＴＵの位置は右であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４又はＤＣＴ－２である、ことを指定するモード；
変換モードＨＨ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、上のＴＵのサイズは下のＴＵのサイズと等しく、前記残差ＴＵの位置は上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４又はＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＣＴ－４である、ことを指定するモード；
変換モードＨＨ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、上のＴＵのサイズは下のＴＵのサイズに等しく、前記残差ＴＵの位置は下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４又はＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード；
変換モードＨＨ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、上のＴＵのサイズは下のＴＵのサイズと等しく、前記上のＴＵの前記サイズは中央のＴＵのサイズより小さく、前記残差ＴＵの位置は中央であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＣＴ－２である、又は前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－１である、ことを指定するモード；
変換モードＶＨ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、左のＴＵのサイズは右のＴＵのサイズと等しく、前記残差ＴＵの位置は左であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４又はＤＣＴ－２である、ことを指定するモード；
変換モードＶＨ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、左のＴＵのサイズは右のＴＵのサイズと等しく、前記残差ＴＵの位置は右であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４又はＤＣＴ－２である、ことを指定するモード；又は、
変換モードＶＨ２変換モードＨＨ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、左のＴＵのサイズは右のＴＵのサイズと等しく、前記左のＴＵの前記サイズは中央のＴＵのサイズより小さく、前記残差ＴＵの位置は中央であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、又は前記残差ＴＵの水平変換がＤＳＴ－１であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード。
第１の態様または第１の態様の第１の可能な実装方法を参照して、第２の可能な実装方法では、前記残差ＴＵの前記目標変換モードを取得するステップは、
前記ビットストリームをパースして、前記残差ＴＵの前記目標変換モードを示すモードインデックスを取得するステップと、
前記モードインデックスに基づき、前記残差ＴＵの前記目標変換モードを取得するステップと、を含む。
目標変換モードは、モードインデックスによりインデックス付けでき、したがって、取得される必要のある１つのみのインデックスについて、復号効率を向上できる。
第１の態様の第２の可能な実装方法を参照して、第３の可能な実装方法では、前記ビットストリームをパースして、前記残差ＴＵの前記目標変換モードを示すモードインデックスを取得するステップの前に、前記方法は、
前記ＣＵのサイズに基づき、前記残差ＴＵの候補目標変換モードを決定するステップ、を更に含み、
前記ビットストリームをパースして、前記残差ＴＵの前記目標変換モードを示すモードインデックスを取得する前記ステップは、
前記残差ＴＵの前記候補目標変換モードに基づき、前記ビットストリームをパースして、前記残差ＴＵの前記目標変換モードを示すモードインデックスを取得するステップを含む。
候補目標変換モードの決定は、残差ＴＵの候補目標変換モードの数を削減できる。その結果、モードインデックスを伝送するために必要なビットを削減する。
第１の態様の第３の可能な実装方法を参照して、第４の可能な実装方法では、前記ＣＵのサイズに基づき、前記残差ＴＵの候補目標変換モードを決定する前記ステップは、以下のうちの少なくとも１つを含む：
前記ＣＵの幅が［Ｔｈ１×２，Ｔｈ３］の範囲にあり、前記ＣＵの高さが［Ｔｈ１×２，Ｔｈ３］の範囲にあるとき、前記候補目標変換モードは、変換モードＱ０、変換モードＱ１、変換モードＱ２、及び変換モードＱ３を含む；
前記ＣＵの幅が［Ｔｈ１×４，Ｔｈ３］の範囲にあり、前記ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＶＱ０、変換モードＶＱ１、及び変換モードＶＨ２を含む；
前記ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＶＨ０及び変換モードＶＨ１を含む；
前記ＣＵの高さが［Ｔｈ１×４，Ｔｈ３］の範囲にあり、前記ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＨＱ０、変換モードＨＱ１、及び変換モードＨＨ２を含む；
前記ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＨＨ０及び変換モードＨＨ１を含む；
前記ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＱ０、変換モードＱ１、変換モードＱ２、及び変換モードＱ３を含む；
前記ＣＵの幅が［Ｔｈ１×４，Ｔｈ２］の範囲にあり、前記ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＶＱ０、変換モードＶＱ１、及び変換モードＶＨ２を含む；
前記ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＶＨ０及び変換モードＶＨ１を含む；
前記ＣＵの高さが［Ｔｈ１×４，Ｔｈ２］の範囲にあり、前記ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＨＱ０、変換モードＨＱ１、及び変換モードＨＨ２を含む；又は、
前記ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＨＨ０及び変換モードＨＨ１を含む；
Ｔｈ１、Ｔｈ２、及びＴｈ３は、所定の整数値である。
第１の態様または第１の態様の第１の可能な実装方法を参照して、第５の可能な実装方法では、前記残差ＴＵの前記目標変換モードを取得するステップは、
前記ビットストリームをパースして、前記目標変換モードの属するモードグループを示すグループインデックスを取得するステップと、
前記ビットストリームをパースして、前記モードグループの中の前記目標変換モードを示すモードインデックスを取得するステップと、
前記グループインデックス及び前記モードインデックスに基づき、前記目標変換モードを取得するステップと、
を含む。
変換モードは予めグループ化され、したがって、１つのＣＵに適する変換モードの数を削減でき、復号効率を向上するだけでなく、伝送リソースも節約できる。
第１の態様の第５の可能な実装方法を参照して、第６の可能な実装方法では、前記目標変換モードは、以下のいずれかのモードグループに属する：
変換モードＨＨ０、変換モードＨＨ１、変換モードＨＨ２、変換モードＶＨ０、変換モードＶＨ１、及び変換モードＶＨ２を含むモードグループ；
変換モードＱ０、変換モードＱ１、変換モードＱ２、変換モードＱ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、及び変換モードＶＱ１を含むモードグループ；
変換モードＨＨ０、ＨＨ１、ＨＨ２、ＶＨ０、ＶＨ１、及びＶＨ２を含むモードグループ；
変換モードＱ０、変換モードＱ１、変換モードＱ２、変換モードＱ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、及び変換モードＶＱ１を含むモードグループ；
変換モードＱＨ０、変換モードＱＨ１、変換モードＱＨ２、変換モードＱＨ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、及び変換モードＶＱ１を含むモードグループ；
変換モードＱＶ０、変換モードＱＶ１、変換モードＱＶ２、変換モードＱＶ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、及び変換モードＶＱ１を含むモードグループ；
変換モードＱ０、変換モードＱ１、変換モードＱ２、変換モードＱ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、変換モードＶＱ１、変換モードＨＨ０、変換モードＨＨ１、変換モードＶＨ０、及び変換モードＶＨ１を含むモードグループ；
変換モードＱ０、変換モードＱ１、変換モードＱ２、変換モードＱ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、変換モードＶＱ１、変換モードＨＨ０、変換モードＨＨ１、変換モードＨＨ２、変換モードＶＨ０、変換モードＶＨ１、及び変換モードＶＨ２を含むモードグループ；
変換モードＱＨ０、変換モードＱＨ１、変換モードＱＨ２、変換モードＱＨ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、変換モードＶＱ１、変換モードＨＨ０、変換モードＨＨ１、変換モードＨＨ２、変換モードＶＨ０、変換モードＶＨ１、及び変換モードＶＨ２を含むモードグループ；
変換モードＨＨ０、変換モードＨＨ１、変換モードＶＨ０、及び変換モードＶＨ１を含むモードグループ；
変換モードＱ０、変換モードＱ１、変換モードＱ２、及び変換モードＱ３を含むモードグループ；又は、
変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、及び変換モードＶＱ１を含むモードグループ。
第１の態様の第５の可能な実装方法を参照して、第７の可能な実装方法では、前記ビットストリームをパースして、前記目標変換モードの属するモードグループを示すグループインデックスを取得するステップの前に、前記方法は、
前記ＣＵのサイズに基づき、前記残差ＴＵの少なくとも１つの候補モードグループを決定するステップ、を更に含み、
前記ビットストリームをパースして、前記目標変換モードの属するモードグループを示すグループインデックスを取得する前記ステップは、
前記残差ＴＵの前記少なくとも１つの候補モードグループに基づき、前記ビットストリームをパースして、前記目標変換モードの属するモードグループを示すグループインデックスを取得するステップを含む。
候補目標変換モードの決定は、残差ＴＵの候補目標変換モードの数を削減できる。その結果、モードインデックスを伝送するために必要なビットを削減する。
第１の態様の第７の可能な実装方法を参照して、第８の可能な実装方法では、前記ＣＵのサイズに基づき、前記残差ＴＵの少なくとも１つの候補モードグループを決定する前記ステップは、以下のうちの少なくとも１つを含む：
前記ＣＵの幅が［Ｔｈ１×２，Ｔｈ３］の範囲にあり、前記ＣＵの高さが［Ｔｈ１×２，Ｔｈ３］の範囲にあるとき、前記候補モードグループは、変換モードＱ０、変換モードＱ１、変換モードＱ２、及び変換モードＱ３を含むモードグループを含む；
前記ＣＵの幅が［Ｔｈ１×４，Ｔｈ３］の範囲にあり、前記ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＶＱ０、変換モードＶＱ１、及び変換モードＶＨ２を含むモードグループを含む；
前記ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＶＨ０及び変換モードＶＨ１を含むモードグループを含む；
前記ＣＵの高さが［Ｔｈ１×４，Ｔｈ３］の範囲にあり、前記ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＨＱ０、変換モードＨＱ１、及び変換モードＨＨ２を含むモードグループを含む；
前記ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＨＨ０及び変換モードＨＨ１を含むモードグループを含む；
前記ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＱ０、変換モードＱ１、変換モードＱ２、及び変換モードＱ３を含むモードグループを含む；
前記ＣＵの幅が［Ｔｈ１×４，Ｔｈ２］の範囲にあり、前記ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＶＱ０、変換モードＶＱ１、及び変換モードＶＨ２を含むモードグループを含む；
前記ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＶＨ０及び変換モードＶＨ１を含むモードグループを含む；
前記ＣＵの高さが［Ｔｈ１×４，Ｔｈ２］の範囲にあり、前記ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＨＱ０、変換モードＨＱ１、及び変換モードＨＨ２を含むモードグループを含む；又は、
前記ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＨＨ０及び変換モードＨＨ１を含むモードグループを含む；
Ｔｈ１、Ｔｈ２、及びＴｈ３は、所定の整数値である。
第１の態様の第４の可能な実装方法又は第８の可能な実装方法を参照して、第９の可能な実装方法では、Ｔｈ１は４、８、又は１６であり、Ｔｈ２は３２、６４、又は１２８であり、或いはＴｈ３は６４、１２８，又は２５６である。
第１の態様又は第１の態様の第１乃至第９の可能な実装方法のいずれかを参照して、第１０の可能な実装方法では、前記残差ＴＵの前記目標変換モードを取得するステップの前に、前記方法は、前記ＣＵの前記予測情報に基づき、前記残差ＴＵの前記目標変換モードを取得するか否かを決定するステップを更に含む。
第１の態様の第１０の可能な実装方法を参照して、第１１の可能な実装方法では、前記ＣＵの前記予測情報に基づき、前記残差ＴＵの前記目標変換モードを取得するか否かを決定する前記ステップは、以下のうちの少なくとも１つを含む：
前記ＣＵの予測モードがイントラ予測モードであるとき、前記残差ＴＵの前記目標変換モードを取得することを決定するステップ；
前記ＣＵの予測モードがインター予測モードであるとき、前記残差ＴＵの前記目標変換モードを取得することを決定するステップ；
前記ＣＵの予測方法が予め設定された陽性予測方法であるとき、前記残差ＴＵの前記目標変換モードを取得することを決定するステップ；又は、
前記ＣＵの予測方法が予め設定された陰性予測方法であるとき、前記残差ＴＵの前記目標変換モードを取得しないことを決定するステップ。
第１の態様の第１１の可能な実装方法を参照して、第１２の可能な実装方法では、前記予め設定された陽性予測方法は、以下：
並進移動モデルに基づく動き補償方法；
マージ予測方法；
１／４－ｐｅｌ動きベクトル差予測による高度動きベクトル予測方法；又は、
２より小さいマージインデックスによるマージ予測方法；
のうちの少なくとも１つを含む。
第１の態様の第１１又は第１２の可能な実装方法を参照して、第１３の可能な実装方法では、前記予め設定された陰性予測方法は、以下：
アフィンモデルに基づく動き補償方法；
アフィンマージ予測方法；
アフィンインター予測モード；
１－ｐｅｌ又は４－ｐｅｌ動きベクトル差精度による高度動きベクトル予測方法；又は、
２より小さくないマージインデックスによるマージ予測方法；
のうちの少なくとも１つを含む。
第１の態様又は第１の態様の第１乃至第１３の可能な実装方法のいずれかを参照して、第１４の可能な実装方法では、前記残差ＴＵの前記目標変換モードを取得するステップの前に、前記方法は、前記ＣＵのサイズに基づき、前記残差ＴＵの前記目標変換モードを取得するか否かを決定するステップを更に含む。
第１の態様の第１４の可能な実装方法を参照して、第１５の可能な実装方法では、前記ＣＵのサイズに基づき、前記残差ＴＵの前記目標変換モードを取得するか否かを決定する前記ステップは、以下のうちの少なくとも１つを含む：
前記ＣＵの幅又は高さが予め設定されたＣＵ閾より大きいとき、前記残差ＴＵの前記目標変換モードを取得しないことを決定する；
前記ＣＵのＴＵの幅又は高さが予め設定された最小ＴＵ閾より小さいとき、前記残差ＴＵの前記目標変換モードを取得しないことを決定するステップ；又は、
前記ＣＵのＴＵの幅又は高さが予め設定された最大ＴＵ閾より大きいとき、前記残差ＴＵの前記目標変換モードを取得しないことを決定する。
第１の態様の第１５の可能な実装方法を参照して、第１６の可能な実装方法では、前記予め設定されたＣＵ閾が３２個のルマピクセル、６４個のルマピクセル、又は１２８個のルマピクセルである、又は、前記予め設定された最小ＴＵ閾が４個のルマピクセル、８個のルマピクセル、又は１６個のルマピクセルである、又は、前記予め設定された最大ＴＵ閾が３２個のルマピクセル、６４個のルマピクセル、又は１２８個のルマピクセルである。
第２の態様によると、本発明の一実施形態は、ビデオデコーダであって、
受信したビットストリームをパースして、符号化ユニット（coding unit, CU）の予測情報を取得し、残差変換ユニット（residual transform unit, TU）が前記ＣＵの残差ＴＵのみであり、前記残差ＴＵのサイズが前記ＣＵのサイズより小さいとき、前記残差ＴＵの目標変換モードを取得し、前記目標変換モードは、前記ＣＵのＴＵパーティションモード、前記残差ＴＵの位置、及び前記残差ＴＵの変換タイプを指定し、前記受信したビットストリームをパースして、前記残差ＴＵの変換係数を取得するよう構成されるエントロピー復号ユニットと、
前記残差ＴＵの前記変換係数に逆量子化を適用して、逆量子化された係数を取得するよう構成される逆量子化処理ユニットと、
前記目標変換モードに基づき、前記逆量子化された係数に逆変換を適用して、前記残差ＴＵの残差ブロックを取得するよう構成される逆変換処理ユニットと、
前記予測情報に基づき、前記ＣＵの予測ブロックを取得するよう構成される予測処理ユニットと、
前記残差ブロック及び前記予測ブロックに基づき、ビデオブロックを取得するよう構成される再構成ユニットと、
ビデオシーケンスを出力するよう構成される出力であって、前記ビデオシーケンスは前記ビデオブロックを含むビデオフレームを含む、出力と、
を含むビデオデコーダを提供する。
第２の態様の第１の可能な実装方法では、前記ＣＵの前記サイズはＷ×Ｈにより示され、前記残差ＴＵの前記目標変換モードは、以下のモードのうちの１つである：
変換モードＱ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵをサイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵに分け、前記残差ＴＵの位置は左上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８であり、前記残差ＴＵの垂直変換がＤＣＴ－８である、ことを指定するモード；
変換モードＱ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵをサイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵに分け、前記残差ＴＵの位置は右上であり、前記変換タイプが、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＣＴ－８である、ことを指定するモード；
変換モードＱ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵをサイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵに分け、前記残差ＴＵの位置が左下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；
変換モードＱ３であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵをサイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵに分け、前記残差ＴＵの位置は右下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；
変換モードＱＨ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは上にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは下にありサイズＷ×（Ｈ／２）を有し、前記残差ＴＵの位置は左上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８であり、前記残差ＴＵの垂直変換がＤＣＴ－８である、ことを指定するモード；
変換モードＱＨ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは上にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは下にありサイズＷ×（Ｈ／２）を有し、前記残差ＴＵの位置は右上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＣＴ－８である、ことを指定するモード；
変換モードＱＨ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは下にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは上にありサイズＷ×（Ｈ／２）を有し、前記残差ＴＵの位置は左下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；
変換モードＱＨ３であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは下にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは上にありサイズＷ×（Ｈ／２）を有し、前記残差ＴＵの位置は右下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；
変換モードＱＶ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは左にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは右にありサイズ（Ｗ／２）×Ｈを有し、前記残差ＴＵの位置は左上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８であり、前記残差ＴＵの垂直変換がＤＣＴ－８である、ことを指定するモード；
変換モードＱＶ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは右にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは左にありサイズ（Ｗ／２）×Ｈを有し、前記残差ＴＵの位置は右上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＣＴ－８である、ことを指定するモード；
変換モードＱＶ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは左にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは右にありサイズ（Ｗ／２）×Ｈを有し、前記残差ＴＵの位置は左下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；
変換モードＱＶ３であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは右にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは左にありサイズ（Ｗ／２）×Ｈを有し、前記残差ＴＵの位置は右下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；
変換モードＨＱ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、上のＴＵのサイズは下のＴＵのサイズより小さく、前記残差ＴＵの位置は上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７又はＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＣＴ－８である、ことを指定するモード；
変換モードＨＱ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、下のＵＴのサイズは上のＴＵのサイズより小さく、前記残差ＴＵの位置は下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７又はＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；
変換モードＶＱ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、左のＴＵのサイズは右のＴＵのサイズより小さく、前記残差ＴＵの位置は左であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８であり、前記残差ＴＵの垂直変換がＤＳＴ－７又はＤＣＴ－２である、ことを指定するモード；
変換モードＶＱ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、右のＴＵのサイズは左のＴＵのサイズより小さく、前記残差ＴＵの位置は右であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＳＴ－７又はＤＣＴ－２である、ことを指定するモード；
変換モードＨＨ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、上のＴＵのサイズは下のＴＵのサイズと等しく、前記残差ＴＵの位置は上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７又はＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＣＴ－８である、ことを指定するモード；
変換モードＨＨ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、上のＴＵのサイズは下のＴＵのサイズに等しく、前記残差ＴＵの位置は下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７又はＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；
変換モードＨＨ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、上のＴＵのサイズは下のＴＵのサイズと等しく、前記上のＴＵの前記サイズは中央のＴＵのサイズより小さく、前記残差ＴＵの位置は中央であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＣＴ－２である、又は前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＳＴ－１である、ことを指定するモード；
変換モードＶＨ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、左のＴＵのサイズは右のＴＵのサイズと等しく、前記残差ＴＵの位置は左であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８であり、前記残差ＴＵの垂直変換がＤＳＴ－７又はＤＣＴ－２である、ことを指定するモード；
変換モードＶＨ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、左のＴＵのサイズは右のＴＵのサイズと等しく、前記残差ＴＵの位置は右であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７であり、前記残差ＴＵの垂直変換がＤＳＴ－７又はＤＣＴ－２である、ことを指定するモード；又は、
変換モードＶＨ２変換モードＨＨ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、左のＴＵのサイズは右のＴＵのサイズと等しく、前記左のＴＵの前記サイズは中央のＴＵのサイズより小さく、前記残差ＴＵの位置は中央であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、又は前記残差ＴＵの水平変換がＤＳＴ－１であり、前記残差ＴＵの垂直変換がＤＳＴ－７である、ことを指定するモード；
代替の実装方法では、本開示を通じて、ＤＳＴ－７はＤＳＴ－４で置き換えられてよく、ＤＣＴ－８はＤＣＴ－４で置き換えられてよい。したがって、第２の態様の別の可能な実装方法では、前記ＣＵの前記サイズはＷ×Ｈにより示され、前記残差ＴＵの前記目標変換モードは、以下のモードのうちの１つである：
変換モードＱ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵをサイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵに分け、前記残差ＴＵの位置は左上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４であり、前記残差ＴＵの垂直変換がＤＣＴ－４である、ことを指定するモード；
変換モードＱ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵをサイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵに分け、前記残差ＴＵの位置は右上であり、前記変換タイプが、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＣＴ－４である、ことを指定するモード；
変換モードＱ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵをサイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵに分け、前記残差ＴＵの位置が左下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード；
変換モードＱ３であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵをサイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵに分け、前記残差ＴＵの位置は右下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード；
変換モードＱＨ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは上にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは下にありサイズＷ×（Ｈ／２）を有し、前記残差ＴＵの位置は左上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４であり、前記残差ＴＵの垂直変換がＤＣＴ－４である、ことを指定するモード；
変換モードＱＨ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは上にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは下にありサイズＷ×（Ｈ／２）を有し、前記残差ＴＵの位置は右上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＣＴ－４である、ことを指定するモード；
変換モードＱＨ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは下にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは上にありサイズＷ×（Ｈ／２）を有し、前記残差ＴＵの位置は左下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード；
変換モードＱＨ３であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは下にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは上にありサイズＷ×（Ｈ／２）を有し、前記残差ＴＵの位置は右下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード；
変換モードＱＶ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは左にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは右にありサイズ（Ｗ／２）×Ｈを有し、前記残差ＴＵの位置は左上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４であり、前記残差ＴＵの垂直変換がＤＣＴ－４である、ことを指定するモード；
変換モードＱＶ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは右にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは左にありサイズ（Ｗ／２）×Ｈを有し、前記残差ＴＵの位置は右上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＣＴ－４である、ことを指定するモード；
変換モードＱＶ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは左にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは右にありサイズ（Ｗ／２）×Ｈを有し、前記残差ＴＵの位置は左下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード；
変換モードＱＶ３であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、前記３個のＴＵのうちの２個のＴＵは右にありサイズ（Ｗ／２）×（Ｈ／２）を有し、前記３個のＴＵのうちの他のＴＵは左にありサイズ（Ｗ／２）×Ｈを有し、前記残差ＴＵの位置は右下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード；
変換モードＨＱ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、上のＴＵのサイズは下のＴＵのサイズより小さく、前記残差ＴＵの位置は上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４又はＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＣＴ－４である、ことを指定するモード；
変換モードＨＱ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、下のＵＴのサイズは上のＴＵのサイズより小さく、前記残差ＴＵの位置は下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４又はＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード；
変換モードＶＱ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、左のＴＵのサイズは右のＴＵのサイズより小さく、前記残差ＴＵの位置は左であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４又はＤＣＴ－２である、ことを指定するモード；
変換モードＶＱ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、右のＴＵのサイズは左のＴＵのサイズより小さく、前記残差ＴＵの位置は右であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－４又はＤＣＴ－２である、ことを指定するモード；
変換モードＨＨ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、上のＴＵのサイズは下のＴＵのサイズと等しく、前記残差ＴＵの位置は上であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４又はＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＣＴ－４である、ことを指定するモード；
変換モードＨＨ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、上のＴＵのサイズは下のＴＵのサイズに等しく、前記残差ＴＵの位置は下であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４又はＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード；
変換モードＨＨ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、上のＴＵのサイズは下のＴＵのサイズと等しく、前記上のＴＵの前記サイズは中央のＴＵのサイズより小さく、前記残差ＴＵの位置は中央であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＣＴ－２である、又は前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－１である、ことを指定するモード；
変換モードＶＨ０であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、左のＴＵのサイズは右のＴＵのサイズと等しく、前記残差ＴＵの位置は左であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－７又はＤＣＴ－２である、ことを指定するモード；
変換モードＶＨ１であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを２個のＴＵに分け、左のＴＵのサイズは右のＴＵのサイズと等しく、前記残差ＴＵの位置は右であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４であり、前記残差ＴＵの垂直変換がＤＳＴ－７又はＤＣＴ－２である、ことを指定するモード；又は、
変換モードＶＨ２変換モードＨＨ２であって、前記ＣＵの前記ＴＵパーティションモードが、前記ＣＵを３個のＴＵに分け、左のＴＵのサイズは右のＴＵのサイズと等しく、前記左のＴＵの前記サイズは中央のＴＵのサイズより小さく、前記残差ＴＵの位置は中央であり、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－２であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、又は前記残差ＴＵの水平変換がＤＳＴ－１であり、前記残差ＴＵの垂直変換がＤＳＴ－４である、ことを指定するモード；
第１の態様または第２の態様の第１の可能な実装方法を参照して、第２の可能な実装方法では、前記エントロピー復号ユニットは、
前記ビットストリームをパースして、前記残差ＴＵの前記目標変換モードを示すモードインデックスを取得し、
前記モードインデックスに基づき、前記残差ＴＵの前記目標変換モードを取得する、よう更に構成される。
第２の態様の第２の可能な実装方法を参照して、第３の可能な実装方法では、前記エントロピー復号ユニットは、前記ＣＵのサイズに基づき、前記残差ＴＵの候補目標変換モードを決定し、
前記残差ＴＵの前記候補目標変換モードに基づき、前記ビットストリームをパースして、前記残差ＴＵの前記目標変換モードを示すモードインデックスを取得する、よう構成される。
第２の態様の第３の可能な実装方法を参照して、第４の可能な実装方法では、前記エントロピー復号ユニットは、以下のうちの少なくとも１つに従い、前記残差ＴＵの候補目標変換モードを決定するよう更に構成される：
前記ＣＵの幅が［Ｔｈ１×２，Ｔｈ３］の範囲にあり、前記ＣＵの高さが［Ｔｈ１×２，Ｔｈ３］の範囲にあるとき、前記候補目標変換モードは、変換モードＱ０、変換モードＱ１、変換モードＱ２、及び変換モードＱ３を含む；
前記ＣＵの幅が［Ｔｈ１×４，Ｔｈ３］の範囲にあり、前記ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＶＱ０、変換モードＶＱ１、及び変換モードＶＨ２を含む；
前記ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＶＨ０及び変換モードＶＨ１を含む；
前記ＣＵの高さが［Ｔｈ１×４，Ｔｈ３］の範囲にあり、前記ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＨＱ０、変換モードＨＱ１、及び変換モードＨＨ２を含む；
前記ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＨＨ０及び変換モードＨＨ１を含む；
前記ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＱ０、変換モードＱ１、変換モードＱ２、及び変換モードＱ３を含む；
前記ＣＵの幅が［Ｔｈ１×４，Ｔｈ２］の範囲にあり、前記ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＶＱ０、変換モードＶＱ１、及び変換モードＶＨ２を含む；
前記ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＶＨ０及び変換モードＶＨ１を含む；
前記ＣＵの高さが［Ｔｈ１×４，Ｔｈ２］の範囲にあり、前記ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＨＱ０、変換モードＨＱ１、及び変換モードＨＨ２を含む；又は、
前記ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補目標変換モードは、変換モードＨＨ０及び変換モードＨＨ１を含む；
Ｔｈ１、Ｔｈ２、及びＴｈ３は、所定の整数値である。
第２の態様または第２の態様の第１の可能な実装方法を参照して、第５の可能な実装方法では、前記エントロピー復号ユニットは、
前記ビットストリームをパースして、前記目標変換モードの属するモードグループを示すグループインデックスを取得し、
前記ビットストリームをパースして、前記モードグループの中の前記目標変換モードを示すモードインデックスを取得し、
前記グループインデックス及び前記モードインデックスに基づき、前記目標変換モードを取得する、よう更に構成される。
第２の態様の第５の可能な実装方法を参照して、第６の可能な実装方法では、前記目標変換モードは、以下のいずれかのモードグループに属する：
変換モードＨＨ０、変換モードＨＨ１、変換モードＨＨ２、変換モードＶＨ０、変換モードＶＨ１、及び変換モードＶＨ２を含むモードグループ；
変換モードＱ０、変換モードＱ１、変換モードＱ２、変換モードＱ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、及び変換モードＶＱ１を含むモードグループ；
変換モードＨＨ０、ＨＨ１、ＨＨ２、ＶＨ０、ＶＨ１、及びＶＨ２を含むモードグループ；
変換モードＱ０、変換モードＱ１、変換モードＱ２、変換モードＱ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、及び変換モードＶＱ１を含むモードグループ；
変換モードＱＨ０、変換モードＱＨ１、変換モードＱＨ２、変換モードＱＨ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、及び変換モードＶＱ１を含むモードグループ；
変換モードＱＶ０、変換モードＱＶ１、変換モードＱＶ２、変換モードＱＶ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、及び変換モードＶＱ１を含むモードグループ；
変換モードＱ０、変換モードＱ１、変換モードＱ２、変換モードＱ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、変換モードＶＱ１、変換モードＨＨ０、変換モードＨＨ１、変換モードＶＨ０、及び変換モードＶＨ１を含むモードグループ；
変換モードＱ０、変換モードＱ１、変換モードＱ２、変換モードＱ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、変換モードＶＱ１、変換モードＨＨ０、変換モードＨＨ１、変換モードＨＨ２、変換モードＶＨ０、変換モードＶＨ１、及び変換モードＶＨ２を含むモードグループ；
変換モードＱＨ０、変換モードＱＨ１、変換モードＱＨ２、変換モードＱＨ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、変換モードＶＱ１、変換モードＨＨ０、変換モードＨＨ１、変換モードＨＨ２、変換モードＶＨ０、変換モードＶＨ１、及び変換モードＶＨ２を含むモードグループ；
変換モードＨＨ０、変換モードＨＨ１、変換モードＶＨ０、及び変換モードＶＨ１を含むモードグループ；
変換モードＱ０、変換モードＱ１、変換モードＱ２、及び変換モードＱ３を含むモードグループ；又は、
変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、及び変換モードＶＱ１を含むモードグループ。
第２の態様の第５の可能な実装方法を参照して、第７の可能な実装方法では、前記エントロピー復号ユニットは、
前記ＣＵのサイズに基づき、前記残差ＴＵの少なくとも１つの候補モードグループを決定し、
前記残差ＴＵの前記少なくとも１つの候補モードグループに基づき、前記ビットストリームをパースして、前記目標変換モードの属するモードグループを示すグループインデックスを取得する、よう更に構成される。
第２の態様の第７の可能な実装方法を参照して、第８の可能な実装方法では、前記エントロピー復号ユニットは、以下のうちの少なくとも１つに従い、少なくとも１つの候補モードグループを決定するよう更に構成される：
前記ＣＵの幅が［Ｔｈ１×２，Ｔｈ３］の範囲にあり、前記ＣＵの高さが［Ｔｈ１×２，Ｔｈ３］の範囲にあるとき、前記候補モードグループは、変換モードＱ０、変換モードＱ１、変換モードＱ２、及び変換モードＱ３を含むモードグループを含む；
前記ＣＵの幅が［Ｔｈ１×４，Ｔｈ３］の範囲にあり、前記ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＶＱ０、変換モードＶＱ１、及び変換モードＶＨ２を含むモードグループを含む；
前記ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＶＨ０及び変換モードＶＨ１を含むモードグループを含む；
前記ＣＵの高さが［Ｔｈ１×４，Ｔｈ３］の範囲にあり、前記ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＨＱ０、変換モードＨＱ１、及び変換モードＨＨ２を含むモードグループを含む；
前記ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＨＨ０及び変換モードＨＨ１を含むモードグループを含む；
前記ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＱ０、変換モードＱ１、変換モードＱ２、及び変換モードＱ３を含むモードグループを含む；
前記ＣＵの幅が［Ｔｈ１×４，Ｔｈ２］の範囲にあり、前記ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＶＱ０、変換モードＶＱ１、及び変換モードＶＨ２を含むモードグループを含む；
前記ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＶＨ０及び変換モードＶＨ１を含むモードグループを含む；
前記ＣＵの高さが［Ｔｈ１×４，Ｔｈ２］の範囲にあり、前記ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＨＱ０、変換モードＨＱ１、及び変換モードＨＨ２を含むモードグループを含む；又は、
前記ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあり、前記ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、前記候補モードグループは、変換モードＨＨ０及び変換モードＨＨ１を含むモードグループを含む；
Ｔｈ１、Ｔｈ２、及びＴｈ３は、所定の整数値である。
第２の態様の第５又は第８の可能な実装方法を参照して、第９の可能な実装方法では、Ｔｈ１は４、８、又は１６であり、Ｔｈ２は３２、６４、又は１２８であり、或いはＴｈ３は６４、１２８、又は２５６である。
第２の態様又は第２の態様の第１乃至第９の可能な実装方法のいずれかを参照して、第１０の可能な実装方法では、前記エントロピー復号ユニットは、前記ＣＵの前記予測情報に基づき、前記残差ＴＵの前記目標変換モードを取得するか否かを決定するよう更に構成される。
第２の態様の第１０の可能な実装方法を参照して、第１１の可能な実装方法では、前記エントロピー復号ユニットは、以下のうちの少なくとも１つに従い、前記残差ＴＵの前記目標変換モードを取得するか否かを決定するよう更に構成される：
前記ＣＵの予測モードがイントラ予測モードであるとき、前記残差ＴＵの前記目標変換モードを取得することを決定する；
前記ＣＵの予測モードがインター予測モードであるとき、前記残差ＴＵの前記目標変換モードを取得することを決定する；
前記ＣＵの予測方法が予め設定された陽性予測方法であるとき、前記残差ＴＵの前記目標変換モードを取得することを決定する；又は、
前記ＣＵの予測方法が予め設定された陰性予測方法であるとき、前記残差ＴＵの前記目標変換モードを取得しないことを決定する。
第２の態様の第１１の可能な実装方法を参照して、第１２の可能な実装方法では、前記予め設定された陽性予測方法は、以下：
並進移動モデルに基づく動き補償方法；
マージ予測方法；
１／４－ｐｅｌ動きベクトル差精度による高度動きベクトル予測方法；又は、
２より小さいマージインデックスによるマージ予測方法；
のうちの少なくとも１つを含む。
第２の態様の第１１又は第１２の可能な実装方法を参照して、第１３の可能な実装方法では、前記予め設定された陰性予測方法は、以下：
アフィンモデルに基づく動き補償方法；
アフィンマージ予測方法；
アフィンインター予測モード；
１－ｐｅｌ又は４－ｐｅｌ動きベクトル差精度による高度動きベクトル予測方法；又は、
２より小さくないマージインデックスによるマージ予測方法；
のうちの少なくとも１つを含む。
第２の態様又は第２の態様の第１乃至第１３の可能な実装方法のいずれかを参照して、第１４の可能な実装方法では、前記エントロピー復号ユニットは、前記ＣＵのサイズに基づき、前記残差ＴＵの前記目標変換モードを取得するか否かを決定するよう更に構成される。
第２の態様の第１４の可能な実装方法を参照して、第１５の可能な実装方法では、前記エントロピー復号ユニットは、以下のうちの少なくとも１つに従い、前記残差ＴＵの前記目標変換モードを取得するか否かを決定するよう更に構成される：
前記ＣＵの幅又は高さが予め設定されたＣＵ閾より大きいとき、前記残差ＴＵの前記目標変換モードを取得しないことを決定する；
前記ＣＵのＴＵの幅又は高さが予め設定された最小ＴＵ閾より小さいとき、前記残差ＴＵの前記目標変換モードを取得しないことを決定するステップ；又は、
前記ＣＵのＴＵの幅又は高さが予め設定された最大ＴＵ閾より大きいとき、前記残差ＴＵの前記目標変換モードを取得しないことを決定する。
第２の態様の第１５の可能な実装方法を参照して、第１６の可能な実装方法では、前記予め設定されたＣＵ閾が３２個のルマピクセル、６４個のルマピクセル、又は１２８個のルマピクセルである、又は、前記予め設定された最小ＴＵ閾が４個のルマピクセル、８個のルマピクセル、又は１６個のルマピクセルである、又は、前記予め設定された最大ＴＵ閾が３２個のルマピクセル、６４個のルマピクセル、又は１２８個のルマピクセルである。
第３の態様によると、本発明の一実施形態は、デコーダであって、第１の態様及び第１の態様の第１乃至第１６の可能な実装方法のうちのいずれか１つによる方法を実行する処理回路を含むデコーダを提供する。
第４の態様によると、本発明の一実施形態は、コンピュータプログラムプロダクトであって、第１の態様及び第１の態様の第１乃至第１６の可能な実装方法のうちのいずれか１つによる方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクトを提供する。
第５に態様によると、本発明の一実施形態は、デコーダであって、
１つ以上のプロセッサと、
前記プロセッサに結合され前記プロセッサによる実行のためのプログラミングを格納する非一時的コンピュータ可読記憶媒体であって、前記プログラミングは、前記プロセッサにより実行されると、第１の態様及び第１の態様の第１乃至第１６の可能な実装方法のいずれか１つによる方法を実行するためのデコーダを構成する、非一時的コンピュータ可読記憶媒体と、
を含むデコーダを提供する。
本開示により提供される方法を実行することにより、目標変換モードは、ＣＵのＴＵパーティションモード、残差ＴＵの位置、及び残差の変換タイプを指定できるので、その結果、復号効率を向上できるだけでなく、復号品質も向上でき、並びに、目標変換モードについて上述の情報を指定でき、したがって、上述の情報を伝送するために必要なビットを削減でき、符号化オーディオデータを伝送するための伝送リソース、例えば帯域幅を節約できる。
本発明の実施形態における又は従来技術における技術的ソリューションを更に明確に説明するために、以下は、実施形態又は従来技術を説明するために必要な添付の図面を簡単に説明する。明らかに、以下の説明において添付の図面は、単に本発明の幾つかの実施形態を示し、当業者は、創造的労力を伴わずにこれらの添付の図面から他の図面を更に導出し得る。
例示的な符号化システムを示す概念的又は概略的ブロック図である。
別の例示的なビデオ符号化システムの説明図である。
例示的なビデオエンコーダの概略的／概念的ブロック図である。
例示的なビデオデコーダの概略的／概念的ブロック図である。
ビデオ符号化装置の概略図である。
機器のブロック図である。
変換モードＱ０、Ｑ１、Ｑ２、及びＱ３を示す。
変換モードＨＱ０、ＨＱ１、ＶＱ０、及びＶＱ１を示す。
変換モードＨＨ０、ＨＨ１、ＶＨ０、及びＶＨ１を示す。
変換モードＨＨ”及びＶＨ２を示す。
変換モードＱＨ０、ＱＨ１、ＱＨ２、及びＱＨ３を示す。
変換モードＱＶ０、ＱＶ１、ＱＶ２、及びＱＶ３を示す。
ビデオ復号方法の概略図である。
ビデオ符号化におけるイントラ予測の一例を示す。
例示的なビデオエンコーティングメカニズムの概略図である。
例示的な空間変化変換（spatial varying transform, SVT）を示す。 例示的な空間変化変換（spatial varying transform, SVT）を示す。
残差ブロックに対する例示的なＳＶＴ変換候補位置を示す。
残差ブロックに対する例示的なＳＶＴ変換位置を示す。
残差サンプル（sample）水平フリッピングの一例を示す。
位置依存ＳＶＴによるビデオ復号の例示的な方法のフローチャートである。
ＳＶＴ－Ｖ及びＳＶＴ－Ｈブロック（Ｍ１＝Ｍ２＝８）の候補位置の図である。
３つの候補位置を有するＳＶＴ－Ｖ及びＳＶＴ－Ｈの図である。
ＳＶＴ－Ｈ及びＳＶＴ－Ｖの図である。
ＳＶＴ－Ｖ及びＳＶＴ－Ｈブロック（Ｍ１＝Ｍ２＝８）の候補位置の図である。
変換係数の第１グループ及び変換係数の第２グループの図である。
以下の説明では、本開示の部分を形成し、図示により本発明の実施形態の特定の態様または本発明の実施形態が使用され得る特定の態様を示す、添付の図面を参照する。本発明の実施形態は、他の態様で使用され、図に示されない構造的または論理的変化を含んでよいことが理解される。以下の詳細な説明は、したがって、限定的意味と考えられるべきではなく、本発明の範囲は添付の特許請求の範囲により定められる。
例えば、記載の方法に関連する開示は、方法を実行するよう構成される対応する装置又はシステムについても真であり、逆も同様である。例えば、１又は複数の特定の方法のステップが説明される場合、１つ以上のユニットが明示的に説明され又は図示されない場合でも、対応する装置は、説明される１又は複数の方法のステップを実行するために、１又は複数のユニット、例えば機能ユニットを含んでよい（例えば、１つのユニットが１又は複数のステップを実行し、又は複数のユニットの各々が複数のステップのうちの１つ以上を実行する）。他方で、例えば、特定の機器が１又は複数のユニット、例えば機能ユニットに基づき説明される場合、１又は複数のステップが明示的に説明され又は図示されない場合でも、対応する方法は、１又は複数のユニットの機能を実行するための１つのステップを含んでよい（例えば、１つのステップが１又は複数のユニットの機能を実行し、又は複数のステップの各々が複数のユニットのうちの１つ以上の機能を実行する）。更に、ここで説明される種々の例示的な実施形態及び／又は態様の特徴は、特に断りのない限り、互いに結合されてよいことが理解される。
ビデオ符号化は、標準的に、ビデオまたはビデオシーケンスを形成する、ピクチャのシーケンスの処理を表す。用語「ピクチャ（picture）」の代わりに、用語「フレーム（frame）」又は「画像（image）」がビデオ符号化の分野では同義語として使用され得る。本願（又は本開示）で使用されるビデオ符号化は、ビデオ符号化又はビデオ復号を示す。ビデオ符号化は、ソース側で実行され、標準的に、元のビデオピクチャを処理して（例えば、圧縮による）、（より効率的な記憶及び／又は伝送のために）ビデオピクチャを表現するために必要なデータ量を削減することを含む。ビデオ復号は、宛先側で実行され、標準的に、エンコーダに対して反対の処理を含み、ビデオピクチャを再構成する。ビデオピクチャ（又は後述するように一般的にピクチャ）の「符号化」を参照する実施形態は、ビデオシーケンスの「符号化」又は「復号」のいずれかに関連すると非解されるべきである。符号化部分及び復号部分の結合は、コーデック（符号化及び復号、CODEC）とも呼ばれる。
無損失ビデオ符号化の場合には、元のビデオピクチャが再構成可能である。つまり、再構成されたビデオピクチャは、元のビデオピクチャと同じ品質を有する（伝送損失、又は記憶若しくは伝送中に他のデータ損失が無いと仮定する）。損失ビデオ符号化の場合には、例えば量子化による更なる圧縮が実行され、ビデオピクチャを表現するデータ量を削減する。これは、デコーダ側で完全に再構成できない。つまり、再構成されたビデオピクチャの品質は、元のビデオピクチャの品質と比べて低い又は悪い。
Ｈ．２６１以降の幾つかのビデオ符号化規格は、「損失ハイブリッドビデオコーデック」のグループに属する（つまり、サンプルドメイン（sample domain）における空間及び時間予測と、変換ドメインにおける量子化を適用する２Ｄ変換符号化と、を結合する）。ビデオシーケンスの各ピクチャは、標準的に、重なり合わないブロックのセットに分けられ、符号化は、標準的に、ブロックレベルで実行される。言い換えると、エンコーダにおいて、例えば空間（イントラピクチャ）予測及び時間（インターピクチャ）予測を用いて予測ブロックを生成し、予測ブロックを現在ブロック（現在処理されている／処理されるべきブロック）から減算して残差ブロックを取得し、残差ブロックを変換し、及び変換ドメインで残差ブロックを量子化して、伝送されるべきデータ量を削減し（圧縮）することにより、ビデオは標準的にブロック（ビデオブロック）レベルで処理され、つまり符号化される。一方で、デコーダにおいて、エンコーダと比べて逆の処理が、符号化された又は圧縮されたブロックに対して部分的に適用されて、提示するために現在ブロックを再構成する。更に、エンコーダは、デコーダ処理ループを複製して、後続のブロックを処理する、つまり符号化するために、両方が同一の予測（例えば、イントラ及びインター予測）及び／又は再構成を生成するようにする。
ここで使用されるとき、用語「ブロック」はピクチャ又はフレームの一部であってよい。説明の便宜上、本発明の実施形態は、ここで、高効率ビデオ符号化（High－Efficiency Video Coding, HEVC）、又はＩＴＵ－Ｔビデオ符号化専門家委員会（IＴＵ－T Video Coding Experts Group, VCEG）及びＩＳＯ／ＩＥＣ動画専門家委員会（Motion Picture Experts Group, MPEG）のビデオ符号化に関する共同作業部会（Joint Collaboration Team on Video Coding, JCT－VC）により開発されたバーサタイルビデオ符号化のリファレンスソフトウェアを参照して説明される。当業者は、本発明の実施形態がＨＥＶＣ又はＶＶＣに限定されないことを理解するだろう。ＣＵ、ＰＵ、及びＴＵを参照し得る。ＨＥＶＣでは、ＣＴＵは、符号化ツリーとして示される４分木構造を用いてＣＵに分割される。ピクチャ領域をインターピクチャ（時間）又はイントラピクチャ（空間）予測を用いて符号化するかの決定は、ＣＵレベルで行われる。各ＣＵは、ＰＵ分割タイプに従い、１、２、又は４個のＰＵに更に分割できる。１個のＰＵ内で、同じ予測処理が適用され、関連情報がＰＵ毎にデコーダへ伝送される。ＰＵ分割タイプに基づき予測処理を適用することにより、残差ブロックを取得した後に、ＣＵは、ＣＵの符号化ツリーと同様の別の４分木構造に従い、変換ユニット（transform unit, TU）に分けることができる。ビデオ圧縮技術の最新の進展では、４分木及び２分木（Qual－tree and binary tree, QTBT）パーティションフレームが、符号化ブロックを分けるために使用される。ＱＴＢＴブロック構造では、ＣＵは正方形または長方形形状のいずれかを有し得る。例えば、符号化木ユニット（coding tree unit, CTU）は、先ず、４分木構造により分けられる。４分木のリーフノードは、２分木構造により更に分けられる。２分木のリーフノードは、符号化ユニット（coding unit, CU）と呼ばれ、更なるパーティションを伴わず、予測及び変換処理のためにセグメント化が使用される。これは、ＣＵ、ＰＵ、及びＴＵが、ＱＴＢＴ符号化ブロック構造において同じブロックサイズを有することを意味する。同時に、多重パーティション、例えば３分木パーティションも、ＱＴＢＴブロック構造と一緒に使用するために提案された。
エンコーダ２０の以下の実施形態では、デコーダ３０及び符号化システム１０は図１～３に基づき説明される。
図１Ａは、本願（本開示）の技術を利用し得る例示的な符号化システム１０、例えばビデオ符号化システム１０を示す概念的又は概略的ブロック図である。ビデオ符号化システム１０のエンコーダ２０（例えば、ビデオエンコーダ２０）及びデコーダ３０（例えば、ビデオデコーダ３０）は、本願で説明される種々の例に従う技術を実行するよう構成され得る装置の例を表す。図１Ａに示すように、符号化システム１０は、符号化されたデータ１３、例えば符号化されたピクチャ１３を、符号化されたデータ１３を復号する宛先装置１４に提供するよう構成されるソース装置１２を含む。
ソース装置１２は、エンコーダ２０を含み、追加でつまり任意で、ピクチャソース１６、前処理ユニット１８、例えばピクチャ前処理ユニット１８、及び通信インタフェース又は通信ユニット２２を含む。
ピクチャソース１６は、例えば現実のピクチャをキャプチャする任意の種類のピクチャキャプチャ装置、及び／又は任意の種類のピクチャ若しくはコメント（スクリーンコンテンツ符号化では、スクリーン上の何らかのテキストも符号化されるべきピクチャ又は画像の一部と考えられる）生成装置、例えばコンピュータアニメーションピクチャ、コンピュータアニメーションピクチャ（例えば、スクリーンコンテンツ、仮想現実（virtual reality, VR）ピクチャ）及び／又はそれらの任意の組み合わせ（例えば、拡張現実（augmented reality, AR）ピクチャ）を生成するコンピュータグラフィックプロセッサ、又は現実のピクチャを取得し及び／又は提供する任意の種類の装置、を含んでよく又はそれであってよい。
（デジタル）ピクチャは、強度値を有するサンプルの２次元配列又は行列と考えられる又は考えることができる。配列の中のサンプルは、ピクセル（pixel）（ピクチャ要素の短縮形）又はペル（pel）とも呼ばれてよい。配列又はピクチャの水平及び垂直方向（又は軸）にあるサンプルの数は、ピクチャのサイズ及び／又は解像度を定める。色の表現のために、標準的に３つの色成分が利用される。つまり、ピクチャは、３つのサンプル配列で表現され又はそれを含んでよい。ＲＢＧ形式又は色空間では、ピクチャは、対応する赤、緑、及び青色サンプル配列を含む。しかしながら、ビデオ符号化では、各ピクセルは、標準的に、輝度／色度形式、又は色空間、例えば、Ｙ（時には代わりにＬが使用されることもある）により示される輝度成分と及びＣｂ及びＣｒにより示される２つの色度成分を含むＹＣｂＣｒとで表現される。輝度（又は略してｌｕｍａ）成分Ｙは、明るさ又はグレーレベル強度（例えば、グレイスケールピクチャのような）を表現する。一方で、２つの色度（又は略してｃｈｒｏｍａ）成分Ｃｂ及びＣｒは、色度又は色情報成分を表現する。したがって、ＹＣｂＣｒ形式のピクチャは、輝度サンブル値（Ｙ）の輝度サンブル配列と、色度値（Ｃｂ及びＣｒ）の２つの色度サンブル配列とを含む。ＲＧＢ形式のピクチャは、ＹＣｂＣｒ形式に転換され又は変換されてよく、逆も同様であり、処理は色転換又は色変換としても知られる。ピクチャが単色である場合、ピクチャは、輝度サンブル配列のみを含んでよい。
ピクチャソース１６（例えば、ビデオソース１６）は、例えばピクチャをキャプチャするカメラ、前にキャプチャした若しくは生成したピクチャを含む若しくは格納するメモリ、例えばピクチャメモリ、及び／又はピクチャを取得し若しくは受信するための任意の種類の（内部又は外部）インタフェースであってよい。カメラは、例えば、ソース装置に統合されたローカル又は内蔵カメラであってよい。メモリは、例えばソース装置に統合されたローカルまたは内蔵メモリであってよい。インタフェースは、例えば、ピクチャを外部ビデオソース、例えばカメラのような外部ピクチャキャプチャ装置、外部メモリ、又は外部ピクチャ生成装置、例えば外部コンピュータグラフィックプロセッサ、コンピュータ若しくはサーバから受信する外部インタフェースであってよい。インタフェースは、任意の特性または標準化インタフェースプロトコルに従い、任意の種類のインタフェース、例えば有線若しくは無線インタフェース、光インタフェースであり得る。ピクチャデータ１７を取得するインタフェースは、通信インタフェース２２と同じインタフェース又はその一部であってよい。
前処理ユニット１８及び前処理ユニット１８により実行される処理と対照的に、ピクチャ又はピクチャデータ１７（例えばビデオデータ１６）は、生ピクチャ又は生ピクチャデータ１７とも呼ばれてよい。
前処理ユニット１８は、（生）ピクチャデータ１７を受信し、ピクチャデータ１７に前処理を実行して、前処理済みピクチャ１９又は前処理済みピクチャデータ１９を取得するよう構成される。前処理ユニット１８により実行される前処理は、例えばトリミング、色形式変換（例えば、ＲＧＢからＹＣｂＣｒへ）、色補正、又はノイズ除去を含んでよい。前処理ユニット１８は光コンポーネントであってよいことが理解できる。
エンコーダ２０（例えばビデオエンコーダ２０）は、前処理済みピクチャデータ１９を受信し、符号化ピクチャデータ２１を提供するよう構成される（更なる詳細は、例えば図２又は図４に基づき後述される）。
ソース装置１２の通信インタフェース２２は、符号化ピクチャデータ２１を受信し、それを別の装置、例えば宛先装置１４若しくは任意の他の装置へと、記憶又は直接再構成のために伝送し、又は、別の装置、例えば宛先装置１４又は任意の他の装置へと、復号又は格納のために伝送する前に、符号化データ１３を格納する及び／又は符号化データ１３を処理するよう構成されてよい。
宛先装置１４は、デコーダ３０（例えば、ビデオデコーダ３０）を含み、追加で、つまり任意で、通信インタフェース又は通信ユニット２８、後処理ユニット３２、及びディスプレイ装置３４を含んでよい。
宛先装置１４の通信インタフェース２８は、符号化ピクチャデータ２１又は符号化データ１３を、例えばソース装置１２から直接に又は任意の他の装置、例えば記憶装置、例えば符号化ピクチャデータ記憶装置から受信するよう構成される。
通信インタフェース２２及び通信インタフェース２８は、符号化ピクチャデータ２１又は符号化データ１３を、ソース装置１２と宛先装置１４との間の通信リンク、例えば直接有線又は無線接続、又は任意の種類のネットワーク、例えば有線又は無線ネットワーク、又はそれらの任意の組み合わせ、又は任意の種類の私設又は公衆ネットワーク、又はそれらの任意の種類の組み合わせを介して送信又は受信するよう構成されてよい。
通信インタフェース２２は、通信リンク又は通信ネットワークを介して伝送するために、例えば、符号化ピクチャデータ２１を適切な形式、例えばパケットにパッケージするよう構成されてよい。
通信インタフェース２２の相手方を形成する通信インタフェース２８は、例えば、符号化データ１３をパッケージ解除して符号化ピクチャデータ２１を取得するよう構成されてよい。
通信インタフェース２２及び通信インタフェース２８の両者は、図１Ａのソース装置１２から宛先装置１４を指す符号化データ１３の矢印により示されるように、単方向通信インタフェース、又は、双方向通信インタフェースとして構成されてよく、例えば接続を確立するため、肯定応答し及び通信リンク及び／又はデータ伝送、例えば符号化ピクチャデータ伝送に関連する任意の他の情報を交換するために、例えばメッセージを送信し及び受信するよう構成されてよい。
デコーダ３０は、符号化ピクチャデータ２１を受信し、復号ピクチャデータ３１又は復号ピクチャ３１を提供するよう構成される（更なる詳細は、例えば図３又は図５に基づき後述される）。
宛先装置１４の後プロセッサ３２は、復号ピクチャデータ３１（再構成済みピクチャデータとも呼ばれる）、例えば復号ピクチャ３１を後処理して、後処理済みピクチャデータ３３、例えば後処理済みピクチャ３３を取得するよう構成される。後処理ユニット３２により実行される後処理は、例えば色形式変換（例えば、ＹＣｂＣｒからＲＧＢへ）、色補正、トリミング、又は再サンプリング、又は、例えば復号ピクチャデータ３１を例えばディスプレイ装置３４による表示のために準備するための任意の他の処理、を含んでよい。
宛先装置１４のディスプレイ装置３４は、例えばユーザ又はビューアにピクチャを表示するために、後処理済みピクチャデータ３３を受信するよう構成される。ディスプレイ装置３４は、再構成済みピクチャを提示する任意の種類のディスプレイ、例えば内蔵又は外部ディスプレイ又はモニタであり又はそれを含んでよい。ディスプレイは、例えば液晶ディスプレイ（liquid crystal displays， LCD）、有機発光ダイオード（organic light emitting diodes, OLED）ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロＬＥＤディスプレイ、シリコン上の液晶（liquid crystal on silicon, LCoS）、デジタル光プロセッサ（digital light processor, DLP）又は任意の種類の他のディスプレイを含んでよい。
図１Ａはソース装置１２及び宛先装置１４を別個の装置として示すが、装置の実施形態は、ソース装置１２又は対応する機能と宛先装置１４又は対応する機能の両方又は両方の機能を含んでもよい。このような実施形態では、ソース装置１２又は対応する機能及び宛先装置１４又は対応する機能は、同じハードウェア及び／又はソフトウェア又は別個のハードウェア及び／又はソフトウェア又はそれらの任意の組み合わせを用いて実装されてよい。
説明に基づき当業者に明らかなように、図１Ａに示されるようなソース装置１２及び／又は宛先装置１４内の異なるユニット又は機能の存在及びその（正確な）分割は、実際の装置及び用途に依存して変化してよい。
エンコーダ２０（例えば、ビデオエンコーダ２０）及びデコーダ３０（例えば、ビデオデコーダ３０）の各々は、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（digital signal processors, DSP）、特定用途向け集積回路（application－specific integrated circuits, ASIC）、フィールドプログラマブルゲートアレイ（field－programmable gate arrays, FPGA）、個別ロジック、ハードウェア、又はそれらの任意の組み合わせのような、様々な適切な回路のうちのいずれかとして実装されてよい。技術が部分的にソフトウェアで実装される場合、装置は、適切な非一時的コンピュータ可読記憶媒体内のソフトウェアのための命令を格納してよく、命令をハードウェアで１つ以上のプロセッサを用いて実行して、本開示の技術を実行してよい。前述のいずれか（ハードウェア、ソフトウェア、ハードウェアとソフトウェアとの組み合わせ、等を含む）は、１つ以上のプロセッサであると考えられてよい。ビデオエンコーダ２０及びビデオデコーダ３０の各々は、１つ以上のエンコーダ又はデコーダに含まれてよく、いずれも、結合されたエンコーダ／デコーダ（encoder／decoder, CODEC）の部分としてそれぞれの装置内に統合されてよい。
ソース装置１２は、ビデオ符号化装置又はビデオ符号化機器と呼ばれてよい。宛先装置１４は、ビデオ復号装置又はビデオ復号機器と呼ばれてよい。ソース装置１２及び宛先装置１４は、ビデオ符号化装置又はビデオ符号化機器の例であってよい。
ソース装置１２及び宛先装置１４は、任意の種類のハンドヘルド又は固定装置、例えばノートブックまたはラップトップコンピュータ、移動電話機、スマートフォン、タブレットまたはタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビジョン、ディスプレイ装置、デジタルメディアプレイヤ、ビデオゲーム端末、ビデオストリーミング装置（例えば、コンテンツサービスサーバ、又はコンテンツ配信サーバ）、ブロードキャスト受信装置、ブロードキャスト送信装置、等を含む、広範な装置のうちのいずれかを含んでよく、任意の種類のオペレーティングシステムを使用してよく又は使用しなくてよい。
幾つかの場合には、ソース装置１２及び宛先装置１４は、無線通信のために装備されてよい。したがって、ソース装置１２及び宛先装置１４は、無線通信装置であってよい。
幾つかの場合には、図１Ａに示すビデオ符号化システム１０は単に例であり、本願の技術は、必ずしも符号化装置と復号装置との間の任意のデータ通信を含まないビデオ符号化設定（例えば、ビデオ符号化又はビデオ復号）に適用されてよい。他の例では、データはローカルメモリから読み出される、ネットワークを介してストリーミングされる、等であってよい。ビデオ符号化装置は、データを符号化しメモリに格納してよく、及び／又は復号装置はデータをメモリから読み出し復号してよい。幾つかの例では、符号化及び復号は、互いに通信しないが単にデータをメモリへと符号化し及び／又はメモリからデータを読み出し復号する装置により実行される。
理解されるべきことに、ビデオエンコーダ２０を参照して説明した上述の例の各々について、ビデオデコーダ３０は、相互的処理を実行するよう構成されてよい。シグナリングシンタックス要素に関して、ビデオデコーダ３０は、このようなシンタックス要素を受信しパースし、相応して関連するビデオデータを復号するよう構成されてよい。幾つかの例では、ビデオエンコーダ２０は、１つ以上のシンタックス要素を符号化されたビデオビットストリームへとエントロピー符号化してよい。このような例では、ビデオデコーダ３０は、このようなシンタックス要素をパースし、相応して関連するビデオデータを復号してよい。
図１Ｂは、例示的な実施形態による、図２のエンコーダ２０及び／又は図３のデコーダ３０を含む別の例示的なビデオ符号化システム４０の説明図である。システム４０は、本願において説明される種々の例に従う技術を実施できる。図示の実装では、ビデオ符号化システム４０は、画像装置４１、ビデオエンコーダ２０、ビデオデコーダ３０（及び／又は処理ユニット４６の論理回路４７により実装されるビデオコーダ）、アンテナ４２、１つ以上のプロセッサ４３、１つ以上のメモリストア４４、及び／又はディスプレイ装置４５を含んでよい。
図示のように、画像装置４１、アンテナ４２、処理ユニット４６、論理回路４７、ビデオエンコーダ２０、ビデオデコーダ３０、プロセッサ４３、メモリストア４４、及び／又はディスプレイ装置４５は、互いに通信可能であってよい。議論されるように、ビデオエンコーダ２０及びビデオデコーダ３０の両方と共に示されるが、ビデオ符号化システム４０は、種々の例においてビデオエンコーダ２０のみ又はビデオデコーダ３０のみを含んでよい。
示されるように幾つかの例では、ビデオ符号化システム４０はアンテナ４２を含んでよい。アンテナ４２は、例えばビデオデータの符号化されたビットストリームを送信又は受信するよう構成されてよい。更に、幾つかの例では、ビデオ符号化システム４０はディスプレイ装置４５を含んでよい。ディスプレイ装置４５は、ビデオデータを提示するよう構成されてよい。示されるように、幾つかの例では、論理回路４７は処理ユニット４６により実装されてよい。処理ユニット４６は、特定用途向け集積回路（application－specific integrated circuit, ASIC）ロジック、グラフィックプロセッサ、汎用プロセッサ、等を含んでよい。ビデオ符号化ユニット４３も、同様に特定用途向け集積回路（application－specific integrated circuit, ASIC）ロジック、グラフィックプロセッサ、汎用プロセッサ、等を含んでよい任意的なプロセッサ４３を含んでよい。幾つかの例では、論理回路４７は、ハードウェア、ビデオ符号化専用ハードウェア、等により実装されてよく、プロセッサ４３は、汎用ソフトウェア、オペレーティングシステム、等を実装してよい。更に、メモリストア４４は、揮発性メモリ（例えば、静的ランダムアクセスメモリ（Static Random Access Memory, SRAM）、動的ランダムアクセスメモリ（Dynamic Random Access Memory, DRAM）、等）又は不揮発性メモリ（例えば、フラッシュメモリ、等）、等のような任意の種類のメモリであってよい。非限定的な例では、メモリストア４４はキャッシュメモリにより実装されてよい。幾つかの例では、論理回路４７は、（例えば画像バッファの実装のために）メモリストア４４にアクセスしてよい。他の例では、論理回路４７及び／又は処理ユニット４６は、画像バッファ等の実装のためにメモリストア（例えばキャッシュ等）を含んでよい。
幾つかの例では、論理回路により実装されるビデオエンコーダ１００は、（例えば、処理ユニット４６又はメモリストア４４のいずれかによる）画像バッファ、及び（例えば、処理ユニット４６による）グラフィック処理ユニットを含んでよい。グラフィック処理ユニットは、画像バッファに通信可能に結合されてよい。グラフィック処理ユニットは、図２に関して議論したような種々のモジュール及び／又はここで説明される任意の他のエンコーダシステム若しくはサブシステムを実現するために、論理回路４７により実装されるようなビデオエンコーダ１００を含んでよい。論理回路は、ここで議論されるような種々の動作を実行するよう構成されてよい。
ビデオデコーダ３０は、図３のデコーダ３０に関して議論したような種々のモジュール及び／又はここで説明された任意の他のデコーダシステム若しくはサブシステムを実現するために、論理回路４７により実装されるのと同様の方法で実装されてよい。幾つかの例では、論理回路により実装されるビデオデコーダ３０は、（例えば、処理ユニット４２０又はメモリストア４４のいずれかによる）画像バッファ、及び（例えば、処理ユニット４６による）グラフィック処理ユニットを含んでよい。グラフィック処理ユニットは、画像バッファに通信可能に結合されてよい。グラフィック処理ユニットは、図３に関して議論したような種々のモジュール及び／又はここで説明される任意の他のデコーダシステム若しくはサブシステムを実現するために、論理回路４７により実装されるようなビデオデコーダ３０を含んでよい。
幾つかの例では、ビデオ符号化システム４０のアンテナ４２は、ビデオデータの符号化されたビットストリームを受信するよう構成されてよい。議論したように、符号化されたビットストリームは、符号化パーティションに関連するデータ（例えば、変換係数または量子化された変換係数、（議論するような）任意的な指示子、及び／又は符号化パーティションを定めるデータ）のような、ここで議論されるビデオフレームの符号化に関連するデータ、指示子、インデックス値、モード選択データ、等を含んでよい。ビデオ符号化システム４０は、アンテナ４２に結合され符号化されたビットストリームを復号するよう構成されるビデオデコーダ３０も含んでよい。ディスプレイ装置４５は、ビデオフレームを提示するよう構成される。
エンコーダ及び符号化方法
図２は、本願の技術を実施するよう構成される例示的なビデオエンコーダ２０の概略的／概念的ブロック図を示す。図２の例では、ビデオエンコーダ２０は、残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０及び逆変換処理ユニット２１２、再構成ユニット２１４、バッファ２１６、ループフィルタユニット２２０、復号ピクチャバッファ（decoded picture buffer, DPB）２３０、予測処理ユニット２６０、及びエントロピー符号化ユニット２７０を含む。予測処理ユニット２６０は、インター予測ユニット２４４、イントラ予測処理ユニット２５４、及びモード選択ユニット２６２を含んでよい。インター予測ユニット２４４は、動き推定ユニット及び動き補償ユニット（図示しない）を含んでよい。図２に示すようなビデオエンコーダ２０は、ハイブリッドビデオエンコーダ又はハイブリッドビデオコーデックに従うビデオエンコーダとも呼ばれてよい。
例えば、残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、予測処理ユニット２６０、及びエントロピー符号化ユニット２７０は、エンコーダ２０の順方向信号経路を形成する。一方で、例えば、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、バッファ２１６、ループフィルタ２２０、復号ピクチャバッファ（decoded picture buffer, DPB）２３０、予測処理ユニット２６０は、エンコーダの逆方向信号経路を形成し、エンコーダの逆方向信号経路はデコーダの信号経路に対応する（図３のデコーダ３０を参照）。
エンコーダ２０は、例えば入力２０２により、ピクチャ２０１又はピクチャ２０１のブロック２０３、例えばビデオまたはビデオシーケンスを形成するピクチャのシーケンスのピクチャを受信するよう構成される。ピクチャブロック２０３は、（特に、ビデオ符号化では、現在ピクチャを他のピクチャ、例えば同じビデオシーケンス、つまり現在ピクチャも含むビデオシーケンスの前に符号化され及び／又は復号されたピクチャと区別するために）現在ピクチャブロック又は被符号化ピクチャブロック、及び現在ピクチャ又は被符号化ピクチャとしてのピクチャ２０１とも呼ばれてよい。
パーティショニング
エンコーダ２０の実施形態は、ピクチャ２０１を複数のブロック、例えばブロック２０３のようなブロックに、標準的には服すの重なり合わないブロックに分けるよう構成されるパーティションユニット（図２に示されない）を含んでよい。パーティションユニットは、同じブロックサイズをビデオシーケンスの全部のピクチャ、及びブロックサイズを定める対応するグリッドに対して使用し、又はピクチャ又はピクチャのサブセット若しくはグループ間のブロックサイズを変更し、各ピクチャを対応するブロックに分けるよう構成されてよい。
一例では、ビデオエンコーダ２０の予測処理ユニット２６０は、上述のパーティション技術の任意の組み合わせを実行するよう構成されてよい。
ピクチャ２０１と同様に、ブロック２０３は、ここでも、強度値（サンプル値）を有するサンプルの２次元配列又は行列と考えることができるが、ピクチャ２０１より小さい次元である。言い換えると、ブロック２０３は、例えば１つのサンプル配列（例えば、単色ピクチャ２０１の場合には、ルマ配列）、又は３つのサンプル配列（例えば、カラーピクチャ２０１の場合には、ルマ及び２つのクロマ配列）、又は適用される色形式に依存して任意の他の数の及び／又は種類の配列を含んでよい。ブロック２０３の水平及び垂直方向（又は軸）にあるサンプルの数は、ブロック２０３のサイズを定める。
図２に示すようなエンコーダ２０は、ブロック毎にピクチャ２０１を符号化するよう構成される。例えば、符号化及び予測がブロック２０３毎に実行される。
残差計算
残差計算ユニット２０４は、残差ブロック２０５を、ピクチャブロック２０３及び予測ブロック２６５（予測ブロック２６５に関する更なる詳細は後に提供される）に基づき、例えば予測ブロック２６５のサンプル値をピクチャブロック２０３のサンプル値からサンプル毎に（ピクセル毎に）減算してサンプルドメイン内の残差ブロック２０５を取得することにより、計算するよう構成される。
変換
変換処理ユニット２０６は、変換、例えば離散コサイン変換（discrete cosine transform, DCT）又は離散サイン変換（discrete sine transform, DST）を残差ブロック２０６のサンプル値に対して適用して、変換ドメイン内の変換係数２０７を取得するよう構成される。変換係数２０７は、変換残差係数とも呼ばれ、変換ドメイン内の残差ブロック２０５を表してよい。
変換処理ユニット２０６は、ＨＥＶＣ／Ｈ．２６５のために指定された変換のようなＤＣＴ／ＤＳＴの整数近似を適用するよう構成されてよい。直交ＤＣＴ変換と比べて、このような整数近似は、標準的に、特定の因子によりスケーリングされる。順方向及び逆変換により処理される残差ブロックの水準を維持するために、追加スケーリング因子が変換処理の部分として適用される。スケーリング因子は、標準的に、スケーリング因子がシフト操作の２乗であること、変換係数のビット深さ、精度と実装コストとの間のトレードオフ、等のような特定の制約に基づき選択される。特定のスケーリング因子は、例えば、例えばデコーダ３０における逆変換処理ユニット２１２による逆変換（及び例えばエンコーダ２０における逆変換処理ユニット２１２による対応する逆変換）のために指定され、例えばエンコーダ２０における変換処理ユニット２０６による順方向変換のための対応するスケーリング因子が相応して指定されてよい。
量子化
量子化ユニット２０８は、変換係数２０７を量子化して、例えばスカラー量子化又はベクトル量子化を適用することにより、量子化された変換係数２０９を取得するよう構成されてよい。量子化された変換係数２０９は、量子化残差係数２０９とも呼ばれてよい。量子化処理は、変換係数２０７の一部又は全部に関連するビット深さを低減してよい。例えば、ｎビットの変換係数は、量子化の間、ｍビットの変換係数に丸め込まれてよい。ここで、ｎはｍより大きい。量子化の程度は、量子化パラメータ（quantization parameter, QP）を調整することにより、変更されてよい。例えば、スカラー量子化では、より精細な又は粗い量子化を達成するために異なるスケーリングが適用されてよい。量子化ステップサイズが小さいほど、精細な量子化に対応する。一方で、量子化ステップサイズが大きいほど、粗い量子化に対応する。適用可能な量子化ステップは、量子化パラメータ（quantization parameter, QP）により示されてよい。量子化パラメータは、例えば、適用可能な量子化ステップサイズの所定のセットに対するインデックスであってよい。例えば、小さい量子化パラメータは、精細な量子化（小さい量子化ステップサイズ）に対応してよく、大きな量子化パラメータは粗い量子化（大きな量子化ステップサイズ）に対応してよい。量子化は、量子化ステップサイズによる除算を含んでよい。例えば逆量子化ユニット２１０による対応する又は逆の逆量子化は、量子化ステップサイズによる乗算を含んでよい。幾つかの標準、例えばＨＥＶＣに従う実施形態は、量子化ステップサイズを決定するために量子化パラメータを使用するよう構成されてよい。通常、量子化ステップサイズは、除算を含む式の不動点近似を用いて、量子化パラメータに基づき計算されてよい。量子化ステップサイズ及び量子化パラメータの式の不動点近似において使用されるスケーリングのために変更され得る残差ブロックの水準を復元するために、量子化及び逆量子化のための追加のスケーリング因子が導入されてよい。１つの例示的な実装では、逆変換及び逆量子化のスケーリングは結合されてよい。代替として、カスタマイズされた量子化テーブルが使用され、エンコーダからデコーダへ、例えばビットストリームの中でシグナリングされてよい。量子化は、損失動作であり、損失は量子化ステップサイズの増大に伴い増大する。
逆量子化ユニット２１０は、例えば、量子化ユニット２０８と同じ量子化ステップサイズに基づき又はそれを用いて、量子化ユニット２０８により適用された量子化方式の逆を適用することにより、量子化された係数に対して量子化ユニット２０８の逆量子化を適用して、逆量子化された係数２１１を取得するよう構成される。逆量子化された係数２１１は、逆量子化された残差係数２１１とも呼ばれ、標準的には量子化による損失のために変換係数と同じではないが、変換係数２０７に対応してよい。
逆変換処理ユニット２１２は、変換処理ユニット２０６により適用された変換の逆変換、例えば逆離散コサイン変換（inverse discrete cosine transform, DCT）又は逆離散サイン変換（inverse discrete sine transform, DST）を適用して、サンプルドメイン内の逆変換ブロック２１３を取得するよう構成される。逆変換ブロック２１３は、逆変換逆量子化ブロック２１３又は逆変換残差ブロック２１３とも呼ばれてよい。
再構成ユニット２１４（例えば、加算器２１４）は、逆変換ブロック２１３（つまり再構成された残差ブロック２１３）を予測ブロック２６５に加算して、例えば再構成された残差ブロック２１３のサンプル値と予測ブロック２６５のサンブル値とを加算することにより、サンプルドメイン内の再構成ブロック２１５を取得するよう構成される。
任意で、バッファユニット２１６（略して「バッファ」２１６）、例えばラインバッファ２１６は、再構成されたブロック２１５及びそれぞれのサンプル値を、例えばイントラ予測のためにバッファリングし又は格納するよう構成される。更なる実施形態では、エンコーダは、フィルタリングされていない再構成ブロック及び／又はバッファユニット２１６に格納されたそれぞれのサンプル値を、任意の種類の推定及び／又は予測、例えばイントラ予測のために使用するよう構成されてよい。
エンコーダ２０の実施形態は、例えば、バッファユニット２１６がイントラ予測２５４のためだけでなく、ループフィルタユニット２２０（図２に示されない）のためにも再構成されたブロック２１５６を格納するために使用されるように、及び／又はバッファユニット２１６及び復号ピクチャバッファユニット２３０が１つのバッファを形成するように、構成されてよい。更なる実施形態は、フィルタリング済みブロック２２１及び／又は復号ピクチャバッファ２３０からのブロック若しくはサンプル（両方とも図２に示されない）をイントラ予測２５４のための入力又は基礎として使用するよう構成されてよい。
ループフィルタユニット２２０（又は略して「ループフィルタ」２２０）は、再構成されたブロック２１５をフィルタリングして、フィルタリング済みブロック２２１を取得するよう、例えばピクセル遷移を円滑化するよう或いはビデオ品質を向上するよう構成される。ループフィルタユニット２２０は、逆ブロッキングフィルタ、サンプル適応オフセット（sample－adaptive offset, SAO）フィルタ又は他のフィルタ、例えばバイラテラルフィルタ又は適応ループフィルタ（adaptive loop filter, ALF）又は先鋭化若しくは円滑化フィルタ又は共同フィルタのような１つ以上のフィルタを表すことを意図する。ループフィルタユニット２２０はループフィルタ内にあるとして図２に示されるが、他の構成では、ループフィルタユニット２２０は後置きループフィルタとして実装されてよい。フィルタリング済みブロック２２１は、フィルタリング済み再構成ブロック２２１と呼ばれてもよい。復号ピクチャバッファ２３０は、ループフィルタユニット２２０がフィルタリング動作を再構成された符号化ブロックに対して実行した後に、再構成された符号化ブロックを格納してよい。
エンコーダ２０（それぞれループフィルタユニット２２０）の実施形態は、（サンプル適応オフセット情報のような）ループフィルタパラメータを、例えば直接に又はエントロピー符号化ユニット若しくは任意の他のエントロピー符号化ユニットによりエントロピー符号化された後に出力するよう構成されてよい。その結果、例えば、デコーダ３０は、同じループフィルタパラメータを受信し、復号のために適用してよい。
復号ピクチャバッファ（decoded picture buffer, DPB）２３０は、ビデオエンコーダ２０によるビデオデータの符号化において使用するために、参照ピクチャデータを格納する参照ピクチャメモリであってよい。ＤＰＢ２３０は、同期ＲＡＭ（synchronous DRAM, SDRAM）を含む動的ランダムアクセスメモリ（dynamic random access memory, DRAM）、磁気抵抗ＲＡＭ（magnetoresistive RAM, MRAM）、抵抗ＲＡＭ（resistive RAM, RRAM）、又は他の種類のメモリ装置のような、種々のメモリ装置のうちのいずれかにより形成されてよい。ＤＰＢ２３０及びバッファ２１６は、同じメモリ装置又は別個のメモリ装置により提供されてよい。幾つかの例では、復号ピクチャバッファ（decoded picture buffer, DPB）２３０は、フィルタリング済みブロック２２１を格納するよう構成される。復号ピクチャバッファ２３０は、同じ現在ピクチャの又は異なるピクチャ、例えば前に再構成されたピクチャの他の前にフィルタリングされたブロック、例えば前に再構成された及びフィルタリングされたブロック２２１を格納するよう更に構成されてよく、完全な前に再構成された、つまり復号されたピクチャ（及び対応する参照ブロック及びサンプル）、及び／又は部分的に再構成された現在ピクチャ（及び対応する参照ブロック及びサンプル）を、例えばインター予測のために提供してよい。幾つかの例では、再構成されたブロック２１５が再構成されたがインループフィルタリングを伴わない場合、復号ピクチャバッファ（decoded picture buffer, DPB）２３０は再構成ブロック２１５を格納するよう構成される。
予測処理ユニット２６０は、ブロック予測処理ユニット２６０とも呼ばれ、ブロック２０３（現在ピクチャ２０１の現在ブロック２０３）及び再構成ピクチャデータ、例えば同じ（現在）ピクチャの参照サンプルをバッファ２１６から、及び／又は１又は複数の前に復号したピクチャからの参照ピクチャデータ２３１を復号ピクチャバッファ２３０から受信し又は取得し、このようなデータを予測のために処理し、つまりインター予測ブロック２４５又はイントラ予測ブロック２５５であってよい予測ブロック２６５を提供するよう構成される。
モード選択ユニット２６２は、予測モード（例えば、イントラ又はインター予測モード）及び／又は残差ブロック２０５の計算のために及び再構成ブロック２１５の再構成のために予測ブロック２６５として使用されるべき対応する予測ブロック２４５又は２５５を選択するよう構成されてよい。
モード選択ユニット２６２の実施形態は、最も適する又は言い換えると最小残差（最小残差は伝送又は記憶のためのより良い圧縮を意味する）又は最小シグナリングオーバヘッド（最小シグナリングオーバヘッドは伝送又は記憶のためのより良い圧縮を意味する）を提供する又は両者を考慮する若しくはバランスを取る予測モードを（例えば、予測処理ユニット２６０によりサポートされるものから）選択するよう構成されてよい。モード選択ユニット２６２は、レート歪み最適化（rate distortion optimization, RDO）に基づき、予測モードを決定するよう、つまり、最小のレート歪み最適化を提供する若しくは予測モード選択基準を少なくとも満たすレート歪みに関連する予測モードを選択するよう構成されてよい。
以下では、例示的なエンコーダ２０により実行される予測処理（例えば、予測処理ユニット２６０）及び（例えばモード選択ユニット２６２による）モード選択が更に詳細に説明される。
上述のように、エンコーダ２０は、最良の又は最適な予測モードを決定し又は（予め決定された）予測モードのセットから選択するよう構成される。予測モードのセットは、例えばイントラ予測モード及び／又はインター予測モードを含んでよい。
イントラ予測モードのセットは、３５個の異なるイントラ予測モード、例えばＤＣ（又は平均）モード及び平面モードのような無指向性モード、又は例えばＨ．２６５で定められたような指向性モードを含んでよく、又は６７個の異なるイントラ予測モード、例えばＤＣ（又は平均）モード及び平面モードのような無指向性モード、又は例えば策定中のＨ．２６６で定められたような指向性モードを含んでよい。
インター予測モード（又は可能なインター予測モード）のセットは、利用可能な参照ピクチャ（つまり、例えばＤＢＰ２３０に格納された、少なくとも部分的に前に復号されたピクチャ）及び他のインター予測パラメータに、例えば、参照ピクチャの全体又は部分のみが、例えば参照ピクチャの現在ブロックの領域周辺の検索ウインドウ領域が最良の適合する参照ブロックを検索するために使用されるか、及び／又は、例えば、ピクセル補間、例えばハーフ／セミペル及び／又は４分の１ペル補間が適用されるか否かに依存する。
上述の予測モードに加えて、スキップモード及び／又は直接モードが適用されてよい。
予測処理ユニット２６０は、例えば４分木（quad－tree, QT）パーティション、２分木（binary－tree, BT）パーティション、３分木（triple－tree, TT）パーティション、又はそれらの任意の組み合わせを繰り返し使用して、ブロック２０３を更に小さいブロックパーティション又はサブブロックに分け、例えば各ブロックパーティション又はサブブロックに対して予測を実行するよう更に構成されてよい。っこで、モード選択は、パーティション済みブロック２０３の木構造及びブロックパーティション又はサブブロックの各々に適用される予測モードの選択を含む。
インター予測ユニット２４４は、動き推定（motion estimation, ME）ユニット（図２に示されない）及び動き補償（motion compensation, MC）ユニット（図２に示されない）を含んでよい。動き推定ユニットは、ピクチャブロック２０３（現在ピクチャ２０１の現在ブロック２０３）、及び復号ピクチャ２３１、又は前に再構成されたブロックのうちの少なくとも１つ又は複数、例えば１又は複数の他の／異なる前に復号されたピクチャ２３１のうちの再構成されたブロックを、動き推定のために受信し又は取得するよう構成される。例えば、ビデオシーケンスは、現在ピクチャ及び前の復号ピクチャ２３１を含んでよい。言い換えると、現在ピクチャ及び前の復号ピクチャ２３１は、ビデオシーケンスを形成するピクチャのシーケンスの一部であり又はそれを形成してよい。
エンコーダ２０は、例えば、複数の他のピクチャの同じまたは異なるピクチャの複数の参照ブロックから、参照ブロックを選択し、参照ピクチャ（又は参照ピクチャインデックス）及び／又は参照ブロックの位置（ｘ，ｙ座標）と現在ブロックの位置との間のオフセット（空間オフセット）を、インター予測パラメータとして動き推定ユニット（図２に示されない）に提供するよう構成されてよい。このオフセットは、動きベクトル（motion vector, MV）とも呼ばれる。
動き補償ユニットは、インター予測パラメータを取得し、例えば受信し、インター予測パラメータに基づき又はそれを用いてインター予測を実行して、インター予測ブロック２４５を取得するよう構成される。動き補償ユニット（図２に示されない）により実行される動き補償は、動き推定により決定された動き／ブロックベクトルに基づき、予測ブロックをフェッチする又は生成し、場合によってはサブピクセル精度への補間を実行することを含んでよい。補間フィルタリングは、基地のピクセルサンプルから追加ピクセルサンプルを生成してよく、従ってピクチャブロックを符号化するために使用され得る候補予測ブロックの数を増大させる可能性がある。現在ピクチャブロックのＰＵの動きベクトルを受信すると、動き補償ユニット２４６は、参照ピクチャリストのうちの１つの中で動きベクトルの指す予測ブロックの位置を特定する。動き補償ユニット２４６は、ビデオスライスのピクチャブロックを復号する際にビデオデコーダ３０による使用のために、ブロック及びビデオスライスに関連するシンタックス要素も生成してよい。
イントラ予測ユニット２５４は、ピクチャブロック２０３（現在ピクチャブロック）及び同じピクチャの１又は複数の前の再構成ブロック、例えば再構成された近隣ブロックを、イントラ推定のために、取得し、例えば受信するよう構成される。エンコーダ２０は、例えば、複数の（所定の）イントラ予測モードから、イントラ予測モードを選択するよう構成されてよい。
エンコーダ２０の実施形態は、最適化基準、例えば最小残差（例えば、現在ピクチャブロック２０３に最も類似する予測ブロック２５５を提供するイントラ予測モード）又は最小レート歪みに基づき、イントラ予測モードを選択するよう構成されてよい。
イントラ予測ユニット２５４は、イントラ予測パラメータ、例えば選択されたイントラ予測モードに基づき、イントラ予測ブロック２５５を決定するよう更に構成される。いずれの場合にも、ブロックのイントラ予測モードを選択した後に、イントラ予測ユニット２５４は、また、イントラ予測パラメータ、つまり、ブロックについて選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット２７０に提供するよう構成される。一例では、イントラ予測ユニット２５４は、後述するイントラパーティション技術の任意の組み合わせを実行するよう構成されてよい。
エントロピー符号化ユニット２７０は、エントロピー符号化アルゴリズム又は方式（例えば、可変長符号化（variable length coding, VLC）方式、コンテキスト適応型ＶＬＣ方式（context adaptive VLC, CALVC）、算術符号化方式、コンテキスト適応型バイナリ算術符号化（context adaptive binary arithmetic coding, CABAC）、シンタックスに基づくコンテキストバイナリ算術符号化（syntax－based context－adaptive binary arithmetic coding, SBAC）、確率区間区分エントロピー（probability interval partitioning entropy, PIPE）符号化又は別のエントロピー符号化方法若しくは技術）を量子化された残差係数２０９、インター予測パラメータ、イントラ予測パラメータ、及び／又はループフィルタパラメータに、個々に又は一緒に適用して（又は全く適用せず）、出力２７２により例えば符号化ビットストリーム２１の形式で出力され得る符号化されたピクチャデータ２１を取得するよう構成される。符号化されたビットストリーム２１は、ビデオデコーダ３０へと伝送され、又はビデオデコーダ３０による後の伝送又は読み出しのためにアーカイブされてよい。エントロピー符号化ユニット２７０は、符号化中の現在ビデオスライスの他のシンタックス要素をエントロピー符号化するよう更に構成され得る。
ビデオエンコーダ２０の他の構造的変形は、ビデオストリームを符号化するために使用され得る。例えば、非変換に基づくエンコーダ２０は、変換処理ユニット２０６を有しないで、特定のブロックまたはフレームについて、残差信号を直接量子化できる。別の実装では、エンコーダ２０は、単一のユニットに結合された、量子化ユニット２０８及び逆量子化ユニット２１０を有し得る。
図３は、本願の技術を実施するよう構成される例示的なビデオデコーダ３０を示す。ビデオデコーダ３０は、復号ピクチャ１３１を取得するために、例えばエンコーダ１００により符号化されたピクチャデータ（例えば、符号化されたビットストリーム）２１を受信するよう構成される。復号処理の間、ビデオデコーダ３０は、ビデオデータ、例えば符号化されたビデオスライスのピクチャブロック及び関連するシンタックス要素を表す符号化されたビデオストリームを、ビデオエンコーダ１００から受信する。
図３の例では、デコーダ３０は、エントロピー復号ユニット３０４、逆量子化ユニット３１０、逆変換処理ユニット３１２、再構成ユニット３１４（例えば、加算器３１４）、バッファ３１６、ループフィルタ３２０、復号ピクチャバッファ３３０、及び予測処理ユニット３６０を含む。予測処理ユニット３６０は、インター予測ユニット３４４、イントラ予測処理ユニット３５４、及びモード選択ユニット３６２を含んでよい。ビデオデコーダ３０は、幾つかの例では、図２からビデオエンコーダ１００に関して説明した符号化経路に対して通常相互的な復号経路を実行してよい。
エントロピー復号ユニット３０４は、エントロピー復号を、符号化されたピクチャデータ２１に対して実行して、例えば量子化された係数３０９、及び／又は復号された符号化パラメータ（図３に示されない）、例えばインター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、及び／又は他のシンタックス要素のうちの（復号された）いずれか又は全部を取得するよう構成される。エントロピー復号ユニット３０４は、インター予測パラメータ、イントラ予測パラメータ、及び／又は他のシンタックス要素を、予測処理ユニット３６０に転送するよう更に構成される。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルのシンタックス要素を受信してよい。
逆量子化ユニット３１０は逆量子化ユニット１１０と機能的に同一であってよく、逆変換処理ユニット３１２は逆変換処理ユニット１１２と機能的に同一であってよく、再構成ユニット３１４は再構成ユニット１１４と機能的に同一であってよく、バッファ３１６はバッファ１１６と機能的に同一であってよく、ループフィルタ３２０はループフィルタ１２０と機能的に同一であってよく、復号ピクチャバッファ３３０は復号ピクチャバッファ１３０と機能的に同一であってよい。
予測処理ユニット３６０は、インター予測ユニット３４４及びイントラ予測ユニット３５４を含んでよい。ここで、インター予測ユニット３４４はインター予測ユニット１４４と機能的に似ていてよく、イントラ予測ユニット３５４はイントラ予測ユニット１５４と機能的に似ていてよい。予測処理ユニット３６０は、標準的に、ブロック予測を実行し、及び／又は予測ブロック３６５を符号化されたデータ２１から取得し、及び予測関連パラメータ及び／又は選択された予測モードに関する情報を、例えばエントロピー復号ユニット３０４から（明示的に又は暗示的に）受信し又は取得するよう構成される。
ビデオスライスがイントラ符号化（intra coded, I）スライスとして符号化されるとき、予測処理ユニット３６０のイントラ予測ユニット３５４は、シグナリングされたイントラ予測モード及び現在フレームまたはピクチャの前に復号されたブロックからのデータに基づき、現在ビデオスライスのピクチャブロックについて予測ブロックを生成するよう構成される。ビデオフレームがインター符号化（つまり、Ｂ又はＰ）スライスとして符号化されるとき、予測処理ユニット３６０のインター予測ユニット３４４（例えば動き補償ユニット）は、動きベクトル及びエントロピー復号ユニット３０４から受信した他のシンタックス要素に基づき、現在ビデオスライスのビデオブロックについて予測ブロック３６５を生成するよう構成される。インター予測では、予測ブロックは、参照ピクチャリストのうちの１つの中の参照ピクチャのうちの１つから生成されてよい。ビデオデコーダ３０は、ＤＰＢ３３０にかくの言うされた参照ピクチャに基づき、参照フレームリスト：リスト０及びリスト１を構成してよい。
予測処理ユニット３６０は、動きベクトル及び他のシンタックス要素をパースすることにより、現在ビデオスライスのビデオブロックについて予測情報を決定し、予測情報を使用して、復号されている現在ビデオブロックについて予測ブロックを生成するよう構成される。例えば、予測処理ユニット３６０は、受信したシンタックス要素のうちの幾つかを使用して、ビデオスライスのビデオブロックを符号化するために使用される予測モード（例えば、イントラ又はインター予測）、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）、スライスの参照ピクチャリストのうちの１つ以上の構成情報、スライスの各インター符号化されたビデオブロックの動きベクトル、スライスの各インター符号化ビデオブロックのインター予測状態、及び現在ビデオスライス内のビデオブロックを復号するための他の情報を決定する。
逆量子化ユニット３１０は、ビットストリーム内で提供され、エントロピー復号ユニット３０４により復号された量子化された変換係数を逆量子化、つまり量子化解除するよう構成される。逆量子化処理は、ビデオスライス内の各ビデオブロックに対して、ビデオエンコーダ１００により計算された量子化パラメータを使用して、量子化の程度、及び同様に適用されるべき逆量子化の程度を決定することを含んでよい。
逆変換処理ユニット３１２は、ピクセルドメインにおいて残差ブロックを生成するために、逆変換、例えば、逆ＤＣＴ、逆整数変換、又は概念的に類似する逆変換処理を、変換係数に適用するよう構成される。
再構成ユニット３１４（例えば、加算器３１４）は、逆変換ブロック３１３（つまり再構成された残差ブロック３１３）を予測ブロック３６５に加算して、例えば再構成された残差ブロック３１３のサンプル値と予測ブロック３６５のサンブル値とを加算することにより、サンプルドメイン内の再構成ブロック３１５を取得するよう構成される。
ループフィルタユニット３２０（符号化ループ内にある又は符号化ループの後にある）は、再構成されたブロック３１５をフィルタリングして、フィルタリング済みブロック３２１を取得するよう、例えばピクセル遷移を円滑化するよう或いはビデオ品質を向上するよう構成される。一例では、ループフィルタユニット３２０は、後述するフィルタリング技術の任意の組み合わせを実行するよう構成されてよい。ループフィルタユニット３２０は、逆ブロッキングフィルタ、サンプル適応オフセット（sample－adaptive offset, SAO）フィルタ又は他のフィルタ、例えばバイラテラルフィルタ又は適応ループフィルタ（adaptive loop filter, ALF）又は先鋭化若しくは円滑化フィルタ又は共同フィルタのような１つ以上のフィルタを表すことを意図する。ループフィルタユニット３２０はループフィルタ内にあるとして図３に示されるが、他の構成では、ループフィルタユニット３２０は後置きループフィルタとして実装されてよい。
所与のフレーム又はピクチャ内の復号ビデオブロック３２１は、次に、後の動き補償のために使用される参照ピクチャを格納する復号ピクチャバッファ３３０に格納される。
デコーダ３０は、ユーザへの提示または閲覧のために、復号ピクチャ３３１を、例えば出力３３２を介して出力するよう構成される。
ビデオデコーダ３０の他の変形は、圧縮ビデオストリームを復号するために使用され得る。例えば、デコーダ３０は、ループフィルタ３２０を有しないで、出力ビデオストリームを生成できる。例えば、非変換に基づくデコーダ３０は、変換処理ユニット３１２を有しないで、特定のブロックまたはフレームについて、残差信号を直接逆量子化できる。別の実装では、デコーダ３０は、単一のユニットに結合された、逆量子化ユニット３１０及び逆変換処理ユニット３１２を有し得る。
図４は、本開示の一実施形態によるビデオ符号化装置４００の概略図である。ビデオ符号化装置４００は、ここに説明したような開示の実施形態を実施するのに適する。一実施形態では、ビデオ符号化装置４００は、図１Ａのビデオデコーダ３０のようなデコーダ、又は図１Ａのビデオエンコーダ２０のようなエンコーダであってよい。一実施形態では、ビデオ符号化装置４００は、上述のような図１Ａのビデオデコーダ３０又は図１Ａのビデオエンコーダ２０の１つ以上のコンポーネントであってよい。
ビデオ符号化装置４００は、データを受信するためのイングレスポート４１０及び受信機ユニット（receiver units, Rx）４２０と、データを処理するためのプロセッサ、論理ユニット、又は中央処理ユニット（central processing unit, CPU）４３０と、データを送信するための送信機ユニット（transmitter units, Tx）４４０及びイグレスポート４５０と、データを格納するためのメモリ４６０と、を含む。ビデオ符号化装置４００は、イングレスポート４１０、受信機ユニット４２０、及び送信機ユニット４４０に結合された、光若しくは電気信号のイグレス若しくはイングレスのための光－電気（optical－to－electrical, OE）コンポーネント及び電気－光（electrical－to－optical, EO）コンポーネントも含んでよい。
プロセッサ４３０は、ハードウェア及びソフトウェアにより実装される。プロセッサ４３０は、１つ以上のＣＰＵチップ、コア（例えば、マルチコアプロセッサ）、ＦＰＧＡ、ＡＳＩＣ、及びＤＳＰとして実装されてよい。プロセッサ４３０は、イングレスポート４１０、受信機ユニット４２０、送信機ユニット４４０、イグレスポート４５０、及びメモリ４６０と通信する。プロセッサ４３０は、符号化モジュール４７０を含む。符号化モジュール４７０は、上述の開示の実施形態を実装する。例えば、符号化モジュール４７０は、種々の符号化動作を実装し、処理し、準備し、又は提供する。符号化モジュール４７０の中に含まれるものは、したがって、ビデオ符号化装置４００の機能に実質的な改良を提供し、ビデオ符号化装置４００の異なる状態への変換をもたらす。代替として、符号化モジュール４７０は、メモリ４６０に格納されプロセッサ４３０により実行される命令として実装される。
メモリ４６０は、１つ以上のディスク、テープドライブ、及び固体ドライブを含み、プログラムが実行のために選択されるとき該プログラムを格納するため及びプログラムの実行中に読み出される命令及びデータを格納するためのオーバフローデータ記憶装置として使用されてよい。メモリ４６０は、揮発性及び／又は不揮発性であってよく、読み出し専用メモリ（read－only memory, ROM）、ランダムアクセスメモリ（random access memory, RAM）、三値連想メモリ（ternary content－addressable memory, TCAM）、及び／又は静的ランダムアクセスメモリ（static random－access memory, SRAM）であってよい。
図５は、例示的な実施形態による図１Ａからのソース装置１２及び宛先装置１４の一方又は両方として使用されてよい機器５００の簡略ブロック図である。機器５００は、上述の本開示の技術を実装できる。機器５００は、複数のコンピューティング装置を含むコンピューティングシステムの形式、又は単一コンピューティング装置、例えば移動電話機、タブレットコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、等の形式であり得る。
機器５００内のプロセッサ５０２は、中央処理ユニットであり得る。代替として、プロセッサ５０２は、現在存在する又は将来開発される情報を操作し又は処理できる任意の他の種類の装置又は複数の装置であり得る。開示の実装は図示のように単一のプロセッサ、例えばプロセッサ５０２により実施できるが、速度及び効率における利益は、１つより多くのプロセッサを用いて達成できる。
機器５００内のメモリ５０４は、一実装では、読み出し専用メモリ（read only memory, ROM）装置又はランダムアクセスメモリ（random access memory, RAM）装置であり得る。任意の他の適切な種類の記憶装置が、メモリ５０４として使用できる。メモリ５０４は、バス５１２を用いてプロセッサ５０２によりアクセスされるコード及びデータ５０６を含み得る。メモリ５０４は、オペレーティングシステム５０８及びアプリケーションプログラム５１０を更に含み得る。アプリケーションプログラム５１０は、プロセッサ５０２がここに記載の方法を実行することを可能にする少なくとも１つのプログラムを含む。例えば、アプリケーションプログラム５１０は、ここに記載の方法を実行するビデオ符号化アプリケーションを更に含むアプリケーション１～Ｎを含むことができる。機器５００は、例えばモバイルコンピューティング装置と共に使用されるメモリカードであり得る２次記憶５１４の形式の追加メモリも含み得る。ビデオ通信セッションは有意な量の情報を含み得るので、それらは、全体又は部分的に２次記憶５１４に格納され、処理のために必要に応じてメモリ５０４にロードされ得る。
機器５００は、ディスプレイ５１８のような１つ以上の出力装置も含み得る。ディスプレイ５１８は、一例では、タッチ入力を感知するよう動作するタッチ感応要素とディスプレイを結合するタッチ感応ディスプレイであってよい。ディスプレイ５１８は、バス５１２を介してプロセッサ５０２と結合され得る。ユーザが機器５００をプログラミングし又は使用することを可能にする他の出力装置は、ディスプレイ５１８に加えて又はその代替として提供され得る。出力装置がディスプレイである又はそれを含むとき、ディスプレイは、液晶ディスプレイ（liquid crystal display, LCD）、陰極線管（cathode－ray tube, CRT）ディスプレイ、プラズマディスプレイ、又は有機ＬＥＤ（organic LED, OLED）ディスプレイのような発光ダイオード（light emitting diode, LED）ディスプレイを含む種々の方法で実装できる。
機器５００は、また、画像感知装置５２０、例えばカメラ、又は機器５００を操作しているユーザの画像のような画像を感知できる現存の若しくは将来開発される任意の他の画像感知装置５２０を含み又はそれと通信できる。画像感知装置５２０は、機器５００を操作するユーザに向けられるように位置決めされ得る。一例では、画像感知装置５２０の位置及び光軸は、視野がディスプレイ５１８のすぐ隣にある領域を含み及びそれからディスプレイ５１８が見えるよう構成され得る。
機器５００は、また、音声感知装置５２２、例えばマイクロフォン、又は機器５００の近くの音声を感知できる現存の若しくは将来開発される任意の他の音声感知装置を含み又はそれと通信できる。音声感知装置５２２は、機器５００を操作しているユーザに向けられるよう位置決めでき、ユーザが機器５００を操作している間にユーザにより生成される音声、例えば会話又は他の発言を受信するよう構成できる。
図５は機器５００のプロセッサ５０２及びメモリ５０４を単一のユニットに統合されているように示すが、他の構成が利用できる。プロセッサ５０２の動作は、ローカルエリア又は他のネットワークに渡り又は直接結合され得る複数の機械（各機械は１つ以上のプロセッサを有する）に渡り分散できる。メモリ５０４は、ネットワークに基づくメモリ又は機器５００の動作を実行する複数の機械の中のメモリのように、複数の機械に渡り分散できる。ここでは単一のバスとして示されるが機器５００のバス５１２は複数のバスで構成できる。更に、２次記憶５１４は、機器５００の他のコンポーネントに直接結合でき、又はネットワークを介してアクセスでき、メモリカードのような単一の統合ユニット又は複数のメモリカードのような複数のユニットを含むことができる。機器５００は、したがって、様々な構成で実装できる。
Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＣＣのようなビデオ符号化は、ハイブリッド予測及び変換フレームワークに基づく。符号化木ユニット（Coding Tree Unit, CTU）は１つ以上の符号化ユニット（coding unit, CU）に分割される。ＣＵは１個のルマブロックと２個のクロマブロックとを含んでよく（例えば、ＹＵＶ４：２：０又はＹＵＶ４：４：４形式）、又はＣＵは１個のルマブロックのみ含んでよく、又はＣＵは２個のクロマブロックのみを含んでよい。ＣＵは、予測ユニット（prediction unit, PU）及び変換ユニット（transform unit, TU）に対応してよく、又は予測ユニットと複数の変換ユニットに対応してよい。予測ユニットは、予測サンプルの予測ブロックを含み、変換ユニットは残差サンプルの変換ブロックを含む。ＣＵの再構成サンプルは、予測サンプルを対応する残差サンプルと加算することにより得られる。
エンコーダで、ＣＵの予測情報（例えば、予測モード及び動きベクトル情報）及び残差情報（例えば、変換モード、変換係数、及び量子化パラメータ）は、レート歪み最適化により決定され、次にビットストリームへと符号化される。デコーダで、予測情報及び残差情報がパースされる。予測情報に従い、イントラ又はインター予測が行われて、予測ユニットの予測サンプルを生成する。残差情報に従い、逆量子化及び逆変換が行われて、変換ユニットの残差サンプルを生成する。予測サンプル及び残差サンプルは加算されて、符号化ユニットの再構成サンプルを得る。
基本変換モードは、ＣＵの残差が１個のＴＵに変換されることである。つまり、ＣＵサイズはＴＵサイズと等しい。ＨＥＶＣにおける残差４分木（Residual Quad－Tree, RQT）では、ＣＵサイズは等しいサイズの４個のＴＵに分割されてよく、各ＴＵが残差を有するか否かの情報は、各ＴＵの符号化ブロックフラグ（coded block flags, cbf）によりシグナリングされる。ＣＵが残差を有するか否かの情報は、ＣＵのルートｃｂｆによりシグナリングされる（例えば、ＨＥＶＣにおけるrqt_root_cbfシンタックス要素）。
ＶＴＭにおける適応型複数コア変換（Adaptive Multiple core Transform, AMT）は、変換タイプのセットの中の１つの変換タイプを用いて１つの変換ブロックを可能にする。変換タイプは、ビットストリームの中でシグナリングされ、変換タイプは、変換ブロックの水平変換（又は行変換）及び垂直変換（又は列変換）を指定する。水平／垂直変換について可能なコア変換は、離散サイン変換（Discrete Sine Transform, DST）及び離散コサイン変換（Discrete Cosine Transform, DCT）、例えばＤＳＴ－７（ＤＳＴタイプ７）、ＤＳＴ－１、ＤＣＴ－８、ＤＣＴ－２、及びＤＣＴ－５を含む。
代替の実装方法では、本開示を通じて、ＤＳＴ－７はＤＳＴ－４で置き換えられてよく、ＤＣＴ－８はＤＣＴ－４で置き換えられてよい。したがって、水平／垂直変換について可能なコア変換は、離散サイン変換（Discrete Sine Transform, DST）及び離散コサイン変換（Discrete Cosine Transform, DCT）、例えばＤＳＴ－４（ＤＳＴタイプ４）、ＤＳＴ－１、ＤＣＴ－４、ＤＣＴ－２、及びＤＣＴ－５を含む。
変換符号化効率を向上するために、ＣＵの新しい変換モードが本発明において導入される。新しい変換モードの各々について、ＣＵはＮ（Ｎ＝２、３、又は４）個のＴＵにタイリングされ、ＣＵの１個のＴＵのみが残差を有し、ＣＵの残りのＮ－１個のＴＵは残差を有しないと推定される。更に、残差を有するＴＵの変換タイプ（つまり水平及び垂直変換）は、変換モードにより指定される。言い換えると、新しい変換モードの各々は、ＴＵパーティション、残差を有する１個のみのＴＵ、残差を有すｒＴＵの変換タイプを指定する。
本開示の一実施形態は、符号化ユニットを復号する処理を記載する。ビデオデータの少なくとも１つのピクチャを含むビットストリームが復号される。ピクチャは、複数の長方形画像領域に分けられ、各領域は符号化木ユニット（Coding Tree Unit, CTU）に対応する。ＣＴＵは、ビットストリームに含まれるブロックパーティション情報に従い、複数の符号化ユニットに分けられる。符号化ユニットの符号化情報は、ビットストリームからパースされ、符号化ユニットのピクセルは符号化情報に基づき再構成される。符号化情報は予測情報及び変換情報を含む。
予測情報は、ＣＵの予測モード（つまり、インター予測又はイントラ予測）を示す。予測モードがイントラ予測である場合、予測情報は、ＨＥＶＣ及びＶＣＣにおける平面モード、ＤＣモード、及び方向性モードのような、イントラ予測モードを更に含んでよい。予測モードがインター予測である場合、予測情報は、スキップモードまたはマージモードまたは高度動きベクトル予測（advanced motion vector prediction, AMVP）モード、マージ候補インデックス、インター予測方向、参照フレームインデックス、動きベクトル、アフィンモデルに基づく予測を使用するか否か、等を更に含んでよい。
変換情報は、ＣＵの変換モード、及びＣＵ内の１つ以上のＴＵに関連付けられた変換係数を示す。ＣＵの残差がＣＵと同じサイズのＴＵ内に変換される従来の変換モードと別に、本実施形態は、新しい変換モードも利用する。新しい変換モードの各々について、ＣＵはＮ（Ｎ＝２、３、又は４）個のＴＵにタイリングされ、１個のＴＵのみが残差を有し、残りのＮ－１個のＴＵは残差を有しないと推定される。更に、残差を有するＴＵの変換タイプ（つまり水平及び垂直変換）は、変換モードにより指定される。
一例では、新しい変換モードは、図６に示されるような以下の４つのモード：Ｑ０、Ｑ１、Ｑ２、及びＱ３を含む。４つのモードの各々について、サイズＷ×ＨのＣＵは、サイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵ、つまり、左上のＴＵ０、右上のＴＵ１、左下のＴＵ２、及び右下のＴＵ３に分割される。ＴＵ０、ＴＵ１、ＴＵ２、及びＴＵ３のうちの１個のみが残差を有する。
１）変換モードＱ０：ＴＵ０は残差を有し、ＴＵ０の水平変換及び垂直変換は、それぞれＤＣＴ－８及びＤＣＴ－８である。
２）変換モードＱ１：ＴＵ１は残差を有し、ＴＵ１の水平変換及び垂直変換は、それぞれＤＳＴ－７及びＤＣＴ－８である。
３）変換モードＱ２：ＴＵ２は残差を有し、ＴＵ２の水平変換及び垂直変換は、それぞれＤＣＴ－８及びＤＳＴ－７である。
４）変換モードＱ３：ＴＵ３は残差を有し、ＴＵ３の水平変換及び垂直変換は、それぞれＤＳＴ－７及びＤＳＴ－７である。
代替の実装方法では、本開示を通じて、ＤＳＴ－７はＤＳＴ－４で置き換えられてよく、ＤＣＴ－８はＤＣＴ－４で置き換えられてよい。したがって、別の例では、新しい変換モードは、図６に示されるような以下の４つのモード：Ｑ０、Ｑ１、Ｑ２、及びＱ３を含む。４つのモードの各々について、サイズＷ×ＨのＣＵは、サイズ（Ｗ／２）×（Ｈ／２）の４個のＴＵ、つまり、左上のＴＵ０、右上のＴＵ１、左下のＴＵ２、及び右下のＴＵ３に分割される。ＴＵ０、ＴＵ１、ＴＵ２、及びＴＵ３のうちの１個のみが残差を有する。
１）変換モードＱ０：ＴＵ０は残差を有し、ＴＵ０の水平変換及び垂直変換は、それぞれＤＣＴ－４及びＤＣＴ－４である。
２）変換モードＱ１：ＴＵ１は残差を有し、ＴＵ１の水平変換及び垂直変換は、それぞれＤＳＴ－４及びＤＣＴ－４である。
３）変換モードＱ２：ＴＵ２は残差を有し、ＴＵ２の水平変換及び垂直変換は、それぞれＤＣＴ－４及びＤＳＴ－４である。
４）変換モードＱ３：ＴＵ３は残差を有し、ＴＵ３の水平変換及び垂直変換は、それぞれＤＳＴ－４及びＤＳＴ－４である。
残差を有するＴＵについて、３つの成分、つまりＣｂ、Ｃｒ、及びＹ成分の符号化ブロックフラグ（coded block flags, cbf）は、ビットストリームからパースされてよく、３つの成分のうちの少なくとも１つのｃｂｆの値は１である。残差を有しない残りのＴＵの各々について、全ての色成分のｃｂｆは０であると推定される。つまり、ｃｂｆはビットストリームからパースされない。
別の例では、新しい変換モードは、図７に示されるような以下の４つのモード：ＨＱ０、ＨＱ１、ＶＱ０、及びＶＱ１を含む。４つのモードの各々について、サイズＷ×ＨのＣＵは等しくないサイズの２個のＴＵに分割され、より小さいサイズのＴＵのみが残差を有する。
１）変換モードＨＱ０：ＣＵは、水平分割により２個のＴＵ、つまりサイズＷ×（Ｈ／４）のＴＵ０及びサイズＷ×（３Ｈ／４）のＴＵ１に分割され、上のＴＵ０は残差を有し、ＴＵ０の水平変換は予め定められたコア変換、例えばＤＳＴ－７又はＤＣＴ－２であり、ＴＵ０の垂直変換はＤＣＴ－８である。
２）変換モードＨＱ１：ＣＵは、水平分割により２個のＴＵ、つまりサイズＷ×（３Ｈ／４）のＴＵ０及びサイズＷ×（Ｈ／４）のＴＵ１に分割され、下のＴＵ１は残差を有し、ＴＵ１の水平変換は予め定められたコア変換、例えばＤＳＴ－７又はＤＣＴ－２であり、ＴＵ１の垂直変換はＤＳＴ－７である。
３）変換モードＶＱ０：ＣＵは、垂直分割により２個のＴＵ、つまりサイズ（Ｗ／４）×ＨのＴＵ０及びサイズ（３Ｗ／４）×ＨのＴＵ１に分割され、左のＴＵ０は残差を有し、ＴＵ０の水平変換はＤＣＴ－８であり、ＴＵ０の垂直変換は予め定められたコア変換、例えばＤＳＴ－７又はＤＣＴ－２である。
４）変換モードＶＱ１：ＣＵは、垂直分割により２個のＴＵ、つまりサイズ（３Ｗ／４）×ＨのＴＵ０及びサイズ（Ｗ／４）×ＨのＴＵ１に分割され、右のＴＵ１は残差を有し、ＴＵ１の水平変換はＤＳＴ－７であり、ＴＵ１の垂直変換は予め定められたコア変換、例えばＤＳＴ－７又はＤＣＴ－２である。
代替の実装方法では、本開示を通じて、ＤＳＴ－７はＤＳＴ－４で置き換えられてよく、ＤＣＴ－８はＤＣＴ－４で置き換えられてよい。したがって、別の例では、新しい変換モードは、図７に示されるような以下の４つのモード：ＨＱ０、ＨＱ１、ＶＱ０、及びＶＱ１を含む。４つのモードの各々について、サイズＷ×ＨのＣＵは等しくないサイズの２個のＴＵに分割され、より小さいサイズのＴＵのみが残差を有する。
１）変換モードＨＱ０：ＣＵは、水平分割により２個のＴＵ、つまりサイズＷ×（Ｈ／４）のＴＵ０及びサイズＷ×（３Ｈ／４）のＴＵ１に分割され、上のＴＵ０は残差を有し、ＴＵ０の水平変換は予め定められたコア変換、例えばＤＳＴ－４又はＤＣＴ－２であり、ＴＵ０の垂直変換はＤＣＴ－４である。一例として、ＴＵ０の水平変換は、常にＤＳＴ－４である、又は常にＤＣＴ－２である。別の例として、ＴＵ０の水平変換は、ＴＵ０の幅が閾ＭａｘＭｔｓＳｉｚｅ（例えば、ＭａｘＭｔｓＳｉｚｅ=３２）より大きい場合にＤＣＴ－２であり、ＴＵ０の水平変換は、ＴＵ０の幅が閾ＭａｘＭｔｓＳｉｚｅ以下である場合にＤＳＴ－４である。
２）変換モードＨＱ１：ＣＵは、水平分割により２個のＴＵ、つまりサイズＷ×（３Ｈ／４）のＴＵ０及びサイズＷ×（Ｈ／４）のＴＵ１に分割され、下のＴＵ１は残差を有し、ＴＵ１の水平変換は予め定められたコア変換、例えばＤＳＴ－４又はＤＣＴ－２であり、ＴＵ１の垂直変換はＤＳＴ－４である。
３）変換モードＶＱ０：ＣＵは、垂直分割により２個のＴＵ、つまりサイズ（Ｗ／４）×ＨのＴＵ０及びサイズ（３Ｗ／４）×ＨのＴＵ１に分割され、左のＴＵ０は残差を有し、ＴＵ０の水平変換はＤＣＴ－４であり、ＴＵ０の垂直変換は予め定められたコア変換、例えばＤＳＴ－４又はＤＣＴ－２である。一例として、ＴＵ０の垂直変換は、常にＤＳＴ－４である、又は常にＤＣＴ－２である。別の例として、ＴＵ０の垂直変換は、ＴＵ０の高さが閾ＭａｘＭｔｓＳｉｚｅより大きい場合にＤＣＴ－２であり、ＴＵ０の垂直変換は、ＴＵ０の高さが閾ＭａｘＭｔｓＳｉｚｅ以下である場合にＤＳＴ－４である。
４）変換モードＶＱ１：ＣＵは、垂直分割により２個のＴＵ、つまりサイズ（３Ｗ／４）×ＨのＴＵ０及びサイズ（Ｗ／４）×ＨのＴＵ１に分割され、右のＴＵ１は残差を有し、ＴＵ１の水平変換はＤＳＴ－４であり、ＴＵ１の垂直変換は予め定められたコア変換、例えばＤＳＴ－４又はＤＣＴ－２である。
一例では、新しい変換モードは、図８に示されるような以下の４つのモード：ＨＨ０、ＨＨ１、ＶＨ０、及びＶＨ１を含む。４つのモードの各々について、サイズＷ×ＨのＣＵは等しいサイズの２個のＴＵに分割され、１個のＴＵのみが残差を有する。
１）変換モードＨＨ０：ＣＵは、水平分割により２個のＴＵ、つまりサイズＷ×（Ｈ／２）のＴＵ０及びサイズＷ×（Ｈ／２）のＴＵ１に分割され、上のＴＵ０は残差を有し、ＴＵ０の水平変換は予め定められたコア変換、例えばＤＳＴ－７又はＤＣＴ－２であり、ＴＵ０の垂直変換はＤＣＴ－８である。
２）変換モードＨＨ１：ＣＵは、水平分割により２個のＴＵ、つまりサイズＷ×（Ｈ／２）のＴＵ０及びサイズＷ×（Ｈ／２）のＴＵ１に分割され、下のＴＵ１は残差を有し、ＴＵ１の水平変換は予め定められたコア変換、例えばＤＳＴ－７又はＤＣＴ－２であり、ＴＵ１の垂直変換はＤＳＴ－７である。
３）変換モードＶＨ０：ＣＵは、垂直分割により２個のＴＵ、つまりサイズ（Ｗ／２）×ＨのＴＵ０及びサイズ（Ｗ／２）×ＨのＴＵ１に分割され、左のＴＵ０は残差を有し、ＴＵ０の水平変換はＤＣＴ－８であり、ＴＵ０の垂直変換は予め定められたコア変換、例えばＤＳＴ－７又はＤＣＴ－２である。
４）変換モードＶＨ１：ＣＵは、垂直分割により２個のＴＵ、つまりサイズ（Ｗ／２）×ＨのＴＵ０及びサイズ（Ｗ／２）×ＨのＴＵ１に分割され、右のＴＵ１は残差を有し、ＴＵ１の水平変換はＤＳＴ－７であり、ＴＵ１の垂直変換は予め定められたコア変換、例えばＤＳＴ－７又はＤＣＴ－２である。
代替の実装方法では、本開示を通じて、ＤＳＴ－７はＤＳＴ－４で置き換えられてよく、ＤＣＴ－８はＤＣＴ－４で置き換えられてよい。したがって、一例では、新しい変換モードは、図８に示されるような以下の４つのモード：ＨＨ０、ＨＨ１、ＶＨ０、及びＶＨ１を含む。４個のＣＵの各々について、サイズＷ×ＨのＣＵは等しいサイズの２個のＴＵに分割され、１個のＴＵのみが残差を有する。
１）変換モードＨＨ０：ＣＵは、水平分割により２個のＴＵ、つまりサイズＷ×（Ｈ／２）のＴＵ０及びサイズＷ×（Ｈ／２）のＴＵ１に分割され、上のＴＵ０は残差を有し、ＴＵ０の水平変換は予め定められたコア変換、例えばＤＳＴ－４又はＤＣＴ－２であり、ＴＵ０の垂直変換はＤＣＴ－４である。一例として、ＴＵ０の水平変換は、常にＤＳＴ－４である、又は常にＤＣＴ－２である。別の例として、ＴＵ０の水平変換は、ＴＵ０の幅が閾ＭａｘＭｔｓＳｉｚｅ（例えば、ＭａｘＭｔｓＳｉｚｅ=３２）より大きい場合にＤＣＴ－２であり、ＴＵ０の水平変換は、ＴＵ０の幅が閾ＭａｘＭｔｓＳｉｚｅ以下である場合にＤＳＴ－４である。
２）変換モードＨＨ１：ＣＵは、水平分割により２個のＴＵ、つまりサイズＷ×（Ｈ／２）のＴＵ０及びサイズＷ×（Ｈ／２）のＴＵ１に分割され、下のＴＵ１は残差を有し、ＴＵ１の水平変換は予め定められたコア変換、例えばＤＳＴ－４又はＤＣＴ－２であり、ＴＵ１の垂直変換はＤＳＴ－４である。
３）変換モードＶＨ０：ＣＵは、垂直分割により２個のＴＵ、つまりサイズ（Ｗ／２）×ＨのＴＵ０及びサイズ（Ｗ／２）×ＨのＴＵ１に分割され、左のＴＵ０は残差を有し、ＴＵ０の水平変換はＤＣＴ－４であり、ＴＵ０の垂直変換は予め定められたコア変換、例えばＤＳＴ－４又はＤＣＴ－２である。一例として、ＴＵ０の垂直変換は、常にＤＳＴ－４である、又は常にＤＣＴ－２である。別の例として、ＴＵ０の垂直変換は、ＴＵ０の高さが閾ＭａｘＭｔｓＳｉｚｅより大きい場合にＤＣＴ－２であり、ＴＵ０の垂直変換は、ＴＵ０の高さが閾ＭａｘＭｔｓＳｉｚｅ以下である場合にＤＳＴ－４である。
４）変換モードＶＨ１：ＣＵは、垂直分割により２個のＴＵ、つまりサイズ（Ｗ／２）×ＨのＴＵ０及びサイズ（Ｗ／２）×ＨのＴＵ１に分割され、右のＴＵ１は残差を有し、ＴＵ１の水平変換はＤＳＴ－４であり、ＴＵ１の垂直変換は予め定められたコア変換、例えばＤＳＴ－４又はＤＣＴ－２である。
別の例では、新しい変換モードは、図９に示されるような以下の２つのモード：ＨＨ２及びＶＨ２を含む。２個のモードの各々について、サイズＷ×ＨのＣＵは３個のＴＵに分割され、ＣＵの半分のサイズのＴＵのみが残差を有する。
１）変換モードＨＨ２：ＣＵは水平方向に３個のＴＵ、つまりサイズＷ×（Ｈ／４）のＴＵ０、サイズＷ×（Ｈ／２）のＴＵ１、サイズＷ×（Ｈ／４）のＴＵ２に分割され、中央のＴＵ１は残差を有し、ＴＵ０の水平変換及び垂直変換はそれぞれＤＳＴ－７及びＤＣＴ－２（又はＤＳＴ－７及びＤＳＴ－１）である。
２）変換モードＶＨ２：ＣＵは垂直方向に３個のＴＵ、つまりサイズ（Ｗ／４）×ＨのＴＵ０、サイズ（Ｗ／２）×ＨのＴＵ１、サイズ（Ｗ／４）×ＨのＴＵ２に分割され、中央のＴＵ１は残差を有し、ＴＵ１の水平変換及び垂直変換はそれぞれＤＣＴ－２及びＤＳＴ－７（又はＤＳＴ－１及びＤＳＴ－７）である。
代替の実装方法では、本開示を通じて、ＤＳＴ－７はＤＳＴ－４で置き換えられてよく、ＤＣＴ－８はＤＣＴ－４で置き換えられてよい。したがって、別の例では、新しい変換モードは、図９に示されるような以下の２つのモード：ＨＨ２及びＶＨ２を含む。２個のモードの各々について、サイズＷ×ＨのＣＵは３個のＴＵに分割され、ＣＵの半分のサイズのＴＵのみが残差を有する。
１）変換モードＨＨ２：ＣＵは水平方向に３個のＴＵ、つまりサイズＷ×（Ｈ／４）のＴＵ０、サイズＷ×（Ｈ／２）のＴＵ１、サイズＷ×（Ｈ／４）のＴＵ２に分割され、中央のＴＵ１は残差を有し、ＴＵ０の水平変換及び垂直変換はそれぞれＤＳＴ－４及びＤＣＴ－２（又はＤＳＴ－４及びＤＳＴ－１）である。
２）変換モードＶＨ２：ＣＵは垂直方向に３個のＴＵ、つまりサイズ（Ｗ／４）×ＨのＴＵ０、サイズ（Ｗ／２）×ＨのＴＵ１、サイズ（Ｗ／４）×ＨのＴＵ２に分割され、中央のＴＵ１は残差を有し、ＴＵ１の水平変換及び垂直変換はそれぞれＤＣＴ－２及びＤＳＴ－４（又はＤＳＴ－１及びＤＳＴ－４）である。
別の例では、新しい変換モードは、図１０に示されるような以下の４つのモード：ＱＨ０、ＱＨ１、ＱＨ２、及びＱＨ３を含む。４つのモードの各々について、サイズＷ×ＨのＣＵは、２個はサイズ（Ｗ／２）×（Ｈ／２）であり及び他の１個はサイズＷ×（Ｈ／２）である３個のＴＵ、つまりＵＴ０、ＴＵ１、及びＴＵ２に分割される。サイズ（Ｗ／２）×（Ｈ／２）のＴＵのうちの１個のみが残差を有する。
１）変換モードＱＨ０：左上のＴＵ０は残差を有し、ＴＵ０の水平変換及び垂直変換は、それぞれＤＣＴ－８及びＤＣＴ－８である。
２）変換モードＱＨ１：右上のＴＵ１は残差を有し、ＴＵ１の水平変換及び垂直変換は、それぞれＤＳＴ－７及びＤＣＴ－８である。
３）変換モードＱＨ２：左下のＴＵ１は残差を有し、ＴＵ１の水平変換及び垂直変換は、それぞれＤＣＴ－８及びＤＳＴ－７である。
４）変換モードＱＨ３：右下のＴＵ２は残差を有し、ＴＵ２の水平変換及び垂直変換は、それぞれＤＳＴ－７及びＤＳＴ－７である。
代替の実装方法では、本開示を通じて、ＤＳＴ－７はＤＳＴ－４で置き換えられてよく、ＤＣＴ－８はＤＣＴ－４で置き換えられてよい。したがって、別の例では、新しい変換モードは、図１０に示されるような以下の４つのモード：ＱＨ０、ＱＨ１、ＱＨ２、及びＱＨ３を含む。４つのモードの各々について、サイズＷ×ＨのＣＵは、２個はサイズ（Ｗ／２）×（Ｈ／２）であり及び他の１個はサイズＷ×（Ｈ／２）である３個のＴＵ、つまりＵＴ０、ＴＵ１、及びＴＵ２に分割される。サイズ（Ｗ／２）×（Ｈ／２）のＴＵのうちの１個のみが残差を有する。
１）変換モードＱＨ０：左上のＴＵ０は残差を有し、ＴＵ０の水平変換及び垂直変換は、それぞれＤＣＴ－４及びＤＣＴ－４である。
２）変換モードＱＨ１：右上のＴＵ１は残差を有し、ＴＵ１の水平変換及び垂直変換は、それぞれＤＳＴ－４及びＤＣＴ－４である。
３）変換モードＱＨ２：左下のＴＵ１は残差を有し、ＴＵ１の水平変換及び垂直変換は、それぞれＤＣＴ－４及びＤＳＴ－４である。
４）変換モードＱＨ３：右下のＴＵ２は残差を有し、ＴＵ２の水平変換及び垂直変換は、それぞれＤＳＴ－４及びＤＳＴ－４である。
一例では、新しい変換モードは、図１１に示されるような以下の４つのモード：ＱＶ０、ＱＶ１、ＱＶ２、及びＱＶ３を含む。４つのモードの各々について、サイズＷ×ＨのＣＵは、２個はサイズ（Ｗ／２）×（Ｈ／２）であり及び他の１個はサイズ（Ｗ／２）×Ｈである３個のＴＵ、つまりＵＴ０、ＴＵ１、及びＴＵ２に分割される。サイズ（Ｗ／２）×（Ｈ／２）のＴＵのうちの１個のみが残差を有する。
１）変換モードＱＶ０：左上のＴＵ０は残差を有し、ＴＵ０の水平変換及び垂直変換は、それぞれＤＣＴ－８及びＤＣＴ－８である。
２）変換モードＱＶ１：右上のＴＵ１は残差を有し、ＴＵ１の水平変換及び垂直変換は、それぞれＤＳＴ－７及びＤＣＴ－８である。
３）変換モードＱＶ２：左下のＴＵ１は残差を有し、ＴＵ１の水平変換及び垂直変換は、それぞれＤＣＴ－８及びＤＳＴ－７である。
４）変換モードＱＶ３：右下のＴＵ２は残差を有し、ＴＵ２の水平変換及び垂直変換は、それぞれＤＳＴ－７及びＤＳＴ－７である。
代替の実装方法では、本開示を通じて、ＤＳＴ－７はＤＳＴ－４で置き換えられてよく、ＤＣＴ－８はＤＣＴ－４で置き換えられてよい。したがって、一例では、新しい変換モードは、図１１に示されるような以下の４つのモード：ＱＶ０、ＱＶ１、ＱＶ２、及びＱＶ３を含む。４つのモードの各々について、サイズＷ×ＨのＣＵは、２個はサイズ（Ｗ／２）×（Ｈ／２）であり及び他の１個はサイズ（Ｗ／２）×Ｈである３個のＴＵ、つまりＵＴ０、ＴＵ１、及びＴＵ２に分割される。サイズ（Ｗ／２）×（Ｈ／２）のＴＵのうちの１個のみが残差を有する。
１）変換モードＱＶ０：左上のＴＵ０は残差を有し、ＴＵ０の水平変換及び垂直変換は、それぞれＤＣＴ－４及びＤＣＴ－４である。
２）変換モードＱＶ１：右上のＴＵ１は残差を有し、ＴＵ１の水平変換及び垂直変換は、それぞれＤＳＴ－４及びＤＣＴ－４である。
３）変換モードＱＶ２：左下のＴＵ１は残差を有し、ＴＵ１の水平変換及び垂直変換は、それぞれＤＣＴ－４及びＤＳＴ－４である。
４）変換モードＱＶ３：右下のＴＵ２は残差を有し、ＴＵ２の水平変換及び垂直変換は、それぞれＤＳＴ－４及びＤＳＴ－４である。
一例では、ＣＵについて許可された新しい変換モードは、上述のモードの中の６個のモード：ＨＨ０、ＨＨ１、ＨＨ２、ＶＨ０、ＶＨ１、及びＶＨ２を含む。６個の変換モードが特定のスライスについて許可されるか否かをシグナリングするために、スライスレベルフラグが使用されてよい。ＣＵについて新しい変換モードが許可される場合、ＣＵを復号するとき、ＣＵの残差ＴＵの目標変換モードがＣＵについて許可された新しい変換モードの中で取得できることを意味する。ＣＵについて許可された新しい変換モードは、上述の２２個の変換モードのサブセットであってよく、したがって、復号効率を向上するために目標変換モードの候補変換モードを削減し、及び符号化されたビデオデータを伝送するために必要な帯域幅を節約するために、目標変換モードを示すインデックス／複数のインデックスを伝送するために必要なビットを削減できる。留意すべきことに、ＣＵについて許可された新しい変換モードは、所定であり／予め定められ、又はリアルタイムに決定されてよく、ＣＵについて許可された新しい変換モードが所定であり／予め定められ／決定されるとき、デコーダは、どの新しい変換モードがＣＵの残差ＴＵのための候補変換モードであるかを知るだろう。
一例では、ＣＵについて許可された新しい変換モードは、上述のモードの中の８個のモード：Ｑ０、Ｑ１、Ｑ２、Ｑ３、ＨＱ０、ＨＱ１、ＶＱ０、及びＶＱ１を含む。
一例では、ＣＵについて許可された新しい変換モードは、上述のモードの中の８個のモード：ＱＨ０、ＱＨ１、ＱＨ２、ＱＨ３、ＨＱ０、ＨＱ１、ＶＱ０、及びＶＱ１を含む。
一例では、ＣＵについて許可された新しい変換モードは、上述のモードの中の８個のモード：ＱＶ０、ＱＶ１、ＱＶ２、ＱＶ３、ＨＱ０、ＨＱ１、ＶＱ０、及びＶＱ１を含む。
一例では、ＣＵについて許可された新しい変換モードは、上述の変換モードの中の８個のモード：ＨＨ０、ＨＨ１、ＶＨ０、ＶＨ１、ＨＱ０、ＨＱ１、ＶＱ０、及びＶＱ１を含む。
一例では、ＣＵについて許可された新しい変換モードは、上述のモードの中の１２個のモード：Ｑ０、Ｑ１、Ｑ２、Ｑ３、ＨＱ０、ＨＱ１、ＶＱ０、ＶＱ１、ＨＨ０、ＨＨ１、ＶＨ０、及びＶＨ１を含む。
一例では、ＣＵについて許可された新しい変換モードは、上述のモードの中の１４個のモード：Ｑ０、Ｑ１、Ｑ２、Ｑ３、ＨＱ０、ＨＱ１、ＶＱ０、ＶＱ１、ＨＨ０、ＨＨ１、ＨＨ２、ＶＨ０、ＶＨ１、及びＶＨ２を含む。
一例では、ＣＵについて許可された新しい変換モードは、上述のモードの中の１４個のモード：ＱＨ０、ＱＨ１、ＱＨ２、ＱＨ３、ＨＱ０、ＨＱ１、ＶＱ０、ＶＱ１、ＨＨ０、ＨＨ１、ＨＨ２、ＶＨ０、ＶＨ１、及びＶＨ２を含む。
一例では、スライス内の複数のＣＵについて許可された新しい変換モードは、シーケンスパラメータセット（sequence parameter set, SPS）又はスライスのスライスヘッダの中でシグナリングされる。モードＨＨ０、ＨＨ１、ＨＨ２、ＶＨ０、ＶＨ１、及びＶＨ２は第１グループとしてグループ化される。モードＱ０、Ｑ１、Ｑ２、Ｑ３、ＨＱ０、ＨＱ１、ＶＱ０、及びＶＱ１は第２グループとしてグループ化される。各グループの有効化は、１つのフラグによりシグナリングされる。つまり、第１フラグは、第１モードグループが許可されるか否かを示すためにシグナリングされ、第２フラグは、第２モードグループが許可されるか否かを示すためにシグナリングされる。
一例では、スライス内の複数のＣＵについて許可された新しい変換モードは、シーケンスパラメータセット又はスライスのスライスヘッダの中でシグナリングされる。モードＨＨ０、ＨＨ１、ＶＨ０、及びＶＨ１は第１グループとしてグループ化される。モードＱ０、Ｑ１、Ｑ２、及びＱ３は第２グループとしてグループ化される。モードＨＱ０、ＨＱ１、ＶＱ０、及びＶＱ１は第３グループとしてグループ化される。１つのインデックスは３つのグループのどれが許可されるかを示すためにシグナリングされる。インデックス値０は３個全部のグループが許可されないことを示し、インデックス値１は第１グループのみが許可されることを示し、インデックス値２は第２グループが許可されることを示し、インデックス値３は第３グループが許可されることを示し、インデックス値４は第２及び第３グループが許可されることを示し、インデックス値５は３個全部のグループが許可されることを示す。
新しい変換モードは、全てのＣＵに適用され、又はＣＵの予測情報に従いＣＵに適用されてよい。一例では、新しい変換モードは、イントラ予測されたＣＵにのみ適用される。別の例では、新しい変換モードは、インター予測されたＣＵにのみ適用される。別の例では、新しい変換モードは、特定のインター予測方法（例えば、並進移動モデルに基づく動き補償）を用いるＣＵに許可されてよいが、他のインター予測方法（例えば、アフィンモデルに基づく動き補償）を用いるＣＵには許可されない。別の例では、新しい変換モードは、マージモードにより又は１／４ペル動きベクトル差精度を有する高度動きベクトル予測（advanced motion vector prediction, AMVP）モードにより予測されたＣＵについて許可されるが、アフィンマージモード、アフィンインターモード、又は１ペル若しくは４ペル動きベクトル差精度を有するＡＭＶＰモードを用いるＣＵについては許可されなくてよい。別の例では、新しい変換モードは、２より小さいマージインデックスを有するマージモードを用いるＣＤＵについて許可されるが、２より小さくないマージインデックスを有するマージモードを用いるＣＵについて許可されなくてよい。マージモード及びＡＭＶＰモードは、Ｈ．２６５／ＨＥＶＣ標準において参照され得る。アフィンマージモード及びアフィンインターモードは、共同ビデオ探索チーム（Joint Video Exploration Team, JVET）による共同探索モデル（Joint Exploration Model, JEM）コーデックにおいて参照され得る。
新しい変換モードは、ＣＵのサイズに従い許可されてよい。一例では、変換モードのうちの１つによりタイリングされたＣＵが、閾（例えば、４又は８又は１６個のルマピクセル等）より小さい１辺を有するＴＵをもたらす場合、変換モードはＣＵについて許可されない。一例では、変換モードのうちの１つによりタイリングされたＣＵが、閾（例えば、３２又は６４又は１２８個のルマピクセル等）より大きい１辺を有するＴＵをもたらす場合、変換モードはＣＵについて許可されない。一例では、閾（例えば、３２又は６４個のルマピクセル）より大きい１辺（つまり幅又は高さ）を有するＣＵは、新しい変換モードを使用することを許可されない。
図１２は、本開示の一実施形態の復号方法を示し、以下を含む。
１２０１。受信したビットストリームをパースして、ＣＵの予測情報を取得する。
これは、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＣＣにおける符号化ユニット及び予測ユニットシンタックス構造をパースするようなビデオ復号において一般的に使用される処理である。
１２０２。ＣＵが１個のみの残差変換ユニット（transform unit, TU）を有し、残差ＴＵのサイズがＣＵのサイズより小さいとき、残差ＴＵの目標変換モードを取得する。ここで、目標変換モードは、ＣＵのＴＵパーティションモード、残差ＴＵの位置（例えば、ＣＵの全部のＴＵの中の残差ＴＵのインデックスにより示される、又は残差ＴＵの左上角の座標及び残差ＴＵの幅と高さにより示される）、及び残差ＴＵの変換タイプを指定する。
目標変換モードは、上述のモード：Ｑ０、Ｑ１、Ｑ２、Ｑ３、ＨＱ０、ＨＱ１、ＶＱ０、ＶＱ１、ＨＨ０、ＨＨ１、ＶＨ０、ＶＨ１、ＨＨ２、ＶＨ２、ＱＨ０、ＱＨ１、ＱＨ２、ＱＨ３、ＱＶ０、ＱＶ１、ＱＶ２、及びＱＶ３のうちのいずれか１つである。
幾つかの実装方法では、復号効率を向上するために、Ｃｕ内の変換ユニット情報の存在が最初にチェックされる。変換ユニット情報が存在することは、ルートｃｂｆシンタックス要素により示されてよい。０に等しいルートｃｂｆは、ＣＵの変換ユニット情報がビットストリーム内に存在しない（つまり、ＣＵが残差を有しない）ことを示し、一方で、１に等しいルートｃｂｆは、ビットストリーム内にＣＵの変換ユニット情報が存在することを示す。インター予測されたＣＵでは、１に等しいルートｃｂｆは、ＣＵが残差を有することを意味する。ステップ１１０２は、ＣＵが変換ユニット情報を有するとき、実行される。ＣＵが変換ユニット情報を有しないとき、ＣＵの残差はゼロとして設定され、ステップ１１０５を直接実行する。
１２０３。受信したビットストリームをパースして、残差ＴＵの変換係数を取得する。
これは、ビデオ復号において一般的に使用される処理である。
１２０４。残差ＴＵの変換係数に逆量子化を適用して、逆量子化された係数を取得する。
これは、ビデオ復号において一般的に使用される処理である。
１２０５。目標変換モードに基づき、逆量子化された係数に逆変換を適用して、残差ＴＵの残差ブロックを取得する。
これは、ビデオ復号において一般的に使用される処理である。残差ＴＵに加えて、ＣＵの他のＴＵの残差はゼロとして設定される。
１２０６。予測情報に基づき、ＣＵの予測ブロックを取得する。
これは、ＨＥＶＣ及びＶＶＣにおけるイントラ予測及びインター予測のようなビデオ復号において一般的に使用される処理である。
１２０７。残差ブロック及び予測ブロックに基づき、ビデオブロックを取得する。
これは、ビデオ復号において一般的に使用される処理である。一実装方法では、ビデオブロックは、ＣＵの予測にＣＵの残差を加算することにより取得される。
１２０８。ビデオシーケンスを出力する。ビデオシーケンスは、ビデオブロックを含むビデオフレームを含む。
これは、ビデオ復号において一般的に使用される処理である。
一実装方法では、残差ＴＵの目標変換モードを取得するステップは、ビットストリームをパースして、残差ＴＵの目標変換モードを示すモードインデックスを取得するステップと、モードインデックスに基づき、残差ＴＵの目標変換モードを取得するステップと、を含む。例えば、上述の２２個の目標変換モードの中の８個のモードがスライス内で使用されることを許可される場合、モードインデックスは、Ｍ個のビン（例えば、Ｍ＝３、４、又は５）を有するモードインデックスにより示されてよい。つまり、モードインデックスは、コンテキストに基づく適応型バイナリ算術的符号化（Context－based Adaptive Binary Arithmetic Coding, CABAC）処理におけるＭ個のビンに２値化され（ここで、Mは異なる２値化方式で異なってよい）、又はモードインデックスはM個のフラグにより表現されてよい。
モードインデックスのビット割り当てを削減するために、第別の実装方法では、ビットストリームをパースして、残差ＴＵの目標変換モードを示すモードインデックスを取得するステップの前に、方法は、
前ＣＵのサイズに基づき、残差ＴＵの候補目標変換モードを決定するステップを更に含み、
ビットストリームをパースして、残差ＴＵの目標変換モードを示すモードインデックスを取得するステップは、
残差ＴＵの候補目標変換モードに基づき、ビットストリームをパースして、残差ＴＵの目標変換モードを示すモードインデックスを取得するステップを含む。したがって、ＣＵのサイズに依存して、候補目標変換モードの数は８より少なくてよく、したがって、モードフラグのj１つ以上のビンが節約され得る。
候補目標変換モードは、ＣＵサイズに基づいてよい。例えば。ＣＵの幅が［Ｔｈ１×２，Ｔｈ３］の範囲にあり、ＣＵの高さが［Ｔｈ１×２，Ｔｈ３］の範囲にあるとき、候補目標変換モードは、変換モードＱ０、変換モードＱ１、変換モードＱ２、及び変換モードＱ３を含んでよい。
例えば、ＣＵの幅が［Ｔｈ１×４，Ｔｈ３］の範囲にあり、ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、候補目標変換モードは、変換モードＶＱ０、変換モードＶＱ１、及び変換モードＶＨ２を含んでよい。
例えば、ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、候補目標変換モードは、変換モードＶＨ０及び変換モードＶＨ１を含んでよい。
例えば、ＣＵの高さが［Ｔｈ１×４，Ｔｈ３］の範囲にあり、ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、候補目標変換モードは、変換モードＨＱ０、変換モードＨＱ１、及び変換モードＨＨ２を含んでよい。
例えば、ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあり、ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、候補目標変換モードは、変換モードＨＨ０及び変換モードＨＨ１を含んでよい。
例えば、ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあるとき、候補目標変換モードは、変換モードＱ０、変換モードＱ１、変換モードＱ２、及び変換モードＱ３を含んでよい。
例えば、ＣＵの幅が［Ｔｈ１×４，Ｔｈ２］の範囲にあり、ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、候補目標変換モードは、変換モードＶＱ０、変換モードＶＱ１、及び変換モードＶＨ２を含んでよい。
例えば、ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、候補目標変換モードは、変換モードＶＨ０及び変換モードＶＨ１を含んでよい。
例えば、ＣＵの高さが［Ｔｈ１×４，Ｔｈ２］の範囲にあり、ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、候補目標変換モードは、変換モードＨＱ０、変換モードＨＱ１、及び変換モードＨＨ２を含んでよい。或いは、
例えば、ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあり、ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、候補目標変換モードは、変換モードＨＨ０及び変換モードＨＨ１を含んでよい。
Ｔｈ１、Ｔｈ２、及びTh３は予め定められた整数値である。例えば、Tｈ１は４、８、又は１６であり、Ｔｈ２は３２、６４、又は１２８であり、Th３は６４、１２８、又は２５６である。
別の実装方法では、目標変換モードを示すためのビット割り当てを削減するために、上述の２２個のモードはモードグループにグループ化される。例えば、モードグループは、以下のように少なくとも１個のモードグループを含んでよい：
モードグループは、変換モードＨＨ０、変換モードＨＨ１、変換モードＨＨ２、変換モードＶＨ０、変換モードＶＨ１、及び変換モードＶＨ２を含む；
モードグループは、変換モードＱ０、変換モードＱ１、変換モードＱ２、変換モードＱ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、及び変換モードＶＱ１を含む；
モードグループは、変換モードＨＨ０、ＨＨ１、ＨＨ２、ＶＨ０、ＶＨ１、及びＶＨ２を含む；
モードグループは、変換モードＱ０、変換モードＱ１、変換モードＱ２、変換モードＱ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、及び変換モードＶＱ１を含む；
モードグループは、変換モードＱＨ０、変換モードＱＨ１、変換モードＱＨ２、変換モードＱＨ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、及び変換モードＶＱ１を含む；
モードグループは、変換モードＱＶ０、変換モードＱＶ１、変換モードＱＶ２、変換モードＱＶ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、及び変換モードＶＱ１を含む；
モードグループは、変換モードＱ０、変換モードＱ１、変換モードＱ２、変換モードＱ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、変換モードＶＱ１、変換モードＨＨ０、変換モードＨＨ１、変換モードＶＨ０、及び変換モードＶＨ１を含む；
モードグループは、変換モードＱ０、変換モードＱ１、変換モードＱ２、変換モードＱ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、変換モードＶＱ１、変換モードＨＨ０、変換モードＨＨ１、変換モードＨＨ２、変換モードＶＨ０、変換モードＶＨ１、及び変換モードＶＨ２を含む；
モードグループは、変換モードＱＨ０、変換モードＱＨ１、変換モードＱＨ２、変換モードＱＨ３、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、変換モードＶＱ１、変換モードＨＨ０、変換モードＨＨ１、変換モードＨＨ２、変換モードＶＨ０、変換モードＶＨ１、及び変換モードＶＨ２を含む；
むモードグループは、変換モードＨＨ０、変換モードＨＨ１、変換モードＶＨ０、及び変換モードＶＨ１を含；
モードグループは、変換モードＱ０、変換モードＱ１、変換モードＱ２、及び変換モードＱ３を含む；又は、
モードグループは、変換モードＨＱ０、変換モードＨＱ１、変換モードＶＱ０、及び変換モードＶＱ１を含む。
ここで、残差ＴＵの目標変換モードを取得するステップは、
ビットストリームをパースして、目標変換モードの属するモードグループを示すグループインデックスを取得するステップと、
ビットストリームをパースして、モードグループの中の目標変換モードを示すモードインデックスを取得するステップと、
グループインデックス及びモードインデックスに基づき、目標変換モードを取得するステップと、を含んでよい。
一実装方法では、ビットストリームをパースして、目標変換モードの属するモードグループを示すグループインデックスを取得するステップの前に、方法は、
ＣＵのサイズに基づき、残差ＴＵの少なくとも１つの候補モードグループを決定するステップと、
相応して、残差ＴＵの少なくとも１つの候補モードグループに基づき、ビットストリームをパースして、目標変換モードの属するモードグループを示すグループインデックスを取得するステップと、を更に含む。
例えば、ＣＵの幅が［Ｔｈ１×２，Ｔｈ３］の範囲にあり、ＣＵの高さが［Ｔｈ１×２，Ｔｈ３］の範囲にあるとき、候補モードグループは、変換モードＱ０、変換モードＱ１、変換モードＱ２、及び変換モードＱ３を含むモードグループを含む。
例えば、ＣＵの幅が［Ｔｈ１×４，Ｔｈ３］の範囲にあり、ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、候補モードグループは、変換モードＶＱ０、変換モードＶＱ１、及び変換モードＶＨ２を含むモードグループを含む。
例えば、ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、候補モードグループは、変換モードＶＨ０及び変換モードＶＨ１を含むモードグループを含む。
例えば、ＣＵの高さが［Ｔｈ１×４，Ｔｈ３］の範囲にあり、ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、候補モードグループは、変換モードＨＱ０、変換モードＨＱ１、及び変換モードＨＨ２を含むモードグループを含む。
例えば、ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあり、ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、候補モードグループは、変換モードＨＨ０及び変換モードＨＨ１を含むモードグループを含む。
例えば、ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあるとき、候補モードグループは、変換モードＱ０、変換モードＱ１、変換モードＱ２、及び変換モードＱ３を含むモードグループを含む。
例えば、ＣＵの幅が［Ｔｈ１×４，Ｔｈ２］の範囲にあり、ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、候補モードグループは、変換モードＶＱ０、変換モードＶＱ１、及び変換モードＶＨ２を含むモードグループを含む。
例えば、ＣＵの幅が［Ｔｈ１×２，Ｔｈ２］の範囲にあり、ＣＵの高さが［Ｔｈ１，Ｔｈ２］の範囲にあるとき、候補モードグループは、変換モードＶＨ０及び変換モードＶＨ１を含むモードグループを含む。
例えば、ＣＵの高さが［Ｔｈ１×４，Ｔｈ２］の範囲にあり、ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、候補モードグループは、変換モードＨＱ０、変換モードＨＱ１、及び変換モードＨＨ２を含むモードグループを含む。又は、
例えば、ＣＵの高さが［Ｔｈ１×２，Ｔｈ２］の範囲にあり、ＣＵの幅が［Ｔｈ１，Ｔｈ２］の範囲にあるとき、候補モードグループは、変換モードＨＨ０及び変換モードＨＨ１を含むモードグループを含む。
閾Ｔｈ１、Ｔｈ２、及びＴｈ３は、所定の整数値である。例えば、Tｈ１は４、８、又は１６であり、Ｔｈ２は３２、６４、又は１２８であり、Th３は６４、１２８、又は２５６である。
別の実装方法では、残差ＴＵの目標変換モードを取得するステップの前に、方法は、
ＣＵの予測情報に基づき、残差ＴＵの目標変換モードを取得するか否かを決定するステップを更に含む。
例えば、ＣＵの予測モードがイントラ予測モードであるとき、残差ＴＵの目標変換モードを取得することを決定する。
例えば、ＣＵの予測モードがインター予測モードであるとき、残差ＴＵの目標変換モードを取得することを決定する。
例えば、ＣＵの予測方法が予め設定された陽性予測方法であるとき、残差ＴＵの目標変換モードを取得することを決定する。予め設定された陽性予測方法は、以下：
移動モデルに基づく動き補償方法；
マージ予測方法；
１／４－ｐｅｌ動きベクトル差精度による高度動きベクトル予測方法；又は、
２より小さいマージインデックスによるマージ予測方法；
のうちの少なくとも１つを含む。
例えば、ＣＵの予測方法が予め設定された陰性予測方法であるとき、残差ＴＵの目標変換モードを取得しないことを決定する。予め設定された陰性予測方法は、以下：
アフィンモデルに基づく動き補償方法；
アフィンマージ予測方法；
アフィンインター予測モード；
１－ｐｅｌ又は４－ｐｅｌ動きベクトル差精度による高度動きベクトル予測方法；又は、
２より小さくないマージインデックスによるマージ予測方法；
のうちの少なくとも１つを含む。
別の実装方法では、残差ＴＵの目標変換モードを取得するステップの前に、方法は、ＣＵのサイズに基づき、残差ＴＵの目標変換モードを取得するか否かを決定するステップを更に含む。
例えば、ＣＵの幅又は高さが予め設定されたＣＵ閾より大きいとき、残差ＴＵの目標変換モードを取得しないことを決定する。予め設定されたＣＵ閾は、３２個のルマピクセル、６４個のルマピクセル、又は１２８個のルマピクセルであってよい。
例えば、ＣＵのＴＵの幅又は高さが予め設定された最小ＴＵ閾より小さいとき、残差ＴＵの目標変換モードを取得しないことを決定する。予め設定されたＴＵ閾は、４個のルマピクセル、８個のルマピクセル、又は１６個のルマピクセルであってよい。
例えば、ＣＵのＴＵの幅又は高さが予め設定された最大ＴＵ閾より大きいとき、残差ＴＵの目標変換モードを取得しないことを決定する。予め設定された最大ＴＵ閾は、３２個のルマピクセル、６４個のルマピクセル、又は１２８個のルマピクセルであってよい。
留意すべきことに、ＣＵの予測情報及び／又はＣＵのサイズに従ってさえ、残差ＴＵの目標変換モードを取得することを決定するステップは、目標変換モードが取得され得ることを意味するだけであり、目標変換モードが実際に取得されることを意味しない。エンコーダ側で、変換を行うためにどの変換モードを選択するかは、多くの要因に依存する。つまり、上述の新しい変換モード（上述の２２個の変換モード）は、候補として追加され、既に存在する変換モード（古い変換モード）、例えばＣＵがＣＵサイズの１個のＴＵにより変換されること、は依然として使用できる。
したがって、ＣＵ毎に変換ユニット情報を有することに基づき、ＣＵの予測情報及び／又はＣＵのサイズに従い、残差ＴＵの目標変換モードを取得することを決定するとき、ビットストリームのパースは、古い変換モードを示すモードフラグを取得してよい。したがって、残差ＴＵの目標変換モードを取得しないことを決定すると、これは、古い変換モードがＣＵについて使用されることを意味する。ＣＵがＣＵサイズの１個のＴＵにより変換された場合、残差ＴＵの変換タイプは、デフォルトで水平変換でＤＣＴ－２及び垂直変換でＤＣＴ－２であってよく、又はビットストリームの中でシグナリングされてよい（例えば、ＶＲＴＭソフトウェア内のＡＭＴ方法、ここでは、複数の変換タイプがＴＵについて許可され、ＴＵにより使用される変換タイプがシグナリングされる）。
例えば、Ｑ０、Ｑ１、Ｑ２、Ｑ３、ＶＱ０、ＶＱ１、ＨＱ０、ＨＱ１、ＶＨ０、ＶＨ１、ＶＨ２、ＨＨ０、ＨＨ１、及びＨＨ２の変換モードがＣＵの候補目標変換モードである場合、デコーダは、先ず、ビットストリームをパースして、ＣＵが候補目標変換モードのうちの１つを使用するか、又はＣＵがＣＵサイズの１個のＴＵに変換されるかを決定できる。例えば、ＣＵが候補目標変換モードのうちの１つを使用するか、又はＣＵがＣＵサイズの１個のＴＵにより変換されるかを示すために、フラグが使用されてよい。
ＣＵが候補目標変換モードのうちの１つを使用する場合、ビットストリームをパースして、ＣＵの変換モードを取得する。１つの方法では、Ｑ０、Ｑ１、Ｑ２、及びＱ３は、グループＡにグループ分けされ、ＶＱ０及びＶＱ１はグループＢにグループ分けされ、ＨＱ０及びＨＱ１はグループＣにグループ分けされ、ＶＨ０、ＶＨ１、及びＶＨ２はグループＤにグループ分けされ、ＨＨ０、ＨＨ１、及びＨＨ２はグループＥにグループ分けされる。最初に、グループインデックスをパースすることにより、ＣＵの変換モードの属するグループが決定され、次に、別のインデックスをパースすることによりグループ内の目標変換モードを決定する。
グループインデックスのパースは、どのモードグループが個補モードグループとして決定された／予め設定されたかに基づいてよい。例えば、グループＡ及び任意の他のグループが候補モードグループであるとき、目標変換モードがグループＡに属するか否かを決定するために第１フラグがパースされる。或いは、第１フラグがビットストリーム内に存在しない場合、グループＡが候補モードグループであるならば、変換モードがグループＡに属すると推定される、又はグループＡが候補モードグループではないならば、グループＢ、Ｃ、Ｄ、及びＥに属すると推定される。目標変換モードがグループＢ、Ｃ、Ｄ、及びＥに属する場合、グループＢ／Ｄ及びＣ／Ｅの両方が候補であるならば、目標変換モードがＢ／Ｄ（つまりグループＢ又はＤ）又はＣ／Ｅに属するかを決定するために、第２フラグがパースされる。Ｂ／Ｄのみが候補である場合、又はＣ／Ｅのみが候補である場合、第２フラグは推定できる。変換モードがＢ／Ｄに属する場合、目標変換モードがＢに属するか否かを決定するために、第３フラグがパースされてよい。同様に、目標変換モードがＣ／Ｅに属する場合、目標変換モードがＣに属するか否かを決定するために、第３フラグがパースされてよい。
グループインデックスのパースと同様に、グループ内の目標変換モードのインデックスのパースは、どの変換モードがグループ内にあるかに基づいてよい。
例えば、、変換モードＱ０、Ｑ１、Ｑ２、Ｑ３、ＶＱ０、ＶＱ１、ＨＱ０、及びＨＱ１がＣＵの候補目標変換モードである場合、デコーダは、先ず、ビットストリームをパースして、ＣＵが候補目標変換モードのうちの１つを使用するか、又はＣＵがＣＵサイズの１個のＴＵに変換されるかを決定できる。例えば、ＣＵが候補目標変換モードのうちの１つを使用するか、又はＣＵがＣＵサイズの１個のＴＵにより変換されるかを示すために、フラグが使用されてよい。
ＣＵが候補目標変換モードのうちの１つを使用する場合、ビットストリームをパースして、ＣＵの変換モードを取得する。１つの方法では、変換モードＱ０、Ｑ１、Ｑ２、及びＱ３はグループＡにグループ分けされ、ＶＱ０及びＶＱ１はグループＢにグループ分けされ、ＨＱ０及びＨＱ１はグループＣにグループ分けされる。最初に、グループインデックスをパースすることにより、目標変換モードの属するグループが決定され、次に、モードインデックスをパースすることによりグループ内の目標変換モードを決定する。
本開示は、ビデオデコーダを更に開示する。デコーダのコウゾは図３に示され、ビデオデコーダは以下を含む。
エントロピー復号ユニット３０４であって、受信したビットストリームをパースして、符号化ユニット（coding unit, CU）を取得し、残差ＴＵがＣＵの残差ＴＵのみであり及び残差ＴＵのサイズがＣＵのサイズより小さいとき、残差変換ユニット（residual transform unit, TU）の目標変換モードを取得し、目標変換モードはＣＵのＴＵパーティションモード、残差ＴＵの一、及び残差ＴＵの変換タイプを指定し、受信したビットストリームをパースして残差ＴＵの変換係数を取得するよう構成されるエントロピー復号ユニット３０４。ここで、目標変換モードは上述と同じである。
逆量子化処理ユニット３１０であって、残差ＴＵの変換係数に逆量子化を適用して、逆量子化された係数を取得するよう構成される逆量子化ユニット３１０。
逆変換処理ユニット３１２であって、目標変換モードに基づき逆量子化された係数に逆変換を適用して、残差ＴＵの残差ブロックを取得するよう構成される逆変換処理ユニット３１２。
予測処理ユニット３６０であって、予測情報に基づき、ＣＵの予測ブロックを取得するよう構成される予測処理ユニット３６０。
再構成ユニット３１４であって、残差ブロック及び予測ブロックに基づき、ビデオブロックを取得するよう構成される再構成ユニット３１４。
出力３３２であって、ビデオシーケンスを出力し、ビデオシーケンスは、ビデオブロックを含むビデオフレームを含む、よう構成される出力３３２。
一実装方法では、エントロピー復号ユニット３０４は、ビットストリームをパースして、残差ＴＵの目標変換モードを示すモードインデックスを取得し、モードインデックスに基づき、残差ＴＵの目標変換モードを取得するよう更に構成される。
一実装方法では、エントロピー復号ユニット３０４は、ＣＵのサイズに基づき、残差ＴＵの候補目標変換モードを決定し、
残差ＴＵの候補目標変換モードに基づき、ビットストリームをパースして、残差ＴＵの目標変換モードを示すモードインデックスを取得するよう更に構成される。
一実装方法では、エントロピー復号ユニット３０４は、上述の方法に従い、残差ＴＵの候補目標変換モードを決定するよう更に構成される。
一実装方法では、エントロピー復号ユニット３０４は、ビットストリームをパースして、目標変換モードの属するモードグループを示すグループインデックスを取得し、ビットストリームをパースして、モードグループの中の目標変換モードを示すモードインデックスを取得し、グループインデックス及びモードインデックスに基づき、目標変換モードを取得するよう更に構成される。
ここで、目標変換モードは上述のような任意のモードグループに属する。
一実装方法では、エントロピー復号ユニット３０４は、
ＣＵのサイズに基づき、残差ＴＵの少なくとも１つの候補モードグループを決定し、
残差ＴＵの少なくとも１つの候補モードグループに基づき、ビットストリームをパースして、目標変換モードの属するモードグループを示すグループインデックスを取得するよう更に構成される。
ここで、エントロピー復号ユニットは、上述の方法のうちの少なくとも１つに従い、少なくとも１つの候補モードグループを決定するよう更に構成される。
一実装方法では、エントロピー復号ユニット３０４は、ＣＵの予測情報に基づき、残差ＴＵの目標変換モードを取得するか否かを決定するよう更に構成される。
ここで、エントロピー復号ユニット３０４は、上述の方法のうちの少なくとも１つに従い、残差ＴＵの目標変換モードを取得するか否かを決定するよう更に構成される。
一実装方法では、エントロピー復号ユニット３０４は、ＣＵのサイズに基づき、残差ＴＵの目標変換モードを取得するか否かを決定するよう更に構成される。
ここで、エントロピー復号ユニット３０４は、上述の方法のうちの少なくとも１つに従い、残差ＴＵの目標変換モードを取得するか否かを決定するよう更に構成される。
本開示は、上述の方法を実行する処理回路を含むデコーダを更に開示する。
本開示は、上述の方法を実行するプログラムコードを含むコンピュータプログラムプロダクトを更に開示する。
本開示は、デコーダであって、
１つ以上のプロセッサと、
プロセッサに結合されプロセッサによる実行のためのプログラミングを格納する非一時的コンピュータ可読記憶媒体であって、該プログラミングは、プロセッサにより実行されると、上述の方法を実行するようデコーダを構成する、非一時的コンピュータ可読記憶媒体と、
を含むデコーダを更に開示する。
図１３は、イントラ予測モードを利用するビデオ符号化におけるイントラ予測の一例１３００を示す。示されるように、現在ブロック１３０１は、近隣ブロック３１０内のサンプルにより予測できる。エンコーダは、通常、左上から右下へと画像を符号化してよい。しかしながら、エンコーダは、後述するように幾つかの場合には右から左へと符号化してよい。留意すべきことに、ここで使用されるとき、右は符号化される画像の右側を表し、左は符号化される画像の左側を表し、下は符号化される画像の下側を表す。
留意すべきことに、現在ブロック１３０１は、近隣ブロック１３１０からのサンプルと常に正確に一致しなくてよい。このような場合には、予測モードは、最も一致する近隣ブロック１３１０から符号化される。デコーダが適正な値を決定できるために、予測値と実際の値との間の差が保持される。これは、残差情報と呼ばれる。残差情報は、イントラ予測１３００、及びインター予測の両方で生じる。
図１４は、イントラ予測１３００及び／又はインター予測に基づく例示的なビデオエンコーティングメカニズム１４００の概略図である。画像ブロック１４０１は、１つ以上のフレームからエンコーダにより取得できる。例えば、画像は、複数の長方形画像領域に分割されてよい。画像の書く領域は、符号化木ユニット（Coding Tree Unit, CTU）に対応する。ＣＴＵは、ＨＥＶＣにおける符号化ユニットのような複数のブロックに分けられる。ブロックパーティション情報は、次にビットストリーム１４１１内に符号化される。したがって、画像ブロック１４０１は画像の分けられた部分であり、画像の対応する部分におけるルマ成分及び／又はクロマ成分を表すピクセルを含む。符号化の間、画像ブロック１４０１は、イントラ予測の予測モード及び／又はインター予測の動きベクトルのような予測情報を含む予測ブロック１４０３として符号化される。予測ブロック１４０３としての画像ブロック１４０１の符号化は、次に、予測ブロック１４０３と画像ブロック１４０１との間の差を示す残差情報を含む残差ブロック１４０５をもたらす。
留意すべきことに、画像ブロック１４０１は、１個の予測ブロック１４０３と１個の残差ブロック１４０５とを含む符号化ユニットとして分けられてよい。予測ブロック１４０３は、符号化ユニットの全部の予測サンプルを含んでよく、残差ブロック１４０５は、符号化ユニットの全部の残差サンプルを含んでよい。このような場合、予測ブロック１４０３は、残差ブロック１４０５と同じサイズである。別の例では、画像ブロック１４０１は、２個の予測ブロック１４０３と１個の残差ブロック１４０５とを含む符号化ユニットとして分けられてよい。このような場合、各予測ブロック１４０５は、符号化ユニットの予測サンプルの一部を含み、残差ブロック１４０５は、符号化ユニットの全部の残差サンプルを含む。更に留意すべきことに、画像ブロック１４０１は、２個の予測ブロック１４０３と４個の残差ブロック１４０５とを含む符号化ユニットとして分けられてよい。符号化ユニット内の残差ブロック１４０５のパーティションパターンは、ビットストリーム１４１１内でシグナリングされてよい。このような一パターンは、ＨＥＶＣにおける残差４分木（Residual Quad－Tree, RQT）を含んでよい。さらに、画像ブロック１４０１は、画像サンプル（又はピクセル）のＹ成分として示されるルマ成分（例えば、光）のみを含んでよい。他の場合には、画像ブロック１４０１は、画像サンプルのＹ、Ｕ、及びＶ成分を含んでよい。ここで、Ｕ及びＶは、青色輝度及び赤色輝度（UV）色空間における色度成分（例えば、色）を示す。
ＳＶＴは、情報を更に圧縮するために使用されてよい。具体的に、ＳＶＴは、変換ブロック１４０７を利用して、残差ブロック１４０５を更に圧縮する。変換ブロック１４０７は、逆ＤＣＴ及び／又は逆ＤＳＴのような変換を含む。予測ブロック１４０３と画像ブロック１４０１との間の差は、変換係数を利用することにより、変換に適合される。変換ブロック１４０７の変換モード（例えば、逆ＣＤＴ及び／又は逆ＤＳＴ）及び対応する変換係数を示すことにより、デコーダは残差ブロック１４０５を再構成できる。正確な再生成が要求されないとき、変換係数は、変換についてより良い適合を生成するために、特定値を丸め込むことにより更に圧縮できる。この処理は、量子化として知られ、許容可能な量子化を定める量子化パラメータに従い実行される。したがって、変換ブロック１４０７の変換モード、変換係数、及び量子化パラメータは、変換された残差ブロック１４０９内の変換された残差情報として格納される。これは、幾つかの場合には単に残差ブロックとも呼ばれることがある。
予測ブロック１４０３の予測情報及び変換された残差ブロック１４０９の変換された残差情報は、次に、ビットストリーム１４１１内に符号化され得る。ビットストリーム１４１１は、格納され及び／又はデコーダへ伝送され得る。デコーダは、次に、画像ブロック１４０１を復元するために逆の処理を実行できる。具体的に、デコーダは、変換された残差情報を利用して、変換ブロック１４０７を決定できる。変換ブロック１４０７は、次に、残差ブロック１４０５を決定するために、変換された残差ブロック１４０９と関連して利用できる。残差ブロック１４０５及び予測ブロック１４０３は、次に、画像ブロック１４０１を再構成するために利用できる。画像ブロック１４０１は、次に、フレームを再構成し及び符号化されたビデオを復元するためにこのようなこのようなフレームを位置決めするために、他の復号された画像ブロック１４０１に対して相対的に位置決めできる。
ＳＶＴは、ここで更に詳細に説明される。ＳＶＴを行うために、変換ブロック１４０７は、残差ブロック１４０５より小さくなるよう選択される。変換ブロック１４０７は、残差ブロック１４０５の対応する部分を変換するために利用され、追加の符号化／圧縮を伴わずに残差ブロックの残りをもたらす。これは、残差情報が、通常、残差ブロック１４０５に渡り均一に分布されないからである。ＳＶＴは、残差ブロック１４０５全体が変換されることを必要としないで、適応位置を有するより小さな変換ブロック１４０７を利用して、残差ブロック１４０５内の残差情報の大部分をキャプチャする。このアプローチは、残差ブロック１４０５内の全部の残差情報を変換するより、良好な符号化効率を達成し得る。変換ブロック１４０７は残差ブロック１４０５より小さいので、ＳＶＴは、残差ブロック１４０５に対する変換の位置をシグナリングするメカニズムを利用する。例えば、ＳＶＴがサイズｗ×ｈ（例えば、幅×高さ）の残差ブロック１４０５について適用されるとき、変換ブロック１４０７のサイズ及び位置は、ビットストリーム１４１１内に符号化されてよい。これは、デコーダが変換ブロック１４０７を再構成し、残差ブロック１４０５の再構成のために変換ブロック１４０７を変換された残差ブロック１４０９に対する正しい位置に構成することを可能にする。
留意すべきことに、幾つかの予測ブロック１４０３は、残差ブロック１４０５を生じることなく符号化できる。しかしながら、このような場合は、ＳＶＴの使用を生じないので、更に議論されない。上述のように、ＳＶＴは、インター予測されたブロック又はイントラ予測されたブロックに対して利用されてよい。さらに、ＳＶＴは、指定されたインター予測メカニズム（例えば、並進移動モデルに基づく動き補償）により生成された残差ブロック１４０５に対して利用されてよいが、他の市指定されたインター予測メカニズム（例えば、アフィンモデルに基づく動き補償）により生成された残差ブロック１４０５には利用されなくてよい。
図１５は、残差ブロック３０５を符号化するために変換ブロック３０７として利用され得る例示的なＳＶＴ変換１５００を示す。ＳＶＴ変換１５００は、ＳＶＴ－Ｉ、ＳＶＴ－ＩＩ、及びＳＶＴ－ＩＩＩとして参照される。ＳＶＴ－Ｉは、ｗ＿ｔ＝ｗ／２、ｈ＿ｔ＝ｈ／２として定められる。ここで、ｗ＿ｔ及びｈ＿ｔは、それぞれ変換ブロックの幅及び高さを示し、ｗ及びｈは、それぞれ残差ブロックの幅及び高さを示す。例えば、変換ブロックの幅及び高さが、両方とも残差ブロックの幅及び高さの半分である。ＳＶＴ－ＩＩは、ｗ＿ｔ＝ｗ／４、ｈ＿ｔ＝ｈとして定められる。ここで、変数は上述の通りである。例えば、変換ブロックの幅は残差ブロックの幅の４分の１であり、変換ブロックの高さは残差ブロックの高さと等しい。ＳＶＴ－IIIは、ｗ＿ｔ＝ｗ、ｈ＿ｔ＝ｈ／４として定められる。ここで、変数は上述の通りである。例えば、変換ブロックの幅は残差ブロックの幅と等しく、変換ブロックの高さは残差ブロックの高さの４分の１である。ＳＶＴブロックのタイプ（例えば、ＳＶＴ－Ｉ、ＳＶＴ－ＩＩ、又はＳＶＴ－ＩＩＩ）を示すタイプ情報は、デコーダによる再構成をサポートするためにビットストリーム内に符号化される。
図１５により分かるように、書く変換は、残差ブロックに対する種々の場所に位置づけることができる。変換ブロックの位置は、残差ブロックの左上角に対する位置オフセット（ｘ，ｙ）により表される。ここで、ｘは変換ブロックの左上角と残差ブロックの左上角との間の水平距離をピクセルの単位で示し、ｙは変換ブロックの左上角と残差ブロックの左上角との間の垂直距離をピクセルの単位で示す。残差ブロック内の変換ブロックの各々の可能な位置は、候補位置として参照される。残差ブロックでは、候補位置の数は、ＳＶＴのタイプについて、（ｗ－ｗ＿ｔ＋１）×（ｈ－ｈ＿ｔ＋１）である。より具体的には、１６×１６の残差ブロックでは、ＳＶＴ－Ｉが使用されるとき、８１個の候補位置が存在する。ＳＶＴ－ＩＩ又はＳＶＴ－ＩＩＩが使用されるとき、１３個の候補位置が存在する。一旦決定されると、位置オフセットのｘ及びｙ値は、利用されるＳＶＴブロックのタイプと一緒にビットストリーム内に符号化される。ＳＶＴ－Ｉの複雑性を低減するために、３２個の位置のサブセットが、８１個の可能な候補位置から選択できる。このサブセットは、次に、ＳＶＴ－１の許可された候補位置として動作する。
ＳＶＴ変換１５００を利用するＳＶＴ方式の１つの欠点は、ＳＶＴ位置情報を残差情報として符号化することが、有意なシグナリングオーバヘッドを生じることである。さらに、レート歪み最適化（Rate－Distortion Optimization, RDO）のような圧縮品質処理によりテストされる位置の数が増加するにつれ、エンコーダの複雑性が有意に増大することがある。候補位置の数は残差ブロックのサイズと共に増大するので、シグナリングオーバヘッドは、３２×３２又は６４×１２８のような、より大きな残差ブロックでは更に大きくなり得る。ＳＶＴ変換１５００を利用する別の欠点は、変換ブロックのサイズが残差ブロックのサイズの４分の１であることである。このようなサイズの変換ブロックは、多くの場合、残差ブロック内の主要な残差情報をカバーするのに十分大きくないことがある。
図１６は、残差ブロック３０５を符号化するために変換ブロック３０７として利用され得る更なる例示的なＳＶＴ変換１６００を示す。ＳＶＴ変換１６００は、ＳＶＴ垂直（ＳＶＴ－Ｖ）及びＳＶＴ水平（ＳＶＴ－Ｈ）として参照される。ＳＶＴ変換１６００は、ＳＶＴ変換１５００と同様であるが、削減されたシグナリングオーバヘッド及びエンコーダにおける複雑さの少ない処理要件をサポートするよう設計される。
ＳＶＴ－Ｖは、ｗ＿ｔ＝ｗ／２及びｈ＿ｔ＝ｈとして定められる。ここで、変数は上述の通りである。変換ブロックの幅は残差ブロックの幅の半分であり、変換ブロックの高さは残差ブロックの高さと等しい。ＳＶＴ－Ｈは、ｗ＿ｔ＝ｗ及びｈ＿ｔ＝ｈ／２として定められる。ここで、変数は上述の通りである。例えば、変換ブロックの幅は残差ブロックの幅と等しく、変換ブロックの高さは残差ブロックの高さの半分である。ＳＶＴ－ＶはＳＶＴ－ＩＩと同様であり、ＳＶＴ－ＨはＳＶＴ－ＩＩＩと同様である。ＳＶＴ－ＩＩ及びＳＶＴ－ＩＩＩと比べて、ＳＶＴ－Ｖ及びＳＶＴ－Ｈにおける変換ブロックは、残差ブロックの半分にまで拡大され、残差ブロック内のより多くの残差情報をカバーできる。
ＳＶＴ変換１５００と同様に、ＳＶＴ変換１６００は、幾つかの候補位置を含むことができる。ここで、候補位置は、残差ブロックに対して変換ブロックの可能な許容可能位置である。候補位置は、候補位置ステップサイズ（Candidate Position Step Size, CPSS）に従い決定される。候補位置は、ＣＰＳＳにより指定された等間隔で離されてよい。このような場合、候補位置の数はわずか５にまで削減される。変換のために選択された位置がより少ないビット数によりシグナリングできるので、削減された候補位置の数は、位置情報に関連するシグナリングオーバヘッドを低減する。さらに、候補位置の数の削減は、変換位置の選択をアルゴリズム的に一層単純にする。これは、エンコーダの複雑性を低減させることを可能にする（例えば、符号化するために利用されるコンピューティングリソースをより少なくする）。
図１７は、残差ブロックに対する例示的なＳＶＴ変換候補位置１７００を示す。具体的に、ＳＶＴ変換候補位置１７００は、残差ブロックに対して位置決めされたＳＶＴ－Ｖ及びＳＶＴ－Ｈ（例えばＳＶＴ変換１６００）を利用する。変換のための許容可能な候補位置は、ＣＰＳＳに依存し、ＣＰＳＳは、変換ブロックがカバーすべき残差ブロックの位置、及び／又は候補位置間のステップサイズに更に依存する。例えば、ＣＰＳＳは、ＳＶＴ－Ｖではｓ＝ｗ／Ｍ１として、又はＳＶＴ－Ｈではｓ＝ｈ／Ｍ２として計算されてよい。ここで、ｗ及びｈはそれぞれ残差ブロックの幅及び高さであり、Ｍ１及びＭ２は２～８の範囲の所定の整数である。候補位置は、より大きいＭ１又はＭ２の値により許可される。例えば、Ｍ１及びＭ２は両方とも８に設定されてよい。この場合、残差ブロックに対する変換ブロックの位置を定める位置インデックス（Ｐ）の値は０～４の間である。
別の例では、ＣＰＳＳは、ＳＶＴ－Ｖではｓ＝ｍａｘ（ｗ／Ｍ１，Ｔｈ１）として、又はＳＶＴ－Ｈではｓ＝ｍａｘ（ｈ／Ｍ２，Ｔｈ２）として計算される。ここで、Ｔｈ１及びＴｈ２は最小ステップサイズを指定する所定の整数である。Ｔｈ１及びＴｈ２は、２以上の整数であってよい。この例では、Ｔｈ１及びＴｈ２は４として設定され、Ｍ１及びＭ２は８として設定される。この例では、異なるブロックサイズは異なる数の候補位置を有してよい。例えば、残差ブロックの幅が８であるとき、ＳＶＴ－Ｖでは２つの候補位置、具体的には候補位置１７００（ａ）及び（ｅ）が利用可能である。例えば、Ｔｈ１により示されるステップサイズが大きく、ｗ／Ｍ１により示されるように変換のカバーする残差ブロックの部分も大きいとき、２つの候補位置のみがＣＰＳＳを満たす。しかしながら、ｗが１６に設定されるとき、変換のカバーする残差ブロックの部分はｗ／Ｍ１の変化により減少する。これは、より多くの候補位置、この場合には３個の候補位置１７００（ａ）、（ｂ）及び（ｃ）をもたらす。残差ブロックの幅が１６より大きいとき、５個全部の候補位置が利用可能であり、Ｔｈ１及びＭ１の値は上述された。
ＣＰＳＳが他のメカニズムに従い計算されるとき、他の例も分かる。具体的には、ＣＰＳＳは、ＳＶＴ－Ｖではｓ＝ｗ／Ｍ１として又はＳＶＴ－Ｈではｓ＝ｈ／Ｍ２として計算されてよい。この場合、Ｍ１及びＭ２が４として設定されるとき、ＳＶＴ－Ｖでは３個の候補位置が許可され（例えば、候補位置１７００（ａ）、（ｃ）、及び（ｅ））、、ＳＶＴ－Ｈでは３個の候補位置が許可される（例えば、候補位置１７００（ｆ）、（ｈ）、及び（ｊ））。さらに、Ｍ１及びＭ２が４として設定されるとき、変換のカバーする残差ブロックの部分は増え、ＳＶＴ－Ｖの２個の許容可能な候補位置（候補位置１７００（ａ）及び（ｅ））及びＳＶＴ－Ｈの２個の許容可能な候補位置（候補位置１７００（ｆ）及び（ｅ））をもたらす。
別の例では、上述のように、ＣＰＳＳは、ＳＶＴ－Ｖではｓ＝ｍａｘ（ｗ／Ｍ１，Ｔｈ１）として、又はＳＶＴ－Ｈではｓ＝ｍａｘ（ｈ／Ｍ２，Ｔｈ２）として計算される。この場合、Ｔ１及びＴ２は、所定の整数、例えば２として設定され、Ｍ１は、ｗ≧ｈならば８として設定され、又はｗ＜ｈのとき４として設定され、Ｍ２は、ｈ≧ｗのとき８として設定され、又はｈ＜ｗのとき４として設定される。例えば、変換のカバーする残差ブロックの部分は、残差ブロックの高さが残差ブロックの幅より大きいか否か、又はその逆に依存する。したがって、ＳＶＴ－Ｈ又はＳＶＴ－Ｖの候補位置の数は、残差ブロックのアスペクト比に更に依存する。
別の例では、上述のように、ＣＰＳＳは、ＳＶＴ－Ｖではｓ＝ｍａｘ（ｗ／Ｍ１，Ｔｈ１）として、又はＳＶＴ－Ｈではｓ＝ｍａｘ（ｈ／Ｍ２，Ｔｈ２）として計算される。この場合、Ｍ１、Ｍ２、Ｔｈ１、及びＴｈ２の値は、ビットストリーム内の高レベルシンタックス構造（例えば、シーケンスパラメータセット）から導出される。例えば、ＣＰＳＳを導出するために利用される値は、ビットストリーム内でシグナリングできる。Ｍ１及びＭ２は、シンタックス要素からパースされた同じ値を共有してよく、Ｔｈ１及びＴｈ２は、別のシンタックス要素からパースされた同じ値を共有してよい。
図１８は、残差ブロックに対する例示的なＳＶＴ変換位置を示す。ＳＶＴ変換位置１８００は、ＳＶＴ変換候補位置１７００のような候補位置から選択される。具体的には、選択されたＳＶＴ変換位置１８００は、位置インデックスＰに従って符号化されてよい。位置インデックスＰは、残差ブロックの左上角に対する変換ブロックの左上角の位置オフセット（Ｚ）を決定するために利用できる。例えば、この位置相関は、Ｚ＝ｓ×Ｐに従い決定できる。ここで、ｓは、ＳＶＴタイプに基づく変換ブロックのＣＰＳＳであり、図１６に関して議論したように計算される。Ｐの値は、変換ブロックがＳＶＴ－Ｖであるとき、０，１，．．．，（ｗ－ｗ＿ｔ）／ｓとして符号化されてよい。Ｐの値は、変換ブロックがＳＶＴ－Ｈであるとき、０，１，．．．，（ｈ－ｈ＿ｔ）／ｓとして符号化されてよい。より具体的には、（０，０）は、残差ブロックの左上角の座標を表し得る。このような場合、変換ブロックの左上角の座標は、ＳＶＴ－Ｖでは（Ｚ，０）又はＳＶＴ－Ｈでは（０，Ｚ）である。
以下に更に詳細に議論するように、エンコーダは、ＳＶＴ変換タイプ（例えば、ＳＶＴ－Ｈ又はＳＶＴ－Ｔ）及び残差ブロックサイズを、フラグを利用してビットストリーム内に符号化してよい。デコーダは、次に、ＳＶＴ変換サイズをＳＶＴ変換タイプ及び残差ブロックサイズに基づき決定してよい。ＳＶＴ変換サイズが決定されると、デコーダは、ＣＰＳＳ関数に従い、ＳＶＴ変換候補位置１７００のようなＳＶＴ変換の許容可能な候補位置を決定できる。デコーダがＳＶＴ変換の候補位置を決定できるので、エンコーダは位置オフセットの座標をシグナリングしなくてよい。代わりに、候補位置のうちのどれが対応する変換のために利用されるかを示すために、コードが利用できる。例えば、位置インデックスＰは、増大する圧縮のために切り捨てられた単進符号を用いて、１つ以上のビンへと２値化されてよい。特定の例として、Ｐ値が０～４の範囲内にあるとき、Ｐ値０、４，２，３，及び１は、それぞれ０，０１，００１，０００１，及び００００として２値化できる。この２進符号は、固定長符号により位置インデックスを表現するより更に圧縮される。別の例として、Ｐ値が０～１の範囲内にあるとき、Ｐ値０及び１は、それぞれ０及び１として２値化できる。このように、位置インデックスは、変換ブロックの可能な候補位置の観点で、特定の変換ブロック位置をシグナリングするために、必要に応じサイズを増大し又は短縮できる。
位置インデックスＰは、最も有望な位置及びあまり有望でない残りの位置を利用することにより、１つ以上のビンへと２値化されてよい。例えば、左及び上の近隣ブロックが既にデコーダで復号されており、したがって、予測のために利用可能であるとき、最も有望な位置は、残差ブロックの右下角をカバーする位置として設定されてよい。一例では、Ｐ値が０～４の範囲内にあり、位置４が最も有望な位置として設定されるとき、Ｐ値４，０，１，２，及び３は、それぞれ１，０００，００１，０１０，及び０１１として２値化される。さらに、Ｐ値が０～２の範囲内にあり、位置２が最も有望な位置として設定されるとき、Ｐ値２，０，及び１は、それぞれ１，０１，及び００として２値化される。したがって、最も一般的な場合にシグナリングオーバヘッドを削減するために、候補位置のうち最も有望な位置インデックスは最も少ないビットにより示される。隣接する再構成ブロックの符号化順序に基づき、確率が決定できる。したがって、デコーダは、利用される復号方式に基づき、対応するブロックのために利用されるべきコードワード方式を推定できる。
例えば、ＨＥＶＣでは、符号化ユニットの符号化順序は、通常、上から下へ、及び左から右へである。このような場合、現在符号化／復号している符号化ユニットの右側は利用可能ではなく、右上角をより有望な変換位置として与える。しかしながら、動きベクトル予測子は左及び上の空間的近隣から導出される。このような場合、残差情報は、右下角に向かって統計的により強い。この場合、右下部分をカバーする候補位置は、最も有望な位置である。さらに、適応符号化ユニットの符号化順序が利用されるとき、１個のノードは垂直方向に２個の子ノードに分割してよく、右の子ノードは左の子ノードの前に符号化されてよい。この場合、左の子ノードの側の近隣は、左の子ノードの復号／符号化の前に再構成されている。さらに、この場合には、左側の近隣ピクセルは利用可能ではない。右側の近隣が利用可能であり、左側の近隣が利用可能ではないとき、残差ブロックの左下部分は、大量の残差情報を含む可能性が高い。したがって、残差ブロックの左下部分をカバーする候補位置が、最も有望な位置になる。
したがって、位置インデックスＰは、残差ブロックの右隣が再構成されているか否かに従い、１つ以上のビンへと２値化されてよい。一例では、Ｐ値は、ＳＶＴ変換位置１８００により示されるように、０～２の範囲にある。残差ブロックの右隣が再構成されているとき、Ｐ値０，２，１は、０，０１，００として２値化される。その他の場合、Ｐ値２，０，１は０，０１，００として２値化される。別の例では、残差ブロックの右隣が再構成されるが、残差ブロックの左隣が再構成されていないとき、Ｐ値０，２，１は０，００，０１として２値化される。その他の場合、Ｐ値２，０，１は０，００，０１として２値化される。これらの例では、単一のビンに対応する位置は最も有望な位置であり、他の２つの位置は残りの位置である。例えば、最も有望な位置は、右側の近隣の利用可能性に依存する。
レート歪み最適化の観点で最良の位置の確率分布は、インター予測モードに渡りまるで異なり得る。例えば、残差ブロックが、テンプレートとして空間的に近隣の再構成されたピクセルとのテンプレートマッチングにより生成された予測ブロックに対応するとき、最良の位置は最も有望な位置２である。他のインター予測モードでは、最良の位置である位置２（又は、右隣が利用可能であり左隣が利用可能ではないときは位置０）の確率は、テンプレートマッチングモードのものより低い。この観点から、位置インデックスＰの第１ビンのコンテキストモデルは、残差ブロックに関連するインター予測に従い決定されてよい。より具体的には、残差ブロックがインター予測に基づくテンプレートマッチングに関連付けられるとき、位置インデックスＰの第１ビンは第１コンテキストモデルを使用する。その他の場合、このビンを符号化／復号するために第２コンテキストモデルが使用される。
別の例では、残差ブロックがインター予測に基づくテンプレートマッチングに関連付けられるとき、最も有望な位置（例えば、位置２、又は右隣が利用可能であるが左隣が利用可能ではないとき位置０）は、変換ブロック位置として直接設定され、位置情報はビットストリーム内でシグナリングされない。その他の場合、位置インデックスは、ビットストリーム内で明示的にシグナリングされる。
留意すべきことに、残差ブロックに対する変換ブロックの位置に依存して、異なる変換が利用できる。例えば、残差ブロックの左側は再構成され、残差ブロックの右側は再構成されない。これは、左から右ｊへ及び上から下への固定符号化ユニット符号化順序（例えば、ＨＥＶＣにおける符号化順序）によるビデオ符号化で生じる。この場合、残差ブロックの右下角をカバーする候補位置は、符号化のときに変換ブロック内の変換のために、ＤＳＴ（例えば、ＤＳＴタイプ７（ＤＳＴ－７）又はＤＳＴタイプ１（ＤＳＴ－１）又はＤＳＴタイプ４（ＤＳＴ－４））を利用してよい。したがって、逆ＤＳＴ変換が、対応する候補位置についてデコーダにおいて利用される。さらに、残差ブロックの左上角をカバーする候補位置は、符号化のときに変換ブロック内の変換のために、ＤＣＴ（例えば、ＤＣＴタイプ８（ＤＣＴ－８）又はＤＣＴタイプ２（ＤＣＴ－２）又はＤＣＴタイプ４（ＤＣＴ－４））を利用してよい。したがって、逆ＤＣＴ変換が、対応する候補位置についてデコーダにおいて利用される。これは、この場合に４個の角の中で右下角が、空間的に再構成された領域から最も離れているからである。さらに、変換ブロックが残差ブロックの右下角をカバーするとき、残差情報分布を変換するために、ＤＳＴはＤＣＴより効率的である。しかしながら、変換ブロックが残差ブロックの左上角をカバーするとき、残差情報分布を変換するために、ＤＣＴはＤＳＴより効率的である。残りの候補位置について、変換タイプは逆ＤＳＴ又はＤＣＴのいずれかであり得る。例えば、候補位置が左上角より右下角に近いとき、逆ＤＳＴが変換タイプとして利用される。その他の場合、逆ＤＣＴが変換タイプとして利用される。
特定の例として、図１８に示すように、変換ブロックの３個の候補位置が許可されてよい。この場合、位置０は左上角をカバーし、位置２は右下角をカバーする。位置１は、残差ブロックの中央にあり、左及び右角の両方に対して等距離である。変換タイプは、エンコーダにおいて、位置０、位置１、及び位置２のために、それぞれＤＣＴ－８、ＤＳＴ－７、及びＤＳＴ－７として選択できる。逆変換ＤＣＴ－８、ＤＳＴ－７、及びＤＳＴ－７は、次に、デコーダにおいて、それぞれ位置０、位置１、及び位置２として利用できる。別の例では、位置０、位置１、及び位置２のための変換タイプは、エンコーダにおいて、それぞれＤＣＴ－２、ＤＣＴ－２、及びＤＳＴ－７である。逆変換ＤＣＴ－２、ＤＣＴ－２、及びＤＳＴ－７は、次に、デコーダにおいて、それぞれ位置０、位置１、及び位置２として利用できる。このように、対応する候補位置のための変換タイプは予め定めることができる。
幾つかの場合には、上述の位置に依存する複数の変換がルマ変換ブロックのみに適用されてよい。対応するクロマ変換ブロックは、変換／逆変換処理において、常に逆ＤＣＴ－５を使用してよい。
図１９は、残差サンプル水平フリッピングの一例１９００を示す。幾つかの場合には、デコーダにおいて変換ブロック（例えば変換ブロック３０７）を適用する前に、残差ブロック（残差ブロック３０５）内の残差情報を水平方向にフリッピングすることにより、有利な残差圧縮が達成できる。例１９００は、このような水平フリッピングを示す。このコンテキストでは、水平フリッピングは、残差ブロック内の残差サンプルを、残差ブロックの左側と残差ブロックの右側との間で半分だけ軸の周りに回転することを表す。このような水平フリッピングは、エンコーダにおいて変換（例えば、変換ブロック）を適用する前に、及びデコーダにおいて逆変換（例えば、変換ブロック）を適用した後に、生じる。このようなフリッピングは、指定された所定の条件が生じるとき、利用されてよい。
一例では、水平フリッピングは、変換ブロックが変換処理の中でＤＳＴ／逆ＤＳＴを利用するとき、生じる。この場合、残差ブロックの右側の近隣は、現在ブロックの前に符号化／再構成され、左側の近隣は現在ブロックの前に符号化／再構成されない。水平フリッピング処理は、残差ブロックの列ｉにある残差サンプルを、残差ブロックの列ｗ－１－ｉにある残差サンプルと交換する。このコンテキストでは、ｗは変換ブロックの幅であり、ｉ＝０，１，．．．，（ｗ／２）－１である。残差サンプルの水平フリッピングは、残差分布をＤＳＴ変換により適合させることにより、符号化効率を向上し得る。
図２０は、上述のメカニズムを利用する位置依存ＳＶＴによるビデオ復号の例示的な方法２０００のフローチャートである。方法２０００は、ビットストリーム３１１のようなビットストリームを受信すると、デコーダにおいて開始されてよい。方法２０００は、予測ブロック３０３及び変換された残差ブロック３０９のような予測ブロック及び変換された残差ブロックを決定するために、ビットストリームを利用する。方法２０００は、残差ブロック３０５のような残差ブロックを決定するために利用される、変換ブロック３０７のような変換ブロックも決定する。残差ブロック及び予測ブロックは、次に、画像ブロック３０１のような画像ブロックを再構成するために利用される。留意すべきことに、方法２０００は、デコーダの観点から説明されるが、同様の方法がＳＶＴを利用することによりビデオを符号化するために（例えば逆に）利用されてよい。
ブロック２００１で、デコーダにおいてビットストリームが取得される。ビットストリームは、メモリから又はストリーミングソースから受信されてよい。ビットストリームは、エンコーダからのビデオデータに対応する少なくとも１つの画像へと復号できるデータを含む。具体的に、ビットストリームは、メカニズム３００で説明したように、ビットストリームから予測ブロック及び残差ブロックを含む符号化ユニットを決定するために利用できるブロックパーティション情報を含む。このように、符号化ユニットに関連する符号化情報は、ビットストリームからパースでき、符号化ユニットのピクセルは後述のように符号化情報に基づき再構成できる。
ブロック２００３で、予測ブロック及び対応する変換された残差ブロックは、ブロックパーティション情報に基づきビットストリームから取得される。この例では、変換された残差ブロックは、上述のメカニズム３００に関して議論したように、ＳＶＴに従い符号化されている。方法２０００は、次に、後述するように、変換された残差ブロックからサイズｗ×ｈの残差ブロックを再構成する。
ブロック２００５で、ＳＶＴ使用、ＳＶＴのタイプ、及び変換ブロックサイズが決定される。例えば、デコーダは、先ず、ＳＶＴが符号化において使用されているか否かを決定する。これは、幾つかの符号化が残差ブロックのサイズである変換を利用するからである。ＳＶＴの使用は、ビットストリーム内のシンタックス要素によりシグナリングできる。具体的に、残差ブロックがＳＶＴの利用を許可されるとき、ｓｖｔ＿ｆｌａｇのようなフラグがビットストリームからパースされる。変換された残差ブロックがゼロではない変換係数（例えば、任意のルマ又はクロマ成分に対応する）を有するとき、残差ブロックは、ＳＶＴを利用することを許可される。例えば、残差ブロックが任意の残差データを含むとき、残差ブロックはＳＶＴを利用してよい。ＳＶＴフラグは、残差ブロックが残差ブロックと同じサイズの変換ブロックを用いて符号化されたか（例えば、ｓｖｔ＿ｆｌａｇが０に設定される）、又は残差ブロックが残差ブロックより小さいサイズの変換ブロックにより符号化されたか（例えば、ｓｖｔ＿ｆｌａｇが１に設定される）を示す。符号化ブロックフラグ（coded block flag, cbf）は、ＨＥＶＣで使用されるように、残差ブロックが色成分のゼロではない変換係数を含むか否かを示すために利用できる。また、ルート符号化ブロックフラグ（ルートｃｂｆ）は、ＨＥＶＣで使用されるように、残差ブロックが任意の色成分のゼロではない変換係数を含むか否かを示すために利用できる。特定の例として、画像ブロックがインター予測を用いて予測され、残差ブロックの幅及び残差ブロックの高さのいずれかが所定の範囲［ａ１，ａ２］に含まれるとき、るとき、残差ブロックは、ＳＶＴを使用することを許可される。ここで、ａ１＝１６及びａ２＝６４、ａ１＝８及びａ２＝６４、又はａ１＝１６及びａ２＝１２８である。ａ１及びａ２の値は、所定の固定値であり得る。値は、ビットストリーム内のスライスヘッダ又はシーケンスパラメータセット（sequence parameter set, SPS）から導出されてもよい。残差ブロックがＳＶｔを利用しないとき、変換ブロックサイズは、残差ブロックサイズの幅及び高さとして設定される。その他の場合、変換サイズは、ＳＶＴ変換タイプに基づき決定される。
デコーダが、ＳＶＴが残差ブロックのために使用されたことを決定すると、デコーダは、使用されるＳＶＴ変換のタイプを決定し、ＳＶＴタイプに従い変換ブロックサイズを導出する。残差ブロックのために許可されたＳＶＴタイプは、残差ブロックの幅及び高さに基づき決定される。残差ブロックの幅が範囲［ａ１，ａ２］内にある場合、図１６に示すようなＳＶＴ－Ｖ変換が許可される。このような値は上述された。残差ブロックの高さが範囲［ａ１，ａ２］内にある場合、図１６に示すようなＳＶＴ－Ｈ変換が許可される。このような値は上述された。ＳＶＴは、残差ブロック内のルマ成分のみについて使用されてよく、又はＳＶＴは残差ブロック内のルマ及びクロマ成分の両方について使用されてよい。ＳＶＴがルマ成分にのみ使用されるとき、ルマ成分残差情報はＳＶＴにより変換され、クロマ成分は残差ブロックのサイズに従い変換される。ＳＶＴ－Ｖ及びＳＶＴ－Ｈの両方が許可されるとき、ｓｖｔ＿ｔｙｐｅ＿ｆｌａｇのようなフラグがビットストリーム内に符号化されてよい。ｓｖｔ＿ｔｙｐｅ＿ｆｌａｇは、ＳＶＴ－Ｖが残差ブロックのために使用されるか（例えば、ｓｖｔ＿ｔｙｐｅ＿ｆｌａｇが０に設定される）、又はＳＶＴ－Ｈが残差ブロックのために使用されるか（例えば、ｓｖｔ＿ｔｙｐｅ＿ｆｌａｇが１に設定される）を示す。ＳＶＴ変換のタイプが決定されると、変換ブロックサイズは、シグナリングされたＳＶＴタイプに従い設定される（例えば、ＳＶＴ－Ｖではｗ＿ｔ＝ｗ／２及びｈ＿ｔ＝ｈ、ＳＶＴ－Ｈではｗ＿ｔ＝ｗ及びｈ＿ｔ＝ｈ／２）。ＳＶＴ－Ｔのみが許可される又はＳＶＴ－Ｈのみが許可されるとき、ｓｖｔ＿ｔｙｐｅ＿ｆｌａｇはビットストリーム内に符号化されなくてよい。このような場合、デコーダは、許可されたＳＶＴタイプに基づき変換ブロックサイズを推定できる。
ＳＶＴタイプ及びサイズが決定されると、デコーダはブロック２００７に進む。ブロック２００７で、デコーダは、変換のタイプと共に、残差ブロックに対する変換の位置を決定する。変換ブロックの位置は、ビットストリーム内のシンタックス要素に従い決定できる。例えば、位置インデックスは、直接シグナリングされ、したがって、幾つかの例ではビットストリームからパースできる。他の例では、位置は、図５～７に関して議論したように、推定できる。具体的に、変換のための候補位置は、ＣＰＳＳ関数に従い決定できる。ＣＰＳＳ関数は、残差ブロックの幅、残差ブロックの高さ、ブロック２００５で決定されたようなＳＶＴタイプ、変換のステップサイズ、及び／又は変換のカバーする残差ブロックの部分を考慮することにより候補位置を決定できる。デコーダは、次に、上述の図１８に関して議論したように候補位置選択確率に従い正しい候補位置をシグナリングするコードを含むｐインデックスを取得することにより、候補位置から変換ブロック位置を決定できる。上述の図１８に関して議論したように、変換ブロック位置が分かると、デコーダは、変換ブロックにより利用される変換のタイプを推定できる。したがって、エンコーダは、対応する逆変換を選択できる。
ブロック２００９で、デコーダは、ブロック２００５で決定された変換ブロックサイズに基づき、変換ブロックの変換係数をパースする。この処理は、ＨＥＶＣ、Ｈ．２６４、及び／又は高度ビデオ符号化（advance video coding, AVC）において利用される変換係数パースメカニズムに従い達成されてよい。変換係数は、ランレングス符号化及び／又は変換係数グループ（transform coefficient groups, CG）のセットを用いて符号化されてよい。留意すべきことに、ブロック２００９は、幾つかの例ではブロック２００７の前に実行されてよい。
ブロック２０１１で、残差ブロックは、以上で決定されたような変換位置、変換係数、及び変換タイプに基づき再構成される。具体的に、サイズｗ＿ｔ×ｈ＿ｔの逆量子化及び逆変換が、残差ブロックの残差サンプルを復元するために変換係数に適用される。残差サンプルを有する残差ブロックのサイズは、ｗ＿ｔ×ｈ＿ｔである。逆変換は、ブロック２００７で決定された位置に依存する変換タイプに従い、逆ＤＣＴ又は逆ＤＳＴであってよい。残差サンプルは、変換ブロック位置に従い、残差ブロック内の対応する領域に割り当てられる。残差ブロックの内部の及び変換ブロックの外部の任意の残差サンプルは、０に設定されてよい。例えば、ＳＶＴ－Ｖが利用されるとき、候補位置の数は５であり、位置インデックスは５番目の変換ブロック位置を示し、再構成された残差サンプルは変換候補位置１７００（ｅ）にある領域Ａに割り当てられ、領域Ａの左のサイズ（ｗ／２）×ｈの領域は、０個の残差サンプルを有する。
任意的なブロック２０１３で、再構成されたブロックの残差ブロック情報は、図１９に関して議論したように、水平方向にフリッピングされてよい。上述のように、これは、デコーダにおける変換ブロックが逆ＤＳＴを利用し、右側の近隣ブロックが既に再構成されており、左側の近隣が未だ再構成されていないとき生じ得る。具体的に、エンコーダは、符号化効率を向上するために、上述の場合にＤＳＴ変換を適用する前に、残差ブロックを水平方向にフリッピングしてよい。したがって、任意的なブロック２０１３は、正確な再構成ブロックを生成するために、エンコーダにおいて、このような水平フリッピングを修正するために利用されてよい。
ブロック２０１５で、再構成された残差ブロックは、符号化ユニットの部分としてサンプルを含む再構成された画像ブロックを生成するために、予測ブロックにより構成されてよい。フィルタリング処理も、ＨＥＶＣにおけるデブロッキングフィルタ及びサンプル適応オフセット（sample adaptive offset, SAO）処理のように、再構成されたサンプルに適用されてよい。再構成された画像ブロックは、次に、メディア／ビデオファイルのフレームを生成するために、同様の方法で風号された他の画像ブロックと結合されてよい。再構成されたメディアファイルは、次に、モニタ又は他のディスプレイ装置上でユーザに表示されてよい。
留意すべきことに、方法２０００と等価な実装は、残差ブロック内の再構成されたサンプルを生成するために利用できる。具体的に、変換ブロックの残差サンプルは、最初に残差ブロックを復元することなく、変換ブロック位置情報により示される位置において予測ブロックにより直接構成できる。
まとめると、以上の開示は、異なる位置にある変換ブロックに対して複数の変換タイプを適応的に利用するメカニズムを含む。さらに、本開示は、符号化効率をサポートするために残差ブロック内の残差サンプルを水平方向にフリッピングすることを許可する。これは、変換ブロックがエンコーダ及びデコーダにおいてそれぞれＤＳＴ及び逆ＤＳＴを使用するとき、及び右隣ブロックが利用可能であり左隣が利用可能ではないとき、生じる。さらに、本開示は、残差ブロックに関連付けられたインター予測に基づくビットストリーム内の位置情報の符号化をサポートするメカニズムを含む。
追加の実施形態は、以下の例で分かる。
例１。コンピューティング装置で実施される方法であって、前記方法は、
前記コンピューティング装置のプロセッサにおいて、ビットストリームを受信するステップであって、前記ビットストリームは、前記コンピューティング装置のメモリに格納され、前記コンピューティング装置の受信機を介して受信される、ステップと、
前記プロセッサにおいて、前記ビットストリームから、予測ブロック及び対応する変換された残差ブロックを受信するステップと、
前記プロセッサにより、前記変換された残差ブロックを生成するために利用された空間変化変換（spatial varying transform, SVT）変換のタイプを決定するステップと、
前記プロセッサにより、前記変換された残差ブロックに対する前記ＳＶＴ変換の位置を決定するステップと、
前記プロセッサにより、再構成された残差ブロックを生成するために、前記変換された残差ブロックに前記ＳＶＴ変換の逆を適用するステップと、
前記プロセッサにより、モニタ上での表示のために、画像ブロックを性構成するために、前記予測ブロックにより前記再構成された残差ブロックを構成するステップと、を含む方法。
例２。前記ＳＶＴ変換の前記タイプは、ＳＶＴ垂直（SVT vertical, SVT－V）タイプ又はＳＶＴ水平（SVT horizontal, SVT－H）タイプであり、前記ＳＶＴ－Ｖタイプは前記変換された残差ブロックの高さと等しい高さ及び前記変換された残差ブロックの幅の半分の幅を含み、前記ＳＶＴ－Ｈタイプは前記変換された残差ブロックの高さの半分の高さ及び前記変換された残差ブロックの幅と等しい幅を含む、例１の方法。
例３。ＳＶＴ変換の前記タイプは、前記ビットストリームからｓｖｔ＿ｔｙｐｅ＿ｆｌａｇをパースすることにより、決定される、例１～２のいずれか１つの方法。
例４。ＳＶＴ変換の前記タイプは、前記残差ブロックに対して１種類ののみのＳＶＴ変換が許可されているとき、前記プロセッサにより、推定により決定される、例１～３のいずれか１つの方法。
例５。前記ＳＶＴ変換の前記位置は、前記プロセッサにより、前記ビットストリームから位置インデックスをパースすることにより決定される、例１～４のいずれか１つの方法。
例６。前記位置インデックスは、候補位置ステップサイズ（candidate position step size, CPSS）に従い決定された候補位置のセットからの前記位置を示すバイナリコードを含む、例１～５のいずれか１つの方法。
例７。前記ＳＶＴ変換の最も有望な位置は、前記位置インデックスを示すバイナリコードの中の最小ビット数が割り当てられる。
例８。前記ＳＶＴ変換の前記位置は、単一の候補位置が前記ＳＶＴ変換のために利用可能なとき、前記プロセッサにより推定される、例１～７のいずれか１つの方法。
例９。前記ＳＶＴ変換の前記位置は、前記残差ブロックがインター予測モードにおけるテンプレートマッチングにより生成されたとき、前記プロセッサにより推定される、例１～８のいずれか１つの方法。
例１０。前記プロセッサにより、前記ＳＶＴ変換の前記位置に基づき、前記ＳＶＴ変換の逆を決定するステップを更に含む例１～９のいずれか１つの方法。
例１１。前記プロセッサにより、逆離散サイン変換（Discrete Sine Transform, DST）が、残差ブロックの左境界に位置するＳＶＴ垂直（SVT vertical, SVT－V）タイプ変換のために利用され、
逆ＤＳＴが、前記プロセッサにより、前記残差ブロックの上境界に位置するＳＶＴ水平（SVT horizontal, SVT－H）タイプ変換のために利用され、
逆離散コサイン変換（Discrete Cosine Transform, DCT）が、前記プロセッサにより、前記残差ブロックの右境界に位置するＳＶＴ－Ｖタイプ変換のために利用され、
又は、逆ＤＣＴが、前記プロセッサにより、前記残差ブロックの下境界に位置するＳＶＴ－Ｈタイプ変換のために利用される、例１～１０のいずれか１つの方法。
例１２。前記プロセッサにより、前記再構成された残差ブロックに関連付けられた符号化ユニットの右隣が再構成されており、前記符号化ユニットの左隣が再構成されていないとき、前記再構成された残差ブロックを前記予測ブロックにより構成する前に、前記再構成された残差ブロック内のサンプルを水平方向にフリッピングするステップを更に含む例１～１１のいずれか１つの方法。
例１３。コンピューティング装置において実施される方法であって、前記方法は、
前記コンピューティング装置のプロセッサにおいて、ビデオキャプチャ装置からビデオ信号を受信するステップであって、前記ビデオ信号は画像ブロックを含む、ステップと、
前記プロセッサにより、前記画像ブロックを表すために、予測ブロック及び残差ブロックを生成するステップと、
前記プロセッサにより、空間変化変換（spatial varying transform, SVT）変換を利用して、前記残差ブロックを変換された残差ブロックに変換するステップと、
前記プロセッサにより、ビットストリーム内で前記ＳＶＴ変換のタイプを示すステップと、
前記プロセッサにより、前記ビットストリーム内で前記ＳＶＴ変換の位置を示すステップと、
前記プロセッサにより、デコーダによる使用のために、前記予測ブロック及び前記変換された残差ブロックを前記ビットストリームの中に符号化するステップであって、前記ビットストリームは、送信機による前記デコーダへの伝送のために、前記コンピューティング装置のメモリに格納される、ステップと、を含む方法。
例１４。前記ＳＶＴ変換の前記タイプは、ＳＶＴ垂直（SVT vertical, SVT－V）タイプ又はＳＶＴ水平（SVT horizontal, SVT－H）タイプであり、前記ＳＶＴ－Ｖタイプは前記残差ブロックの高さと等しい高さ及び前記残差ブロックの幅の半分の幅を含み、前記ＳＶＴ－Ｈタイプは前記残差ブロックの高さの半分の高さ及び前記残差ブロックの幅と等しい幅を含む、例１３の方法。
例１５。前記ＳＶＴ変換の前記位置は、位置インデックスの中に符号化される、例１３～１４のいずれか１つの方法。
例１６。前記位置インデックスは、候補位置ステップサイズ（candidate position step size, CPSS）に従い決定された候補位置のセットからの前記位置を示すバイナリコードを含む、例１３～１５のいずれか１つの方法。
例１７。前記ＳＶＴ変換の最も有望な位置は、前記位置インデックスを示すバイナリコードの中の最小ビット数として割り当てられる、例１３～１６のいずれか１つの方法。
例１８。前記プロセッサにより、前記ＳＶＴ変換の前記位置に基づき、前記ＳＶＴ変換のための変換アルゴリズムを選択するステップを更に含む例１３～１７のいずれか１つの方法。
例１９。前記プロセッサにより、離散サイン変換（Discrete Sine Transform, DST）アルゴリズムが、残差ブロックの左境界に位置するＳＶＴ垂直（SVT vertical, SVT－V）タイプ変換のために利用され、
ＤＳＴアルゴリズムが、前記プロセッサにより、前記残差ブロックの上境界に位置するＳＶＴ水平（SVT horizontal, SVT－H）タイプ変換のために選択され、
離散コサイン変換（Discrete Cosine Transform, DCT）アルゴリズムが、前記プロセッサにより、前記残差ブロックの右境界に位置するＳＶＴ－Ｖタイプ変換のために選択され、
又は、ＤＣＴアルゴリズムが、前記プロセッサにより、前記残差ブロックの下境界に位置するＳＶＴ－Ｈタイプ変換のために選択される、例１３～１８のいずれか１つの方法。
例２０。前記残差ブロックに関連付けられた符号化ユニットの右隣が符号化されており、前記符号化ユニットの左隣が再構成されていないとき、前記プロセッサにより、前記残差ブロックを前記変換された残差ブロックに変換する前に、前記プロセッサにより、前記残差ブロック内のサンプルを水平方向にフリッピングするステップを更に含む例１３～１９のいずれか１つの方法。
以下の文献は参照により組み込まれる：C. Zhang, K. Ugur, J. Lainema, A. Hallapuro and M. Gabbouj, “Video Coding Using Spatially Varying Transform”, IEEE Trans. Image Process., vol. ２１, no.２, Feb. ２０１１, pp.１２７－１４０。
本開示は、別の改良されたＳＶＴ方式を更に導入する。改良点は、ＳＶＴブロックの水平変換のタイプ及び垂直変換のタイプが、ＳＶＴタイプ及びＳＶＴブロック位置に基づき決定されることである。水平変換は、垂直変換と異なり得る。これまでは、ＳＶＴブロックの水平変換のタイプ及び垂直変換のタイプは、ＳＶＴブロック位置のみに基づき決定され、常に同じである。
第１の実施形態は、残差ブロックの復号の処理を説明した。ビデオデータの少なくとも１つのピクチャを含むビットストリームが復号される。ピクチャは、複数の長方形画像領域に分けられ、各領域は符号化木ユニット（Coding Tree Unit, CTU）に対応する。ＣＴＵは、ビットストリームに含まれるブロックパーティション情報に従い、ＨＥＶＣにおける符号化ユニットのような複数のブロックに分けられる。ブロックの符号化情報は、ビットストリームからパースされ、ブロックのピクセルは符号化情報に基づき再構成される。
本実施形態では、ＳＶＴは、インター予測されたブロックのために使用されるよう制限される。ＳＶＴは、イントラ予測されたブロックのためにも使用されてよい。更に高度な方法では、ＳＶＴは、特定のインター予測方法（例えば、並進移動モデルに基づく動き補償）を用いるブロックに許可されてよいが、他のインター予測方法（例えば、アフィンモデルに基づく動き補償）を用いるブロックには許可されない。別の例では、ＳＶＴは、マージモード又は１／４ペル動きベクトル差精度を有する高度動きベクトル予測（advanced motion vector prediction, AMVP）モードを用いる予測ブロックのために許可されるが、アフィンマージモード、アフィンインターモード、又は１ペル若しくは４ペル動きベクトル差精度を有するＡＭＶＰモードを用いる予測ブロックについては許可されなくてよい。別の例では、ＳＶＴは、２より小さいマージインデックスを有するマージモードを用いる予測ブロックについて許可されるが、２より小さくないマージインデックスを有するマージモードを用いる予測ブロックについて許可されなくてよい。マージモード及びＡＭＶＰモードは、Ｈ．２６５／ＨＥＶＣ標準において参照され得る。アフィンマージモード及びアフィンインターモードは、共同ビデオ探索チーム（Joint Video Exploration Team, JVET）による共同探索モデル（Joint Exploration Model, JEM）コーデックにおいて参照され得る。
一例では、ブロックは、符号化ユニットを表してよい。ここで、符号化ユニットは、１個の予測ブロック及び１個の残差ブロックを含んでよい。予測ブロックは、符号化ユニットの全部の予測サンプルを含んでよく、残差ブロックは、符号化ユニットの全部の残差サンプルを含んでよく、予測ブロックは残差ブロックと同じサイズである。別の例では、ブロックは符号化ユニットを表してよく、符号化ユニットは、２個の予測ブロック及び１個の残差ブロックを含んでよく、各予測ブロックは符号化ユニットの予測サンプルの一部を含んでよく、残差ブロックは符号化ユニットの全部の残差サンプルを含んでよい。別の例では、ブロックは、符号化ユニットを表してよい。符号化ユニットは、２個の予測ブロック及び４個の残差ブロックを含んでよい。符号化ユニット内の残差ブロックのパーティションパターンは、ＨＥＶＣにおける残差４分木（Residual Quad－Tree, RQT）のように、ビットストリーム内でシグナリングされてよい。
ブロックは、画像サンプル（又はピクセル）のＹ成分のみを含んでよく、又は画像サンプルのＹ、Ｕ、及びＶ成分を含んでよい。
サイズｗ×ｈの残差ブロックＲｏは、以下のステップにより再構成できる。
ステップ１。残差ブロックＲｏの変換ブロックサイズを決定する。
ステップ１．１。シンタックス要素に従い、ＳＶＴの使用を決定する。ＳＶＴを使用することを許可された残差ブロックについて、残差ブロックがＹ成分のゼロではない変換係数を有する（又は任意の色成分のゼロではない変換係数を有する）場合、フラグ（つまりｓｖｔ＿ｆｌａｇ）がビットストリームからパースされる。フラグは、残差ブロックが残差ブロックと同じサイズの変換ブロックを用いて符号化されたか（例えば、ｓｖｔ＿ｆｌａｇ＝０）、又は残差ブロックが残差ブロックより小さいサイズの変換ブロックにより符号化されたか（例えば、ｓｖｔ＿ｆｌａｇ＝１）を示す。ブロックが色成分のゼロではない変換係数を有するか否かは、ＨＥＶＣにおいて使用されるような符号化ブロックフラグ（coded block flag, cbf）により示されてよい。ブロックが任意の色成分のゼロではない変換係数を有するか否かは、ＨＥＶＣにおいて使用されるようなルート符号化ブロックフラグ（ルートｃｂｆ）により示されてよい。
一例では、ブロックは、以下の条件が満たされる場合に、ＳＶＴを使用することを許可される。
１）ブロックがインター予測を用いて予測される。
２）ブロック幅又ブロック幅又はブロック高さのいずれかが、所定の範囲［ａ１，ａ２］に含まれる。例えば、ａ１＝１６及びａ２＝６４、又はａ１＝８及びａ２＝６４、又はａ１＝１６及びａ２＝１２８。ａ１及びａ２の値は、固定値であり得る。値は、シーケンスパラメータセット（sequence parameter set, SPS）又はスライスヘッダからも導出できる。
別の例では、ブロックは、以下の条件が満たされる場合に、ＳＶＴを使用することを許可される。
１）ブロックが、閾（例えば、１又は２又は３）より小さいマージインデックスを有するマージモードを用いて、又は１／４ペル動きベクトル差精度を有するＡＭＶＰモードを用いて予測される。
２）ブロック幅又ブロックの１つの次元が、所定の範囲［ａ１，ａ２］内に含まれ、ブロックの他の次元が閾ａ３より大きくない。例えば、ａ１＝８、ａ２＝３２、及びａ３＝３２。パラメータａ１は、最小変換サイズの２倍として設定されてよく、ａ２及びａ３は両方とも最大変換サイズとして設定されてよい。ａ１、ａ２、及びa３の値は、固定値であり得る。値は、シーケンスパラメータセット（sequence parameter set, SPS）又はスライスヘッダからも導出できる。
ブロックがＳＶＴを使用しない場合、変換ブロックサイズはｗ×ｈとして設定される。その他の場合、変換サイズを決定するために、ステップ１．２が適用される。
ステップ１．２。シンタックス要素に従いＳＶＴのタイプを決定し、ＳＶＴタイプに従い変換ブロックサイズを導出する。残差ブロックのために許可されたＳＶＴタイプは、残差ブロックの幅及び高さに基づき決定される。ｗが範囲［ａ１，ａ２］に含まれ、ｈがａ３より大きくない場合に、ＳＶＴ－Ｖが許可される。ｈが範囲［ａ１，ａ２］にあり、ｗがａ３より大きくない場合に、ＳＶＴ－Ｈが許可される。ＳＶＴはＹ成分のためにのみ使用されてよく、又は３つ全部の成分のために使用されてよい。ＳＶＴがＹ成分にのみ使用されるとき、Ｙ成分残差はＳＶＴにより変換され、Ｕ及びＶ成分は残差ブロックのサイズに従い変換される。
ＳＶＴ－Ｖ及びＳＶＴ－Ｈの両方が許可されるとき、残差ブロックのためにＳＶＴ－Ｖが使用されるか（例えば、ｓｖｔ＿ｔｙｐｅ＿ｆｌａｇ＝０）、又は残差ブロックのためにＳＶＴ－Ｈが使用されるか（例えば、ｓｖｔ＿ｔｙｐｅ＿ｆｌａｇ＝１）を示す１つのフラグ（つまりｓｖｔ＿ｔｙｐｅ＿ｆｌａｇ）がビットストリームからパースされ、変換ブロックサイズはシグナリングされたＳＶＴタイプに従い設定される（つまり、ＳＶＴ－Ｖではｗ＿ｔ＝ｗ／２及びｈ＿ｔ＝ｈ、ＳＶＴ－Ｈではｗ＿ｔ＝ｗ及びｈ＿ｔ＝ｈ／２）。ＳＶＴ－Ｖのみが許可される又はＳＶＴ－Ｈのみが許可されるとき、ｓｖｔ＿ｔｙｐｅ＿ｆｌａｇはビットストリームからパースされず、変換ブロックサイズは許可されたＳＶＴタイプに従い設定される。
ステップ２。シンタックス要素に従い変換ブロック位置を決定し、ＳＶＴのタイプ及び変換ブロック位置情報に基づき変換ブロックの変換タイプを決定する。
ステップ２．１。シンタックス要素に従い、変換ブロック位置を決定する。
位置インデックスＰは、ビットストリームからパースされ、残差ブロックの左上角に対する変換ブロックの左上角の位置オフセットＺは、Ｚ＝ｓ×Ｐとして決定される。ここで、ｓは候補位置ステップサイズ（candidate position step size, CPSS）である。ＳＶＴ－Ｖが使用される場合、Ｐの値は、０，１，．．．，（ｗ－ｗ＿ｔ）／ｓの間であり、ＳＶＴ－Ｈが使用される場合、Ｐの値は、０，１，．．．，（ｈ－ｈ＿ｔ）／ｓの間である。より具体的には、（０，０）が残差ブロックの左上角の座標を表すとすると、変換ブロックの左上角の座標は、ＳＶＴ－Ｖでは（Ｚ，０）であり、ＳＶＴ－Ｈでは（０，Ｚ）である。
一例では、ＣＰＳＳは、ＳＶＴ－Ｖではｓ＝ｗ／Ｍ１として、又はＳＶＴ－Ｈではｓ＝ｈ／Ｍ２として計算される。ここで、ｗ及びｈはそれぞれ残差ブロックの幅及び高さであり、Ｍ１及びＭ２は２～８の範囲の所定の整数である。より多くの候補位置は、より大きいＭ１又はＭ２の値により許可される。本例では、Ｍ１及びＭ２は両方とも８に設定される。したがって、Ｐの値は０～４の間である。候補位置は、図２１に示される。
別の例では、ＣＰＳＳは、ＳＶＴ－Ｖではｓ＝ｍａｘ（ｗ／Ｍ１，Ｔｈ１）として、又はＳＶＴ－Ｈではｓ＝ｍａｘ（ｈ／Ｍ２，Ｔｈ２）として計算される。ここで、Ｔｈ１及びＴｈ２は最小ステップサイズを指定する所定の整数である。Ｔｈ１及びＴｈ２は２以上の整数である。この例では、Ｔｈ１及びＴｈ２は４として設定され、Ｍ１及びＭ２は８として設定される。この例では、異なるブロックサイズは異なる数の候補位置を有してよい。例えば、ｗ＝８のとき、２個の候補位置（図２１（ａ）及び図２１（ｅ）により示される）が選択のために利用可能であり、ｗ＝１６のとき、３個の候補位置（図２１（ａ）、図２１（ｃ）及び図２１（ｅ）により示される）が選択のために利用可能であり、ｗ＞１６のとき、５個の位置が選択のために利用可能である。
別の例では、ＣＰＳＳは、ＳＶＴ－Ｖではｓ＝ｗ／Ｍ１として、又はＳＶＴ－Ｈではｓ＝ｈ／Ｍ２として計算される。ここで、Ｍ１及びＭ２は４として設定される。したがって、３個の候補位置が許可される。
別の例では、ＣＰＳＳは、ＳＶＴ－Ｖではｓ＝ｗ／Ｍ１として、又はＳＶＴ－Ｈではｓ＝ｈ／Ｍ２として計算される。ここで、Ｍ１及びＭ２は２として設定される。したがって、２個の候補位置が許可される。
別の例では、ＣＰＳＳは、ＳＶＴ－Ｖではｓ＝ｍａｘ（ｗ／Ｍ１，Ｔｈ１）として、又はＳＶＴ－Ｈではｓ＝ｍａｘ（ｈ／Ｍ２，Ｔｈ２）として設定される。ここで、Ｔ１及びＴ２は２として設定され、Ｍ１は、ｗ≧ｈならば８として設定され、ｗ＜ｈならば４として設定され、Ｍ２は、ｈ≧ｗならば８として設定され、ｈ＜ｗならば４として設定される。この場合、ＳＶＴ－Ｈ又はＳＶＴ－Ｖの候補位置の数は、残差ブロックのアスペクト比に更に依存してよい。
別の例では、ＣＰＳＳは、ＳＶＴ－Ｖではｓ＝ｍａｘ（ｗ／Ｍ１，Ｔｈ１）として、又はＳＶＴ－Ｈではｓ＝ｍａｘ（ｈ／Ｍ２，Ｔｈ２）として計算される。ここで、Ｍ１、Ｍ２、Ｔｈ１及びＴｈ２の値ビットストリーム内の高レベルシンタックス構造（例えば、シーケンスパラメータセット）から導出される。Ｍ１及びＭ２は、シンタックス要素からパースされた同じ値を共有してよく、Ｔｈ１及びＴｈ２は、別のシンタックス要素からパースされた同じ値を共有してよい。
位置インデックスＰは、切り捨てられた単進符号を用いて、１つ以上のビンへと２値化されてよい。例えば、Ｐ値が０～４の範囲にある場合、Ｐ値０、４、２、３、及び１は、それぞれ０、０１、００１、０００１、及び００００として２値化され、Ｐ値が範囲～～１の範囲にある場合、Ｐ値０及び１は、それぞれ０及び１として２値化される。
位置インデックスＰは、１つの最も有望な位置及び幾つかの残りの位置を使用することにより、１つ以上のビンへと２値化されてよい。左及び上の近隣が利用可能であるとき、最も有望な位置は、残差ブロックの右下角をカバーする位置として設定されてよい。一例では、Ｐ値が０～４の範囲にあり、位置４が最も有望な位置として設定される場合、Ｐ値４、０、１、２、及び３は、それぞれ１、０００、００１、０１０、及び０１１として２値化され、Ｐ値が範囲～～２の範囲にあり、位置２が最も有望な位置として設定される場合、Ｐ値２、０及び１は、それぞれ１、０１、及び００として２値化される。
ステップ２．２。ＳＶＴのタイプ及び変換ブロック位置情報に基づき、変換ブロックの変換タイプを決定する。変換タイプは、２Ｄ分離可能変換の水平変換及び垂直変換を含む。
図２２に示されるような３個の候補位置が許可される場合を一例として取り上げる。位置０は左上角をカバーし、位置２は右下角をカバーする。位置１は、残差ブロックの中央にある。図２２に示されるように、ＳＶＴ－Ｔ及びＳＶＴ－Ｈの両方について、３つの位置がある。
２次元変換は、１次元の水平変換及び垂直変換に分離可能であってよい。残差を変換係数へと換える順方向２Ｄ変換は、ＪＥＭコーデックにおいて実施されるように、先ず、ブロックＴＡを生成するために残差ブロックに対して水平変換を適用し、次に、変換係数ブロックを生成するためにブロックＴＡに対して垂直変換を適用することにより、実現されてよい。したがって、変換係数を残差に換える逆２Ｄ変換は、ＪＥＭコーデックにおいて実施されるように、先ず、変換係数ブロックに逆垂直変換を適用してブロックＴＢを生成し、次に、ブロックＴＢに逆水平変換を適用して残差ブロックを生成することにより、実現されてよい。
一例では、表１にリストされるように、ＳＶＴ－Ｖ位置０の水平及び垂直変換はＤＣＴ－８及びＤＳＴ－７であり、ＳＶＴ－Ｖ位置１の水平及び垂直変換はＤＳＴ－１及びＤＳＴ－７であり、ＳＶＴ－Ｖ位置２の水平及び垂直変換はＤＳＴ－７及びＤＳＴ－７であり、ＳＶＴ－Ｈ位置０の水平及び垂直変換はＤＳＴ－７及びＤＣＴ－８であり、ＳＶＴ－Ｈ位置１の水平及び垂直変換はＤＳＴ－７及びＤＳＴ－１であり、ＳＶＴ－Ｈ位置２の水平及び垂直変換はＤＳＴ－７及びＤＳＴ－７である。本例では、ＳＶＴ－Ｖの垂直変換及びＳＶＴ－Ｈの水平変換は、ＤＳＴ－７に設定され、他方の変換はＳＶＴ位置に基づく。
表１：異なるＳＶＴタイプ及び位置の１Ｄ垂直及び水平変換の一例
Figure 0007087071000001
 代替の実装方法では、本開示を通じて、ＤＳＴ－７はＤＳＴ－４で置き換えられてよく、ＤＣＴ－８はＤＣＴ－４で置き換えられてよい。したがって、一例では、表１にリストされるように、ＳＶＴ－Ｖ位置０の水平及び垂直変換はＤＣＴ－４及びＤＳＴ－４であり、ＳＶＴ－Ｖ位置１の水平及び垂直変換はＤＳＴ－１及びＤＳＴ－４であり、ＳＶＴ－Ｖ位置２の水平及び垂直変換はＤＳＴ－４及びＤＳＴ－４であり、ＳＶＴ－Ｈ位置０の水平及び垂直変換はＤＳＴ－４及びＤＣＴ－４であり、ＳＶＴ－Ｈ位置１の水平及び垂直変換はＤＳＴ－４及びＤＳＴ－１であり、ＳＶＴ－Ｈ位置２の水平及び垂直変換はＤＳＴ－４及びＤＳＴ－４である。本例では、ＳＶＴ－Ｖの垂直変換及びＳＶＴ－Ｈの水平変換は、ＤＳＴ－４として設定され、他方の変換はＳＶＴ位置に基づく。
表１’：異なるＳＶＴタイプ及び位置の１Ｄ垂直及び水平変換の一例
Figure 0007087071000002
別の例では、異なるＳＶＴタイプ及び位置の水平変換及び垂直変換は、表２にリストされる。本例では、ＳＶＴ－Ｖの垂直変換及びＳＶＴ－Ｈの水平変換は、ＤＣＴ－２として設定され、他方の変換はＳＶＴ位置に基づく。
表２：異なるＳＶＴタイプ及び位置の１Ｄ垂直及び水平変換の一例
Figure 0007087071000003
代替の実装方法では、本開示を通じて、ＤＳＴ－７はＤＳＴ－４で置き換えられてよく、ＤＣＴ－８はＤＣＴ－４で置き換えられてよい。したがって、
表２’：異なるＳＶＴタイプ及び位置の１Ｄ垂直及び水平変換の一例
Figure 0007087071000004
別の例では、異なるＳＶＴタイプ及び位置の水平変換及び垂直変換は、表３にリストされる。本例では、水平変換及び垂直変換は、ＳＶＴ位置によってのみ決定される。
表３：異なるＳＶＴタイプ及び位置の１Ｄ垂直及び水平変換の一例
Figure 0007087071000005
代替の実装方法では、本開示を通じて、ＤＳＴ－７はＤＳＴ－４で置き換えられてよく、ＤＣＴ－８はＤＣＴ－４で置き換えられてよい。したがって、
表３’：異なるＳＶＴタイプ及び位置の１Ｄ垂直及び水平変換の一例
Figure 0007087071000006
別の例では、異なるＳＶＴタイプ及び位置の水平変換及び垂直変換は、表４にリストされる。
表４：異なるＳＶＴタイプ及び位置の１Ｄ垂直及び水平変換の一例
Figure 0007087071000007
代替の実装方法では、本開示を通じて、ＤＳＴ－７はＤＳＴ－４で置き換えられてよく、ＤＣＴ－８はＤＣＴ－４で置き換えられてよい。したがって、
表４’：異なるＳＶＴタイプ及び位置の１Ｄ垂直及び水平変換の一例
Figure 0007087071000008
別の例では、異なるＳＶＴタイプ及び位置の水平変換及び垂直変換は、表５にリストされる。
表５：異なるＳＶＴタイプ及び位置の１Ｄ垂直及び水平変換の一例
Figure 0007087071000009
代替の実装方法では、本開示を通じて、ＤＳＴ－７はＤＳＴ－４で置き換えられてよく、ＤＣＴ－８はＤＣＴ－４で置き換えられてよい。したがって、
表５’：異なるＳＶＴタイプ及び位置の１Ｄ垂直及び水平変換の一例
Figure 0007087071000010
別の例では、異なるＳＶＴタイプ及び位置の水平変換及び垂直変換は、表６にリストされる。
表６：異なるＳＶＴタイプ及び位置の１Ｄ垂直及び水平変換の一例
Figure 0007087071000011
代替の実装方法では、本開示を通じて、ＤＳＴ－７はＤＳＴ－４で置き換えられてよく、ＤＣＴ－８はＤＣＴ－４で置き換えられてよい。したがって、
表６’：異なるＳＶＴタイプ及び位置の１Ｄ垂直及び水平変換の一例
Figure 0007087071000012
位置に依存する複数の変換は、ルマ変換ブロックのみに適用されてよく、対応するクロマ変換ブロックは、逆変換処理において常に逆ＤＣＴ－２を使用する。
ステップ３。変換ブロックサイズに基づき、変換ブロックの変換係数をパースする。
これは、ＨＥＶＣ又はＨ．２６４／ＡＶＣにおける変換係数パースのようなビデオ復号において一般的に使用される処理である。変換係数は、ランレングス符号化を用いて符号化される、又は変換係数グループ（transform coefficient groups, CG）のセットのようにより高度に符号化されてよい。
ステップ３はステップ２の前に行われてよい。
ステップ４。変換係数及び変換ブロック位置及び逆変換のタイプに基づき、残差ブロックＲｏを再構成する。
サイズｗ＿ｔ×ｈ＿ｔの逆量子化及び逆変換が、残差サンプルを復元するために変換係数に適用される。残差サンプルのサイズはｗ＿ｔ×ｈ＿ｔであり、これは変換ブロックサイズと同じである。逆変換は２Ｄ分離可能変換である。量子化された変換係数ブロックは、先ず、逆垂直変換により変換されて、ブロックＴＣを生成し、次に、ブロックＴＣは逆水平変換により変換される。ここで、逆水平変換及び逆垂直変換は、ステップ２．２において、変換ブロック位置に基づき、又は変換ブロック位置と変換ブロックのＳＶＴタイプとの両方に基づき決定される。
残差サンプルは、変換ブロック位置に従い、残差ブロックＲｏ内の対応する領域に割り当てられ、残差ブロック内の残りのサンプルは０に設定される。例えば、ＳＶＴ－Ｖが利用され候補位置の数が５であり、位置インデックスが４である場合、再構成された残差サンプルは、図２１（ｅ）の領域Ａに割り当てられ、領域Ａの左へサイズ（ｗ／２）×ｈの領域は０の残差を有する。
ステップ１～ステップ４を行った後、再構成された残差ブロックは、符号化ユニット内の再構成されたサンプルを生成するために、予測ブロックにより構成されてよい。フィルタリング処理は、ＨＥＶＣにおけるデブロッキングフィルタ及びサンプル適応オフセット（sample adaptive offset, SAO）処理のように、後に再構成されたサンプルに適用されてよい。
既存のソリューションと異なり，本発明のソリューションは、ＳＶＴタイプ及び位置情報に基づき、変換ブロックについて複数の変換タイプを適用的に使用する。
本開示は、改良されたＳＶＴ方式を導入する。図２３に示すように、ＳＶＴーＨ及びＳＶＴ－Ｖとして示される２種類のＳＶＴブロックが残差符号化のために使用される。これらは（１）ＳＶＴ－Ｖ：ｗ＿ｔ＝ｗ／２及びｈ＿ｔ＝ｈ、（２）ＳＶＴ－Ｈ：ｗ＿ｔ＝ｗ及びｈ＿ｔ＝ｈ／２である。
ＳＶＴ－ＶはＳＶＴ－ＩＩと同様であり、ＳＶＴ－ＨはＳＶＴ－ＩＩＩと同様である。ＳＶＴ－ＩＩ及びＳＶＴ－ＩＩＩと比べて、ＳＶＴ－Ｖ及びＳＶＴ－Ｈにおける変換ブロックは、残差ブロックの半分にまで拡大され、残差ブロック内のより多くの残差をカバーできる。ＳＶＴ－ＩＩ又はＳＶＴ－ＩＩＩはＳＶＴ－Ｖ又はＳＶＴ－Ｈを置き換えるために使用されてよいことに留意する。
候補位置は、候補位置ステップサイズ（Candidate Position Step Size, CPSS）により決定される。したがって、候補位置は、ＣＰＳＳにより指定された等間隔で離される。異なる実施形態では、候補位置の数は、わずか５にまで削減される。これは、最良の変換ブロック位置を決定するために、位置情報のオーバヘッド及びエンコーダの複雑性を軽減する。
ＣＰＳＳは、２つの隣接する候補位置の間の距離を示し（例えば、［１］の中の１）、残差ブロックの幅又は高さに基づき計算される。より具体的には、ＳＶＴ－Ｖの候補位置ステップサイズは、ｈ＿ｂ＝ｍａｘ（ｗ／Ｍ１，Ｔｈ１）として決定される。ここで、Ｍ１及びＴｈ１は所定の整数であり、ｍａｘ（ａ，ｂ）は、ａとｂの間の最大値を選択する演算である。同様に、ＳＶＴ－Ｈの候補位置ステップサイズは、ｗ＿ｂ＝ｍａｘ（ｗ／Ｍ２，Ｔｈ２）として決定される。ここで、Ｍ２及びＴｈ２は所定の整数である。Ｍ１及びＭ２は、２と８の間の整数である。例えば、Ｍ１＝Ｍ２＝８、又はＭ１＝Ｍ２＝４、又はＭ１＝Ｍ２＝２。Ｔｈ１及びＴｈ２は２以上の整数である。Ｍ１、Ｍ２、Ｔｈ１及びＴｈ２は固定値として設定でき、又はそれらはビットストリーム内の高レベルシンタックス構造（例えば、シーケンスパラメータセット）から導出できる。
ＳＶＴ情報（例えば、残差ブロックについてのＳＶＴの使用、ＳＶＴのタイプ、及び変換ブロックの位置）の符号化は、［１］のものと異なり、残差ブロックの変換係数を分析することにより更に改良される。
ＳＶＴ－Ｖ：ｗ＿ｔ＝ｗ／２及びｈ＿ｔ＝ｈの場合には、ＳＶＴ情報は、復号された変換係数から部分的に導出されてよい。一例では、位置情報は、変換係数レベルの和から導出されてよい。別の例では、ＳＶＴタイプ情報は、変換係数の第１グループ（例えば、スキャン順に最初の１６個の係数）の和から導出され、位置情報は、変換係数の第２グループ（例えば、変換ブロックの中の残りの係数）の和から導出される。
ＳＶＴ－Ｈ：ｗ＿ｔ＝ｗ及びｈ＿ｔ＝ｈ／２の場合には、候補位置の数は、変換係数情報に従い決定され、位置情報は候補位置の数に基づき復号される。
実施形態１。
本実施形態は、残差ブロックの復号の処理を説明する。ビデオデータの少なくとも１つのピクチャを含むビットストリームが復号される。ピクチャは、複数の長方形画像領域に分けられ、各領域は符号化木ユニット（Coding Tree Unit, CTU）に対応する。ＣＴＵは、ビットストリームに含まれるブロックパーティション情報に従い、高効率ビデオ符号化（High Efficiency Video Coding, HEVC）における符号化ユニットのような複数のブロックに分けられる。ブロックの符号化情報は、ビットストリームからパースされ、ブロックのピクセルは符号化情報に基づき再構成される。
本実施形態では、ＳＶＴは、インター予測されたブロックのために使用されるよう制限される。ＳＶＴは、イントラ予測されたブロックのためにも使用されてよい。更に高度な方法では、ＳＶＴは、特定のインター予測方法（例えば、並進移動モデルに基づく動き補償）を用いるブロックに許可されてよいが、他のインター予測方法（例えば、アフィンモデルに基づく動き補償）を用いるブロックには許可されない。
一例では、ブロックは、符号化ユニットを表してよい。ここで、符号化ユニットは、１個の予測ブロック及び１個の残差ブロックを含んでよい。予測ブロックは、符号化ユニットの全部の予測サンプルを含んでよく、残差ブロックは、符号化ユニットの全部の残差サンプルを含んでよく、予測ブロックは残差ブロックと同じサイズである。別の例では、ブロックは符号化ユニットを表してよく、符号化ユニットは、２個の予測ブロック及び１個の残差ブロックを含んでよく、各予測ブロックは符号化ユニットの予測サンプルの一部を含んでよく、残差ブロックは符号化ユニットの全部の残差サンプルを含んでよい。別の例では、ブロックは、符号化ユニットを表してよい。符号化ユニットは、２個の予測ブロック及び４個の残差ブロックを含んでよい。符号化ユニット内の残差ブロックのパーティションパターンは、ＨＥＶＣにおける残差４分木（Residual Quad－Tree, RQT）のように、ビットストリーム内でシグナリングされてよい。
ブロックは、画像サンプル（又はピクセル）のＹ成分のみを含んでよく、又は画像サンプルのＹ、Ｕ、及びＶ成分を含んでよい。
サイズｗ×ｈの残差ブロックＲｏは、以下のステップにより再構成できる。
ステップ１。残差ブロックＲｏの変換ブロックサイズを決定する。
ステップ１.１。シンタックス要素に従い、ＳＶＴの使用を決定する。ＳＶＴを使用することを許可された残差ブロックについて、残差ブロックがＹ成分のゼロではない変換係数を有する（又は残差ブロックが任意の色成分のゼロではない変換係数を有する）場合、フラグ（つまりｓｖｔ＿ｆｌａｇ）がビットストリームからパースされり。該フラグは、残差ブロックが、残差ブロックと同じサイズの変換ブロックを用いて符号化されたか（例えば、ｓｖｔ＿ｆｌａｇ＝０）、又は残差ブロックが残差ブロックより小さいサイズの変換ブロックにより符号化されたか（例えば、ｓｖｔ＿ｆｌａｇ＝１）を示す。ブロックが色成分のゼロではない変換係数を有するか否かは、ＨＥＶＣにおいて使用されるような符号化ブロックフラグ（coded block flag, cbf）により示されてよい。ブロックが任意の色成分のゼロではない変換係数を有するか否かは、ＨＥＶＣにおいて使用されるようなルート符号化ブロックフラグ（ルートｃｂｆ）により示されてよい。
一例では、ブロックは、以下の条件が満たされる場合に、ＳＶＴを使用することを許可される。
１）ブロックがインター予測を用いて予測される。
２）ブロック幅又はブロック高さのいずれかが、所定の範囲［ａ１，ａ２］に含まれる。例えば、ａ１＝１６及びａ２＝６４、又はａ１＝８及びａ２＝６４、又はａ１＝１６及びａ２＝１２８。ａ１及びａ２の値は、固定値であり得る。値は、シーケンスパラメータセット（sequence parameter set, SPS）又はスライスヘッダからも導出できる。
ブロックがＳＶＴを使用しない場合、変換ブロックサイズはｗ×ｈとして設定される。その他の場合、変換サイズを決定するために、ステップ１．２が適用される。
ステップ１．２。シンタックス要素に従いＳＶＴのタイプを決定し、ＳＶＴタイプに従い変換ブロックサイズを導出する。残差ブロックのために許可されたＳＶＴタイプは、残差ブロックの幅及び高さに基づき決定される。ｗが範囲［ａ１，ａ２］内にある場合に、ＳＶＴ－Ｖが許可される。ｈが範囲［ａ１，ａ２］内にある場合に、ＳＶＴ－Ｈが許可される。ＳＶＴはＹ成分のためにのみ使用されてよく、又は３つ全部の成分のために使用されてよい。ＳＶＴがＹ成分にのみ使用されるとき、Ｙ成分残差はＳＶＴにより変換され、Ｕ及びＶ成分は残差ブロックのサイズに従い変換される。
ＳＶＴ－Ｖ及びＳＶＴ－Ｈの両方が許可されるとき、残差ブロックのためにＳＶＴ－Ｖが使用されるか（例えば、ｓｖｔ＿ｔｙｐｅ＿ｆｌａｇ＝０）、又は残差ブロックのためにＳＶＴ－Ｈが使用されるか（例えば、ｓｖｔ＿ｔｙｐｅ＿ｆｌａｇ＝１）を示す１つのフラグ（つまりｓｖｔ＿ｔｙｐｅ＿ｆｌａｇ）がビットストリームからパースされ、変換ブロックサイズはシグナリングされたＳＶＴタイプに従い設定される（つまり、ＳＶＴ－Ｖではｗ＿ｔ＝ｗ／２及びｈ＿ｔ＝ｈ、ＳＶＴ－Ｈではｗ＿ｔ＝ｗ及びｈ＿ｔ＝ｈ／２）。ＳＶＴ－Ｖのみが許可される又はＳＶＴ－Ｈのみが許可されるとき、ｓｖｔ＿ｔｙｐｅ＿ｆｌａｇはビットストリームからパースされず、変換ブロックサイズは許可されたＳＶＴタイプに従い設定される。
ステップ２。シンタックス要素に従い、変換ブロック位置を決定する。
位置インデックスＰは、ビットストリームからパースされ、残差ブロックの左上角に対する変換ブロックの左上角の位置オフセットＺは、Ｚ＝ｓ×Ｐとして決定される。ここで、ｓはＣＰＳＳである。ＳＶＴ－Ｖが使用される場合、Ｐの値は、０，１，．．．，（ｗ－ｗ＿ｔ）／ｓの間であり、ＳＶＴ－Ｈが使用される場合、Ｐの値は、０，１，．．．，（ｈ－ｈ＿ｔ）／ｓの間である。より具体的には、（０，０）が残差ブロックの左上角の座標を表すとすると、変換ブロックの左上角の座標は、ＳＶＴ－Ｖでは（Ｚ，０）であり、ＳＶＴ－Ｈでは（０，Ｚ）である。
一例では、ＣＰＳＳは、ＳＶＴ－Ｖではｓ＝ｗ／Ｍ１として、又はＳＶＴ－Ｈではｓ＝ｈ／Ｍ２として計算される。ここで、ｗ及びｈはそれぞれ残差ブロックの幅及び高さであり、Ｍ１及びＭ２は２～８の範囲の所定の整数である。より多くの候補位置は、より大きいＭ１又はＭ２の値により許可される。本例では、Ｍ１及びＭ２は両方とも８に設定される。したがって、Ｐの値は０～４の間である。候補位置は、図２４に示される。
別の例では、ＣＰＳＳは、ＳＶＴ－Ｖではｓ＝ｍａｘ（ｗ／Ｍ１，Ｔｈ１）として、又はＳＶＴ－Ｈではｓ＝ｍａｘ（ｈ／Ｍ２，Ｔｈ２）として計算される。ここで、Ｔｈ１及びＴｈ２は最小ステップサイズを指定する所定の整数である。Ｔｈ１及びＴｈ２は２以上の整数である。この例では、Ｔｈ１及びＴｈ２は４として設定され、Ｍ１及びＭ２は８として設定される。この例では、異なるブロックサイズは異なる数の候補位置を有してよい。例えば、ｗ＝８のとき、２個の候補位置（図２４（ａ）及び図２４（ｅ）により示される）が選択のために利用可能であり、ｗ＝１６のとき、３個の候補位置（図２４（ａ）、図２４（ｃ）及び図２４（ｅ）により示される）が選択のために利用可能であり、ｗ＞１６のとき、５個の位置が選択のために利用可能である。
別の例では、ＣＰＳＳは、ＳＶＴ－Ｖではｓ＝ｗ／Ｍ１として、又はＳＶＴ－Ｈではｓ＝ｈ／Ｍ２として計算される。ここで、Ｍ１及びＭ２は４として設定される。したがって、３個の候補位置が許可される。
別の例では、ＣＰＳＳは、ＳＶＴ－Ｖではｓ＝ｗ／Ｍ１として、又はＳＶＴ－Ｈではｓ＝ｈ／Ｍ２として計算される。ここで、Ｍ１及びＭ２は２として設定される。したがって、２個の候補位置が許可される。
別の例では、ＣＰＳＳは、ＳＶＴ－Ｖではｓ＝ｍａｘ（ｗ／Ｍ１，Ｔｈ１）として、又はＳＶＴ－Ｈではｓ＝ｍａｘ（ｈ／Ｍ２，Ｔｈ２）として設定される。ここで、Ｔ１及びＴ２は２として設定され、Ｍ１は、ｗ≧ｈならば８として設定され、ｗ＜ｈならば４として設定され、Ｍ２は、ｈ≧ｗならば８として設定され、ｈ＜ｗならば４として設定される。この場合、ＳＶＴ－Ｈ又はＳＶＴ－Ｖの候補位置の数は、残差ブロックのアスペクト比に更に依存してよい。
別の例では、ＣＰＳＳは、ＳＶＴ－Ｖではｓ＝ｍａｘ（ｗ／Ｍ１，Ｔｈ１）として、又はＳＶＴ－Ｈではｓ＝ｍａｘ（ｈ／Ｍ２，Ｔｈ２）として計算される。ここで、Ｍ１、Ｍ２、Ｔｈ１及びＴｈ２の値ビットストリーム内の高レベルシンタックス構造（例えば、シーケンスパラメータセット）から導出される。Ｍ１及びＭ２は、シンタックス要素からパースされた同じ値を共有してよく、Ｔｈ１及びＴｈ２は、別のシンタックス要素からパースされた同じ値を共有してよい。
位置インデックスＰは、切り捨てられた単進符号を用いて、１つ以上のビンへと２値化されてよい。例えば、Ｐ値が０～４の範囲にある場合、Ｐ値０、４、２、３、及び１は、それぞれ０、０１、００１、０００１、及び００００として２値化され、Ｐ値が範囲～～１の範囲にある場合、Ｐ値０及び１は、それぞれ０及び１として２値化される。
ステップ３。変換ブロックサイズに基づき、変換ブロックの変換係数をパースする。
これは、ＨＥＶＣ又はＨ．２６４／高度ビデオ符号化（Advanced Video Coding, AVC）における変換係数パースのようなビデオ復号において一般的に使用される処理である。変換係数は、ランレングス符号化を用いて符号化される、又は変換グループのセットのようにより高度に符号化されてよい。
ステップ３はステップ２の前に行われてよい。
ステップ４。変換係数及び変換ブロック位置に基づき、残差ブロックＲｏを再構成する。
サイズｗ＿ｔ×ｈ＿ｔの逆量子化及び逆変換が、残差サンプルを復元するために変換係数に適用される。残差サンプルのサイズはｗ＿ｔ×ｈ＿ｔであり、これは変換ブロックサイズと同じである。逆変換は、逆離散コサイン変換（Discrete Cosine Transform, DCT）又は逆離散サイン変換（Discrete Sine Transform, DST）であってよい。
残差サンプルは、変換ブロック位置に従い、残差ブロックＲｏ内の対応する領域に割り当てられ、残差ブロック内の残りのサンプルは０に設定される。例えば、ＳＶＴ－Ｖが利用され候補位置の数が５であり、位置インデックスが４である場合、再構成された残差サンプルは、図２４（Ｅ）の領域Ａに割り当てられ、領域Ａの左へサイズ（ｗ／２）×ｈの領域は０の残差を有する。
ステップ１～ステップ４を行った後、再構成された残差ブロックは、符号化ユニット内の再構成されたサンプルを生成するために、予測ブロックにより構成されてよい。フィルタリング処理は、ＨＥＶＣにおけるデブロッキングフィルタ及びサンプル適応オフセット（sample adaptive offset, SAO）処理のように、後に再構成されたサンプルに適用されてよい。
実施形態２。
別の実施形態では、変換位置情報は、残差ブロックの変換係数から導出される。サイズｗ×ｈの残差ブロックＲｏは、以下のステップにより再構成できる。
ステップ１。残差ブロックＲｏの変換ブロックサイズを決定する。
実施形態１のステップ１で説明したのと同じ処理が適用できる。
ステップ２。変換ブロックサイズに基づき、変換ブロックの変換係数をパースする。
実施形態１のステップ３で説明したのと同じ処理が適用できる。
ステップ３。変換係数の和に基づき、変換ブロック位置を導出する。
一例では、変換係数の和は、Ｙ成分の全部の変換係数を加算することにより計算できる。別の例では、変換係数の和は、Ｙ、Ｕ、及びＶ成分の全部の変換係数を加算することにより計算される。別の例では、変換係数の和は、（例えば、ジグザグスキャンを用いて）係数スキャン順序の中のＹ成分の最初のＮ個の変換係数を加算することにより、計算される。ここで、Ｎは１６又は３２として設定されてよい。
位置インデックスＰ（これは、実施形態１で説明したように変換ブロック位置を示す）は、以下の式に従い、変換ブロックに関連付けられた変換係数の和Ｓｔと候補位置の数Ｎｔとにより導出される。
Ｐ＝Ｓｔ％Ｎｔ
ここで、％は、ＳｔをＮｔで割った後の余りを見つけるモジュロ演算を表す。
より具体的には、一例では、パラメータＭ１及びＭ２が４として設定され、ＳＶＴ－Ｈ又はＳＶＴ－Ｖについて３個の候補位置がある（つまり、ＳＶＴ－Ｈ又はＳＶＴ－ＶのＮｔは３である）。Ｐは、Ｓｔを３で割った余りとして計算される。別の例では、パラメータＭ１及びＭ２が２として設定され、ＳＶＴ－Ｈ又はＳＶＴ－Ｖについて２個の候補位置がある（つまり、ＳＶＴ－Ｈ又はＳＶＴ－ＶのＮｔは２である）。Ｐは、Ｓｔを２で割った余りとして計算される。
別の例では、位置インデックスは、変換係数の和により部分的に決定されてよい。パラメータＭ１及びＭ２は８として設定され、ＳＶＴ－Ｈ又はＳＶＴ－Ｖについて５個の候補位置がある。Ｓｔ％３が０に等しい場合、Ｐは０として決定される。Ｓｔ％３が１に等しい場合、Ｐは４として決定される。その他の場合、Ｐは１、２、及び３の間である（しかし未だ決定されない）。次に、３個の可能な値を有するシンタックス要素は、シンタックス要素の値に基づきＰが１又は２又は３に等しいかを決定するためにパースされる（例えば、シンタックス要素が０、１、又は２である場合、Ｐは１、２、又は３として設定される）。
位置インデックス情報が係数の和に隠されているか否かを決定するために、何らかの条件チェックがあってよい。例えば、変換係数の数が閾（例えば、４又は６）より小さい、又は最初の係数と最後の係数との間の距離が閾（例えば、５又は６）より小さいとき、位置インデックスは、係数の和に依存せず、明示的にシグナリングされ、位置インデックスを決定するために実施形態１のパース処理が適用される。
ステップ４。変換係数及び変換ブロック位置に基づき、残差ブロックＲｏを再構成する。
実施形態１のステップ４で説明したのと同じ処理が適用できる。
実施形態３。
別の実施形態では、ＳＶＴのタイプは、変換係数の第１グループに基づき導出され、位置情報は、残差ブロックの変換係数の第２グループから導出される。
サイズｗ×ｈの残差ブロックＲｏは、以下のステップにより再構成できる。
ステップ１。ステップ１．１及びステップ１．２により、残差ブロックＲｏの変換ブロックサイズを決定する。
ステップ１．１。ＳＶＴの使用を決定する。これは、実施形態１のステップ１．１と同じである。
ステップ１．２。変換係数の第１グループをパースし、変換係数の第１グループに基づきＳＶＴのタイプを決定する。
変換係数の第１グループは、図２５の実線領域１により示されるように、（下側周波数変換係数に対応する）変換ブロックの左上部分にあるサイズｗ＿ｔ１×ｈ＿ｔ１の領域内にあってよい。一例では、ｗ＿ｔ１及びｈ＿ｔ１は両方とも４として設定される。別の例では、ｗ＿ｔ１＝ｍａｘ（ｗ／８，４）、及びｈ＿ｔ１＝ｍａｘ（ｈ／８，４）である。
第１グループ係数の和が偶数である場合、ＳＶＴ－Ｖ（又はＳＶＴ－Ｈ）が使用され、その他の場合にはＳＶＴ－Ｈ（又はＳＶＴ－Ｖ）が使用される。
ステップ２。変換ブロックサイズに基づき、変換ブロック内の残りの変換係数をパースする。
係数スキャン順序は、変換ブロックの幅及び高さに基づき導出される。変換係数をパースするとき、変換係数の第１グループによりカバーされる位置にある係数はスキップされ、それらは変換係数の第１グループであるとして指定される。
ステップ３。変換係数の第２グループの和に基づき、変換ブロック位置を導出する。
変換係数の第２グループは、和を計算するために使用される。和に基づき、位置インデックスが導出される。ここで、実施形態２で説明した方法が使用できる。変換係数の第２グループは、図２５の点線領域２により示されるように、変換係数の第１グループと異なる、変換ブロックの左上部分にあるサイズｗ＿ｔ２×ｈ＿ｔ２の領域内にあってよい。一例では、ｗ＿ｔ２＝ｗ＿ｔ、及びｈ＿ｔ２＝ｈ＿ｔ、つまり第１グループの係数と異なる全部の係数が第２グループに属する。別の例では、ｗ＿ｔ２＝ｍａｘ（ｗ＿ｔ／２，ｗ＿ｔ１）、及びｈ＿ｔ２＝ｍａｘ（ｈ＿ｔ／２，ｈ＿ｔ１）である。
ステップ４。変換係数及び変換ブロック位置に基づき、残差ブロックＲｏを再構成する。実施形態１のステップ４における処理が適用できる。
実施形態４。
別の実施形態では、ＳＶＴを使用する残差ブロックの候補位置の数は、変換係数の分布に基づき導出される。
サイズｗ×ｈの残差ブロックＲｏは、以下のステップにより再構成できる。
ステップ１。残差ブロックＲｏの変換ブロックサイズを決定する。
実施形態１のステップ１で説明したのと同じ処理が適用できる。
ステップ２。変換ブロックサイズに基づき、変換ブロックの変換係数をパースする。
実施形態１のステップ３で説明したのと同じ処理が適用できる。
ステップ３。変換係数の分布に基づき、変換ブロック位置を導出する。
一例では、ゼロではない変換係数の数Ｎｎｚは、候補位置の数を決定するために使用される。Ｎｎｚが閾（例えば、４又は５又は８）より小さい場合、候補位置ステップサイズは、ＳＶＴ－Ｖではｗ／４、ＳＶＴ－Ｈではｈ／４として設定され、したがって、候補位置の数は３である。その他の場合、候補位置ステップサイズは、ＳＶＴ－Ｖではｗ／８、ＳＶＴ－Ｈ又はｈ／８として設定され、したがって、候補位置の数は５である。
別の例では、最後のゼロではない変換係数が変換ブロック内の左上の４×４領域内にある場合、候補位置ステップサイズは、ＳＶＴ－Ｖではｗ／４、ＳＶＴ－Ｈではｈ／４として設定され、したがって、候補位置の数は３である。その他の場合、候補位置ステップサイズは、ＳＶＴ－Ｖではｗ／８、ＳＶＴ－Ｈ又はｈ／８として設定され、したがって、候補位置の数は５である。
候補位置の数に基づき、位置インデックスは、切り捨てられた単進符号により復号される。ここで、最大の可能な値は、候補位置の数から１を減じたものである。
ステップ４。変換係数及び変換ブロック位置に基づき、残差ブロックＲｏを再構成する。実施形態１のステップ４における処理が適用できる。
本開示は、知られているソリューションに対して以下の利点及び利益を提供する。
ＳＶＴブロックの候補位置は、残差ブロックの幅及び高さに関連するステップサイズにより決定され、５より大きくならないように制限される。これは、［１］と比べて変換ブロック情報を削減し、シグナリングオーバヘッドと残差符号化効率との間のより良いバランスを達成する。
ＳＶＴ情報は、［１］と異なるよう符号化される。つまり、ＳＶＴ情報は、ＳＶＴ使用情報、ＳＶＴタイプ情報、及びＳＶＴ位置情報として組織化される。
ＳＶＴ位置情報は、残差ブロックの複数の変換係数の和に基づき導出されてよい。
ＳＶＴタイプ情報は、残差ブロックの複数の変換係数の和に基づき導出されてよい。
便宜上及び簡単な説明のために、前述の機能モジュールの分割は説明のための一例として取り上げられることが、当業者により明らかに理解され得る。実際の適用では、前述の機能は、異なる機能モジュールに割り当てられ、要件に従い実装できる。つまり、機器の内部構造は、上述の機能の全部又は一部を実装するために、異なる機能モジュールに分割される。前述のシステム、機器、及びユニットの詳細な作動プロセスについては、前述の方法の実施形態における対応するプロセスが参照されてよく、詳細はここで再び記載されない。
本願において提供された幾つかの実施形態では、理解されるべきことに、開示のシステム、機器、及び方法は他の方法で実装されてよい。例えば、記載の機器の実施形態は単なる例である。例えば、モジュール又はユニット分割は、単なる論理的機能分割であり、実際の実装では他の分割であってよい。例えば、複数のユニット又はコンポーネントは、結合され又は別のシステムに統合されてよく、或いは、幾つかの機能は、無視され又は実行されなくてよい。さらに、示された又は議論された相互結合又は直接結合又は津新設族は、幾つかのインタフェースを用いて実装されてよい。機器又はユニット間の間接結合又は通信接続は、電子的、機械的、又は他の形式で実装されてよい。
別個の部分として記載されたユニットは、物理的に分離していてよく又はそうでなくてよい。ユニットとして示された部分は、物理的ユニットであってよく又はそうでなくてよく、１つの場所に置かれてよく、又は服すのネットワークユニットに分配されてよい。ユニットのうちの一部又は全部は、実施形態のソリューションの目的を達成するために、実際の必要に基づき選択されてよい。
さらに、本発明の実施形態における機能ユニットは、１つの処理ユニットに統合されてよく、又は、ユニットの各々は物理的に単独で存在してよく、又は、２つ以上のユニットが１つのユニットに統合される。統合されたユニットは、ハードウェアの形式で実装されてよく、又はソフトウェア機能ユニットの形式で実装されてよい。
統合されたユニットがソフトウェア機能ユニットの形式で実装され、独立した製品として販売され又は使用されるとき、統合されたユニットは、コンピュータ可読記憶媒体に格納されてよい。このような理解に基づき、基本的に又は部分的に従来技術に貢献する本発明の技術的ソリューション又は技術的ソリューションの全部又は一部は、ソフトウェアプロダクトの形式で実装されてよい。、コンピュータソフトウェアプロダクトは、記憶媒体に格納され、本発明の実施形態で記載された方法のステップのうちの全部又は一部を実行するようコンピュータ装置（これは、パーソナルコンピュータ、サーバ、又はネットワーク装置であってよい）又はプロセッサ（processor）に指示するための幾つかの命令を含む。前述の記憶媒体は、プログラムコードを格納できる、ＵＳＢフラッシュドライブ、取り外し可能ハードディスク、読み出し専用メモリ（ROM, Read－Only Memory）、ランダムアクセスメモリ（RAM, Random Access Memory）、磁気ディスク、又は光ディスクのような、任意の記憶媒体を含む。
前述の説明は、単に本発明の特定の実装方法であり、本発明の保護範囲を限定することを意図しない。本発明で開示された技術的範囲の範囲内にある、当業者により直ちに考案される任意の変形又は置換は、本発明の保護範囲の中に包含されるべきである。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うべきである。

Claims (20)

  1. ビデオ復号方法であって、
    受信したビットストリームをパースして、符号化ユニット（coding unit, CU）の予測情報を取得するステップと、
    前記ＣＵが１つのみの残差変換ユニット（transform unit, TU）を有し、前記残差ＴＵのサイズが前記ＣＵのサイズより小さいとき、前記ＣＵのＴＵパーティションモード、前記残差ＴＵの位置、及び前記残差ＴＵの変換タイプを取得するステップであって、前記ＣＵの前記サイズはＷ×Ｈにより示され、前記ＴＵパーティションモードは、前記ＣＵを同じサイズを有する２個のＴＵに分けることを指定し、前記２個のＴＵの各々のサイズは、Ｗ×（Ｈ／２）又は（Ｗ／２）×Ｈにより示される、ステップと、
    前記受信したビットストリームをパースして、前記残差ＴＵの変換係数を取得するステップと、
    前記残差ＴＵの前記変換係数に逆量子化を適用して、逆量子化された係数を取得するステップと、
    前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、及び前記残差ＴＵの前記変換タイプに基づき、前記逆量子化された係数に逆変換を適用して、前記残差ＴＵの残差ブロックを取得するステップと、
    前記予測情報に基づき、前記ＣＵの予測ブロックを取得するステップと、
    前記残差ブロック及び前記予測ブロックに基づき、ビデオブロックを取得するステップと、
    ビデオシーケンスを出力するステップであって、前記ビデオシーケンスは前記ビデオブロックを含むビデオフレームを含む、ステップと、
    を含み、
    上のＴＵのサイズは下のＴＵのサイズと等しく、前記残差ＴＵの位置は上であるとき、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７に基づき、前記残差ＴＵの垂直変換がＤＣＴ－８に基づき；
    上のＴＵのサイズは下のＴＵのサイズに等しく、前記残差ＴＵの位置は下であるとき、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７に基づき、前記残差ＴＵの垂直変換がＤＳＴ－７に基づき；
    左のＴＵのサイズは右のＴＵのサイズと等しく、前記残差ＴＵの位置は左であるとき、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８に基づき、前記残差ＴＵの垂直変換がＤＳＴ－７に基づき；及び、
    左のＴＵのサイズは右のＴＵのサイズと等しく、前記残差ＴＵの位置は右であるとき、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７に基づき、前記残差ＴＵの垂直変換がＤＳＴ－７に基づく；
    方法。
  2. ビデオ復号方法であって、
    受信したビットストリームをパースして、符号化ユニット（coding unit, CU）の予測情報を取得するステップと、
    前記ＣＵが１つのみの残差変換ユニット（transform unit, TU）を有し、前記残差ＴＵのサイズが前記ＣＵのサイズより小さいとき、前記ＣＵのＴＵパーティションモード、前記残差ＴＵの位置、及び前記残差ＴＵの変換タイプを取得するステップであって、前記ＣＵの前記サイズはＷ×Ｈにより示され、前記ＴＵパーティションモードは、前記ＣＵを同じサイズを有する２個のＴＵに分けることを指定し、前記２個のＴＵの各々のサイズは、Ｗ×（Ｈ／２）又は（Ｗ／２）×Ｈにより示される、ステップと、
    前記受信したビットストリームをパースして、前記残差ＴＵの変換係数を取得するステップと、
    前記残差ＴＵの前記変換係数に逆量子化を適用して、逆量子化された係数を取得するステップと、
    前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、及び前記残差ＴＵの前記変換タイプに基づき、前記逆量子化された係数に逆変換を適用して、前記残差ＴＵの残差ブロックを取得するステップと、
    前記予測情報に基づき、前記ＣＵの予測ブロックを取得するステップと、
    前記残差ブロック及び前記予測ブロックに基づき、ビデオブロックを取得するステップと、
    ビデオシーケンスを出力するステップであって、前記ビデオシーケンスは前記ビデオブロックを含むビデオフレームを含む、ステップと、
    を含み、
    上のＴＵのサイズは下のＴＵのサイズと等しく、前記残差ＴＵの位置は上であるとき、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４又はＤＣＴ－２に基づき、前記残差ＴＵの垂直変換がＤＣＴ－４に基づき；
    上のＴＵのサイズは下のＴＵのサイズに等しく、前記残差ＴＵの位置は下であるとき、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４又はＤＣＴ－２に基づき、前記残差ＴＵの垂直変換がＤＳＴ－４に基づき；
    左のＴＵのサイズは右のＴＵのサイズと等しく、前記残差ＴＵの位置は左であるとき、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４に基づき、前記残差ＴＵの垂直変換がＤＳＴ－７又はＤＣＴ－２に基づき；及び、
    左のＴＵのサイズは右のＴＵのサイズと等しく、前記残差ＴＵの位置は右であるとき、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４に基づき、前記残差ＴＵの垂直変換がＤＳＴ－７又はＤＣＴ－２に基づく；
    方法。
  3. 前記方法は、
    前記ＣＵの前記予測情報に基づき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、及び前記残差ＴＵの前記変換タイプを取得するか否かを決定するステップ、を更に含む請求項１又は２に記載の方法。
  4. 前記ＣＵの前記予測情報に基づき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、及び前記残差ＴＵの前記変換タイプを取得するか否かを決定する前記ステップは、以下のうちの少なくとも１つを含む：
    前記ＣＵの予測モードがイントラ予測モードであるとき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、及び前記残差ＴＵの前記変換タイプを取得することを決定するステップ；
    前記ＣＵの予測モードがインター予測モードであるとき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、及び前記残差ＴＵの前記変換タイプを取得することを決定するステップ；
    前記ＣＵの予測方法が予め設定された陽性予測方法であるとき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、及び前記残差ＴＵの前記変換タイプを取得することを決定するステップ；又は、
    前記ＣＵの予測方法が予め設定された陰性予測方法であるとき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、及び前記残差ＴＵの前記変換タイプを取得しないことを決定するステップ；
    請求項３に記載の方法。
  5. 前記予め設定された陽性予測方法は、以下：
    並進移動モデルに基づく動き補償方法；
    マージ予測方法；
    １／４－ｐｅｌ動きベクトル差精度による高度移動ベクトル予測方法；又は、
    ２より小さいマージインデックスによるマージ予測方法；
    のうちの少なくとも１つを含む、請求項４に記載の方法。
  6. 前記予め設定された陰性予測方法は、以下：
    アフィンモデルに基づく動き補償方法；
    アフィンマージ予測方法；
    アフィンインター予測モード；
    １－ｐｅｌ又は４－ｐｅｌ動きベクトル差精度による高度動きベクトル予測方法；又は、
    ２より小さくないマージインデックスによるマージ予測方法；
    のうちの少なくとも１つを含む、請求項４又は５に記載の方法。
  7. 前記方法は、
    前記ＣＵのサイズに基づき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、及び前記残差ＴＵの前記変換タイプを取得するか否かを決定するステップ、を更に含む請求項１乃至６のいずれか一項に記載の方法。
  8. 前記ＣＵのサイズに基づき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、及び前記残差ＴＵの前記変換タイプを取得するか否かを決定する前記ステップは、以下のうちの少なくとも１つを含む：
    前記ＣＵの幅又は高さが予め設定されたＣＵ閾より大きいとき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、及び前記残差ＴＵの前記変換タイプを取得しないことを決定するステップ；
    前記ＣＵのＴＵの幅又は高さが予め設定された最小ＴＵ閾より小さいとき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、及び前記残差ＴＵの前記変換タイプを取得しないことを決定するステップ；又は、
    前記ＣＵのＴＵの幅又は高さが予め設定された最大ＴＵ閾より大きいとき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、及び前記残差ＴＵの前記変換タイプを取得しないことを決定するステップ；
    請求項７に記載の方法。
  9. ビデオデコーダであって、
    受信したビットストリームをパースして、符号化ユニット（coding unit, CU）の予測情報を取得し、残差変換ユニット（transform unit, TU）が前記ＣＵの残差ＴＵのみであり、前記残差ＴＵのサイズが前記ＣＵのサイズより小さいとき、前記ＣＵのＴＵパーティションモード、前記残差ＴＵの位置、及び前記残差ＴＵの変換タイプを取得し、前記受信したビットストリームをパースして、前記残差ＴＵの変換係数を取得するよう構成されるエントロピー復号ユニットであって、前記ＣＵの前記サイズはＷ×Ｈにより示され、前記ＴＵパーティションモードは、前記ＣＵを同じサイズを有する２個のＴＵに分けることを指定し、前記２個のＴＵの各々のサイズは、Ｗ×（Ｈ／２）又は（Ｗ／２）×Ｈにより示される、エントロピー復号ユニットと、
    前記残差ＴＵの前記変換係数に逆量子化を適用して、逆量子化された係数を取得するよう構成される逆量子化処理ユニットと、
    前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、及び前記残差ＴＵの前記変換タイプに基づき、前記逆量子化された係数に逆変換を適用して、前記残差ＴＵの残差ブロックを取得するよう構成される逆変換処理ユニットと、
    前記予測情報に基づき、前記ＣＵの予測ブロックを取得するよう構成される予測処理ユニットと、
    前記残差ブロック及び前記予測ブロックに基づき、ビデオブロックを取得するよう構成される再構成ユニットと、
    ビデオシーケンスを出力するよう構成される出力であって、前記ビデオシーケンスは前記ビデオブロックを含むビデオフレームを含む、出力と、
    を含み、
    上のＴＵのサイズは下のＴＵのサイズと等しく、前記残差ＴＵの位置は上であるとき、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７に基づき、前記残差ＴＵの垂直変換がＤＣＴ－８に基づき；
    上のＴＵのサイズは下のＴＵのサイズに等しく、前記残差ＴＵの位置は下であるとき、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７に基づき、前記残差ＴＵの垂直変換がＤＳＴ－７に基づき；
    左のＴＵのサイズは右のＴＵのサイズと等しく、前記残差ＴＵの位置は左であるとき、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－８に基づき、前記残差ＴＵの垂直変換がＤＳＴ－７に基づき；及び、
    左のＴＵのサイズは右のＴＵのサイズと等しく、前記残差ＴＵの位置は右であるとき、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－７に基づき、前記残差ＴＵの垂直変換がＤＳＴ－７に基づく；
    ビデオデコーダ。
  10. ビデオデコーダであって、
    受信したビットストリームをパースして、符号化ユニット（coding unit, CU）の予測情報を取得し、残差変換ユニット（transform unit, TU）が前記ＣＵの残差ＴＵのみであり、前記残差ＴＵのサイズが前記ＣＵのサイズより小さいとき、前記ＣＵのＴＵパーティションモード、前記残差ＴＵの位置、及び前記残差ＴＵの変換タイプを取得し、前記受信したビットストリームをパースして、前記残差ＴＵの変換係数を取得するよう構成されるエントロピー復号ユニットであって、前記ＣＵの前記サイズはＷ×Ｈにより示され、前記ＴＵパーティションモードは、前記ＣＵを同じサイズを有する２個のＴＵに分けることを指定し、前記２個のＴＵの各々のサイズは、Ｗ×（Ｈ／２）又は（Ｗ／２）×Ｈにより示される、エントロピー復号ユニットと、
    前記残差ＴＵの前記変換係数に逆量子化を適用して、逆量子化された係数を取得するよう構成される逆量子化処理ユニットと、
    前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、及び前記残差ＴＵの前記変換タイプに基づき、前記逆量子化された係数に逆変換を適用して、前記残差ＴＵの残差ブロックを取得するよう構成される逆変換処理ユニットと、
    前記予測情報に基づき、前記ＣＵの予測ブロックを取得するよう構成される予測処理ユニットと、
    前記残差ブロック及び前記予測ブロックに基づき、ビデオブロックを取得するよう構成される再構成ユニットと、
    ビデオシーケンスを出力するよう構成される出力であって、前記ビデオシーケンスは前記ビデオブロックを含むビデオフレームを含む、出力と、
    を含み、
    上のＴＵのサイズは下のＴＵのサイズと等しく、前記残差ＴＵの位置は上であるとき、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４又はＤＣＴ－２に基づき、前記残差ＴＵの垂直変換がＤＣＴ－４に基づき；
    上のＴＵのサイズは下のＴＵのサイズに等しく、前記残差ＴＵの位置は下であるとき、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４又はＤＣＴ－２に基づき、前記残差ＴＵの垂直変換がＤＳＴ－４に基づき；
    左のＴＵのサイズは右のＴＵのサイズと等しく、前記残差ＴＵの位置は左であるとき、前記変換タイプは、前記残差ＴＵの水平変換がＤＣＴ－４に基づき、前記残差ＴＵの垂直変換がＤＳＴ－７又はＤＣＴ－２に基づき；及び、
    左のＴＵのサイズは右のＴＵのサイズと等しく、前記残差ＴＵの位置は右であるとき、前記変換タイプは、前記残差ＴＵの水平変換がＤＳＴ－４に基づき、前記残差ＴＵの垂直変換がＤＳＴ－７又はＤＣＴ－２に基づく；
    ビデオデコーダ。
  11. 前記エントロピー復号ユニットは、前記ＣＵの前記予測情報に基づき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、前記残差ＴＵの前記変換タイプを取得するか否かを決定するよう更に構成される、請求項９又は１０に記載のビデオデコーダ。
  12. 前記エントロピー復号ユニットは、以下のうちの少なくとも１つに従い、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、前記残差ＴＵの前記変換タイプを取得するか否かを決定するよう更に構成される：
    前記ＣＵの予測モードがイントラ予測モードであるとき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、前記残差ＴＵの前記変換タイプを取得することを決定する；
    前記ＣＵの予測モードがインター予測モードであるとき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、前記残差ＴＵの前記変換タイプを取得することを決定する；
    前記ＣＵの予測方法が予め設定された陽性予測方法であるとき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、前記残差ＴＵの前記変換タイプを取得することを決定する；又は、
    前記ＣＵの予測方法が予め設定された陰性予測方法であるとき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、前記残差ＴＵの前記変換タイプを取得しないことを決定する；
    請求項１１に記載のビデオデコーダ。
  13. 前記予め設定された陽性予測方法は、以下：
    並進移動モデルに基づく動き補償方法；
    マージ予測方法；
    １／４－ｐｅｌ動きベクトル差精度による高度動きベクトル予測方法；又は、
    ２より小さいマージインデックスによるマージ予測方法；
    のうちの少なくとも１つを含む、請求項１２に記載のビデオデコーダ。
  14. 前記予め設定された陰性予測方法は、以下：
    アフィンモデルに基づく動き補償方法；
    アフィンマージ予測方法；
    アフィンインター予測モード；
    １－ｐｅｌ又は４－ｐｅｌ動きベクトル差精度による高度動きベクトル予測方法；又は、
    ２より小さくないマージインデックスによるマージ予測方法；
    のうちの少なくとも１つを含む、請求項１２又は１３に記載のビデオデコーダ。
  15. 前記エントロピー復号ユニットは、前記ＣＵのサイズに基づき前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、前記残差ＴＵの前記変換タイプを取得するか否かを決定するよう更に構成される、請求項９乃至１４のいずれか一項に記載のビデオデコーダ。
  16. 前記エントロピー復号ユニットは、以下のうちの少なくとも１つに従い、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、前記残差ＴＵの前記変換タイプを取得するか否かを決定するよう更に構成される：
    前記ＣＵの幅又は高さが予め設定されたＣＵ閾より大きいとき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、前記残差ＴＵの前記変換タイプを取得しないことを決定する；
    前記ＣＵのＴＵの幅又は高さが予め設定された最小ＴＵ閾より小さいとき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、前記残差ＴＵの前記変換タイプを取得しないことを決定するステップ；又は、
    前記ＣＵのＴＵの幅又は高さが予め設定された最大ＴＵ閾より大きいとき、前記ＣＵの前記ＴＵパーティションモード、前記残差ＴＵの前記位置、前記残差ＴＵの前記変換タイプを取得しないことを決定する；
    請求項１５に記載のビデオデコーダ。
  17. 請求項１乃至８のいずれか一項に記載の方法を実行する処理回路を含むデコーダ。
  18. 請求項１乃至８のいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム。
  19. デコーダであって、
    １つ以上のプロセッサと、
    前記プロセッサに結合され前記プロセッサによる実行のためのプログラミングを格納する非一時的コンピュータ可読記憶媒体であって、前記プログラミングは、前記プロセッサにより実行されると、請求項１乃至８のいずれか一項に記載の方法を実行するためのデコーダを構成する、非一時的コンピュータ可読記憶媒体と、
    を含むデコーダ。
  20. 記録されたプログラムを有するコンピュータ可読記憶媒体であって、前記プログラムは、コンピュータに請求項１乃至８のいずれかの方法を実行させる、コンピュータ可読記憶媒体。
JP2020521423A 2017-10-16 2018-10-07 符号化方法及び機器 Active JP7087071B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022093165A JP7381660B2 (ja) 2017-10-16 2022-06-08 符号化方法及び機器
JP2023188106A JP2024015480A (ja) 2017-10-16 2023-11-02 符号化方法及び機器

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762572987P 2017-10-16 2017-10-16
US62/572,987 2017-10-16
US201862634613P 2018-02-23 2018-02-23
US62/634,613 2018-02-23
US201862678738P 2018-05-31 2018-05-31
US62/678,738 2018-05-31
CNPCT/CN2018/102524 2018-08-27
PCT/CN2018/102524 WO2019076138A1 (en) 2017-10-16 2018-08-27 METHOD AND APPARATUS FOR ENCODING
PCT/CN2018/109256 WO2019076201A1 (en) 2017-10-16 2018-10-07 METHOD AND APPARATUS FOR ENCODING

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022093165A Division JP7381660B2 (ja) 2017-10-16 2022-06-08 符号化方法及び機器

Publications (2)

Publication Number Publication Date
JP2020537451A JP2020537451A (ja) 2020-12-17
JP7087071B2 true JP7087071B2 (ja) 2022-06-20

Family

ID=66173106

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020521423A Active JP7087071B2 (ja) 2017-10-16 2018-10-07 符号化方法及び機器
JP2022093165A Active JP7381660B2 (ja) 2017-10-16 2022-06-08 符号化方法及び機器
JP2023188106A Pending JP2024015480A (ja) 2017-10-16 2023-11-02 符号化方法及び機器

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022093165A Active JP7381660B2 (ja) 2017-10-16 2022-06-08 符号化方法及び機器
JP2023188106A Pending JP2024015480A (ja) 2017-10-16 2023-11-02 符号化方法及び機器

Country Status (12)

Country Link
US (6) US11006139B2 (ja)
EP (5) EP3679715B1 (ja)
JP (3) JP7087071B2 (ja)
KR (4) KR102653815B1 (ja)
CN (6) CN111226438B (ja)
DK (2) DK3679715T3 (ja)
ES (2) ES2939184T3 (ja)
FI (1) FI3679715T3 (ja)
HU (2) HUE060716T2 (ja)
PL (2) PL3679715T3 (ja)
PT (2) PT3679715T (ja)
WO (4) WO2019076138A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619972B1 (ko) * 2008-10-02 2016-05-11 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
WO2019076138A1 (en) * 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING
CN117834919A (zh) * 2018-01-17 2024-04-05 英迪股份有限公司 对视频进行解码或编码的方法和用于发送比特流的方法
EP3782361B1 (en) 2018-05-31 2023-09-20 Huawei Technologies Co., Ltd. Spatially varying transform with adaptive transform type
CN118138777A (zh) * 2018-06-01 2024-06-04 夏普株式会社 图像解码装置以及图像编码装置
US10986340B2 (en) 2018-06-01 2021-04-20 Qualcomm Incorporated Coding adaptive multiple transform information for video coding
TWI714153B (zh) * 2018-06-29 2020-12-21 大陸商北京字節跳動網絡技術有限公司 零單元的定義
KR102534160B1 (ko) * 2018-09-02 2023-05-26 엘지전자 주식회사 다중 변환 선택에 기반한 영상 코딩 방법 및 그 장치
CN117097895A (zh) * 2018-09-23 2023-11-21 Lg 电子株式会社 编码/解码视频信号的方法及其装置
CN118158431A (zh) 2018-10-12 2024-06-07 韦勒斯标准与技术协会公司 使用多假设预测的视频信号处理方法和装置
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
WO2020164633A1 (en) * 2019-02-15 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Transform parameter derivation based on block partition
US12114000B2 (en) 2019-03-08 2024-10-08 Qualcomm Incorporated Combined residual coding in video coding
US11153563B2 (en) * 2019-03-12 2021-10-19 Qualcomm Incorporated Combined in-loop filters for video coding
US11025937B2 (en) * 2019-03-16 2021-06-01 Tencent America LLC Method and apparatus for video coding
US11290731B2 (en) * 2019-05-22 2022-03-29 Tencent America LLC Method and apparatus for video coding
CN113940076A (zh) * 2019-06-06 2022-01-14 北京字节跳动网络技术有限公司 应用隐式变换选择
CN113994666A (zh) 2019-06-06 2022-01-28 北京字节跳动网络技术有限公司 隐式选择变换候选
WO2020244662A1 (en) * 2019-06-06 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Simplified transform coding tools
GB2585030A (en) * 2019-06-25 2020-12-30 British Broadcasting Corp Method of signalling in a video codec
CN110324541B (zh) * 2019-07-12 2021-06-15 上海集成电路研发中心有限公司 一种滤波联合去噪插值方法及装置
US12081735B2 (en) 2019-07-25 2024-09-03 Wilus Institute Of Standards And Technology Inc. Video signal processing method and device
WO2022109910A1 (zh) * 2020-11-26 2022-06-02 深圳市大疆创新科技有限公司 视频编码方法、装置、编码器和存储介质
US20220337854A1 (en) * 2021-04-16 2022-10-20 Tencent America LLC Interaction between transform partitioning and primary/secondary transform type selection
CN113242430B (zh) * 2021-05-31 2024-05-31 杭州当虹科技股份有限公司 视频编码方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
WO2003053066A1 (en) * 2001-12-17 2003-06-26 Microsoft Corporation Skip macroblock coding
KR100927733B1 (ko) * 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
KR101403338B1 (ko) 2007-03-23 2014-06-09 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
EP2324641A1 (en) 2008-08-12 2011-05-25 Nokia Corporation Video coding using spatially varying transform
GB0906058D0 (en) 2009-04-07 2009-05-20 Nokia Corp An apparatus
CN101668205B (zh) 2009-09-25 2011-04-20 南京邮电大学 基于残差宏块自适应下采样立体视频压缩编码方法
KR101487687B1 (ko) * 2010-01-14 2015-01-29 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
US8885714B2 (en) * 2010-01-14 2014-11-11 Texas Instruments Incorporated Method and system for intracoding in video encoding
KR101791078B1 (ko) 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
US9215470B2 (en) * 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
KR20120070479A (ko) * 2010-12-21 2012-06-29 한국전자통신연구원 화면 내 예측 방향 정보 부호화/복호화 방법 및 그 장치
BR122019025407B8 (pt) * 2011-01-13 2023-05-02 Canon Kk Aparelho de codificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, método de decodificação de imagem e meio de armazenamento
CN105791875B (zh) 2011-06-10 2018-12-11 联发科技股份有限公司 可伸缩视频编码方法及其装置
KR101943049B1 (ko) 2011-06-30 2019-01-29 에스케이텔레콤 주식회사 영상 부호화/복호화 방법 및 장치
GB2561487B (en) 2011-10-18 2019-01-02 Kt Corp Method for encoding image, method for decoding image, image encoder, and image decoder
JP5711098B2 (ja) * 2011-11-07 2015-04-30 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
KR20130050404A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
KR101830352B1 (ko) 2011-11-09 2018-02-21 에스케이 텔레콤주식회사 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
US9549182B2 (en) * 2012-07-11 2017-01-17 Qualcomm Incorporated Repositioning of prediction residual blocks in video coding
CN103581676B (zh) * 2012-08-10 2016-12-28 联发科技股份有限公司 视频编码变换系数的解码方法及装置
US20140056347A1 (en) * 2012-08-23 2014-02-27 Microsoft Corporation Non-Transform Coding
US20140307780A1 (en) * 2013-04-11 2014-10-16 Mitsubishi Electric Research Laboratories, Inc. Method for Video Coding Using Blocks Partitioned According to Edge Orientations
CN103716623B (zh) 2013-12-17 2017-02-15 北京大学深圳研究生院 基于加权量化的视频压缩编解码方法及编解码器
KR101737861B1 (ko) 2014-01-20 2017-05-19 한국전자통신연구원 변환 깊이 기반 dct 사이즈 결정 장치 및 방법
CN104935927A (zh) * 2014-03-17 2015-09-23 上海京知信息科技有限公司 一种基于流水线的hevc视频序列编解码加速方法
CN103997650B (zh) 2014-05-30 2017-07-14 华为技术有限公司 一种视频解码的方法和视频解码器
CN104125466B (zh) * 2014-07-10 2017-10-10 中山大学 一种基于gpu的hevc并行解码方法
CN105530518B (zh) * 2014-09-30 2019-04-26 联想(北京)有限公司 一种视频编码、解码方法及装置
WO2016070808A1 (en) 2014-11-05 2016-05-12 Mediatek Singapore Pte. Ltd. Method and apparatus of video coding with prediction offset
EP3202146B1 (en) * 2014-11-28 2022-08-17 HFI Innovation Inc. Method and apparatus of alternative transform for video coding
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
CN106254870B (zh) * 2015-06-08 2020-08-18 财团法人工业技术研究院 采用自适性色彩转换的视频编码方法、系统和计算机可读取记录介质
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
CN108605129A (zh) * 2016-01-28 2018-09-28 日本放送协会 编码装置、解码装置以及程序
ES2710807B1 (es) * 2016-03-28 2020-03-27 Kt Corp Metodo y aparato para procesar senales de video
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
WO2018068744A1 (en) * 2016-10-14 2018-04-19 Mediatek Inc. Method and apparatus of smoothing filter for ringing artefact removal
US10666937B2 (en) * 2016-12-21 2020-05-26 Qualcomm Incorporated Low-complexity sign prediction for video coding
WO2019076138A1 (en) 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Cixun Zhang et al.，Video coding using Variable Block-Size Spatially Varying Transforms，2009 IEEE International Conference on Acoustics, Speech and Signal Processing，2009年04月19日，pp.905-908
Jicheng An et al.，Non-CE7: Boundary-Dependent Transform for Inter-Predicted Residue，Joint Collaborative Team on Video Coding (JCT-VC)，2011年11月22日，[JCTVC-G281] (version 2)
Xin Zhao et al.，Enhanced Multiple Transform for Video Coding，2016 Data Compression Conference (DCC)，2016年03月30日，pp.73-82

Also Published As

Publication number Publication date
HUE060716T2 (hu) 2023-04-28
EP4145830A1 (en) 2023-03-08
DK3677032T3 (da) 2024-04-29
US11956455B2 (en) 2024-04-09
KR102653815B1 (ko) 2024-04-03
WO2019076201A1 (en) 2019-04-25
EP4447443A2 (en) 2024-10-16
CN113573073A (zh) 2021-10-29
US20230069387A1 (en) 2023-03-02
EP3677032A1 (en) 2020-07-08
PL3679715T3 (pl) 2023-04-11
EP3677032A4 (en) 2020-10-21
EP3679715B1 (en) 2022-12-07
WO2019076206A1 (en) 2019-04-25
CN111226438B (zh) 2024-07-05
US11343523B2 (en) 2022-05-24
US20220191534A9 (en) 2022-06-16
CN112243124A (zh) 2021-01-19
KR102555673B1 (ko) 2023-07-18
US20200304816A1 (en) 2020-09-24
CN111133760B (zh) 2021-06-08
CN113411577B (zh) 2023-10-20
HUE065255T2 (hu) 2024-05-28
ES2939184T3 (es) 2023-04-19
US20210006809A9 (en) 2021-01-07
KR102431538B1 (ko) 2022-08-12
CN113573074A (zh) 2021-10-29
US20200329253A1 (en) 2020-10-15
KR20220113851A (ko) 2022-08-16
JP2020537451A (ja) 2020-12-17
JP2022125049A (ja) 2022-08-26
PT3677032T (pt) 2024-03-19
EP4319161A3 (en) 2024-04-17
WO2019076138A1 (en) 2019-04-25
US20220264134A1 (en) 2022-08-18
KR20200053602A (ko) 2020-05-18
US20210243462A1 (en) 2021-08-05
CN113573074B (zh) 2022-12-06
CN111133760A (zh) 2020-05-08
CN112243124B (zh) 2021-08-20
FI3679715T3 (fi) 2023-01-31
PL3677032T3 (pl) 2024-06-10
US11006139B2 (en) 2021-05-11
DK3679715T3 (da) 2023-01-09
EP4319161A2 (en) 2024-02-07
US20240223792A1 (en) 2024-07-04
PT3679715T (pt) 2023-02-28
EP3679715A4 (en) 2020-10-21
JP7381660B2 (ja) 2023-11-15
ES2977659T3 (es) 2024-08-28
EP3679715A1 (en) 2020-07-15
CN113411577A (zh) 2021-09-17
KR20240046630A (ko) 2024-04-09
EP4145830B1 (en) 2024-07-31
WO2019076200A1 (en) 2019-04-25
KR20230107722A (ko) 2023-07-17
CN111226438A (zh) 2020-06-02
JP2024015480A (ja) 2024-02-02
EP3677032B1 (en) 2024-02-07
US11523129B2 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
JP7087071B2 (ja) 符号化方法及び機器
KR102618466B1 (ko) 보간 필터를 사용하는 인트라 예측을 위한 방법 및 장치
JP7346601B2 (ja) Ｍｐｍリストを構成する方法、クロマブロックのイントラ予測モードを取得する方法、および装置
KR20210125088A (ko) 매트릭스 기반 인트라 예측 및 2차 변환 코어 선택을 조화시키는 인코더, 디코더 및 대응 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200501

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220608

R150 Certificate of patent or registration of utility model

Ref document number: 7087071

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150