WO2018119609A1 - 一种基于模板匹配的编解码方法及装置 - Google Patents

一种基于模板匹配的编解码方法及装置 Download PDF

Info

Publication number
WO2018119609A1
WO2018119609A1 PCT/CN2016/112198 CN2016112198W WO2018119609A1 WO 2018119609 A1 WO2018119609 A1 WO 2018119609A1 CN 2016112198 W CN2016112198 W CN 2016112198W WO 2018119609 A1 WO2018119609 A1 WO 2018119609A1
Authority
WO
WIPO (PCT)
Prior art keywords
transform
unit
prediction
coefficient
template matching
Prior art date
Application number
PCT/CN2016/112198
Other languages
English (en)
French (fr)
Inventor
林永兵
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to PCT/CN2016/112198 priority Critical patent/WO2018119609A1/zh
Priority to CN201680090503.XA priority patent/CN109891882B/zh
Publication of WO2018119609A1 publication Critical patent/WO2018119609A1/zh
Priority to US16/448,377 priority patent/US20190313126A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

一种基于模板匹配的编解码方法和装置，编码方法为，确定待编码单元的预测模式；根据所述预测模式对所述待编码单元进行帧内预测或者帧间预测，获得所述待编码单元的预测残差；当所述预测模式为模板匹配模式时，使用目标变换对所述预测残差进行变换，得到变换系数，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布；对所述变换系数进行量化和熵编码，生成码流，由于模板匹配预测残差的能量分布与目标变换的变换基矩阵的特性相似，从而能够很好的去除相关性，提升了变换效果和编码效果。

Description

一种基于模板匹配的编解码方法及装置 技术领域
本申请涉及视频图像技术领域，尤其涉及一种基于模板匹配的编解码方法及装置。
背景技术
视频编码压缩技术最主要性能指标是压缩率，实现以最少的带宽传输最高质量的视频内容，压缩率的提高是通过去除视频内容本身的冗余信息来实现的。视频编码压缩标准的主流技术框架，都采用基于图像块的混合视频编码方案，视频编码的主要技术包括：预测，变换和量化，熵编码，通过预测技术去除空间和时间相关性，通过变换和量化技术去除频域相关性，通过熵编码技术进一步去除码字间的信息冗余。
随着视频编码压缩率的不断提高，编码码流中的运动信息的占比越来越大。基于模板匹配(template matching，TM)的运动信息预测技术，可实现在解码端导出运动信息，运动信息无需传送，大大节约编码比特，提高压缩率。基于TM的运动信息预测技术成为下一代视频编码标准的候选技术之一。
现有的基于模板匹配产生的预测残差的变换处理，是采用离散余弦变换(Discrete cosine transform，DCT变换)，DCT变换作为视频编码中最为常用的变换，有较好的能量集中性，并且具有快速算法便于实现，但是DCT变换没有考虑模板匹配预测残差的能量分布特性。DCT变换只适合平坦的残差能量分布，而基于模板匹配获得的预测残差并不具有平坦的能量分布特性，因此，DCT变换并不适合。
发明内容
本申请实施例提供一种基于模板匹配的编解码方法及装置，以选择一种合适的变换来处理模板匹配产生的残差，保证变换效果的同时降低复杂度， 以提高编解码效率。
第一方面，提供一种基于模板匹配的编码方法，包括：确定待编码单元的预测模式；根据所述预测模式对所述待编码单元进行帧内预测或者帧间预测，获得所述待编码单元的预测残差；当所述预测模式为模板匹配模式时，使用目标变换对所述预测残差进行变换，得到变换系数，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待编码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待编码单元的预测值，所述预测值用于计算所述预测残差，所述当前模板包括所述待编码单元的邻域中预设位置和数量的多个重构像素；对所述变换系数进行量化和熵编码，生成码流。
该有益效果在于，编码端在编码时，由于模板匹配预测残差的能量分布与目标变换的变换基矩阵的特性相似，从而能够很好的去除相关性，提升了变换效果和编码效果，此外，相比于现有技术中多变换选择技术，无需将选择的目标变换的索引信息写入码流，能够节省编码时的比特开销。
结合第一方面，一种可能的设计中，所述目标变换，包括：DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
Figure PCTCN2016112198-appb-000001
其中，i，j表示行列索引，N表示变换点数。
该有益效果在于，由于DST-VII型变换的变换基函数特性符合模板预测残差的能量分布特性，能够获得较好的变换效果，进一步提高编码质量和编码效率。
结合第一方面，一种可能的设计中，所述使用目标变换对所述预测残差进行变换，包括根据下述表达式进行所述变换：C＝Τ1×Ι×Τ2，其中，Ι表示所述预测残差的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述变换系数的矩阵。
结合第一方面，一种可能的设计中，所述第一种形式和所述第二种形式呈转置矩阵关系。
结合第一方面，一种可能的设计中，在所述预测模式不为模板匹配模式时，还包括：对所述预测残差进行离散正弦变换(DST)或离散余弦变换(DCT)，得到所述变换系数。
该有益效果在于，在所述预测模式不为模板匹配模式时，能够在DST和DCT中自适应变换，提升变换效果。
第二方面，提供一种基于模板匹配的编码方法，包括：确定待编码单元的预测模式；根据所述预测模式对所述待编码单元进行帧内预测或者帧间预测，获得所述待编码单元的预测残差；当所述预测模式为模板匹配模式且所述待编码单元的尺寸小于预设尺寸时，使用目标变换对所述预测残差进行变换，得到变换系数，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待编码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待编码单元的预测值的预测模式，所述预测值用于计算所述预测残差，所述当前模板包括所述待编码单元的邻域中预设位置和数量的多个重构像素；对所述变换系数进行量化和熵编码，生成码流。
该有益效果在于，编码端在编码时，对于小尺寸的基于模板匹配的预测残差块，由于模板匹配预测残差的能量分布与目标变换的变换基矩阵的特性相似，从而能够很好的去除相关性，提升了变换效果和编码效果，此外，相比于现有技术中多变换选择技术，无需将选择的目标变换的索引信息写入码流，能够节省编码时的比特开销。
结合第一方面，一种可能的设计中，所述目标变换，包括：DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
Figure PCTCN2016112198-appb-000002
其中，i，j 表示行列索引，N表示变换点数。
该有益效果在于，采用确定的DST-VII型变换对小尺寸的预测残差块进行变换，由于DST-VII型变换的变换基函数特性符合小尺寸块的模板预测残差的能量分布特性，能够获得较好的变换效果，进一步提高编码质量和编码效率。
结合第一方面，一种可能的设计中，在所述预测模式不为模板匹配模式或者所述待编码单元的尺寸不小于所述预设尺寸时，对所述预测残差进行离散余弦变换或离散正弦变换，得到所述变换系数。
该有益效果在于，在所述预测模式不为模板匹配模式或者所述待编码单元的尺寸不小于所述预设尺寸时，能够在DST和DCT中自适应变换，提升变换效果。
第三方面，提供一种基于模板匹配的解码方法，包括：从码流中获取待解码单元的预测模式；根据所述预测模式对所述待解码单元进行帧内预测或者帧间预测，获得所述待解码单元的预测值；从所述码流中获取残差系数，所述残差系数用于表征所述待解码单元的预测残差；对所述残差系数进行反量化，获得变换系数；在所述预测模式为模板匹配模式时，对所述变换系数进行目标变换的反变换，得到所述预测残差，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待解码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待解码单元的预测值，所述当前模板包括所述待解码单元的邻域中预设位置和数量的多个重构像素；将所述预测值与所述预测残差相加得到所述待解码单元的重构值。
该有益效果在于，解码端在解码时，由于模板匹配预测残差的能量分布与目标变换的变换基矩阵的特性相似，从而能够很好的去除相关性，提升了解码效果，进一步提高解码质量；此外，相比于现有技术中，无需从码流中获取目标变换的索引信息来进行目标变换的反变换，能够节省编码时的比特 开销，提高解码效率。
结合第三方面，一种可能的设计中，所述目标变换，包括：DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
Figure PCTCN2016112198-appb-000003
其中，i，j表示行列索引，N表示变换点数。
结合第三方面，一种可能的设计中，所述对所述变换系数进行目标变换的反变换，包括根据下述表达式进行所述反变换：C＝Τ1×Ι×Τ2，其中，Ι表示所述变换系数的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述预测残差的矩阵。
结合第三方面，一种可能的设计中，所述第一种形式和所述第二种形式呈转置矩阵关系。
结合第三方面，一种可能的设计中，在所述预测模式不为模板匹配模式时，还包括：对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换，得到所述预测残差。
该有益效果在于，在所述预测模式不为模板匹配模式时，对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换，在两种变换方式中自适应选择，降低复杂度，提高变换效率。
第四方面，提供一种基于模板匹配的解码方法，包括：从码流中获取待解码单元的预测模式；根据所述预测模式对所述待解码单元进行帧内预测或者帧间预测，获得所述待解码单元的预测值；从所述码流中获取残差系数，所述残差系数用于表征所述待解码单元的预测残差；对所述残差系数进行反量化，获得变换系数；在所述预测模式为模板匹配模式且所述待解码单元的的尺寸小于预设尺寸时，对所述变换系数进行目标变换的反变换，得到所述预测残差，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待解码单元的预设参考 图像范围中进行当前模板的匹配搜索，获得所述待解码单元的预测值，所述当前模板包括所述待解码单元的邻域中预设位置和数量的多个重构像素；将所述预测值与所述预测残差相加得到所述待解码单元的重构值。
该有益效果在于，解码端在解码时，由于小尺寸块的模板匹配预测残差的能量分布与目标变换的变换基矩阵的特性相似，从而能够很好的去除相关性，提升了解码效果，进一步提高解码质量；此外，相比于现有技术中多变换选择技术，无需从码流中获取目标变换的索引信息来进行目标变换的反变换，能够节省编码时的比特开销，提高解码效率。
结合第四方面，一种可能的设计中，所述目标变换，包括：ST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
Figure PCTCN2016112198-appb-000004
其中，i，j表示行列索引，N表示变换点数。
结合第四方面，一种可能的设计中，所述对所述变换系数进行目标变换的反变换，包括根据下述表达式进行所述反变换：C＝Τ1×Ι×Τ2，其中，Ι表示所述变换系数的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述预测残差的矩阵。
结合第四方面，一种可能的设计中，所述第一种形式和所述第二种形式呈转置矩阵关系。
结合第四方面，一种可能的设计中，在所述预测模式不为模板匹配模式或者所述待解码单元的尺寸不小于所述预设尺寸时，还包括：对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换，得到所述预测残差。
该有益效果在于，在所述预测模式不为模板匹配模式时，对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换，在两种变换方式中自适应选择，降低复杂度，提高变换效率。
结合第四方面，一种可能的设计中，在所述对所述变换系数进行离散正 弦变换的反变换或者进行离散余弦变换的反变换之前，还包括：从所述码流中获取索引，所述索引用于表征使用所述离散正弦变换或者使用所述离散余弦变换进行所述反变换。
结合第四方面，一种可能的设计中，所述预设尺寸，包括：所述待解码单元的长和宽均为2，4，8，16，32，64，128，或256；或者，所述待解码单元的长边为2，4，8，16，32，64，128，或256；或者，所述待解码单元的短边为2，4，8，16，32，64，128，或256。
第五方面，提供一种基于模板匹配的编码装置，包括：确定单元，用于确定待编码单元的预测模式；预测单元，用于根据所述预测模式对所述待编码单元进行帧内预测或者帧间预测，获得所述待编码单元的预测残差；变换单元，用于当所述预测模式为模板匹配模式时，使用目标变换对所述预测残差进行变换，得到变换系数，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待编码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待编码单元的预测值，所述预测值用于计算所述预测残差，所述当前模板包括所述待编码单元的邻域中预设位置和数量的多个重构像素；编码单元，用于对所述变换系数进行量化和熵编码，生成码流。
结合第五方面，一种可能的设计中，所述目标变换，包括：DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
Figure PCTCN2016112198-appb-000005
其中，i，j表示行列索引，N表示变换点数。
结合第五方面，一种可能的设计中，所述变换单元在使用目标变换对所述预测残差进行变换时，根据下述表达式进行所述变换：C＝Τ1×Ι×Τ2，其中，Ι表示所述预测残差的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述变换系数 的矩阵。
结合第五方面，一种可能的设计中，所述第一种形式和所述第二种形式呈转置矩阵关系。
结合第五方面，一种可能的设计中，所述变换单元在所述预测模式不为模板匹配模式时，还用于：对所述预测残差进行离散正弦变换(DST)或离散余弦变换(DCT)，得到所述变换系数。
第六方面，提供一种基于模板匹配的编码装置，包括：确定单元，用于确定待编码单元的预测模式；预测单元，用于根据所述预测模式对所述待编码单元进行帧内预测或者帧间预测，获得所述待编码单元的预测残差；变换单元，用于当所述预测模式为模板匹配模式且所述待编码单元的尺寸小于预设尺寸时，使用目标变换对所述预测残差进行变换，得到变换系数，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待编码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待编码单元的预测值的预测模式，所述预测值用于计算所述预测残差，所述当前模板包括所述待编码单元的邻域中预设位置和数量的多个重构像素；编码单元，用于对所述变换系数进行量化和熵编码，生成码流。
结合第六方面，一种可能的设计中，所述目标变换，包括：DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
Figure PCTCN2016112198-appb-000006
其中，i，j表示行列索引，N表示变换点数。
结合第六方面，一种可能的设计中，所述变换单元还用于：在所述预测模式不为模板匹配模式或者所述待编码单元的尺寸不小于所述预设尺寸时，对所述预测残差进行离散余弦变换或离散正弦变换，得到所述变换系数。
第七方面，提供一种基于模板匹配的解码装置，包括：获取单元，用于 从码流中获取待解码单元的预测模式；预测单元，用于根据所述预测模式对所述待解码单元进行帧内预测或者帧间预测，获得所述待解码单元的预测值；所述获取单元，还用于从所述码流中获取残差系数，所述残差系数用于表征所述待解码单元的预测残差；反量化单元，用于对所述残差系数进行反量化，获得变换系数；反变换单元，用于在所述预测模式为模板匹配模式时，对所述变换系数进行目标变换的反变换，得到所述预测残差，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待解码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待解码单元的预测值，所述当前模板包括所述待解码单元的邻域中预设位置和数量的多个重构像素；解码单元，用于将所述预测值与所述预测残差相加得到所述待解码单元的重构值。结合第七方面，一种可能的设计中，所述目标变换，包括：DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
Figure PCTCN2016112198-appb-000007
其中，i，j表示行列索引，N表示变换点数。
结合第七方面，一种可能的设计中，所述反变换单元在对所述变换系数进行目标变换的反变换时，根据下述表达式进行所述反变换：C＝Τ1×Ι×Τ2，其中，Ι表示所述变换系数的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述预测残差的矩阵。
结合第七方面，一种可能的设计中，所述第一种形式和所述第二种形式呈转置矩阵关系。
结合第七方面，一种可能的设计中，所述反变换单元在所述预测模式不为模板匹配模式时，还用于：对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换，得到所述预测残差。
第八方面，提供一种基于模板匹配的解码装置，包括：获取单元，用于从码流中获取待解码单元的预测模式；预测单元，用于根据所述预测模式对所述待解码单元进行帧内预测或者帧间预测，获得所述待解码单元的预测值；所述预测单元，还用于从所述码流中获取残差系数，所述残差系数用于表征所述待解码单元的预测残差；反量化单元，用于对所述残差系数进行反量化，获得变换系数；反变换单元，用于在所述预测模式为模板匹配模式且所述待解码单元的的尺寸小于预设尺寸时，对所述变换系数进行目标变换的反变换，得到所述预测残差，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待解码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待解码单元的预测值，所述当前模板包括所述待解码单元的邻域中预设位置和数量的多个重构像素；解码单元，用于将所述预测值与所述预测残差相加得到所述待解码单元的重构值。
结合第八方面，一种可能的设计中，所述目标变换，包括：DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
Figure PCTCN2016112198-appb-000008
其中，i，j表示行列索引，N表示变换点数。
结合第八方面，一种可能的设计中，所述反变换单元在对所述变换系数进行目标变换的反变换时，根据下述表达式进行所述反变换：C＝Τ1×Ι×Τ2，其中，Ι表示所述变换系数的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述预测残差的矩阵。
结合第八方面，一种可能的设计中，所述第一种形式和所述第二种形式呈转置矩阵关系。
结合第八方面，一种可能的设计中，所述反变换单元在所述预测模式不 为模板匹配模式或者所述待解码单元的尺寸不小于所述预设尺寸时，还用于：对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换，得到所述预测残差。
结合第八方面，一种可能的设计中，所述获取单元在所述对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换之前，还用于：从所述码流中获取索引，所述索引用于表征使用所述离散正弦变换或者使用所述离散余弦变换进行所述反变换。
结合第八方面，一种可能的设计中，所述预设尺寸，包括：所述待解码单元的长和宽均为2，4，8，16，32，64，128，或256；或者，所述待解码单元的长边为2，4，8，16，32，64，128，或256；或者，所述待解码单元的短边为2，4，8，16，32，64，128，或256。
第九方面，提供一种编码设备，该设备包括处理器、存储器，其中，所述存储器中存有计算机可读程序，所述处理器通过运行所述存储器中的程序，实现第一方面或第二方面涉及的编码方法。
第十方面，提供一种解码设备，该设备包括处理器、存储器，其中，所述存储器中存有计算机可读程序，所述处理器通过运行所述存储器中的程序，实现第三方面或第四方面涉及的解码方法。
第十一方面，提供一种计算机存储介质，用于储存为上述第一方面或第二方面或第三方面或第四方面所述计算机软件指令，其包含用于执行上述方面所设计的程序。
应理解，本申请实施例的第五至十一方面与本申请实施例的第一、二、三、四方面的技术方案一致，各方面及对应的可实施的设计方式所取得的有益效果相似，不再赘述。
附图说明
图1A、图1B为视频编解码装置或电子设备的示意性框图；
图2为视频编解码系统的示意性框图；
图3为本申请实施例中基于模板匹配的编码方法流程图；
图4为一个待编码单元基于模板匹配预测残差的能量分布示意图；
图5为本申请实施例中基于模板匹配的解码方法流程图；
图6为本申请实施例中基于模板匹配的编码方法流程图；
图7为本申请实施例中基于模板匹配的解码方法流程图；
图8为本申请实施例中基于模板匹配的编码装置结构图；
图9为本申请实施例中基于模板匹配的编码器结构图；
图10为本申请实施例中基于模板匹配的编码装置结构图；
图11为本申请实施例中基于模板匹配的编码器结构图；
图12为本申请实施例中基于模板匹配的解码装置结构图；
图13为本申请实施例中基于模板匹配的解码器结构图；
图14为本申请实施例中基于模板匹配的解码装置结构图；
图15为本申请实施例中基于模板匹配的解码器结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
现有的视频编码中利用模板匹配的实现预测残差的变化流程如下所示：
1.进行模板匹配搜索，得到运动信息MV。
2.利用运动信息MV，获取当前块的预测值，利用得到的预测值获取预测残差。
3.对预测残差进行变换。
4.对变换后的系数进行量化和熵编码，并写入码流。
在基于块的混合视频编码框架下，主要有两类编码技术：
1)帧间编码(Inter coding)，基本原理是利用时域相关性，比如利用运动 补偿预测去除时域相关性。帧间编码需要有参考帧进行预测编码，基本参数为运动信息，利用运动信息获取当前块的预测值，所述运动信息，可以通过前述模板匹配的方法来获得。
2)帧内编码(Intra coding)，基本原理是利用空域相关性，比如使用帧内预测(Intra prediction)去除空域冗余；由于在编码过程中仅利用本帧的信息进行预测编码，不涉及其他帧的信息，故称为帧内编码。帧内预测一般利用相邻像素作为参考像素对当前块进行预测，此外，也可以利用上述模板匹配的方法获取预测值，此时，在当前已编码图像内部进行模板匹配获取当前块的预测值，而不同于帧间预测中在参考图像中进行模板匹配。
模板匹配预测既可应用于帧内编码也可应用于帧间编码，与模板匹配预测相对应的预测残差，称为模板匹配预测残差。
图1A是视频编解码装置或电子设备50的示意性框图，该装置或者电子设备可以并入根据本申请的实施例的编码解码器。图1B是根据本申请实施例的用于视频编码的示意性装置图。下面将说明图1A和图1B中的单元。
电子设备50可以例如是无线通信系统的移动终端或者用户设备。应理解，可以在可能需要对视频图像进行编码和解码，或者编码，或者解码的任何电子设备或者装置内实施本申请的实施例。
装置50可以包括用于并入和保护设备的壳。装置50还可以包括形式为液晶显示器的显示器32。在本申请的其它实施例中，显示器可以是适合于显示图像或者视频的任何适当的显示器技术。装置50还可以包括小键盘34。在本申请的其它实施例中，可以运用任何适当的数据或者用户接口机制。例如，可以实施用户接口为虚拟键盘或者数据录入系统作为触敏显示器的一部分。装置可以包括麦克风36或者任何适当的音频输入，该音频输入可以是数字或者模拟信号输入。装置50还可以包括如下音频输出设备，该音频输出设备在本申请的实施例中可以是以下各项中的任何一项：耳机38、扬声器或者模拟音频或者数字音频输出连接。装置50也可以包括电池40，在本申请的其它实施例中，设备可以由任何适当的移动能量设备，比如太阳能电池、燃料电池 或者时钟机构生成器供电。装置还可以包括用于与其它设备的近程视线通信的红外线端口42。在其它实施例中，装置50还可以包括任何适当的近程通信解决方案，比如蓝牙无线连接或者USB/火线有线连接。
装置50可以包括用于控制装置50的控制器56或者处理器。控制器56可以连接到存储器58，该存储器在本申请的实施例中可以存储形式为图像的数据和音频的数据，和/或也可以存储用于在控制器56上实施的指令。控制器56还可以连接到适合于实现音频和/或视频数据的编码和解码或者由控制器56实现的辅助编码和解码的编码解码器54。
装置50还可以包括用于提供用户信息并且适合于提供用于在网络认证和授权用户的认证信息的读卡器48和智能卡46。
装置50还可以包括无线电接口电路52，该无线电接口电路连接到控制器并且适合于生成例如用于与蜂窝通信网络、无线通信系统或者无线局域网通信的无线通信信号。装置50还可以包括天线44，该天线连接到无线电接口电路52用于向其它(多个)装置发送在无线电接口电路52生成的射频信号并且用于从其它(多个)装置接收射频信号。
在本申请的一些实施例中，装置50包括能够记录或者检测单帧的相机，编码解码器54或者控制器接收到这些单帧并对它们进行处理。在本申请的一些实施例中，装置可以在传输和/或存储之前从另一设备接收待处理的视频图像数据。在本申请的一些实施例中，装置50可以通过无线或者有线连接接收图像用于编码/解码。
图2是根据本申请实施例的另一视频编解码系统10的示意性框图。如图2所示，视频编解码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12产生的经编码视频数据。因此，目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频编解码装置或视频编解码设备的实例。源装置12及目的地装置14可包括广泛范围的装置，包含台式计算机、移动计算装置、笔记本(例如，膝上 型)计算机、平板计算机、机顶盒、智能电话等手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机，或其类似者。
目的地装置14可经由信道16接收来自源装置12的编码后的视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一个或多个媒体及/或装置。在一个实例中，信道16可包括使源装置12能够实时地将编码后的视频数据直接发射到目的地装置14的一个或多个通信媒体。在此实例中，源装置12可根据通信标准(例如，无线通信协议)来调制编码后的视频数据，且可将调制后的视频数据发射到目的地装置14。所述一个或多个通信媒体可包含无线及/或有线通信媒体，例如射频(RF)频谱或一根或多根物理传输线。所述一个或多个通信媒体可形成根据包的网络(例如，局域网、广域网或全球网络(例如，因特网))的部分。所述一个或多个通信媒体可包含路由器、交换器、基站，或促进从源装置12到目的地装置14的通信的其它设备。
在另一实例中，信道16可包含存储由源装置12产生的编码后的视频数据的存储媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取式数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码视频数据的其它合适数字存储媒体。
在另一实例中，信道16可包含文件服务器或存储由源装置12产生的编码后的视频数据的另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的编码后的视频数据。文件服务器可以是能够存储编码后的视频数据且将所述编码后的视频数据发射到目的地装置14的服务器类型。实例文件服务器包含web服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附加存储(NAS)装置，及本地磁盘驱动器。
目的地装置14可经由标准数据连接(例如，因特网连接)来存取编码后的视频数据。数据连接的实例类型包含适合于存取存储于文件服务器上的编码 后的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)，或两者的组合。编码后的视频数据从文件服务器的发射可为流式传输、下载传输或两者的组合。
本申请的技术不限于无线应用场景，示例性的，可将所述技术应用于支持以下应用等多种多媒体应用的视频编解码：空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射(例如，经由因特网)、存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码，或其它应用。在一些实例中，视频编解码系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。
在图2的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些实例中，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。视频源18可包含视频俘获装置(例如，视频相机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频输入接口，及/或用于产生视频数据的计算机图形系统，或上述视频数据源的组合。
视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12经由输出接口22将编码后的视频数据直接发射到目的地装置14。编码后的视频数据还可存储于存储媒体或文件服务器上以供目的地装置14稍后存取以用于解码及/或播放。
在图2的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实例中，输入接口28包含接收器及/或调制解调器。输入接口28可经由信道16接收编码后的视频数据。显示装置32可与目的地装置14整合或可在目的地装置14外部。一般来说，显示装置32显示解码后的视频数据。显示装置32可包括多种显示装置，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或其它类型的显示装置。
视频编码器20及视频解码器30可根据视频压缩标准(例如，高效率视频编解码H.265标准)而操作，且可遵照HEVC测试模型(HM)。H.265标准的文本描述ITU-TH.265(V3)(04/2015)于2015年4月29号发布，可从 http://handle.itu.int/11.1002/1000/12455下载，所述文件的全部内容以引用的方式并入本文中。
或者，视频编码器20及视频解码器30可根据其它专属或行业标准而操作，所述标准包含ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual，ITU-TH.264(还称为ISO/IECMPEG-4AVC)，包含可分级视频编解码(SVC)及多视图视频编解码(MVC)扩展。应理解，本申请的技术不限于任何特定编解码标准或技术。
此外，图2仅为实例且本申请的技术可应用于未必包含编码装置与解码装置之间的任何数据通信的视频编解码应用(例如，单侧的视频编码或视频解码)。在其它实例中，从本地存储器检索数据，经由网络流式传输数据，或以类似方式操作数据。编码装置可编码数据且将所述数据存储到存储器，及/或解码装置可从存储器检索数据且解码所述数据。在许多实例中，通过彼此不进行通信而仅编码数据到存储器及/或从存储器检索数据及解码数据的多个装置执行编码及解码。
视频编码器20及视频解码器30各自可实施为多种合适电路中的任一者，例如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果技术部分地或者全部以软件实施，则装置可将软件的指令存储于合适的非瞬时计算机可读存储媒体中，且可使用一个或多个处理器执行硬件中的指令以执行本申请的技术。可将前述各者中的任一者(包含硬件、软件、硬件与软件的组合等)视为一个或多个处理器。视频编码器20及视频解码器30中的每一者可包含于一个或多个编码器或解码器中，其中的任一者可整合为其它装置中的组合式编码器/解码器(编解码器(CODEC))的部分。
本申请大体上可指代视频编码器20将某一信息“用信号发送”到另一装置(例如，视频解码器30)。术语“用信号发送”大体上可指代语法元素及/或表示编码后的视频数据的传达。此传达可实时或近实时地发生。或者，此通信可在一时间跨度上发生，例如可在编码时以编码后得到的二进制数据将语 法元素存储到计算机可读存储媒体时发生，所述语法元素在存储到此媒体之后接着可由解码装置在任何时间检索。
参阅图3所示，本申请实施例提供一种基于模板匹配的编码方法，具体流程如下所示：
步骤300：确定待编码单元的预测模式。
本申请中的待编码单元也可以称之为待编码块。
步骤301：根据所述预测模式对所述待编码单元进行帧内预测或者帧间预测，获得所述待编码单元的预测残差。
步骤302：当所述预测模式为模板匹配模式时，使用目标变换对所述预测残差进行变换，得到变换系数，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待编码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待编码单元的预测值，所述预测值用于计算所述预测残差，所述当前模板包括所述待编码单元的邻域中预设位置和数量的多个重构像素。
需要说明的是，模板匹配预测既可应用于帧内编码也可应用于帧间编码，当模板匹配应用于帧内预测时，一般利用模板匹配的方法在待编码单元的邻域中预设位置和数量的多个已重构像素中获取预测值，此时，在当前已编码图像内部进行模板匹配获取待编码单元的预测值；当模板匹配应用于帧间预测时，利用模板匹配的方法获取已编码的参考帧的运动信息，利用运动信息获取待编码单元的预测值。
当预测模式为模板匹配模式时，图4为统计一个待编码单元的尺寸为8*8的模板匹配预测残差的能量分布示意图，从图4中可以看出待编码单元内左上角能量较小，右下角能量较大；从左到右，能量逐渐增大；从上到下，能量逐渐增大。
这种能量分布是由于模板匹配和预测导致的结果。模板位于当前待编码单元左上角相邻区域，对于待编码单元内部像素点，越靠近该模板，运动相 关性也就越强，预测也就越准确，预测残差能量就越小；越远离该模板，运动相关性也就越弱，预测也就越不准确，预测残差能量就越大。
由此可知，根据模板匹配预测残差的能量分布的特性，选择的目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布。
其中，离散正弦变换-VII(Discrete sine transform–VII，DST-VII)型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
Figure PCTCN2016112198-appb-000009
其中，i，j表示行列索引，N表示变换点数。
DST-VII变换的基函数T0(j)符合递增的规律(i＝0，j＝0…N-1)，与模板匹配预测残差的能量分布相符。因此，利用DST-VII进行变换，可以更好的去除空域和时域相关性，取得更好的变换效果。
一种可能的实施方式中，所述目标变换是DST-VII型变换。
需要说明的是，这里DST-VII型变换只是一个示例。其他的目标变换，只要其基函数特性与模板匹配预测残差的能量分布特性相符，则也适用于模板匹配预测残差的变换。
具体的，DST-VII变换应用到编码过程中使用时，会对变换的基函数在对应位置点取值进行放大然后取整处理。例如4x4和8x8的DST-VII变换基矩阵表现为如下矩阵形式。
Figure PCTCN2016112198-appb-000010
Figure PCTCN2016112198-appb-000011
上述矩阵是现有的JEM4参考软件中实际使用的DST-VII变换基矩阵，上述4x4矩阵是由DST-VII基函数在对应位置点取值后，经过放大512倍然后取整得到的。可以看到上述矩阵的第一行系数是递增的，有利于去除具有能量递增特性的预测残差中的冗余信息。
同理，对于其他尺寸的待编码单元的变换基矩阵，如16x16,32x32，64x64，或者8x16,8x32，32x16等变换基矩阵，不再一一列举。
具体的，所述使用目标变换对所述预测残差进行变换时，可以根据下述表达式进行所述变换：
C＝Τ1×Ι×Τ2，
其中，Ι表示所述预测残差的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述变换系数的矩阵。
其中，目标变换的变换基矩阵的第一种形式和第二种形式呈转置矩阵关系。或者，T2是T1的逆矩阵。
视频编码中的2D变换，可以首先进行水平变换，然后进行垂直变换，得到最终的变换系数；可选的，也可以首先进行垂直变换，然后进行水平变换， 得到最终的变换系数。
可选的，Τ1×Ι是第一次矩阵相乘可看做水平变换，之后再乘以Τ2是第二次矩阵相乘可看做垂直变换；或者将Τ1×Ι可看做垂直变换，之后再乘以Τ2是第二次矩阵相乘可看做水平变换。当目标变换是DST-VII型变换，此时，水平变换和垂直变换均使用DST-VII型变换。
可选的，在所述预测模式不为模板匹配模式时，对所述预测残差进行离散正弦变换或离散余弦变换，得到所述变换系数。
步骤303：对所述变换系数进行量化和熵编码，生成码流。
由此可知，在编码过程中，若待编码单元的预测模式为模板匹配模式时，使用变换基矩阵的第一行系数呈从左向右递增分布的目标变换对模板匹配预测残差进行变换，得到变换系数，对所述变换系数进行量化和熵编码，生成码流，由于模板匹配预测残差的能量分布与目标变换的变换基矩阵的特性相似，从而能够很好的去除相关性，提升了变换效果和编码效果。
相应的，参阅图5所示，本申请实施例提供一种基于模板匹配的解码方法，具体流程如下所示：
步骤500：从码流中获取待解码单元的预测模式。
本申请中的待解码单元也可以称之为待解码块。
步骤501：根据所述预测模式对所述待解码单元进行帧内预测或者帧间预测，获得所述待解码单元的预测值。
步骤502：从所述码流中获取残差系数，所述残差系数用于表征所述待解码单元的预测残差。
步骤503：对所述残差系数进行反量化，获得变换系数。
步骤504：在所述预测模式为模板匹配模式时，对所述变换系数进行目标变换的反变换，得到所述预测残差，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待解码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待 解码单元的预测值，所述当前模板包括所述待解码单元的邻域中预设位置和数量的多个重构像素。
一种可能的实施方式中，所述目标变换，包括：
DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
Figure PCTCN2016112198-appb-000012
其中，i，j表示行列索引，N表示变换点数。
具体的，对所述变换系数进行目标变换的反变换时，包括根据下述表达式进行所述反变换：C＝Τ1×Ι×Τ2，
其中，Ι表示所述变换系数的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述预测残差的矩阵。
可选的，目标变换的变换基矩阵的第一种形式和第二种形式呈逆矩阵关系，即T2是T1的逆矩阵，可选的，目标变换的变换基矩阵的第一种形式和第二种形式呈转置矩阵关系。
可选的，在所述预测模式不为模板匹配模式时，对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换，得到所述预测残差。
步骤505：将所述预测值与所述预测残差相加得到所述待解码单元的重构值。
由此可知，在解码过程中，若从码流中获取到待解码单元的预测模式为模板匹配模式时，使用变换基矩阵的第一行系数呈从左向右递增分布的目标变换的反变换对模板匹配预测残差进行反变换，得到预测残差，将待解码单元的预测值与所述预测残差相加得到所述待解码单元的重构值，由于模板匹配预测残差的能量分布与目标变换的变换基矩阵的特性相似，从而能够很好的去除相关性，提升了解码效果。
参阅图6所示，本申请实施例提供一种基于模板匹配的编码方法，具体 流程如下所示：
步骤600：确定待编码单元的预测模式。
本申请中的待编码单元也可以称之为待编码块。
步骤601：根据所述预测模式对所述待编码单元进行帧内预测或者帧间预测，获得所述待编码单元的预测残差。
步骤602：当所述预测模式为模板匹配模式且所述待编码单元的尺寸小于预设尺寸时，使用目标变换对所述预测残差进行变换，得到变换系数，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待编码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待编码单元的预测值的预测模式，所述预测值用于计算所述预测残差，所述当前模板包括所述待编码单元的邻域中预设位置和数量的多个重构像素。
其中，所述预设尺寸，包括：
所述待编码单元的长和宽均为2，4，8，16，32，64，128，或256；或者，
所述待编码单元的长边为2，4，8，16，32，64，128，或256；或者，
所述待编码单元的短边为2，4，8，16，32，64，128，或256。
这是预设尺寸的可能大小，当然也可以设置其他尺寸，本申请中不作限制。
需要说明的是，本申请中的待编码单元的目标变换矩阵的尺寸大小，可以与所述待编码单元的尺寸一样，也可以小于所述待编码单元的尺寸。
一方面，视频编码中，待编码单元的尺寸大小可变，通常有4x4,8x8,16x16,..64x64,128x128等方块尺寸，也包括4x8，8x16,16x8，4x16,32x8…等各种非方块尺寸。对于较小的块尺寸，如块尺寸小于32x32，其预测残差的能量较好的呈现上述图4中渐变的能量分布特性，即从上到下从左到右，能量递增。
另一方面，由于DST-VII变换的基函数T0(j)符合递增的规律(i＝0，j＝0…N-1)，与模板匹配预测残差的能量分布相符。因此，利用DST-VII进行变换，可以更好的去除空域和时域相关性，取得更好的变换效果。
因此，一种可能的实施方式中，当所述预测模式为模板匹配模式且所述待编码单元的尺寸小于预设尺寸时，所述目标变换，包括：
DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
Figure PCTCN2016112198-appb-000013
其中，i，j表示行列索引，N表示变换点数。
需要说明的是，这里DST-VII型变换只是一个示例。其他的目标变换，只要其基函数特性与模板匹配预测残差的能量分布特性相符，则也适用于模板匹配预测残差的变换。
具体的，DST-VII变换应用到编码过程中使用时，会对变换的基函数在对应位置点取值进行放大然后取整处理。例如4x4和8x8的DST-VII变换基矩阵表现为如下矩阵形式。
Figure PCTCN2016112198-appb-000014
Figure PCTCN2016112198-appb-000015
Figure PCTCN2016112198-appb-000016
上述矩阵是现有的JEM4参考软件中实际使用的DST-VII变换基矩阵，上述4x4矩阵是由DST-VII基函数在对应位置点取值后，经过放大512倍然后取整得到的。可以看到上述矩阵的第一行系数是递增的，有利于去除具有能量递增特性的预测残差中的冗余信息。
具体的，所述使用目标变换对所述预测残差进行变换时，可以根据下述表达式进行所述变换：
C＝Τ1×Ι×Τ2，
其中，Ι表示所述预测残差的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述变换系数的矩阵。
可选的，目标变换的变换基矩阵的第一种形式和第二种形式呈逆矩阵关系，即T2是T1的逆矩阵，可选的，目标变换的变换基矩阵的第一种形式和第二种形式呈转置矩阵关系。
视频编码中的2D变换，可以首先进行水平变换，然后进行垂直变换，得到最终的变换系数；可选的，也可以首先进行垂直变换，然后进行水平变换，得到最终的变换系数。
可选的，Τ1×Ι是第一次矩阵相乘可看做水平变换，之后再乘以Τ2是第二次矩阵相乘可看做垂直变换；或者将Τ1×Ι可看做垂直变换，之后再乘以Τ2是第二次矩阵相乘可看做水平变换。当目标变换是DST-VII型变换，此时，水平变换和垂直变换均使用DST-VII型变换。
可选的，在所述预测模式不为模板匹配模式或者所述待编码单元的尺寸不小于所述预设尺寸时，对所述预测残差进行离散余弦变换或离散正弦变换，得到所述变换系数。
值得一提的是，对于大尺寸的预测残差块，由于远离模板的区域相对较大，残差能量分布将更多趋向于平坦变化。
其中，DCT-II型变换的变换基矩阵由所述DCT-II型变换的基函数确定，所述DST-II型变换的基函数为
Figure PCTCN2016112198-appb-000017
其中，i，j表示行列索引，N表示变换点数，
Figure PCTCN2016112198-appb-000018
DCT-V型变换的变换基矩阵由所述DCT-V型变换的基函数确定，所述DST-II型变换的基函数为
Figure PCTCN2016112198-appb-000019
其中，i，j表示行列索引，N表示变换点数，
Figure PCTCN2016112198-appb-000020
由此可知，DCT-II和DCT-V型变换的基函数T0(j)为一常数(j＝0…N-1)，适合平坦的残差能量分布；
因此，对于大尺寸的预测残差块，由于远离模板的区域相对较大，残差能量分布将更多趋向于平坦变化，此时，采用DST-VII和DCT-II型的自适应变换，会是一种更好的选择。
步骤603：对所述变换系数进行量化和熵编码，生成码流。
由此可知，在编码过程中，若待编码单元的预测模式为模板匹配模式且所述待编码单元的尺寸小于预设尺寸时，使用变换基矩阵的第一行系数呈从左向右递增分布的目标变换对模板匹配预测残差进行变换，得到变换系数，对所述变换系数进行量化和熵编码，生成码流，由于模板匹配预测残差的能 量分布与目标变换的变换基矩阵的特性相似，从而能够很好的去除相关性，提升了变换效果和编码效果。
相应的，参阅图7所示，本申请实施例提供一种基于模板匹配的解码方法，具体流程如下所示：
步骤700：从码流中获取待解码单元的预测模式。
步骤701：根据所述预测模式对所述待解码单元进行帧内预测或者帧间预测，获得所述待解码单元的预测值。
步骤702：从所述码流中获取残差系数，所述残差系数用于表征所述待解码单元的预测残差。
步骤703：对所述残差系数进行反量化，获得变换系数。
步骤704：在所述预测模式为模板匹配模式且所述待解码单元的尺寸小于预设尺寸时，对所述变换系数进行目标变换的反变换，得到所述预测残差，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待解码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待解码单元的预测值，所述当前模板包括所述待解码单元的邻域中预设位置和数量的多个重构像素。
需要说明的是，本申请中的待解码单元的待编码单元的尺寸可以与所述待解码单元的尺寸一样，也可以小于所述待编码单元的尺寸。
其中，所述预设尺寸，包括：
所述待解码单元的长和宽均为2，4，8，16，32，64，128，或256；或者，
所述待解码单元的长边为2，4，8，16，32，64，128，或256；或者，
所述待解码单元的短边为2，4，8，16，32，64，128，或256。
这是预设尺寸的可能大小，当然也可以设置其他尺寸，本申请中不作限制。
一种可能的实施方式中，所述目标变换，包括：
DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
Figure PCTCN2016112198-appb-000021
其中，i，j表示行列索引，N表示变换点数。
具体的，对所述变换系数进行目标变换的反变换时，根据下述表达式进行所述反变换：
C＝Τ1×Ι×Τ2，
其中，Ι表示所述变换系数的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述预测残差的矩阵。
可选的，目标变换的变换基矩阵的第一种形式和第二种形式呈逆矩阵关系，即T2是T1的逆矩阵，可选的，目标变换的变换基矩阵的第一种形式和第二种形式呈转置矩阵关系。
可选的，在所述预测模式不为模板匹配模式或者所述待解码单元的待编码单元的尺寸不小于所述预设尺寸时，从所述码流中获取索引，所述索引用于表征使用所述离散正弦变换或者使用所述离散余弦变换进行所述反变换；对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换，得到所述预测残差。
步骤705：将所述预测值与所述预测残差相加得到所述待解码单元的重构值。
由此可知，在解码过程中，若从码流中获取到待解码单元的预测模式为模板匹配模式且所述待解码单元的尺寸小于预设尺寸时，使用变换基矩阵的第一行系数呈从左向右递增分布的目标变换的反变换对模板匹配预测残差进行反变换，得到预测残差，将待解码单元的预测值与所述预测残差相加得到所述待解码单元的重构值，由于模板匹配预测残差的能量分布与目标变换的变换基矩阵的特性相似，从而能够很好的去除相关性，提升了解码效果。
根据上述实施例，如图8所示，本申请实施例提供一种基于模板匹配的编码装置800，如图8所示，该装置800包括确定单元801、预测单元802、变换单元803和编码单元804，其中：
确定单元801，用于确定待编码单元的预测模式；
预测单元802，用于根据所述预测模式对所述待编码单元进行帧内预测或者帧间预测，获得所述待编码单元的预测残差；
变换单元803，用于当所述预测模式为模板匹配模式时，使用目标变换对所述预测残差进行变换，得到变换系数，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待编码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待编码单元的预测值，所述预测值用于计算所述预测残差，所述当前模板包括所述待编码单元的邻域中预设位置和数量的多个重构像素；
编码单元804，用于对所述变换系数进行量化和熵编码，生成码流。
可选的，所述目标变换，包括：
DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
Figure PCTCN2016112198-appb-000022
其中，i，j表示行列索引，N表示变换点数。
可选的，所述变换单元803在使用目标变换对所述预测残差进行变换时，根据下述表达式进行所述变换：
C＝Τ1×Ι×Τ2，
其中，Ι表示所述预测残差的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述变换系数的矩阵。
可选的，所述第一种形式和所述第二种形式呈转置矩阵关系。
可选的，所述变换单元803在所述预测模式不为模板匹配模式时，还用于：
对所述预测残差进行离散正弦变换(DST)或离散余弦变换(DCT)，得到所述变换系数。
需要说明的是，本申请实施例中的装置800的各个单元的功能实现以及交互方式可以进一步参照相关方法实施例的描述，在此不再赘述。
根据同一发明构思，如图9所示，本申请实施例还提供一种编码器900，如图9所示，该编码器900包括处理器901和存储器902，执行本发明方案的程序代码保存在存储器902中，用于指令处理器901执行图3所示的基于模板匹配的编码方法。
本发明还可以通过对处理器进行设计编程，将图3所示的方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图3所示的方法。
根据上述实施例，如图10所示，本申请实施例提供一种基于模板匹配的编码装置1000，如图10所示，该装置1000包括确定单元1001、预测单元1002、变换单元1003和编码单元1004，其中：
确定单元1001，用于确定待编码单元的预测模式；
预测单元1002，用于根据所述预测模式对所述待编码单元进行帧内预测或者帧间预测，获得所述待编码单元的预测残差；
变换单元1003，用于当所述预测模式为模板匹配模式且所述待编码单元的尺寸小于预设尺寸时，使用目标变换对所述预测残差进行变换，得到变换系数，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待编码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待编码单元的预测值的预测模式，所述预测值用于计算所述预测残差，所述当前模板包括所述待编码单元的邻域中预设位置和数量的多个重构像素；
编码单元1004，用于对所述变换系数进行量化和熵编码，生成码流。
可选的，所述目标变换，包括：
DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
Figure PCTCN2016112198-appb-000023
其中，i，j表示行列索引，N表示变换点数。
可选的，所述变换单元1003还用于：
在所述预测模式不为模板匹配模式或者所述待编码单元的尺寸不小于所述预设尺寸时，对所述预测残差进行离散余弦变换或离散正弦变换，得到所述变换系数。
本申请实施例中的装置1000的各个单元的功能实现以及交互方式可以进一步参照相关方法实施例的描述，在此不再赘述。
应理解以上装置1000和800中的各个单元的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。例如，以上各个单元可以为单独设立的处理元件，也可以集成在编码设备的某一个芯片中实现，此外，也可以以程序代码的形式存储于编码器的存储元件中，由编码设备的某一个处理元件调用并执行以上各个单元的功能。此外各个单元可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。该处理元件可以是通用处理器，例如中央处理器(英文：centralprocessingunit，简称：CPU)，还可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(英文：application-specificintegratedcircuit，简称：ASIC)，或，一个或多个微处理器(英文：digitalsignalprocessor，简称：DSP)，或，一个或者多个现场可编程门阵列(英文：field-programmablegatearray，简称：FPGA)等。
根据同一发明构思，如图11所示，本申请实施例还提供一种编码器1100， 如图11所示，该编码器1100包括处理器1101和存储器1102，执行本发明方案的程序代码保存在存储器1102中，用于指令处理器1101执行图3所示的基于模板匹配的编码方法。
本发明还可以通过对处理器进行设计编程，将图6所示的方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图6所示的方法。
根据上述实施例，如图12所示，本申请实施例提供一种基于模板匹配的解码装置1200，如图12所示，该装置1200包括获取单元1201、预测单元1202、反量化单元1203、反变换单元1204，解码单元1205，其中：
获取单元1201，用于从码流中获取待解码单元的预测模式；
预测单元1202，用于根据所述预测模式对所述待解码单元进行帧内预测或者帧间预测，获得所述待解码单元的预测值；
所述获取单元1201，还用于从所述码流中获取残差系数，所述残差系数用于表征所述待解码单元的预测残差；
反量化单元1203，用于对所述残差系数进行反量化，获得变换系数；
反变换单元1204，用于在所述预测模式为模板匹配模式时，对所述变换系数进行目标变换的反变换，得到所述预测残差，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待解码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待解码单元的预测值，所述当前模板包括所述待解码单元的邻域中预设位置和数量的多个重构像素；
解码单元1205，用于将所述预测值与所述预测残差相加得到所述待解码单元的重构值。
可选的，所述目标变换，包括：
DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
Figure PCTCN2016112198-appb-000024
其中，i，j表示行列索引，N表示变换点数。
可选的，所述反变换单元1204在对所述变换系数进行目标变换的反变换时，根据下述表达式进行所述反变换：
C＝Τ1×Ι×Τ2，
其中，Ι表示所述变换系数的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述预测残差的矩阵。
可选的，所述第一种形式和所述第二种形式呈转置矩阵关系。
可选的，所述反变换单元1204在所述预测模式不为模板匹配模式时，还用于：
对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换，得到所述预测残差。
本申请实施例中的装置1200的各个单元的功能实现以及交互方式可以进一步参照相关方法实施例的描述，在此不再赘述。
根据同一发明构思，本申请实施例还提供一种解码器1300，如图13所示，该解码器1300包括处理器1301和存储器1302，执行本发明方案的程序代码保存在存储器1302中，用于指令处理器1301执行图5所示的解码方法。
本发明还可以通过对处理器进行设计编程，将图5所示的方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图5所示的方法。
根据上述实施例，如图14所示，本申请实施例提供一种基于模板匹配的解码装置1400，如图14所示，该装置1400包括获取单元1401、预测单元1402、反量化单元1403、反变换单元1404，解码单元1405，其中：
获取单元1401，用于从码流中获取待解码单元的预测模式；
预测单元1402，用于根据所述预测模式对所述待解码单元进行帧内预测或者帧间预测，获得所述待解码单元的预测值；
所述预测单元1402，还用于从所述码流中获取残差系数，所述残差系数用于表征所述待解码单元的预测残差；
反量化单元1403，用于对所述残差系数进行反量化，获得变换系数；
反变换单元1404，用于在所述预测模式为模板匹配模式且所述待解码单元的的尺寸小于预设尺寸时，对所述变换系数进行目标变换的反变换，得到所述预测残差，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待解码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待解码单元的预测值，所述当前模板包括所述待解码单元的邻域中预设位置和数量的多个重构像素；
解码单元1405，用于将所述预测值与所述预测残差相加得到所述待解码单元的重构值。
可选的，所述目标变换，包括：
DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
Figure PCTCN2016112198-appb-000025
其中，i，j表示行列索引，N表示变换点数。
可选的，所述反变换单元1404在对所述变换系数进行目标变换的反变换时，根据下述表达式进行所述反变换：
C＝Τ1×Ι×Τ2，
其中，Ι表示所述变换系数的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述预测残差的矩阵。
可选的，所述第一种形式和所述第二种形式呈转置矩阵关系。
可选的，所述反变换单元1404在所述预测模式不为模板匹配模式或者所述待解码单元的尺寸不小于所述预设尺寸时，还用于：
对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换，得到所述预测残差。
可选的，所述获取单元1401在所述对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换之前，还用于：
从所述码流中获取索引，所述索引用于表征使用所述离散正弦变换或者使用所述离散余弦变换进行所述反变换。
可选的，所述预设尺寸，包括：
所述待解码单元的长和宽均为2，4，8，16，32，64，128，或256；或者，
所述待解码单元的长边为2，4，8，16，32，64，128，或256；或者，
所述待解码单元的短边为2，4，8，16，32，64，128，或256。
本申请实施例中的装置1400的各个单元的功能实现以及交互方式可以进一步参照相关方法实施例的描述，在此不再赘述。
应理解以上装置1200和1400中的各个单元的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。例如，以上各个单元可以为单独设立的处理元件，也可以集成在解码设备的某一个芯片中实现，此外，也可以以程序代码的形式存储于解码设备的存储元件中，由解码设备的某一个处理元件调用并执行以上各个单元的功能。此外各个单元可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。该处理元件可以是通用处理器，例如中央处理器(英文：centralprocessingunit，简称：CPU)，还可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(英文：application-specificintegratedcircuit，简称：ASIC)，或，一个或多个微处理器(英文：digitalsignalprocessor，简称：DSP)，或，一个或者多个现场可编程门阵列(英文：field-programmablegatearray，简称：FPGA)等。
根据同一发明构思，本申请实施例还提供一种解码器1500，如图15所示，该解码器1500包括处理器1501和存储器1502，执行本发明方案的程序代码保存在存储器1502中，用于指令处理器1501执行图7所示的解码方法。
本发明还可以通过对处理器进行设计编程，将图7所示的方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图7所示的方法。
可以理解的是，本发明实施例上述编码器900、编码器1100、解码器1300、和解码器1500中涉及的处理器可以是一个CPU，DSP，ASIC，或一个或多个用于控制本发明方案程序执行的集成电路。计算机系统中包括的一个或多个存储器，可以是只读存储器(英文：read-onlymemory，简称ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(英文：randomaccessmemory，简称：RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是磁盘存储器。这些存储器通过总线与处理器相连接，或者也可以通过专门的连接线与处理器连接。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。
本申请是参照本申请实施例的方法和设备各自的流程图和方框图来描述的。应理解可由计算机程序指令实现流程图和方框图中的每一流程和方框、以及流程图和方框图中的流程和方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的装置。

Claims (40)

  1. 一种基于模板匹配的编码方法，其特征在于，包括：
    确定待编码单元的预测模式；
    根据所述预测模式对所述待编码单元进行帧内预测或者帧间预测，获得所述待编码单元的预测残差；
    当所述预测模式为模板匹配模式时，使用目标变换对所述预测残差进行变换，得到变换系数，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待编码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待编码单元的预测值，所述预测值用于计算所述预测残差，所述当前模板包括所述待编码单元的邻域中预设位置和数量的多个重构像素；
    对所述变换系数进行量化和熵编码，生成码流。
  2. 根据权利要求1所述的方法，其特征在于，所述目标变换，包括：
    DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
    Figure PCTCN2016112198-appb-100001
    其中，i，j表示行列索引，N表示变换点数。
  3. 根据权利要求1或2所述的方法，其特征在于，所述使用目标变换对所述预测残差进行变换，包括根据下述表达式进行所述变换：
    C＝Τ1×Ι×Τ2，
    其中，Ι表示所述预测残差的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述变换系数的矩阵。
  4. 根据权利要求3所述的方法，其特征在于，包括：所述第一种形式和所述第二种形式呈转置矩阵关系。
  5. 根据权利要求1至4任一项所述的方法，其特征在于，在所述预测模式不为模板匹配模式时，还包括：
    对所述预测残差进行离散正弦变换(DST)或离散余弦变换(DCT)，得到所述变换系数。
  6. 一种基于模板匹配的编码方法，其特征在于，包括：
    确定待编码单元的预测模式；
    根据所述预测模式对所述待编码单元进行帧内预测或者帧间预测，获得所述待编码单元的预测残差；
    当所述预测模式为模板匹配模式且所述待编码单元的尺寸小于预设尺寸时，使用目标变换对所述预测残差进行变换，得到变换系数，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待编码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待编码单元的预测值的预测模式，所述预测值用于计算所述预测残差，所述当前模板包括所述待编码单元的邻域中预设位置和数量的多个重构像素；
    对所述变换系数进行量化和熵编码，生成码流。
  7. 根据权利要求6所述的方法，其特征在于，所述目标变换，包括：
    DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
    Figure PCTCN2016112198-appb-100002
    其中，i，j表示行列索引，N表示变换点数。
  8. 根据权利要求6或7所述的方法，其特征在于，还包括：
    在所述预测模式不为模板匹配模式或者所述待编码单元的尺寸不小于所述预设尺寸时，对所述预测残差进行离散余弦变换或离散正弦变换，得到所述变换系数。
  9. 一种基于模板匹配的解码方法，其特征在于，包括：
    从码流中获取待解码单元的预测模式；
    根据所述预测模式对所述待解码单元进行帧内预测或者帧间预测，获得所述待解码单元的预测值；
    从所述码流中获取残差系数，所述残差系数用于表征所述待解码单元的预测残差；
    对所述残差系数进行反量化，获得变换系数；
    在所述预测模式为模板匹配模式时，对所述变换系数进行目标变换的反变换，得到所述预测残差，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待解码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待解码单元的预测值，所述当前模板包括所述待解码单元的邻域中预设位置和数量的多个重构像素；
    将所述预测值与所述预测残差相加得到所述待解码单元的重构值。
  10. 根据权利要求9所述的方法，其特征在于，所述目标变换，包括：
    DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
    Figure PCTCN2016112198-appb-100003
    其中，i，j表示行列索引，N表示变换点数。
  11. 根据权利要求9或10所述的方法，其特征在于，所述对所述变换系数进行目标变换的反变换，包括根据下述表达式进行所述反变换：
    C＝Τ1×Ι×Τ2，
    其中，Ι表示所述变换系数的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述预测残差的矩阵。
  12. 根据权利要求11所述的方法，其特征在于，包括：所述第一种形式和所述第二种形式呈转置矩阵关系。
  13. 根据权利要求9至12任一项所述的方法，其特征在于，在所述预测模式不为模板匹配模式时，还包括：
    对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换，得到所述预测残差。
  14. 一种基于模板匹配的解码方法，其特征在于，包括：
    从码流中获取待解码单元的预测模式；
    根据所述预测模式对所述待解码单元进行帧内预测或者帧间预测，获得所述待解码单元的预测值；
    从所述码流中获取残差系数，所述残差系数用于表征所述待解码单元的预测残差；
    对所述残差系数进行反量化，获得变换系数；
    在所述预测模式为模板匹配模式且所述待解码单元的的尺寸小于预设尺寸时，对所述变换系数进行目标变换的反变换，得到所述预测残差，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待解码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待解码单元的预测值，所述当前模板包括所述待解码单元的邻域中预设位置和数量的多个重构像素；
    将所述预测值与所述预测残差相加得到所述待解码单元的重构值。
  15. 根据权利要求14所述的方法，其特征在于，所述目标变换，包括：
    DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
    Figure PCTCN2016112198-appb-100004
    其中，i，j表示行列索引，N表示变换点数。
  16. 根据权利要求14或15所述的方法，其特征在于，所述对所述变换系数进行目标变换的反变换，包括根据下述表达式进行所述反变换：
    C＝Τ1×Ι×Τ2，
    其中，Ι表示所述变换系数的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述预测残差的矩阵。
  17. 根据权利要求16所述的方法，其特征在于，包括：所述第一种形式和所述第二种形式呈转置矩阵关系。
  18. 根据权利要求14至17任一项所述的方法，其特征在于，在所述预测模式不为模板匹配模式或者所述待解码单元的尺寸不小于所述预设尺寸时，还包括：
    对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换，得到所述预测残差。
  19. 根据权利要求18所述的方法，其特征在于，在所述对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换之前，还包括：
    从所述码流中获取索引，所述索引用于表征使用所述离散正弦变换或者使用所述离散余弦变换进行所述反变换。
  20. 根据权利要求14至19任一项所述的方法，其特征在于，所述预设尺寸，包括：
    所述待解码单元的长和宽均为2，4，8，16，32，64，128，或256；或者，
    所述待解码单元的长边为2，4，8，16，32，64，128，或256；或者，
    所述待解码单元的短边为2，4，8，16，32，64，128，或256。
  21. 一种基于模板匹配的编码装置，其特征在于，包括：
    确定单元，用于确定待编码单元的预测模式；
    预测单元，用于根据所述预测模式对所述待编码单元进行帧内预测或者帧间预测，获得所述待编码单元的预测残差；
    变换单元，用于当所述预测模式为模板匹配模式时，使用目标变换对所述预测残差进行变换，得到变换系数，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待编码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待编码单元的预测值，所述预测值用于计算所述预测残差，所述当前模板包括所述待编码单元的邻域中预设位置和数量的多个重构像素；
    编码单元，用于对所述变换系数进行量化和熵编码，生成码流。
  22. 根据权利要求21所述的装置，其特征在于，所述目标变换，包括：
    DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
    Figure PCTCN2016112198-appb-100005
    其中，i，j表示行列索引，N表示变换点数。
  23. 根据权利要求21或22所述的装置，其特征在于，所述变换单元在使用目标变换对所述预测残差进行变换时，根据下述表达式进行所述变换：
    C＝Τ1×Ι×Τ2，
    其中，Ι表示所述预测残差的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述变换系数的矩阵。
  24. 根据权利要求23所述的装置，其特征在于，包括：所述第一种形式和所述第二种形式呈转置矩阵关系。
  25. 根据权利要求21至24任一项所述的装置，其特征在于，所述变换单元在所述预测模式不为模板匹配模式时，还用于：
    对所述预测残差进行离散正弦变换(DST)或离散余弦变换(DCT)，得到所述变换系数。
  26. 一种基于模板匹配的编码装置，其特征在于，包括：
    确定单元，用于确定待编码单元的预测模式；
    预测单元，用于根据所述预测模式对所述待编码单元进行帧内预测或者帧间预测，获得所述待编码单元的预测残差；
    变换单元，用于当所述预测模式为模板匹配模式且所述待编码单元的尺寸小于预设尺寸时，使用目标变换对所述预测残差进行变换，得到变换系数，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待编码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待编码单元的预测值的预测模式，所述预测值用于计算所述预测残差，所述当前模板包括所述待编码单元的邻域中预设位置和数量的多个重构像素；
    编码单元，用于对所述变换系数进行量化和熵编码，生成码流。
  27. 根据权利要求26所述的装置，其特征在于，所述目标变换，包括：
    DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
    Figure PCTCN2016112198-appb-100006
    其中，i，j表示行列索引，N表示变换点数。
  28. 根据权利要求26或27所述的装置，其特征在于，所述变换单元还用于：
    在所述预测模式不为模板匹配模式或者所述待编码单元的尺寸不小于所述预设尺寸时，对所述预测残差进行离散余弦变换或离散正弦变换，得到所述变换系数。
  29. 一种基于模板匹配的解码装置，其特征在于，包括：
    获取单元，用于从码流中获取待解码单元的预测模式；
    预测单元，用于根据所述预测模式对所述待解码单元进行帧内预测或者帧间预测，获得所述待解码单元的预测值；
    所述获取单元，还用于从所述码流中获取残差系数，所述残差系数用于表征所述待解码单元的预测残差；
    反量化单元，用于对所述残差系数进行反量化，获得变换系数；
    反变换单元，用于在所述预测模式为模板匹配模式时，对所述变换系数进行目标变换的反变换，得到所述预测残差，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待解码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待解码单元的预测值，所述当前模板包括所述待解码单元的邻域中预设位置和数量的多个重构像素；
    解码单元，用于将所述预测值与所述预测残差相加得到所述待解码单元的重构值。
  30. 根据权利要求29所述的装置，其特征在于，所述目标变换，包括：
    DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
    Figure PCTCN2016112198-appb-100007
    其中，i，j表示行列索引，N表示变换点数。
  31. 根据权利要求29或30所述的装置，其特征在于，所述反变换单元在对所述变换系数进行目标变换的反变换时，根据下述表达式进行所述反变换：
    C＝Τ1×Ι×Τ2，
    其中，Ι表示所述变换系数的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述预测残差的矩阵。
  32. 根据权利要求31所述的装置，其特征在于，包括：所述第一种形式和所述第二种形式呈转置矩阵关系。
  33. 根据权利要求29至32任一项所述的装置，其特征在于，所述反变换单元在所述预测模式不为模板匹配模式时，还用于：
    对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换，得到所述预测残差。
  34. 一种基于模板匹配的解码装置，其特征在于，包括：
    获取单元，用于从码流中获取待解码单元的预测模式；
    预测单元，用于根据所述预测模式对所述待解码单元进行帧内预测或者帧间预测，获得所述待解码单元的预测值；
    所述预测单元，还用于从所述码流中获取残差系数，所述残差系数用于表征所述待解码单元的预测残差；
    反量化单元，用于对所述残差系数进行反量化，获得变换系数；
    反变换单元，用于在所述预测模式为模板匹配模式且所述待解码单元的的尺寸小于预设尺寸时，对所述变换系数进行目标变换的反变换，得到所述预测残差，所述目标变换的变换基矩阵的第一行系数呈从左向右递增分布，或者，第一列系数呈从上到下递增分布，所述模板匹配模式用于所述帧内预测或者所述帧间预测，所述模板匹配模式包括在所述待解码单元的预设参考图像范围中进行当前模板的匹配搜索，获得所述待解码单元的预测值，所述当前模板包括所述待解码单元的邻域中预设位置和数量的多个重构像素；
    解码单元，用于将所述预测值与所述预测残差相加得到所述待解码单元的重构值。
  35. 根据权利要求34所述的装置，其特征在于，所述目标变换，包括：
    DST-VII型变换，所述DST-VII型变换的变换基矩阵由所述DST-VII型变换的基函数确定，所述DST-VII型变换的基函数为
    Figure PCTCN2016112198-appb-100008
    其中，i，j表示行列索引，N表示变换点数。
  36. 根据权利要求34或35所述的装置，其特征在于，所述反变换单元 在对所述变换系数进行目标变换的反变换时，根据下述表达式进行所述反变换：
    C＝Τ1×Ι×Τ2，
    其中，Ι表示所述变换系数的矩阵，Τ1表示所述目标变换的变换基矩阵的第一种形式，Τ2表示所述目标变换的变换基矩阵的第二种形式，C表示所述预测残差的矩阵。
  37. 根据权利要求36所述的装置，其特征在于，包括：所述第一种形式和所述第二种形式呈转置矩阵关系。
  38. 根据权利要求34至37任一项所述的装置，其特征在于，所述反变换单元在所述预测模式不为模板匹配模式或者所述待解码单元的尺寸不小于所述预设尺寸时，还用于：
    对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换，得到所述预测残差。
  39. 根据权利要求38所述的装置，其特征在于，所述获取单元在所述对所述变换系数进行离散正弦变换的反变换或者进行离散余弦变换的反变换之前，还用于：
    从所述码流中获取索引，所述索引用于表征使用所述离散正弦变换或者使用所述离散余弦变换进行所述反变换。
  40. 根据权利要求34至39任一项所述的装置，其特征在于，所述预设尺寸，包括：
    所述待解码单元的长和宽均为2，4，8，16，32，64，128，或256；或者，
    所述待解码单元的长边为2，4，8，16，32，64，128，或256；或者，
    所述待解码单元的短边为2，4，8，16，32，64，128，或256。
PCT/CN2016/112198 2016-12-26 2016-12-26 一种基于模板匹配的编解码方法及装置 WO2018119609A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CN2016/112198 WO2018119609A1 (zh) 2016-12-26 2016-12-26 一种基于模板匹配的编解码方法及装置
CN201680090503.XA CN109891882B (zh) 2016-12-26 2016-12-26 一种基于模板匹配的编解码方法及装置
US16/448,377 US20190313126A1 (en) 2016-12-26 2019-06-21 Coding and Decoding Methods and Apparatuses Based on Template Matching

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/112198 WO2018119609A1 (zh) 2016-12-26 2016-12-26 一种基于模板匹配的编解码方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/448,377 Continuation US20190313126A1 (en) 2016-12-26 2019-06-21 Coding and Decoding Methods and Apparatuses Based on Template Matching

Publications (1)

Publication Number Publication Date
WO2018119609A1 true WO2018119609A1 (zh) 2018-07-05

Family

ID=62706549

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/112198 WO2018119609A1 (zh) 2016-12-26 2016-12-26 一种基于模板匹配的编解码方法及装置

Country Status (3)

Country Link
US (1) US20190313126A1 (zh)
CN (1) CN109891882B (zh)
WO (1) WO2018119609A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115514974A (zh) * 2018-09-05 2022-12-23 Lg电子株式会社 对视频信号进行解码/编码及发送数据的方法及介质
CN113892265A (zh) * 2019-05-30 2022-01-04 夏普株式会社 图像解码装置
WO2023198063A1 (en) * 2022-04-11 2023-10-19 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102067601A (zh) * 2008-04-11 2011-05-18 汤姆森特许公司 视频编码和解码中模板匹配预测(tmp)的方法和装置
CN102318346A (zh) * 2009-02-20 2012-01-11 索尼公司 图像处理设备和方法
CN102422643A (zh) * 2009-05-15 2012-04-18 索尼公司 图像处理装置、方法和程序
CN102484720A (zh) * 2009-08-26 2012-05-30 夏普株式会社 图像编码装置以及图像解码装置
CN103096064A (zh) * 2011-10-27 2013-05-08 汤姆森特许公司 编码和重构像素块的方法以及相应设备
WO2015152507A1 (ko) * 2014-03-31 2015-10-08 인텔렉추얼디스커버리 주식회사 템플릿 매칭 기반의 화면 내 픽쳐 부호화 및 복호화 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104702962B (zh) * 2015-03-03 2019-04-16 华为技术有限公司 帧内编解码方法、编码器和解码器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102067601A (zh) * 2008-04-11 2011-05-18 汤姆森特许公司 视频编码和解码中模板匹配预测(tmp)的方法和装置
CN102318346A (zh) * 2009-02-20 2012-01-11 索尼公司 图像处理设备和方法
CN102422643A (zh) * 2009-05-15 2012-04-18 索尼公司 图像处理装置、方法和程序
CN102484720A (zh) * 2009-08-26 2012-05-30 夏普株式会社 图像编码装置以及图像解码装置
CN103096064A (zh) * 2011-10-27 2013-05-08 汤姆森特许公司 编码和重构像素块的方法以及相应设备
WO2015152507A1 (ko) * 2014-03-31 2015-10-08 인텔렉추얼디스커버리 주식회사 템플릿 매칭 기반의 화면 내 픽쳐 부호화 및 복호화 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUZUKI, Y. ET AL.: "Block-Based Reduced Resolution Inter Frame Coding with Template Matching Prediction", INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, 11 October 2006 (2006-10-11), pages 1701 - 1704, XP031048983 *

Also Published As

Publication number Publication date
CN109891882B (zh) 2021-05-11
CN109891882A (zh) 2019-06-14
US20190313126A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
JP6881788B2 (ja) 映像符号化方法、映像復号方法、および端末
JP7461974B2 (ja) クロマ予測方法及びデバイス
US11039144B2 (en) Method and apparatus for image coding and decoding through inter-prediction
RU2619267C1 (ru) Способ и устройство для внутреннего предсказания видео
TW201820875A (zh) 視訊解碼裝置、視訊編碼方法及裝置與電腦可讀儲存媒體
US10511860B2 (en) Signal transforming method and device
US11528507B2 (en) Image encoding and decoding method, apparatus, and system, and storage medium to determine a transform core pair to effectively reduce encoding complexity
JP2007538415A (ja) ハンドヘルド装置用のエンコード方法
WO2018119609A1 (zh) 一种基于模板匹配的编解码方法及装置
JP7279084B2 (ja) イントラ予測のための方法及び装置
CN112352434B (zh) 用于帧内预测的基于宽高比滤波的方法和装置
JP2023100767A (ja) ビデオシーケンスのためのピクチャエンコーディング及びデコーディング方法及び装置
WO2019114713A1 (zh) 图像编解码方法和装置
JP7388610B2 (ja) 映像符号化方法、映像復号方法、および端末
WO2018120420A1 (zh) 一种基于模板匹配的预测方法及装置
JP6968228B2 (ja) インター予測を介する画像符号化および復号のための方法および装置
WO2018120290A1 (zh) 一种基于模板匹配的预测方法及装置
JP2007510344A (ja) 電力最適化された配列動き予測方法
WO2020007187A1 (zh) 图像块解码方法及装置
WO2020078327A1 (zh) 一种编解码的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16925642

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16925642

Country of ref document: EP

Kind code of ref document: A1