WO2022141278A1

WO2022141278A1 - 视频处理方法和编码装置

Info

Publication number: WO2022141278A1
Application number: PCT/CN2020/141748
Authority: WO
Inventors: 周焰; 郑萧桢
Original assignee: 深圳市大疆创新科技有限公司
Priority date: 2020-12-30
Filing date: 2020-12-30
Publication date: 2022-07-07

Abstract

本申请提供一种视频处理方法和编码装置，能够避免在同一级流水中完成整个帧内预测编码过程时序压力较大的问题。该方法包括：确定待编码图像块对应的各个子图像块的最佳帧内预测模式；根据各个第一子图像块的最佳帧内预测模式，确定待编码图像块的最终划分方式和各个第二子图像块的编码模式，第一子图像块为待编码图像块在初始划分方式下的子图像块，第二子图像块为所述待编码图像块在所述最终划分方式下的子图像块；若第二子图像块的编码模式为帧内编码模式，将第二子图像块的相邻块的最终重建像素作为参考像素，确定第二子图像块在其最佳帧内预测模式下的最终重建像素。

Description

视频处理方法和编码装置

版权申明

技术领域

本申请涉及图像编解码领域，并且更为具体地，涉及一种视频处理方法和编码装置。

背景技术

当前技术中，视频编码过程主要包括预测、变换、量化和熵编码等步骤。其中，预测包括帧内预测和帧间预测两种类型。另外，目前常用的编码技术中，首先都会对当前待编码帧进行划块处理，产生多个互相不重叠的编码区域，并且将每个编码区域划分为多个编码块，对每个编码块分别进行预测、变换、量化和熵编码等操作。

然而，在对编码块进行帧内预测时，需依赖于该编码块的相邻块的重建像素。为获得编码块的相邻块的重建像素，一种比较简单的实现方式是，依次编码每个编码区域。但是，这种方式并行化处理能力较低，很难实现高分辨率视频的实时编解码，编码性能较差。

发明内容

本申请提供一种视频处理方法和编码装置，通过采用分阶段进行帧内预测编码，能够避免在同一级流水中完成整个帧内预测编码过程时序压力较大的问题。

第一方面，提供了一种视频处理方法，包括：

步骤1，通过对待编码图像块对应的各个子图像块进行帧内预测，确定所述各个子图像块的最佳帧内预测模式；

步骤2，根据各个第一子图像块的最佳帧内预测模式，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，所述第一子图像块为所述待编码图像块在所述步骤1所确定的初始划分方式下的子图像块，所述第二子图像块为所述待编码图像块在所述最终划分方式下的子图像块；

步骤3，若所述第二子图像块的编码模式为帧内编码模式，将所述第二子图像块的相邻块的最终重建像素作为参考像素，确定所述第二子图像块在其最佳帧内预测模式下的最终重建像素。

第二方面，提供了一种视频处理方法，包括：

步骤2，确定所述各个子图像块在其最佳帧内预测模式下的第一编码代价和初始重建像素，并根据所述各个子图像块在其最佳帧内预测模式下的第一编码代价和所述各个子图像块在其帧间预测模式下的第一编码代价，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，所述第二子图像块为所述待编码图像块在所述最终初始划分方式下的子图像块；

第三方面，提供一种编码装置，包括：存储器和处理器，其中，

所述存储器用于存储计算机程序；

所述处理器调用所述计算机程序，当所述计算机程序被执行时，用于执行以下操作：

步骤2，根据各个第一子图像块的最佳帧内预测模式，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，所述第一子图像块为所述待编码图像块在所述步骤1所确定的初始划分方式下的子图像块，所述第二子图像块为所述待编码图像块在所述最终划分方式下的子图像块；步骤3，若所述第二子图像块的编码模式为帧内编码模式，将所述第二子图像块的相邻块的最终重建像素作为参考像素，确定所述第二子图像块在其最佳帧内预测模式下的最终重建像素。

第四方面，提供一种编码装置，包括：存储器和处理器，其中，

所述存储器用于存储计算机程序；

第五方面，提供一种芯片，所述芯片包括处理模块与通信接口，所述处理模块用于控制所述通信接口与外部进行通信，所述处理模块还用于实现第一方面或第一方面任意可能的实现方式中的方法，或所述处理模块还用于实现第二方面或第二方面任意可能的实现方式中的方法。

第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机执行时使得所述计算机实现第一方面或第二方面的方法。具体地，所述计算机可以为上述装置。

第七方面，提供一种包含指令的计算机程序产品，所述指令被计算机执行时使得所述计算机实现第一方面或第二方面的方法。具体地，所述计算机可以为上述装置。

附图说明

图1是本申请提供的视频处理方法的示意图流程图。

图2是本申请提供的视频处理方法的部分步骤的具体实现方式的示意图。

图3是待编码图像块的一种划分方式的示意图。

图4是待编码图像块的一种划分方式的示意图。

图5是待编码图像块的一种最终划分方式的示意图。

图6是本申请提供的视频处理方法的流水结构示意图。

图7本申请提供的编码装置的示意性结构图。

具体实施方式

下面将结合附图，对本申请实施例的技术方案进行描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本申请可应用于多种视频编码标准，如H.264，高效率视频编码(high efficiency video coding，HEVC)，通用视频编码(versatile video coding，VVC)，音视频编码标准(audio video coding standard，AVS)，AVS+，AVS2以及AVS3等。

以下，对视频编码进行简要说明。一般来说，视频编码过程主要包括预测、变换、量化和熵编码等步骤。目前常用的编码技术中，首先都会对当前待编码帧进行划块处理，产生多个互相不重叠的编码区域，然后在编码时对这些编码区域分别进行编码。示例性的，所述编码区域也可称为编码树单元(coding tree unit，CTU)。CTU的尺寸例如可以是64×64，也可以是128×128(单位为像素，后文的类似描述均省略单位)等。在对每个编码区域进行编码时，又可以将编码区域进一步划分为方形或矩形的图像块，对每个图像块分别进行预测、变换、量化和熵编码等操作。示例性的，所述图像块也可称为编码单元(coding unit，CU)。后文中，将待编码的图像块称为待编码图像块。

视频编码中的预测步骤包括帧内预测和帧间预测两种类型。其中，帧内预测主要是利用本帧图像的信息作为预测数据来去除待编码图像块的空域冗余信息，其过程包括获取待编码图像块的相邻块的重建像素作为参考像素，采用角度预测方法计算预测值生成预测块，将待编码图像块与预测块的相应像素值相减得到残差。帧间预测是利用参考帧的信息作为预测数据来去除待编码图像块的时域冗余信息，其过程包括在参考图像中搜索与待编码图像块最匹配的图像块作为预测块，然后将待编码图像块与预测块的相应像素值相减得到残差，并将得到的各待编码的图像块对应的残差组合在一起，得到待编码区域的残差。在经过预测步骤产生残差之后还可以采用变换、量化和熵编码等操作进一步提高编码效率。

在进行帧内预测时，可以通过Planar模式、DC模式或角度模式计算预测块。具体地，将待编码图像块左相邻和上相邻块的重建像素作为参考像素，遍历所有的预测模式进行预测生成预测块，最后综合每种预测模式消耗的比特和失真情况用率失真优化方法选出最佳的预测模式以及对应的预测块。

对于帧内预测，由于需要参考相邻块的信息，比较简单的实现方式是依次编码图像中的每个编码区域。然而，这样的编码方式并行化处理能力较低，很难实现高分辨率视频的实时编解码。

有鉴于此，本申请提供了一种视频处理方法，通过采用分阶段进行帧内预测编码，能够避免在同一级流水中完成整个帧内预测编码过程时序压力较大的问题。下面对本申请提供的方法进行说明。

图1是申请提供的一种视频处理方法的示意图流程图。该方法可以包括S110、S120a和S130。或者，该方法可以包括S110、S120b和S130。

S110，通过对待编码图像块对应的各个子图像块进行帧内预测，确定各个子图像块的最佳帧内预测模式。

S120a，根据各个第一子图像块的最佳帧内预测模式，确定待编码图像块的最终划分方式和各个第二子图像块的编码模式，第一子图像块为待编码图像块在步骤1所确定的初始划分方式下的子图像块，第二子图像块为待编码图像块在最终划分方式下的子图像块。

S120b，确定各个子图像块在其最佳帧内预测模式下的第一编码代价和初始重建像素，并根据各个子图像块在其最佳帧内预测模式下的第一编码代价和各个子图像块在其帧间预测模式下的第一编码代价，确定待编码图像块的最终划分方式和各个第二子图像块的编码模式，第二子图像块为待编码图像块在最终初始划分方式下的子图像块。

S120a和S120b可以择其一执行。

在一种实现方式中，S120a可以在采用第一预设编码模式的情况下执行。S120b可以在采用第二预设编码模式的情况下执行。

第一预设编码模式也可以称为低功耗模式，第二预设编码模式也可以称为高性能模式，但本申请对此不作限定。

S130，若第二子图像块的编码模式为帧内编码模式，将第二子图像块的相邻块的最终重建像素作为参考像素，确定第二子图像块在其最佳帧内预测模式下的最终重建像素。

根据本申请提供的方法，采用分阶段进行帧内预测编码，即首先确定各个子图像块的最佳帧内预测模式，再进行编码模式决策，最后再进行帧内预测重建，可以确定避免在同一级流水中完成整个帧内预测编码过程时序压力较大的问题。并且，通过采用第二子图像块的相邻块的最终重建像素作为参考像素，确定第二子图像块的最终重建像素，使得所确定的最终重建像素较准确。进一步地，在编码模式决策阶段通过区分低功耗和高性能模式，便于不同产品或应用场景的灵活运用。

下面对图1所示的方法的各步骤进行详细说明。

一、步骤S110的一些可能的实施方式

可选地，在步骤S110中，在对待编码图像块对应的任一个子图像块进行帧内预测时，首先需要确定该子图像块的参考像素，然后再根据该子图像块的参考像素对该子图像块进行帧内预测。其中，该参考像素包括第一参考像素和第二参考像素。第一参考像素为该子图像块的左相邻块的原始像素的最后一列。若该子图像块的上相邻块位于待编码图像块内，第二参考像素为该子图像块的上相邻块的原始像素的最下面一行；若该子图像块的上相邻块位于待编码图像块的上相邻图像块内，则第二参考像素为该子图像块的上相邻块的最终重建像素的最下面一行。

参见图2，图中1表示子图像块的相邻块位于待编码图像块内，2表示子图像块的相邻块位于待编码图像块的上相邻图像块内，3表示子图像块的相邻块位于待编码图像块的左相邻图像块内。那么，第一参考像素为该子图像块的左相邻块的原始像素的最后一列。若子图像块的上相邻块位于区域1，则第二参考像素为该子图像块的上相邻块的原始像素的最下面一行；若子图像块的上相邻块位于区域2，则第二参考像素为该子图像块的上相邻块的最终重建像素的最下面一行。然后，可以根据第一参考像素和第二参考像素确定该子图像块的最佳帧内预测模式。

应理解，子图像块的相邻块的最终重建像素的确定方式可以参考该子图像块的最终重建像素的确定方式。

在该方案中，使用原始像素和部分最终重建像素作为参考像素进行帧内预测，相比于全部用原始像素作为参考像素进行帧内预测，确定出的最佳帧内预测模式更准确，即更有可能是实际的最佳帧内预测模式。可选地，在步骤S110中，可以采用M种帧内预测模式对待编码图像块对应的各个子图像块进行帧内预测，确定各个子图像块的最佳帧内预测模式，M为大于1的整数。

具体地，对于待编码图像块对应的任意一个子图像块，可以采用M种帧内预测模式对该子图像块进行帧内预测，确定该子图像块分别在该M种帧内预测模式下的编码代价#1，也就是说，对于一个子图像块，可以得到M个编码代价#1。M个编码代价#1中最小的编码代价#1对应的帧内预测模式可以作为该子图像块的最佳帧内预测模式。

示例性的，编码代价#1可以是哈达玛(Hadamard，HAD)代价(cost)，但本申请对此不作限定，比如，编码代价#1还可以是绝对差值和(Sum of Absolute Difference，SAD)cost、绝对变换差和(Sum of Absolute Transformed Difference，STAD)cost或者率失真(rate-distortion，RD)cost等。

示例性的，该M种帧内预测模式可以是从35种帧内预测模式中所确定出的。其中，这35种帧内预测模式包括：33种角度模式、DC模式和Planar模式。

举例来说，可以按照下述方式选择出该M种帧内预测模式：

根据35种帧内预测模式的方向，确定四个方向上分别对应的一组预测模式，所述四个方向包括0°、45°、90°和135°；根据子图像块在该四个方向上的像素梯度信息，确定该四个方向中其中一个方向上对应的一组预测模式作为该M种帧内预测模式。

结合上文对参考像素的描述，在一个实施例中，S110具体可以为：

对于待编码图像块对应的一个子图像块，确定该子图像块的第一参考像素和该子图像块的第二参考像素，并根据该子图像块的第一参考像素和该子图像块的第二参考像素，分别采用M种帧内预测模式对该子图像块进行帧内预测，可以得到M个预测块。然后，将M个预测块与该子图块减得到对应的M个残差，对该M个残差进行HAD变换可以得到对应的M个HAD cost。比较该M个HAD cost，将该M个HAD cost中最小的HAD cost所对应的帧内预测模式作为该子图像块的最佳帧内预测模式。

对待编码图像块对应的每个子图像块都执行上述过程，可以得到待编码图像块对应的每个子图像块的最佳帧内预测模式。

应理解，如何根据残差计算HAD cost、SAD cost、STAD cost、RD cost等可以参照现有技术，本申请不再赘述。

在一种可能的实现方式中，步骤S110中的待编码图像块对应的子图像块可以分为S层，S≥1，每层对应至少一个子图像块。其中，第k层的子图像块的尺寸大于第k+1层的子图像块的尺寸，k＝1,2，……，S-1。应理解，每层对应的至少一个子图像块对应一种划分方式。下面进行举例说明。

示例1

待编码图像块大小为16*16，且待编码图像块有两种划分方式：16*16和8*8。

另外，参见图3，将待编码图像块在16*16划分方式下对应的子图像块记作：子图像块1；将待编码图像块在8*8划分方式下对应的子图像块记作：子图像块a，b，c，d。

可以理解，在该示例中，S＝2；第1层的子图像块为：子图像块1，第2层的子图像块为：子图像块a～d。

在步骤S110中，可以得到子图像块1的最佳帧内预测模式，以及子图像块a～d的最佳帧内预测模式。

示例2

待编码图像块大小为32*32，且待编码图像块有三种划分方式：32*32、16*16以及8*8。

另外，参见图4，将待编码图像块在32*32划分方式下对应的子图像块记作：子图像块W；将待编码图像块在16*16划分方式下对应的子图像块记作：子图像块A，B，C，D；将待编码图像块在8*8划分方式下对应的子图像块记作：子图像块1～16。其中子图像块1～4是对应子图像块A，子图像块5～8是对应子图像块B，子图像块9～12是对应子图像块C，子图像块13～16是对应子图像块D。

可以理解，在该示例中，S＝3；第1层的子图像块为：子图像块W，第2层的子图像块为：子图像块A～D，第2层的子图像块为：子图像块1～16。

在步骤S110中，可以得到子图像块W的最佳帧内预测模式、子图像块A～D的最佳帧内预测模式，以及子图像块1～16的最佳帧内预测模式。

可选地，S110还可以包括下述用于确定初始划分方式的操作：

对待编码图像块对应的各个子图像块进行帧内预测，确定各个子图像块在其最佳帧内预测模式下的编码代价#2(即，第二编码代价)，并根据各个子图像块在其最佳帧内预测模式下的编码代价#2，确定初始划分方式。

所述用于确定初始划分方式的操作可以在该方法包括S120a的情况下执行。

示例性的，具体可以通过以下方式确定初始划分方式：

确定第一值与第二值之间的大小关系。若第一值小于第二值，确定第三子图像块的初始划分方式为将第三子图像块划分为对应的多个第四子图像块，并且将第一值确定为第三子图块在其最佳帧内预测模式下的第二编码代价。若第一值大于或等于第二值，确定第三子图像块的初始划分方式为不对第三子图像块进行划分，并且将第二值确定为第三子图像块在其最佳帧内预测模式下的第二编码代价。

其中，第一值为与第三子图像块对应的第S-i+1层中的多个第四子图像块分别在其最佳帧内预测模式下的第二编码代价之和与第一预设权重(记作：w1)的乘积，第二值为第三子图像块在其最佳帧内预测模式下的第二编码代价，第三子图像块为第S-i层的任一子图像块，第四子图像块为第S-i+1层的任一子图像块，i＝1，2，3，……S-1。

本申请中，编码代价#2可以是HAD cost，但本申请对此不作限定，比如，编码代价#2还可以是SADcost、STADcost或者RDcost等。编码代价#2可以和编码代价#1相同，也可以不同。此外，在编码代价#2和编码代价#1不同的情况下，在计算编码代价#2时，参考像素的确定方式也可以参考上文中描述的计算编码代价#1时参考像素的确定方式。

另外，本申请中的第一值小于第二值也可以替换为第一值小于或等于第二值，相应地，第一值大于或等于第二值也可以替换为第一值大于第二值。

下面，以编码代价#2为HAD cost为例，结合上文中的示例1和示例2对确定初始划分方式进行说明。

(1)在示例1中，S＝2，i＝1。

第一值：与子图像块1对应的第2层中的多个子图像块分别在其最佳帧内预测模式下的编码代价#2之和与第一预设权重的乘积。即，第一值为子图像块a～d分别在其最佳帧内预测模式下的编码代价#2之和(记作：HADcost _suma～d)与第一预设权重w ₁的乘积。

应理解，HAD cost _suma～d＝HAD cost _a+HAD cost _b+HAD cost _c+HAD cost _d，其中，HAD cost _a为子图像块a在该子图像块a的最佳帧内预测模式下的编码代价#2，HAD cost _b为子图像块在该子图像块b的最佳帧内预测模式下的编码代价#2，HAD cost _c为子图像块c在该子图像块c的最佳帧内预测模式下的编码代价#2，HAD cost _d为子图像块d在该子图像块d的最佳帧内预测模式下的编码代价#2。

第二值：子图像块1在其最佳帧内预测模式下的编码代价#2(记作：HAD cost ₁)。

如果第一值小于第二值，即如果(HAD cost _suma～d*w ₁<HAD cost ₁)，则子图像块1的初始划分方式为划分为子图像块a～d。并且，将HAD cost _suma～d*w ₁确定子图像块1在其最佳帧内预测模式下的编码代价#2。

如果第一值大于或等于第二值，即如果(HAD cost _suma～d*w ₁≥HAD cost ₁)则子图像块1的初始划分方式为划分为不对32*32进行划分。并且，将HAD cost ₁确定为子图像块1在其最佳帧内预测模式下的编码代价#2。

综上，可以确定出初始划分方式。即，如果子图像块1的初始划分方式为划分为子图像块a～d，则待编码图像块被划分为子图像块a～d。如果子图像块1的初始划分方式为不对其进行划分，则不对待编码图像块进行划分，或者说将待编码图像块划分为子图像块1。

(2)在示例2中，S＝3，i＝1,2。

第一步(i＝1，S-i＝2，S-i+1＝3)：

第一值：共有4个。分别为：子图像块1～4分别在其最佳帧内预测模式下的编码代价#2之和(记作：HAD cost _sum1～4)与第一预设权重w ₁的乘积；子图像块5～8分别在其最佳帧内预测模式下的编码代价#2之和(记作：HAD cost _sum5～8)与第一预设权重w ₁的乘积；子图像块9～12分别在其最佳帧内预测模式下的编码代价#2之和(记作：HAD cost _sum9～12)与第一预设权重w ₁的乘积；子图像块13～16分别在其最佳帧内预测模式下的编码代价#2之和(记作：HAD cost _sum13～16)与第一预设权重w ₁的乘积。

应理解，HAD cost _sum1～4＝HAD cost ₁+HAD cost ₂+HAD cost ₃+HAD cost ₄，其中，HAD cost ₁为子图像块1在该子图像块1的最佳帧内预测模式下的编码代价#2，HAD cost ₂为子图像块2在该子图像块2的最佳帧内预测模式下的编码代价#2，HAD cost ₃为子图像块3在该子图像块3的最佳帧内预测模式下的编码代价#2，HAD cost ₄为子图像块4在该子图像块4的最佳帧内预测模式下的编码代价#2。HAD cost _sum5～8、HAD cost _sum9～12以及HAD cost _sum13～16的含义类似。

第二值：共有4个，为子图像块A～D分别在其最佳帧内预测模式下的编码代价#2，依次记作：HAD cost _A、HAD cost _B、HAD cost _C、HAD cost _D。

如果第一值小于第二值，则16*16的子图像块的初始划分方式为将其划分为对应的4个8*8的子图像块。并且，将第一值确定为16*16的子图像块在其最佳帧内预测模式下的编码代价#2。

如果第一值大于或等于第二值，则16*16的子图像块的初始划分方式为不对1其进行划分。并且，将第二值确定为16*16的子图像块在其最佳帧内预测模式下的编码代价#2。

即，如果HAD cost _sum1～4*w ₁<HAD cost _A，则子图像块A的初始划分方式暂定为将子图像块A划分为子图像块1～4。并且，将HAD cost _sum1～4*w ₁确定为子图像块A在其最佳帧内预测模式下的编码代价#2。如果HAD cost _sum1～4*w ₁≥HAD cost _A，则子图像块A的初始划分方式确定为不对子图像块A进行划分。并且，将HAD cost _A确定为子图像块A在其最佳帧内预测模式下的编码代价#2。

如果HAD cost _sum5～8*w ₁<HAD cost _B，则子图像块B的初始划分方式确定为将子图像块B划分为子图像块5～8。并且，将HAD cost _sum5～8*w ₁确定为子图像块B在其最佳帧内预测模式下的编码代价#2。如果HAD cost _sum5～8*w ₁≥HAD cost _B，则子图像块B的初始划分方式确定为不对子图像块B进行划分。并且，将HAD cost _B确定为子图像块B在其最佳帧内预测模式下的编码代价#2。

如果HAD cost _sum9～12*w ₁<HAD cost _C，则子图像块C的初始划分方式确定为将子图像块C划分为子图像块9～12。并且，将HAD cost _sum9～12*w ₁确定为子图像块C在其最佳帧内预测模式下的编码代价#2。如果HAD cost _sum9～12*w ₁≥HAD cost _C，则子图像块C的初始划分方式确定为不对子图像块C进行划分。并且，将HAD cost _C确定为子图像块C在其最佳帧内预测模式下的编码代价#2。

如果HAD cost _sum13～16*w ₁<HAD cost _D，则子图像块D的初始划分方式确定为将子图像块D划分为子图像块13～16。并且，将HAD cost _sum13～16*w ₁确定为子图像块D在其最佳帧内预测模式下的编码代价#2。如果HAD cost _sum13～16*w ₁≥HAD cost _D，则子图像块D的初始划分方式确定为不对子图像块D进行划分。并且，将HAD cost _D确定为子图像块D在其最佳帧内预测模式下的编码代价#2。

第二步(i＝2，S-i＝1，S-i+1＝2)：

第一值：子图像块A～D分别在其最佳帧内预测模式下的编码代价#2之和(记作：HAD cost _sumA～D)与第一预设权重w ₁的乘积。

应理解，子图像块A～D分别在其最佳帧内预测模式下的编码代价#2可以在第一步中确定。比如，若第一步中确定的子图像块A～D分别在其最佳帧内预测模式下的编码代价#2为HAD cost _sum1～4*w ₁、HAD cost _B、HAD cost _C、HAD cost _sum13～16*w ₁，则HAD cost _sumA～D＝HAD cost _sum1～4*w ₁+HAD cost _B+HAD cost _C+HAD cost _sum13～16*w ₁。再如，若第一步中确定的子图像块A～D分别在其最佳帧内预测模式下的编码代价#2为HAD cost _A、HAD cost _B、HAD cost _C、HAD cost _D，则HAD cost _sumA～D＝HAD cost _A+HAD cost _B+HAD cost _C+HAD cost _D。

第二值：子图像块W在其最佳帧内预测模式下的编码代价#2(记作：HAD cost _W)。

如果HAD cost _sumA～D*w ₁＜HAD cost _W，则子图像块W的初始划分方式为将子图像块W划分为子图像块A～D。并且，将HAD cost _sumA～D*w ₁确定为子图像块W在其最佳帧内预测模式下的编码代价#2。如果HAD cost _sumA～D*w ₁≥HAD cost _W，则子图像块W的初始划分方式为不对子图像块W进行划分。并且，将HAD cost _W确定为子图像块W在其最佳帧内预测模式下的编码代价#2。

经过上述第一步和第二步，可以确定出初始划分方式。即，无论第一步中确定出是否对子图像块A～D进行划分，只要第二步中确定出不对子图像块W进行划分，则待编码图像块在初始划分方式下将被划分为子图像块W，或者说不对待编码图像块进行划分。如果第二步中确定将子图像块W划分为子图像块A～D，则进一步结合第一步中所确定出的子图像块A～D的初始划分方式，可以确定初始划分方式。

比如，若第一步中确定出子图像块A～D的初始划分方式为：将子图块A划分为子图像块1～4，不对子图像块B和C进行划分，将子图块D划分为子图像块13～16，并且，第二步中确定出子图像块W的初始划分方式为：将子图块W划分为子图像块A～D，那么，待编码图像块的划分方式可以参见图5。即，将待编码图像块划分为子图像块1～4、子图像块B、子图像块C、以及子图像块13～16。

二、步骤S120a的一些可能的实施方式

情况1：在初始划分方式下待编码图像块被划分为与其尺寸不等的多个子图像块。

即，各个第一子图像块的尺寸不等于待编码图像块的尺寸。其中，第一子图像块为待编码图像块在步骤S110所确定的初始划分方式下的子图像块。

该此情况下，步骤S120a具体可以通过下述方式实现：

对于任一第五子图像块，确定第五子图像块的等价编码代价#3(即，第一编码代价)和第五子图像块在其帧间预测模式下的编码代价#3中的较小者；

若第五子图像块在初始划分方式下没有被划分为多个第六子图像块，且第五子图像块的等价编码代价#3和第五子图像块在其帧间预测模式下的编码代价#3中的较小者为第五子图像块的等价编码代价#3，则：确定第五子图像块的最终划分方式为第五子图像块的初始划分方式，并且确定第五子图像块的编码模式为帧内编码模式、在所述帧内编码模式下，该第五子图像块的预测模式为其最佳帧内预测模式、以及将第五子图像块的等价编码代价#3确定为该第五子图像块的最优编码代价；

若第五子图像块在初始划分方式下没有被划分为多个第六子图像块，且第五子图像块的等价编码代价#3和第五子图像块在其帧间预测模式下的编码代价#3中的较小者为第五子图像块在其帧间预测模式下的编码代价#3，则：确定第五子图像块的最终划分方式为第五子图像块在其帧间预测模式下的划分方式，并且确定第五子图像块的编码模式为帧间编码模式，以及，将第五子图像块在其帧间预测模式下的编码代价#3确定为该第五子图像块的最优编码代价；

若第五子图像块在初始划分方式下被划分为多个第六子图像块，且第五子图像块的等价编码代价#3和第五子图像块在其帧间预测模式下的编码代价#3中的较小者为第五子图像块的等价编码代价#3，则：确定第五子图像块的最终划分方式为第五子图像块的初始划分方式，并且对于该多个第六子图像块中的任一第六子图像块，若该第六子图像块中的最优编码代价为其最佳帧内预测模式对应的编码代价#3，确定该第六子图像块的编码模式为帧内编码模式，并且在所述帧内编码模式下，该第六子图像块的预测模式为其最佳帧内预测模式，若该第六子图像块中的最优编码代价为其帧间预测模式对应的编码代价#3，确定该第六子图像块的编码模式为帧间编码模式，并且确定在所述帧间编码模式下，该第六子图像块的预测模式为其帧间预测模式，以及，将第五子图像块的等价编码代价#3确定为该第五子图像块的最优编码代价；

若第五子图像块在初始划分方式下被划分为多个第六子图像块，且第五子图像块的等价编码代价#3和第五子图像块在其帧间预测模式下的编码代价#3中的较小者为第五子图像块在其帧间预测模式下的编码代价#3，则：确定第五子图像块的最终划分方式为第五子图像块在其帧间预测模式下的划分方式，并且确定第五子图像块的编码模式为帧间编码模式，以及，将第五子图像块在其帧间预测模式下的编码代价#3确定为第五子图像块的最优编码代价。

其中，若第五子图像块在初始划分方式下没有被划分为多个第六子图像块，则将第五子图像块对应的多个第六层子图像块在第五子图像块的最佳帧内预测模式下的编码代价#3之和与第二预设权重的乘积作为第五子图像块的等价编码代价#3。若第五子图像块在初始划分方式下被划分为多个第六子图像块，则将多个第六子图像块的最优编码代价之和作为第五子图像块的等价编码代价#3，在j＝S-1的情况下，第六子图像块的最优编码代价为该第六子图像块在其最佳帧内预测模式下的编码代价#3和该第六子图像块在其帧间预测模式下的编码代价#3中的较小者。第五子图像块为第j层的任一子图像块，第六子图像块的尺寸与第j+1层的子图像块的尺寸相同，j＝S-1，S-2，……1。

本申请中，编码代价#3可以是RDcost，但本申请对此不作限定，比如，编码代价#3还可以是SADcost或者STADcost等。

下面，以编码代价#3为RD cost为例，结合步骤S110中的示例1和示例2对此进行说明。

(1)在示例1中，S＝2，j＝1。

第五子图像块：子图像块1。

第六子图像块：子图像块a～d。

若子图像块1在初始划分方式下没有被划分为子图像块a～d，即若不对待编码图像块进行划分，则将子图像块a～d在子图像块1的最佳帧内预测模式下的RD cost之和与第二预设权重的乘积作为子图像块1的等价RD cost。即，分别计算子图像块a～d在子图像块1的最佳帧内预测模式下的RD cost，将计算得到的4个RD cost之和与第二预设权重w ₂的乘积作为子图像块1的等价RD cost。若子图像块1的等价RD cost小于子图像块1在其帧间预测模式下的RD cost中，则确定子图像块1的最终划分方式为子图像块1的初始划分方式，并且确定子图像块1的编码模式为帧内编码模式，以及在帧内编码模式下，子图像块1的预测模式为其最佳帧内预测模式。

若子图像块1在初始划分方式下被划分为子图像块a～d，则将子图像块a～d的最优编码代价之和作为子图像块1的等价RD cost。其中，子图像块a～d中任一子图像块的最优编码代价为该子图像块在其最佳帧内预测模式下的RD cost和该子图像块在其帧间预测模式下的RD cost中的较小者。若子图像块1的等价RD cost小于子图像块1在其帧间预测模式下的RD cost，则确定子图像块1的最终划分方式为子图像块1的初始划分方式，并且，若子图像块a～d中任一子图像块的最优编码代价为该子图像块在其最佳帧内预测模式下的RD cost，则确定该子图像块的编码模式为帧内编码模式，以及在帧内编码模式下，该子图像块的预测模式为其最佳帧内预测模式，若子图像块a～d中任一子图像块的最优编码代价为该子图像块在其帧间预测模式下的RD cost，则确定该子图像块的编码模式为帧间编码模式，以及在帧间编码模式下，该子图像块的预测模式为其帧间预测模式。

(2)在示例2中，S＝3，j＝2,1。并且，假设在初始划分方式下，待编码图像块被划分为如图5所示的子图像块。

第一步(j＝2)：

第五子图像块：子图像块A～D。

第六子图像块：子图像块1～16。

对于子图像块A：子图像块A在初始划分方式下被划分为了子图像块1～4，因此将子图像块1～4的最优编码代价之和作为子图像块A的等价RD cost。其中，子图像块1～4中的任一子图像块的最优编码代价为该子图像块在其最佳帧内预测模式下的RD cost和该子图像块在其帧间预测模式下的RD cost中的较小者。

若子图像块A的等价RD cost小于子图像块A在其帧间预测模式下的 RD cost，则：

(a)确定子图像块A的最终划分方式为子图像块A的初始划分方式(即最终将子图像块A划分为子图像块1～4)。

(b)若子图像块1～4中任一子图像块的最优编码代价为该子图像块在其最佳帧内预测模式下的RD cost，则确定该子图像块的编码模式为帧内编码模式，以及在帧内编码模式下，该子图像块的预测模式为其最佳帧内预测模式；若子图像块1～4中任一子图像块的最优编码代价为该子图像块在其帧间预测模式下的RD cost，则确定该子图像块的编码模式为帧间编码模式，以及在帧间编码模式下，该子图像块的预测模式为其帧间预测模式。

(c)将子图像块A的最优编码代价更新为子图像块A的等价RD cost。即，将子图像块A的最优编码代价更新为子图像块1～4的最优编码代价之和。

若子图像块A的等价RD cost大于或者等于子图像块A在其帧间预测模式下的RD cost，则：

(a)确定子图像块A的最终划分方式为子图像块A在其帧间预测模式下的划分方式。

(b)确定子图像块A的编码模式为帧间编码模式。

(c)将子图像块A的最优编码代价更新为子图像块A在其帧间预测模式下的RD cost。

对于子图像块B：子图像块B在初始划分方式下没有被进一步划分，因此将子图像块5～8分别在子图像块B的最佳帧内预测模式下的RD cost之和与第二预设权重的乘积作为子图像块B的等价RD cost。

如果子图像块B的等价RD cost小于子图像块B在其帧间预测模式下的RD cost，则：

(a)确定子图像块B的最终划分方式为子图像块B的初始划分方式。

(b)确定子图像块B的编码模式为帧内编码模式，以及在该编码模式下，子图像块B的预测模式为其最佳帧内预测模式。

(c)将子图像块B的最优编码代价更新为子图像块B的等价RD cost。即，将子图像块B的最优编码代价更新为子图像块1～4的最优编码代价之和。

如果子图像块B的等价RD cost大于或等于子图像块B在其帧间预测模式下的RD cost，则：

(a)确定子图像块B的最终划分方式为子图像块B在其帧间预测模式下的划分方式。

(b)确定子图像块B的编码模式为帧间编码模式。

(c)将子图像块B的最优编码代价更新为子图像块B在其帧间预测模式下的RD cost。

对于子图像块C进行和子图像块B类似的操作。对于子图像块D进行和子图像块A类似的操作。

第二步(j＝1)：

第五子图像块：子图像块W

第六子图像块：子图像块A～D

子图像块W在初始划分方式下被划分为了子图像块A～D，因此将子图像块A～D的最优编码代价之和作为子图像块W的等价RD cost。其中，子图像块A～D的最优编码代价可以从第一步中得出。若子图像块W的等价RD cost小于子图像块W在其帧间预测模式下的RD cost，则：确定子图像块W的最终划分方式为其初始划分方式，即，将子图像块W划分为子图像块A～D，并且，确定子图像块A～D中任一子图像块的编码模式为帧内编码模式，并确定在帧内编码模式下，该子图像块的预测模式为其最佳帧内预测模式。若子图像块W的等价RD cost大于或等于子图像块W在其帧间预测模式下的RD cost，则：确定子图像块W的最终划分方式为子图像块W在其帧间预测模式下的划分方式，并且，确定子图像块W的编码模式为帧间编码模式。

综上，经过上述步骤，可以确定出待编码图像块的最终划分方式和最终划分方式对应的各个子图像块的编码模式。

情况2：在初始划分方式下待编码图像块没有被划分为与其尺寸不等的多个子图像块。

即，仅有一个第一子图像块，且第一子图像块的尺寸等于待编码图像块的尺寸。其中，第一子图像块为待编码图像块在步骤S110所确定的初始划分方式下的子图像块。

该此情况下，步骤S120a具体可以通过下述方式实现：

确定第一子图像块的等价编码代价#3(即，第一编码代价)，其中，第一子图像块的等价编码代价#3为第一子图像块对应的多个第七子图像块在第一子图像块的最佳帧内预测模式下的编码代价#3之和与第二预设权重的乘积。其中，第七子图像块的尺寸与第S层的子图像块的尺寸相等。并且，若第一子图像块的等价编码代价#3小于第一子图像块在其帧间预测模式下的编码代价#3，确定第一子图像块的最终划分方式为其初始划分方式，并确定第一子图像块的编码模式帧内编码模式，以及在帧内编码模式下，第一子图像块的预测模式为第一子图像块的最佳帧内预测模式。若第一子图像块的等价编码代价#3大于或等于第一子图像块在其帧间预测模式下的编码代价#3，确定第一子图像块的最终划分方式为第一子图像块在其帧间预测模式下的划分方式，并确定第一子图像块的编码模式帧间编码模式。

下面，还是以编码代价#3为RD cost为例，结合步骤S110中的示例1和示例2对此进行说明。

(1)在示例1中，S＝2。

第七子图像块：子图像块a～d。

将子图像块a～d在子图像块1的最佳帧内预测模式下的RD cost之和与第二预设权重的乘积作为子图像块1的等价RD cost。若子图像块1的等价RD cost小于子图像块1在其帧间预测模式下的编码代价#3，则确定子图像块1的最终划分方式为其初始划分方式，即不对子图像块1进行进一步划分，并且，确定子图像块1的编码模式为帧内编码模式，以及在帧内编码模式下，子图像块1的预测模式为子图像块1的最佳帧内预测模式。若子图像块1的等价RD cost大于或等于子图像块1在其帧间预测模式下的编码代价#3，则确定子图像块1的最终划分方式为子图像块1在其帧间预测模式下的划分方式，并且，确定子图像块1的编码模式为帧间编码模式。

(2)在示例2中，S＝3。

第七子图像块：子图像块1～16。

将子图像块1～16在子图像块W的最佳帧内预测模式下的RD cost之和与第二预设权重的乘积作为子图像块W的等价RD cost。若子图像块W的等价RD cost小于子图像块W在其帧间预测模式下的编码代价#3，则确定子图像块W的最终划分方式为其初始划分方式，即不对子图像块W进行进一步划分，并且，确定子图像块W的编码模式为帧内编码模式，以及在帧内编码模式下，子图像块W的预测模式为子图像块W的最佳帧内预测模式。若子图像块W的等价RD cost大于或等于子图像块W在其帧间预测模式下的编码代价#3，则确定子图像块W的最终划分方式为子图像块W在其帧间预测模式下的划分方式，并且，确定子图像块W的编码模式为帧间编码模式。

应理解，第二预设权重和第一预设权重可以相等，也可以不相等，本申请对此不作限定。

三、步骤S120b的一些可能的实施方式

可选地，步骤S120b具体可以通过下述方式实现：

确定第j层的各个子图像块的最优编码代价#3(即，第一编码代价)；

若第八子图块的最优编码代价#3为第八子图像块在其最佳帧内预测模式下的编码代价#3，确定第八子图像块的最终划分方式为不对第八子图像块进行划分，并确定第八子图像块的编码模式为帧内编码模式，并且确定在帧内编码模式下，第八子图像块的预测模式为其最佳帧内预测模式，以及，将将第八子图像块在其最佳帧内预测模式下的编码代价#3确定为该第八子图像块的最优编码代价；

若第八子图块的最优编码代价#3为第八子图像块在其帧间预测模式下的编码代价#3，确定第八子图像块的最终划分方式为第八子图像块在其帧间预测模式下的划分方式，并确定第八子图像块的编码模式为帧间编码模式，并且将第八子图像块在其帧间预测模式下的编码代价#3确定为该第八子图像块的最优编码代价；

若第八子图像块的最优编码代价#3为第八子图像块的等价编码代价#3，则：确定第八子图像块的最终划分方式为将第八子图块划分为对应的第j+1层的多个子图像块；并且，对于j+1层的多个子图像块中的任一子图像块，若其最优编码代价对应的预测模式为其最佳帧内预测模式，确定其编码模式为帧内编码模式，并且在帧内编码模式下其预测模式为其最佳帧内预测模式，否则确定其编码模式为帧间编码模式；以及，将第八子图像块的等价编码代价#3确定为该第八子图像块的最优编码代价。

其中，第八子图像块的最优编码代价为第八子图像块的等价编码代价#3、第八子图像块在其最佳帧内预测模式下的编码代价#3和第八子图像块在其帧间预测模式下的编码代价#3中的最小者，第八子图像块为第j层的任一子图像块。第八子图像块的等价编码代价#3为第八子图像块对应的第j+1层的多个子图像块的最优编码代价#3之和，其中，第九子图像块的最优编码代价为第九子图像块在其最佳帧内预测模式下的编码代价#3和第九子图像块在其帧间预测模式下的编码代价#3中的较小者，第九子图像块为第S层的任一子图像块，j＝S-1，S-2，……1。

(1)在示例1中，S＝2，j＝1。

确定第1层的各个子图像块的最优RD cost，即，确定子图像块1的最优RD cost。其中，子图像块1的最优RD cost为下述三者中的最小者：子图像块1的等价RD cost、子图像块1在其最佳帧内预测模式下的RD cost、子图像块1在其帧间预测模式下的RD cost。子图像块1的等价RD cost为子图像块a～d的最优RD cost之和，子图像块a～d中任一子图像块的最优RD cost为该子图像块在其最佳帧内预测模式下的RD cost和该子图像块在其帧间预测模式下的RD cost中的较小者。

若子图像块1的最优RD cost为子图像块1在其最佳帧内预测模式下的RD cost，则：确定子图像块1的最终划分方式为不对该子图像块进行划分，并确定子图像块1的编码模式为帧内编码模式，以及在帧内编码模式下，子图像块1的预测模式其最佳帧内预测模式。

若子图像块1的最优RD cost为子图像块1在其帧间预测模式下的RD cost，则：确定子图像块1的最终划分方式为子图像块1在其帧间预测模式下的划分方式，并确定子图像块1的编码模式为帧间编码模式。

若子图像块1的最优RD cost为子图像块1的等价RD cost，则：确定子图像块1的最终划分方式为将子图像块1划分为子图像块a～d，并且，对于子图像块a～d中任一子图像块，若该子图像块的最优RD cost为该子图像块在其最佳帧内预测模式下的RD cost，则确定该子图像块的编码模式为帧内编码模式，并且在帧内编码模式下，该子图像块的预测模式为其最佳帧内预测模式，否则该子图像块的编码模式为帧间编码模式。

(2)在示例2中，S＝3，j＝2,1。

第一步(j＝2)：

确定第2层的各个子图像块的最优RD cost，即，确定子图像块A～D的最优RD cost。其中，对于子图像块A～D中任一子图像块，以子图像块A为例，子图像块A的最优RD cost为下述三者中的最小者：子图像块A的等价RD cost、子图像块A在其最佳帧内预测模式下的RD cost、子图像块A在其帧间预测模式下的RD cost。子图像块A的等价RD cost为子图像块1～4的最优RD cost之和，子图像块1～4中任一子图像块的最优RD cost为该图像块在其最佳帧内预测模式下的RD cost和该子图像块在其帧间预测模式下的RD cost中的较小者。

对于子图像块A～D中任一子图像块，以子图像块A为例，若子图像块A的最优RD cost为子图像块A在其最佳帧内预测模式下的RD cost，则：确定子图像块A的最终划分方式为不对子图像块A进行划分；并确定子图像块A的编码模式为帧内编码模式，在帧内编码模式下，子图像块A的预测模式为其最佳帧内预测模式；以及，将子图像块A的最优RD cost更新为子图像块A在其最佳帧内预测模式下的RD cost。若子图像块A的最优RD cost为子图像块A的等价RD cost，则：确定子图像块A的最终划分方式为将子图像块A划分为子图像块1～4：并且，对于子图像块1～4中任一子图像块，若该子图像块的最优RD cost为该子图像块在其最佳帧内预测模式下的RD cost，则确定该子图像块的编码模式为帧内编码模式，并且在帧内编码模式下，该子图像块的预测模式为其最佳帧内预测模式，否则该子图像块的编码模式为帧间编码模式；以及，将子图像块A的最优RD cost更新为子图像块A的等价RD cost。若子图像块A的最优RD cost为子图像块A在其帧间预测模式下的RD cost，则：确定子图像块A的最终划分方式为子图像块A在其帧间预测模式下的划分方式；并确定子图像块A的编码模式为帧间编码模式；以及，将子图像块A的最优RD cost更新为子图像块A在其帧间预测模式下的RD cost。

第二步(j＝1)：

确定第1层的各个子图像块的最优RD cost，即，确定子图像块W的最优RD cost。其中，子图像块W的最优RD cost为下述三者中的最小者：子图像块W的等价RD cost、子图像块W在其最佳帧内预测模式下的RD cost、子图像块W在其帧间预测模式下的RD cost。子图像块W的等价RD cost为子图像块A～D的最优RD cost之和，子图像块A～D中任一子图像块的最优RD cost在第一步可以确定。

若子图像块W的最优RD cost为子图像块W在其最佳帧内预测模式下的RD cost，则确定子图像块W的最终划分方式为不对子图像块W进行划分，并确定子图像块W的编码模式为帧内编码模式，以及在帧内编码模式下，子图像块W的预测模式为其最佳帧内预测模式。若子图像块W的最优RD cost为子图像块W的等价RD cost，则：确定子图像块W的最终划分方式为将子图像块W划分为子图像块A～D；并且，确定子图像块A～D中任一子图像块的编码模式为帧内编码模式，并确定在帧内编码模式下，该子图像块的预测模式为其最佳帧内预测模式。若子图像块W的子图像块W在其帧间预测模式下的RD cost，则：确定子图像块W的最终划分方式为子图像块W在其帧间预测模式下的划分方式，并且，确定子图像块W的编码模式为帧间编码模式。

步骤S120a和S120b中涉及确定子图像块的编码代价#3。在一种可能的实现方式中，对于任一子图像块，确定该子图像块在一个最佳帧内预测模式下的编码代价#3，具体可以包括：

确定该子图像块的参考像素，并根据该子图像块的参考像素对该子图像块进行重建过程，确定该子图像块在一个最佳帧内预测模式下的编码代价#3。其中，该子图像块的参考像素包括第三参考像素和第四参考像素。第三参考像素为该子图像块的左相邻块的初始重建像素的最后一列。若该子图像块的上相邻块位于待编码图像块内，则第四参考像素为该子图像块的上相邻块的初始重建像素的最下面一行；若该子图像块的上相邻块位于待编码图像块的上相邻图像块内，则第四参考像素为该子图像块的上相邻块的最终重建像素的最下面一行。

需要说明的是，一个子图像块的上相邻块(或左相邻块)的初始重建像素是采用该上相邻块(或左相邻块)的最佳帧内预测模式对该上相邻块(或左相邻块)进行重建所得到的重建像素。可以理解，该上相邻块(或左相邻块)的最佳帧内预测模式可以通过类似步骤S110的步骤得到。并且，对于该待编码图像块的任一子图像块，通过采用步骤S110得到的最佳帧内预测模式对该子图像块进行重建，可以得到该子图像块的初始重建像素。

在该方案中，使用初始重建像素和部分最终重建像素作为参考像素进行重建过程，相比于全部用原始像素作为参考像素进行重建过程，使得得到的图像块的编码模式更加准确。

四、步骤S130的一些可能的实施方式

待编码图像块在最终划分方式下被划分为至少一个第二子图像块，如果一个第二子图像块的编码模式为帧内编码模式，则将该第二子图像块的相邻块的最终重建像素作为参考像素，以帧内预测模式下该第二子图像块的预测模式，对该第二子图像块进行帧内预测，并进行变换量化和反量化过程，可以得到该第二子图像块的重建像素，该重建像素为该第二子图像块的最终重建像素。

在图1所示的方法中，步骤S110为帧内预测模式决策阶段，在该阶段可以确定出待编码图像块对应的各个子图像块的最佳帧内预测模式。步骤S120a或者步骤S120b为编码模式决策阶段，在该阶段可以确定出各个第二子图像块的编码模式。步骤S130为帧内预测修正阶段，在该阶段可以得到第二子图像块最终重建像素。

进一步地，在步骤S130后，还可以进行环路滤波和熵编码。关于如何进行环路滤波和熵编码可以参照现有技术。

可选地，帧内预测模式决策阶段对应第R-2流水级；编码模式决策阶段对应第R-1流水级；帧内预测修正阶段对应第R流水级。

可选地，环路滤波可以对应第R+1级流水，熵编码可以对应第R+2级流水。

示例性的，图6示出了基于图1所示的方法的一种流水结构示意图。参见图6，相邻的编码区域之间错开一级流水。比如，编码区域1进行到R-1流水级时，其相邻的编码区域2进行到R-2级流水。应理解，不同级流水之间并行工作。

本领域技术人员可以理解，前文中所涉及的最佳帧内预测模式是R-2流水级得到的；初始重建像素以及第二子图像块的编码模式是R-1流水级得到的；最终重建像素是R流水级得到的。

上文结合图1至图6，详细描述了本申请的方法实施例，下面结合图9，详细描述本申请的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。

图7是本申请提供的编码装置的示意性结构图。该装置700可以是实体设备，也可以是芯片。该装置可以是相机、无人机、手机等具备视频编解码处理功能的设备。该装置包括：存储器710和处理器720。

一种实现方式中，存储器710可用于存储代码。处理器720可用于读取所述存储器中的代码，以执行如下操作：

可选地，若采用第一预设编码模式，则执行所述步骤2。

可选地，若采用第二预设编码模式，所述步骤2将替换为下述操作：

确定所述各个子图像块在其最佳帧内预测模式下的第一编码代价和初始重建像素，并根据所述各个子图像块在其最佳帧内预测模式下的第一编码代价和所述各个子图像块在其帧间预测模式下的第一编码代价，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，所述第二子图像块为所述待编码图像块在所述最终初始划分方式下的子图像块。

可选地，所述通过对待编码图像块对应的各个子图像块进行帧内预测，确定所述各个子图像块的最佳帧内预测模式，包括：

对于任一子图像块，确定所述子图像块的参考像素，并根据所述子图像块的参考像素，对所述子图像块进行帧内预测，确定所述子图像块的最佳帧内预测模式，其中，所述参考像素包括第一参考像素和第二参考像素，

其中，所述第一参考像素为所述子图像块的左相邻块的原始像素的最后一列，若所述子图像块的上相邻块位于所述待编码图像块内所述第二参考像素为所述子图像块的上相邻块的原始像素的最下面一行，若所述子图像块的上相邻块位于所述待编码图像块的上相邻图像块内，所述第二参考像素为所述子图像块的上相邻块的最终重建像素的最下面一行。

可选地，所述步骤1还包括：

对所述各个子图像块进行帧内预测，确定所述各个子图像块在其最佳帧内预测模式下的第二编码代价，并根据所述各个子图像块在其最佳帧内预测模式下的第二编码代价，确定所述初始划分方式。

可选地，所述待编码图像块对应的子图像块分为S层，S≥1，每层对应至少一个子图像块；

其中，所述对所述各个子图像块进行帧内预测，确定所述各个子图像块在其最佳帧内预测模式下的第二编码代价，并根据所述各个子图像块在其最佳帧内预测模式下的第二编码代价，确定所述初始划分方式，包括：

确定第一值与第二值之间的大小关系，其中，所述第一值为与第三子图像块对应的第S-i+1层中的多个第四子图像块分别在其最佳帧内预测模式下的第二编码代价之和与第一预设权重的乘积，所述第二值为所述第三子图像块在其最佳帧内预测模式下的第二编码代价，所述第三子图像块为所述第S-i层的任一子图像块，所述第四子图像块为所述第S-i+1层的任一子图像块，i＝1，2，3，……S-1；

若第一值小于第二值，确定所述第三子图像块的初始划分方式为将所述第三子图像块划分为对应的多个第四子图像块，并且将所述第一值确定为所述第三子图块在其最佳帧内预测模式下的第二编码代价，

若所述第一值大于或等于所述第二值，确定所述第三子图像块的初始划分方式为不对所述第三子图像块进行划分，并且将所述第二值确定为所述第三子图像块在其最佳帧内预测模式下的第二编码代价。

其中，在所述各个第一子图像块的尺寸不等于所述待编码图像块的尺寸的情况下，所述根据所述各个第一子图像块的最佳帧内预测模式，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，包括：

对于任一第五子图像块，确定所述第五子图像块的等价第一编码代价和所述第五子图像块在其帧间预测模式下的第一编码代价中的较小者，其中，

若所述第五子图像块在所述初始划分方式下没有被划分为多个第六子图像块，则将所述第五子图像块对应的多个第六层子图像块在所述第五子图像块的最佳帧内预测模式下的第一编码代价之和与第二预设权重的乘积作为所述第五子图像块的等价第一编码代价，

若所述第五子图像块在所述初始划分方式下被划分为所述多个第六子图像块，将所述多个第六子图像块的最优编码代价之和作为所述第五子图像块的等价第一编码代价，在j＝S-1的情况下，所述第六子图像块的最优编码代价为所述第六子图像块在其最佳帧内预测模式下的第一编码代价和所述第六子图像块在其帧间预测模式下的第一编码代价中的较小者，

所述第五子图像块为第j层的任一子图像块，所述第六子图像块的尺寸与第j+1层的子图像块的尺寸相同，j＝S-1，S-2，……1；

若所述第五子图像块在所述初始划分方式下没有被划分为多个第六子图像块，且所述第五子图像块的等价第一编码代价和所述第五子图像块在其帧间预测模式下的第一编码代价中的较小者为所述第五子图像块的等价第一编码代价，则：确定所述第五子图像块的最终划分方式为所述第五子图像块的初始划分方式，并且确定所述第五子图像块的编码模式为帧内编码模式，在所述帧内编码模式下所述第五子图像块的预测模式为其最佳帧内预测模式，以及，将所述第五子图像块的等价第一编码代价确定为所述第五子图像块的最优编码代价；

若所述第五子图像块在所述初始划分方式下没有被划分为多个第六子图像块，且所述第五子图像块的等价第一编码代价和所述第五子图像块在其帧间预测模式下的第一编码代价中的较小者为所述第五子图像块在其帧间预测模式下的第一编码代价，则：确定所述第五子图像块的最终划分方式为所述第五子图像块在其帧间预测模式下的划分方式，并且确定所述第五子图像块的编码模式为帧间编码模式，以及，将所述第五子图像块在其帧间预测模式下的第一编码代价确定为所述第五子图像块的最优编码代价；

若所述第五子图像块在所述初始划分方式下被划分为多个第六子图像块，且所述第五子图像块的等价第一编码代价和所述第五子图像块在其帧间预测模式下的第一编码代价中的较小者为所述第五子图像块的等价第一编码代价，则：确定所述第五子图像块的最终划分方式为所述第五子图像块的初始划分方式，并且对于所述多个第六子图像块中的任一子图像块，若所述第六子图像块的最优编码代价对应的预测模式为所述第六子图像块的最佳帧内预测模式，确定所述第六子图像块的编码模式为帧内编码模式，并且在所述帧内编码模式下所述第六子图像块的预测模式为其最佳帧内预测模式，若所述第六子图像块的最优编码代价对应的预测模式为所述第六子图像块的帧间预测模式，确定所述第六子图像块的编码模式为帧间编码模式，并且确定在所述帧间编码模式下所述第六子图像块的预测模式为其帧间预测模式，以及将所述第五子图像块的等价第一编码代价确定为所述第五子图像块的最优编码代价；

若所述第五子图像块在所述初始划分方式下被划分为多个第六子图像块，且所述第五子图像块的等价第一编码代价和所述第五子图像块在其帧间预测模式下的第一编码代价中的较小者为所述第五子图像块在其帧间预测模式下的第一编码代价，则：确定所述第五子图像块的最终划分方式为所述第五子图像块在其帧间预测模式下的划分方式，并且确定所述第五子图像块的编码模式为帧间编码模式，以及，将所述第五子图像块在其帧间预测模式下的第一编码代价确定为所述第五子图像块的最优编码代价。

其中，在所述各个第一子图像块的尺寸等于所述待编码图像块的尺寸的情况下，所述根据所述各个第一子图像块的最佳帧内预测模式，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，包括：

确定所述第一子图像块的等价第一编码代价，其中，所述第一子图像块的等价第一编码代价为所述第一子图像块对应的多个第七子图像块在所述第一子图像块的最佳帧内预测模式下的第一编码代价之和与所述第二预设权重的乘积，所述第七子图像块的尺寸与第S层的子图像块的尺寸相等；

若所述第一子图像块的等价第一编码代价小于所述第一子图像块在其帧间预测模式下的第一编码代价，确定所述第一子图像块的最终划分方式为其初始划分方式，并确定所述第一子图像块的编码模式帧内编码模式，以及在所述帧内编码模式下，所述第一子图像块的预测模式为所述第一子图像块的最佳帧内预测模式；

若所述第一子图像块的等价第一编码代价大于或等于所述第一子图像块在其帧间预测模式下的第一编码代价，确定所述第一子图像块的最终划分方式为所述第一子图像块在其帧间预测模式下的划分方式，并确定所述第一子图像块的编码模式帧间编码模式。

其中，所述确定所述各个子图像块在其最佳帧内预测模式下的第一编码代价和初始重建像素，并根据所述各个子图像块在其最佳帧内预测模式下的第一编码代价和所述各个子图像块在其帧间预测模式下的第一编码代价，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，包括：

确定第j层的各个子图像块的最优第一编码代价，

其中，第八子图像块的最优第一编码代价为所述第八子图像块的等价第一编码代价、所述第八子图像块在其最佳帧内预测模式下的第一编码代价和所述第八子图像块在其帧间预测模式下的第一编码代价中的最小者，所述第八子图像块为所述第j层的任一子图像块，

所述第八子图像块的等价第一编码代价为所述第八子图像块对应的第j+1层的多个子图像块的最优第一编码代价之和，其中，第九子图像块的最优编码代价为所述第九子图像块在其最佳帧内预测模式下的第一编码代价和所述第九子图像块在其帧间预测模式下的第一编码代价中的较小者，所述第九子图像块为第S层的任一子图像块，j＝S-1，S-2，……1；

若所述第八子图块的最优第一编码代价为所述第八子图像块在其最佳帧内预测模式下的第一编码代价，则：确定所述第八子图像块的最终划分方式为不对所述第八子图像块进行划分，所述第八子图像块的编码模式为帧内编码模式，在所述帧内编码模式下，所述第八子图像块的预测模式为其最佳帧内预测模式，以及，将所述第八子图像块在其最佳帧内预测模式下的第一编码代价确定为所述第八子图像块的最优编码代价；

若所述第八子图块的最优第一编码代价为所述第八子图像块在其帧间预测模式下的第一编码代价，则：确定所述第八子图像块的最终划分方式为所述第八子图像块在其帧间预测模式下的划分方式，所述第八子图像块的编码模式为帧间编码模式，以及，将所述第八子图像块在其帧间预测模式下的第一编码代价确定为所述第八子图像块的最优编码代价；

若所述第八子图像块的最优第一编码代价为所述第八子图像块的等价第一编码代价，则：确定所述第八子图像块的最终划分方式为将所述第八子图块划分为对应的第j+1层的多个子图像块，并且，对于所述j+1层的多个子图像块中的任一子图像块，若其最优编码代价对应的预测模式为其最佳帧内预测模式，确定其编码模式为帧内编码模式，并且在所述帧内编码模式下其预测模式为其最佳帧内预测模式，否则确定其编码模式为帧间编码模式，以及，将所述第八子图像块的等价第一编码代价确定为所述第八子图像块的最优编码代价。

可选地，对于任一子图像块，确定所述子图像块在一个最佳帧内预测模式下的第一编码代价，包括：

确定所述子图像块的参考像素，并根据所述子图像块的参考像素，对所述子图像块进行重建过程，确定所述子图像块在所述最佳帧内预测模式下的第一编码代价，其中，所述参考像素包括第三参考像素和第四参考像素，

其中，

其中，所述第三参考像素为所述子图像块的左相邻块的初始重建像素的最后一列，若所述子图像块的上相邻块位于所述待编码图像块内，所述第四参考像素为所述子图像块的上相邻块的初始重建像素的最下面一行，若所述子图像块的上相邻块位于所述待编码图像块的上相邻图像块内，所述第四参考像素为所述子图像块的上相邻块的最终重建像素的最下面一行。

可选地，所述第二编码代价为HAD cost。

可选地，所述第一编码代价为RD cost。

可选地，所述步骤1，包括：

采用M种帧内预测模式，通过对待编码图像块对应的各个子图像块进行帧内预测，确定所述各个子图像块的最佳帧内预测模式，M为大于1的整数，且所述M种帧内预测模式是从35种帧内预测模式确定出的，所述35种帧内预测模式包括DC模式、Palnar模式和33种角度预测模式。

可选地，所述M种帧内预测模式是通过下述方式所确定出的：

根据所述35种帧内预测模式的方向，确定四个方向上分别对应的一组预测模式，所述四个方向包括0°、45°、90°和135°；

根据所述待编码图像块在所述四个方向上的像素梯度信息，确定所述四个方向中其中一个方向上对应的一组预测模式作为所述M种帧内预测模式。

另一种实现方式中，存储器710可用于存储代码。处理器720可用于读取所述存储器中的代码，以执行如下操作：

此外，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序(或者称为计算机指令)，当所述计算机程序在计算机上运行时，使得计算机执行方法实施例中的视频处理方法。

本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行本申请方法实施例中的视频处理方法。

本申请还提供一种芯片，所述芯片包括处理器。用于存储计算机程序的存储器独立于芯片而设置，处理器用于执行存储器中存储的计算机程序，以执行方法实施例中的视频处理方法。

可选地，所述芯片还包括所述存储器。

进一步可选地，所述芯片还包括通信接口。所述通信接口可以是收发器、输入/输出接口、管脚或者电路等。

可选地，上述的处理器可以是一个或多个，存储器可以是一个或多个。

可选地，所述存储器可以与所述处理器集成在一起，或者所述存储器与处理器分离设置。

可选地，所述处理器可以是逻辑电路、集成电路等。

本申请还提供一种芯片，所述芯片包括R-2流水级、R-1流水级和R流水级。R-2流水级、R-1流水级和R流水级可以参见前文描述，这里不再赘述。

可选地，所述R-2流水级、所述R-1流水级和所述R流水级并行工作。

以上各实施例中，处理器可以为中央处理器(central processing unit，CPU)、通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件、微处理器或一个或多个用于控制本申请方案程序执行的集成电路等。例如，处理器可以包括数字信号处理器设备、微处理器设备、模数转换器、数模转换器等。处理器可以根据这些设备各自的功能而在这些设备之间分配移动设备的控制和信号处理的功能。此外，处理器可以包括操作一个或多个软件程序的功能，软件程序可以存储在存储器中。处理器的所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元。

存储器可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备。也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例的技术方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

一种视频处理方法，其特征在于，包括：

步骤1，通过对待编码图像块对应的各个子图像块进行帧内预测，确定所述各个子图像块的最佳帧内预测模式；

步骤2，根据各个第一子图像块的最佳帧内预测模式，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，所述第一子图像块为所述待编码图像块在所述步骤1所确定的初始划分方式下的子图像块，所述第二子图像块为所述待编码图像块在所述最终划分方式下的子图像块；

步骤3，若所述第二子图像块的编码模式为帧内编码模式，将所述第二子图像块的相邻块的最终重建像素作为参考像素，确定所述第二子图像块在其最佳帧内预测模式下的最终重建像素。
如权利要求所述的方法，其特征在于，若采用第一预设编码模式，则执行所述步骤2。
如权利要求2所述的方法，其特征在于，若采用第二预设编码模式，所述步骤2将替换为下述操作：

确定所述各个子图像块在其最佳帧内预测模式下的第一编码代价和初始重建像素，并根据所述各个子图像块在其最佳帧内预测模式下的第一编码代价和所述各个子图像块在其帧间预测模式下的第一编码代价，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，所述第二子图像块为所述待编码图像块在所述最终初始划分方式下的子图像块。
如权利要求1至3中任一项所述的方法，其特征在于，所述通过对待编码图像块对应的各个子图像块进行帧内预测，确定所述各个子图像块的最佳帧内预测模式，包括：

对于任一子图像块，确定所述子图像块的参考像素，并根据所述子图像块的参考像素，对所述子图像块进行帧内预测，确定所述子图像块的最佳帧内预测模式，其中，所述参考像素包括第一参考像素和第二参考像素，

其中，所述第一参考像素为所述子图像块的左相邻块的原始像素的最后一列，若所述子图像块的上相邻块位于所述待编码图像块内所述第二参考像素为所述子图像块的上相邻块的原始像素的最下面一行，若所述子图像块的上相邻块位于所述待编码图像块的上相邻图像块内，所述第二参考像素为所述子图像块的上相邻块的最终重建像素的最下面一行。
如权利要求1至4中任一项所述的方法，其特征在于，所述步骤1还包括：

对所述各个子图像块进行帧内预测，确定所述各个子图像块在其最佳帧内预测模式下的第二编码代价，并根据所述各个子图像块在其最佳帧内预测模式下的第二编码代价，确定所述初始划分方式。
如权利要求5所述的方法，其特征在于，所述待编码图像块对应的子图像块分为S层，S≥1，每层对应至少一个子图像块；

其中，所述对所述各个子图像块进行帧内预测，确定所述各个子图像块在其最佳帧内预测模式下的第二编码代价，并根据所述各个子图像块在其最佳帧内预测模式下的第二编码代价，确定所述初始划分方式，包括：

确定第一值与第二值之间的大小关系，其中，所述第一值为与第三子图像块对应的第S-i+1层中的多个第四子图像块分别在其最佳帧内预测模式下的第二编码代价之和与第一预设权重的乘积，所述第二值为所述第三子图像块在其最佳帧内预测模式下的第二编码代价，所述第三子图像块为所述第S-i层的任一子图像块，所述第四子图像块为所述第S-i+1层的任一子图像块，i＝1，2，3，……S-1；

若第一值小于第二值，确定所述第三子图像块的初始划分方式为将所述第三子图像块划分为对应的多个第四子图像块，并且将所述第一值确定为所述第三子图块在其最佳帧内预测模式下的第二编码代价，

若所述第一值大于或等于所述第二值，确定所述第三子图像块的初始划分方式为不对所述第三子图像块进行划分，并且将所述第二值确定为所述第三子图像块在其最佳帧内预测模式下的第二编码代价。
如权利要求6所述的方法，其特征在于，所述待编码图像块对应的子图像块分为S层，S≥1，每层对应至少一个子图像块；

其中，在所述各个第一子图像块的尺寸不等于所述待编码图像块的尺寸的情况下，所述根据所述各个第一子图像块的最佳帧内预测模式，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，包括：

对于任一第五子图像块，确定所述第五子图像块的等价第一编码代价和所述第五子图像块在其帧间预测模式下的第一编码代价中的较小者，其中，

若所述第五子图像块在所述初始划分方式下没有被划分为多个第六子图像块，则将所述第五子图像块对应的多个第六层子图像块在所述第五子图像块的最佳帧内预测模式下的第一编码代价之和与第二预设权重的乘积作为所述第五子图像块的等价第一编码代价，

若所述第五子图像块在所述初始划分方式下被划分为所述多个第六子图像块，将所述多个第六子图像块的最优编码代价之和作为所述第五子图像块的等价第一编码代价，在j＝S-1的情况下，所述第六子图像块的最优编码代价为所述第六子图像块在其最佳帧内预测模式下的第一编码代价和所述第六子图像块在其帧间预测模式下的第一编码代价中的较小者，

所述第五子图像块为第j层的任一子图像块，所述第六子图像块的尺寸与第j+1层的子图像块的尺寸相同，j＝S-1，S-2，……1；

若所述第五子图像块在所述初始划分方式下没有被划分为多个第六子图像块，且所述第五子图像块的等价第一编码代价和所述第五子图像块在其帧间预测模式下的第一编码代价中的较小者为所述第五子图像块的等价第一编码代价，则：确定所述第五子图像块的最终划分方式为所述第五子图像块的初始划分方式，并且确定所述第五子图像块的编码模式为帧内编码模式，在所述帧内编码模式下所述第五子图像块的预测模式为其最佳帧内预测模式，以及，将所述第五子图像块的等价第一编码代价确定为所述第五子图像块的最优编码代价；

若所述第五子图像块在所述初始划分方式下没有被划分为多个第六子图像块，且所述第五子图像块的等价第一编码代价和所述第五子图像块在其帧间预测模式下的第一编码代价中的较小者为所述第五子图像块在其帧间预测模式下的第一编码代价，则：确定所述第五子图像块的最终划分方式为所述第五子图像块在其帧间预测模式下的划分方式，并且确定所述第五子图像块的编码模式为帧间编码模式，以及，将所述第五子图像块在其帧间预测模式下的第一编码代价确定为所述第五子图像块的最优编码代价；

若所述第五子图像块在所述初始划分方式下被划分为多个第六子图像块，且所述第五子图像块的等价第一编码代价和所述第五子图像块在其帧间预测模式下的第一编码代价中的较小者为所述第五子图像块的等价第一编码代价，则：确定所述第五子图像块的最终划分方式为所述第五子图像块的初始划分方式，并且对于所述多个第六子图像块中的任一子图像块，若所述第六子图像块的最优编码代价对应的预测模式为所述第六子图像块的最佳帧内预测模式，确定所述第六子图像块的编码模式为帧内编码模式，并且在所述帧内编码模式下所述第六子图像块的预测模式为其最佳帧内预测模式，若所述第六子图像块的最优编码代价对应的预测模式为所述第六子图像块的帧间预测模式，确定所述第六子图像块的编码模式为帧间编码模式，并且确定在所述帧间编码模式下所述第六子图像块的预测模式为其帧间预测模式，以及将所述第五子图像块的等价第一编码代价确定为所述第五子图像块的最优编码代价；

若所述第五子图像块在所述初始划分方式下被划分为多个第六子图像块，且所述第五子图像块的等价第一编码代价和所述第五子图像块在其帧间预测模式下的第一编码代价中的较小者为所述第五子图像块在其帧间预测模式下的第一编码代价，则：确定所述第五子图像块的最终划分方式为所述第五子图像块在其帧间预测模式下的划分方式，并且确定所述第五子图像块的编码模式为帧间编码模式，以及，将所述第五子图像块在其帧间预测模式下的第一编码代价确定为所述第五子图像块的最优编码代价。
如权利要求6或7所述的方法，其特征在于，所述待编码图像块对应的子图像块分为S层，S≥1，每层对应至少一个子图像块；

其中，在所述各个第一子图像块的尺寸等于所述待编码图像块的尺寸的情况下，所述根据所述各个第一子图像块的最佳帧内预测模式，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，包括：

确定所述第一子图像块的等价第一编码代价，其中，所述第一子图像块的等价第一编码代价为所述第一子图像块对应的多个第七子图像块在所述第一子图像块的最佳帧内预测模式下的第一编码代价之和与所述第二预设权重的乘积，所述第七子图像块的尺寸与第S层的子图像块的尺寸相等；

若所述第一子图像块的等价第一编码代价小于所述第一子图像块在其帧间预测模式下的第一编码代价，确定所述第一子图像块的最终划分方式为其初始划分方式，并确定所述第一子图像块的编码模式帧内编码模式，以及在所述帧内编码模式下，所述第一子图像块的预测模式为所述第一子图像块的最佳帧内预测模式；

若所述第一子图像块的等价第一编码代价大于或等于所述第一子图像块在其帧间预测模式下的第一编码代价，确定所述第一子图像块的最终划分方式为所述第一子图像块在其帧间预测模式下的划分方式，并确定所述第一子图像块的编码模式帧间编码模式。
如权利要求3所述的方法，其特征在于，所述待编码图像块对应的子图像块分为S层，S≥1，每层对应至少一个子图像块；

其中，所述确定所述各个子图像块在其最佳帧内预测模式下的第一编码代价和初始重建像素，并根据所述各个子图像块在其最佳帧内预测模式下的第一编码代价和所述各个子图像块在其帧间预测模式下的第一编码代价，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，包括：

确定第j层的各个子图像块的最优第一编码代价，

其中，第八子图像块的最优第一编码代价为所述第八子图像块的等价第一编码代价、所述第八子图像块在其最佳帧内预测模式下的第一编码代价和所述第八子图像块在其帧间预测模式下的第一编码代价中的最小者，所述第八子图像块为所述第j层的任一子图像块，

所述第八子图像块的等价第一编码代价为所述第八子图像块对应的第j+1层的多个子图像块的最优第一编码代价之和，其中，第九子图像块的最优编码代价为所述第九子图像块在其最佳帧内预测模式下的第一编码代价和所述第九子图像块在其帧间预测模式下的第一编码代价中的较小者，所述第九子图像块为第S层的任一子图像块，j＝S-1，S-2，……1；

若所述第八子图块的最优第一编码代价为所述第八子图像块在其最佳帧内预测模式下的第一编码代价，则：确定所述第八子图像块的最终划分方式为不对所述第八子图像块进行划分，所述第八子图像块的编码模式为帧内编码模式，在所述帧内编码模式下，所述第八子图像块的预测模式为其最佳帧内预测模式，以及，将所述第八子图像块在其最佳帧内预测模式下的第一编码代价确定为所述第八子图像块的最优编码代价；

若所述第八子图块的最优第一编码代价为所述第八子图像块在其帧间预测模式下的第一编码代价，则：确定所述第八子图像块的最终划分方式为所述第八子图像块在其帧间预测模式下的划分方式，所述第八子图像块的编码模式为帧间编码模式，以及，将所述第八子图像块在其帧间预测模式下的第一编码代价确定为所述第八子图像块的最优编码代价；

若所述第八子图像块的最优第一编码代价为所述第八子图像块的等价第一编码代价，则：确定所述第八子图像块的最终划分方式为将所述第八子图块划分为对应的第j+1层的多个子图像块，并且，对于所述j+1层的多个子图像块中的任一子图像块，若其最优编码代价对应的预测模式为其最佳帧内预测模式，确定其编码模式为帧内编码模式，并且在所述帧内编码模式下其预测模式为其最佳帧内预测模式，否则确定其编码模式为帧间编码模式，以及，将所述第八子图像块的等价第一编码代价确定为所述第八子图像块的最优编码代价。
如权利要求7至9中任一项所述的方法，其特征在于，对于任一子图像块，确定所述子图像块在一个最佳帧内预测模式下的第一编码代价，包括：

确定所述子图像块的参考像素，并根据所述子图像块的参考像素，对所述子图像块进行重建过程，确定所述子图像块在所述最佳帧内预测模式下的第一编码代价，其中，所述参考像素包括第三参考像素和第四参考像素，

其中，所述第三参考像素为所述子图像块的左相邻块的初始重建像素的最后一列，若所述子图像块的上相邻块位于所述待编码图像块内，所述第四参考像素为所述子图像块的上相邻块的初始重建像素的最下面一行，若所述子图像块的上相邻块位于所述待编码图像块的上相邻图像块内，所述第四参考像素为所述子图像块的上相邻块的最终重建像素的最下面一行。
如权利要求5至7中任一项所述的方法，其特征在于，所述第二编码代价为HAD cost。
如权利要求1至11中任一项所述的方法，其特征在于，所述第一编码代价为RD cost。
如权利要求1至12中任一项所述的方法，其特征在于，所述步骤1，包括：

采用M种帧内预测模式，通过对待编码图像块对应的各个子图像块进行帧内预测，确定所述各个子图像块的最佳帧内预测模式，M为大于1的整数，且所述M种帧内预测模式是从35种帧内预测模式确定出的，所述35种帧内预测模式包括DC模式、Palnar模式和33种角度预测模式。
如权利要求13所述的方法，其特征在于，所述M种帧内预测模式是通过下述方式所确定出的：

根据所述35种帧内预测模式的方向，确定四个方向上分别对应的一组预测模式，所述四个方向包括0°、45°、90°和135°；

根据所述待编码图像块在所述四个方向上的像素梯度信息，确定所述四个方向中其中一个方向上对应的一组预测模式作为所述M种帧内预测模式。
如权利要求1至14中任一项所述的方法，其特征在于，所述方法由包括R-2流水级、R-1流水级和R流水级的芯片执行；

其中，所述步骤1所述R-2流水级执行，所述步骤2由所述R-1流水级执行，所述步骤3由所述R流水级执行。
如权利要求15所述的方法，其特征在于，所述R-2流水级、所述R-1流水级和所述R流水级并行工作。
一种视频处理方法，其特征在于，包括：

步骤1，通过对待编码图像块对应的各个子图像块进行帧内预测，确定所述各个子图像块的最佳帧内预测模式；

步骤2，确定所述各个子图像块在其最佳帧内预测模式下的第一编码代价和初始重建像素，并根据所述各个子图像块在其最佳帧内预测模式下的第一编码代价和所述各个子图像块在其帧间预测模式下的第一编码代价，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，所述第二子图像块为所述待编码图像块在所述最终初始划分方式下的子图像块；

步骤3，若所述第二子图像块的编码模式为帧内编码模式，将所述第二子图像块的相邻块的最终重建像素作为参考像素，确定所述第二子图像块在其最佳帧内预测模式下的最终重建像素。
一种编码装置，其特征在于，包括：存储器和处理器，其中，

所述存储器用于存储计算机程序；

所述处理器调用所述计算机程序，当所述计算机程序被执行时，用于执行以下操作：

步骤1，通过对待编码图像块对应的各个子图像块进行帧内预测，确定所述各个子图像块的最佳帧内预测模式；

步骤2，根据各个第一子图像块的最佳帧内预测模式，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，所述第一子图像块为所述待编码图像块在所述步骤1所确定的初始划分方式下的子图像块，所述第二子图像块为所述待编码图像块在所述最终划分方式下的子图像块；

步骤3，若所述第二子图像块的编码模式为帧内编码模式，将所述第二子图像块的相邻块的最终重建像素作为参考像素，确定所述第二子图像块在其最佳帧内预测模式下的最终重建像素。
如权利要求18所述的装置，其特征在于，若采用第一预设编码模式，则执行所述步骤2。
如权利要求19所述的装置，其特征在于，若采用第二预设编码模式，所述步骤2将替换为下述操作：

确定所述各个子图像块在其最佳帧内预测模式下的第一编码代价和初始重建像素，并根据所述各个子图像块在其最佳帧内预测模式下的第一编码代价和所述各个子图像块在其帧间预测模式下的第一编码代价，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，所述第二子图像块为所述待编码图像块在所述最终初始划分方式下的子图像块。
如权利要求18至20中任一项所述的装置，其特征在于，所述通过对待编码图像块对应的各个子图像块进行帧内预测，确定所述各个子图像块的最佳帧内预测模式，包括：

对于任一子图像块，确定所述子图像块的参考像素，并根据所述子图像块的参考像素，对所述子图像块进行帧内预测，确定所述子图像块的最佳帧内预测模式，其中，所述参考像素包括第一参考像素和第二参考像素，

其中，所述第一参考像素为所述子图像块的左相邻块的原始像素的最后一列，若所述子图像块的上相邻块位于所述待编码图像块内所述第二参考像素为所述子图像块的上相邻块的原始像素的最下面一行，若所述子图像块的上相邻块位于所述待编码图像块的上相邻图像块内，所述第二参考像素为所述子图像块的上相邻块的最终重建像素的最下面一行。
如权利要求18至21中任一项所述的装置，其特征在于，所述步骤1还包括：

对所述各个子图像块进行帧内预测，确定所述各个子图像块在其最佳帧内预测模式下的第二编码代价，并根据所述各个子图像块在其最佳帧内预测模式下的第二编码代价，确定所述初始划分方式。
如权利要求22所述的装置，其特征在于，所述待编码图像块对应的子图像块分为S层，S≥1，每层对应至少一个子图像块；

其中，所述对所述各个子图像块进行帧内预测，确定所述各个子图像块在其最佳帧内预测模式下的第二编码代价，并根据所述各个子图像块在其最佳帧内预测模式下的第二编码代价，确定所述初始划分方式，包括：

确定第一值与第二值之间的大小关系，其中，所述第一值为与第三子图像块对应的第S-i+1层中的多个第四子图像块分别在其最佳帧内预测模式下的第二编码代价之和与第一预设权重的乘积，所述第二值为所述第三子图像块在其最佳帧内预测模式下的第二编码代价，所述第三子图像块为所述第S-i层的任一子图像块，所述第四子图像块为所述第S-i+1层的任一子图像块，i＝1，2，3，……S-1；

若第一值小于第二值，确定所述第三子图像块的初始划分方式为将所述第三子图像块划分为对应的多个第四子图像块，并且将所述第一值确定为所述第三子图块在其最佳帧内预测模式下的第二编码代价，

若所述第一值大于或等于所述第二值，确定所述第三子图像块的初始划分方式为不对所述第三子图像块进行划分，并且将所述第二值确定为所述第三子图像块在其最佳帧内预测模式下的第二编码代价。
如权利要求23所述的装置，其特征在于，所述待编码图像块对应的子图像块分为S层，S≥1，每层对应至少一个子图像块；

其中，在所述各个第一子图像块的尺寸不等于所述待编码图像块的尺寸的情况下，所述根据所述各个第一子图像块的最佳帧内预测模式，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，包括：

对于任一第五子图像块，确定所述第五子图像块的等价第一编码代价和所述第五子图像块在其帧间预测模式下的第一编码代价中的较小者，其中，

若所述第五子图像块在所述初始划分方式下没有被划分为多个第六子图像块，则将所述第五子图像块对应的多个第六层子图像块在所述第五子图像块的最佳帧内预测模式下的第一编码代价之和与第二预设权重的乘积作为所述第五子图像块的等价第一编码代价，

若所述第五子图像块在所述初始划分方式下被划分为所述多个第六子图像块，将所述多个第六子图像块的最优编码代价之和作为所述第五子图像块的等价第一编码代价，在j＝S-1的情况下，所述第六子图像块的最优编码代价为所述第六子图像块在其最佳帧内预测模式下的第一编码代价和所述第六子图像块在其帧间预测模式下的第一编码代价中的较小者，

所述第五子图像块为第j层的任一子图像块，所述第六子图像块的尺寸与第j+1层的子图像块的尺寸相同，j＝S-1，S-2，……1；

若所述第五子图像块在所述初始划分方式下没有被划分为多个第六子图像块，且所述第五子图像块的等价第一编码代价和所述第五子图像块在其帧间预测模式下的第一编码代价中的较小者为所述第五子图像块的等价第一编码代价，则：确定所述第五子图像块的最终划分方式为所述第五子图像块的初始划分方式，并且确定所述第五子图像块的编码模式为帧内编码模式，在所述帧内编码模式下所述第五子图像块的预测模式为其最佳帧内预测模式，以及，将所述第五子图像块的等价第一编码代价确定为所述第五子图像块的最优编码代价；

若所述第五子图像块在所述初始划分方式下没有被划分为多个第六子图像块，且所述第五子图像块的等价第一编码代价和所述第五子图像块在其帧间预测模式下的第一编码代价中的较小者为所述第五子图像块在其帧间预测模式下的第一编码代价，则：确定所述第五子图像块的最终划分方式为所述第五子图像块在其帧间预测模式下的划分方式，并且确定所述第五子图像块的编码模式为帧间编码模式，以及，将所述第五子图像块在其帧间预测模式下的第一编码代价确定为所述第五子图像块的最优编码代价；

若所述第五子图像块在所述初始划分方式下被划分为多个第六子图像块，且所述第五子图像块的等价第一编码代价和所述第五子图像块在其帧间预测模式下的第一编码代价中的较小者为所述第五子图像块的等价第一编码代价，则：确定所述第五子图像块的最终划分方式为所述第五子图像块的初始划分方式，并且对于所述多个第六子图像块中的任一子图像块，若所述第六子图像块的最优编码代价对应的预测模式为所述第六子图像块的最佳帧内预测模式，确定所述第六子图像块的编码模式为帧内编码模式，并且在所述帧内编码模式下所述第六子图像块的预测模式为其最佳帧内预测模式，若所述第六子图像块的最优编码代价对应的预测模式为所述第六子图像块的帧间预测模式，确定所述第六子图像块的编码模式为帧间编码模式，并且确定在所述帧间编码模式下所述第六子图像块的预测模式为其帧间预测模式，以及将所述第五子图像块的等价第一编码代价确定为所述第五子图像块的最优编码代价；

若所述第五子图像块在所述初始划分方式下被划分为多个第六子图像块，且所述第五子图像块的等价第一编码代价和所述第五子图像块在其帧间预测模式下的第一编码代价中的较小者为所述第五子图像块在其帧间预测模式下的第一编码代价，则：确定所述第五子图像块的最终划分方式为所述第五子图像块在其帧间预测模式下的划分方式，并且确定所述第五子图像块的编码模式为帧间编码模式，以及，将所述第五子图像块在其帧间预测模式下的第一编码代价确定为所述第五子图像块的最优编码代价。
如权利要求23或24所述的装置，其特征在于，所述待编码图像块对应的子图像块分为S层，S≥1，每层对应至少一个子图像块；

其中，在所述各个第一子图像块的尺寸等于所述待编码图像块的尺寸的情况下，所述根据所述各个第一子图像块的最佳帧内预测模式，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，包括：

确定所述第一子图像块的等价第一编码代价，其中，所述第一子图像块的等价第一编码代价为所述第一子图像块对应的多个第七子图像块在所述第一子图像块的最佳帧内预测模式下的第一编码代价之和与所述第二预设权重的乘积，所述第七子图像块的尺寸与第S层的子图像块的尺寸相等；

若所述第一子图像块的等价第一编码代价小于所述第一子图像块在其帧间预测模式下的第一编码代价，确定所述第一子图像块的最终划分方式为其初始划分方式，并确定所述第一子图像块的编码模式帧内编码模式，以及在所述帧内编码模式下，所述第一子图像块的预测模式为所述第一子图像块的最佳帧内预测模式；

若所述第一子图像块的等价第一编码代价大于或等于所述第一子图像块在其帧间预测模式下的第一编码代价，确定所述第一子图像块的最终划分方式为所述第一子图像块在其帧间预测模式下的划分方式，并确定所述第一子图像块的编码模式帧间编码模式。
如权利要求20所述的装置，其特征在于，所述待编码图像块对应的子图像块分为S层，S≥1，每层对应至少一个子图像块；

其中，所述确定所述各个子图像块在其最佳帧内预测模式下的第一编码代价和初始重建像素，并根据所述各个子图像块在其最佳帧内预测模式下的第一编码代价和所述各个子图像块在其帧间预测模式下的第一编码代价，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，包括：

确定第j层的各个子图像块的最优第一编码代价，

其中，第八子图像块的最优第一编码代价为所述第八子图像块的等价第一编码代价、所述第八子图像块在其最佳帧内预测模式下的第一编码代价和所述第八子图像块在其帧间预测模式下的第一编码代价中的最小者，所述第八子图像块为所述第j层的任一子图像块，

所述第八子图像块的等价第一编码代价为所述第八子图像块对应的第 j+1层的多个子图像块的最优第一编码代价之和，其中，第九子图像块的最优编码代价为所述第九子图像块在其最佳帧内预测模式下的第一编码代价和所述第九子图像块在其帧间预测模式下的第一编码代价中的较小者，所述第九子图像块为第S层的任一子图像块，j＝S-1，S-2，……1；

若所述第八子图块的最优第一编码代价为所述第八子图像块在其最佳帧内预测模式下的第一编码代价，则：确定所述第八子图像块的最终划分方式为不对所述第八子图像块进行划分，所述第八子图像块的编码模式为帧内编码模式，在所述帧内编码模式下，所述第八子图像块的预测模式为其最佳帧内预测模式，以及，将所述第八子图像块在其最佳帧内预测模式下的第一编码代价确定为所述第八子图像块的最优编码代价；

若所述第八子图块的最优第一编码代价为所述第八子图像块在其帧间预测模式下的第一编码代价，则：确定所述第八子图像块的最终划分方式为所述第八子图像块在其帧间预测模式下的划分方式，所述第八子图像块的编码模式为帧间编码模式，以及，将所述第八子图像块在其帧间预测模式下的第一编码代价确定为所述第八子图像块的最优编码代价；

若所述第八子图像块的最优第一编码代价为所述第八子图像块的等价第一编码代价，则：确定所述第八子图像块的最终划分方式为将所述第八子图块划分为对应的第j+1层的多个子图像块，并且，对于所述j+1层的多个子图像块中的任一子图像块，若其最优编码代价对应的预测模式为其最佳帧内预测模式，确定其编码模式为帧内编码模式，并且在所述帧内编码模式下其预测模式为其最佳帧内预测模式，否则确定其编码模式为帧间编码模式，以及，将所述第八子图像块的等价第一编码代价确定为所述第八子图像块的最优编码代价。
如权利要求24至26中任一项所述的装置，其特征在于，对于任一子图像块，确定所述子图像块在一个最佳帧内预测模式下的第一编码代价，包括：

确定所述子图像块的参考像素，并根据所述子图像块的参考像素，对所述子图像块进行重建过程，确定所述子图像块在所述最佳帧内预测模式下的第一编码代价，其中，所述参考像素包括第三参考像素和第四参考像素，

其中，所述第三参考像素为所述子图像块的左相邻块的初始重建像素的最后一列，若所述子图像块的上相邻块位于所述待编码图像块内，所述第四参考像素为所述子图像块的上相邻块的初始重建像素的最下面一行，若所述子图像块的上相邻块位于所述待编码图像块的上相邻图像块内，所述第四参考像素为所述子图像块的上相邻块的最终重建像素的最下面一行。
如权利要求22至24中任一项所述的装置，其特征在于，所述第二编码代价为HAD cost。
如权利要求18至28中任一项所述的装置，其特征在于，所述第一编码代价为RD cost。
如权利要求18至29中任一项所述的装置，其特征在于，所述步骤1，包括：

采用M种帧内预测模式，通过对待编码图像块对应的各个子图像块进行帧内预测，确定所述各个子图像块的最佳帧内预测模式，M为大于1的整数，且所述M种帧内预测模式是从35种帧内预测模式确定出的，所述35种帧内预测模式包括DC模式、Palnar模式和33种角度预测模式。
如权利要求30所述的装置，其特征在于，所述M种帧内预测模式是通过下述方式所确定出的：

根据所述35种帧内预测模式的方向，确定四个方向上分别对应的一组预测模式，所述四个方向包括0°、45°、90°和135°；

根据所述待编码图像块在所述四个方向上的像素梯度信息，确定所述四个方向中其中一个方向上对应的一组预测模式作为所述M种帧内预测模式。
一种编码装置，其特征在于，包括：存储器和处理器，其中，

所述存储器用于存储计算机程序；

所述处理器调用所述计算机程序，当所述计算机程序被执行时，用于执行以下操作：

步骤1，通过对待编码图像块对应的各个子图像块进行帧内预测，确定所述各个子图像块的最佳帧内预测模式；

步骤2，确定所述各个子图像块在其最佳帧内预测模式下的第一编码代价和初始重建像素，并根据所述各个子图像块在其最佳帧内预测模式下的第一编码代价和所述各个子图像块在其帧间预测模式下的第一编码代价，确定所述待编码图像块的最终划分方式和各个第二子图像块的编码模式，所述第二子图像块为所述待编码图像块在所述最终初始划分方式下的子图像块；

步骤3，若所述第二子图像块的编码模式为帧内编码模式，将所述第二子图像块的相邻块的最终重建像素作为参考像素，确定所述第二子图像块在其最佳帧内预测模式下的最终重建像素。
一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被计算机执行时使得所述计算机执行如权利要求1至17中任一项所述的方法。
一种包含指令的计算机程序产品，其特征在于，所述指令被计算机执行时使得计算机执行如权利要求1至17中任一项所述的方法。