WO2013075515A1

WO2013075515A1 - 多视点视频的编码、解码方法、装置和编解码器

Info

Publication number: WO2013075515A1
Application number: PCT/CN2012/079503
Authority: WO
Inventors: 杨名远; 傅佳莉; 耶格尔⋅费边; 韦恩⋅麦蒂尔斯
Original assignee: 华为技术有限公司
Priority date: 2011-11-23
Filing date: 2012-08-01
Publication date: 2013-05-30
Also published as: EP2773115A1; US9467676B2; EP2773115B1; EP2773115A4; CN103139569B; CN103139569A; US20140254690A1

Abstract

本发明实施例提供了一种多视点视频的编码方法、解码方法及对应的装置、编码器和解码器，其中多视点视频的编码方法包括：最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移；利用最优变形偏移、视点的摄像机参数以及前视点图深度图信息计算前视点图和当前编码视点图之间的视差信息；利用视差信息和前视点图计算前视点图的变形视点图，并将该变形视点图作为预测信号对当前视点图进行预测。本发明实施例通过最小化当前编码视点图和前视点图的变形视点图的误差得到最优变形偏移，采用该最优变形偏移修正视差信息，从而提高变形视点图的精度，进而改善多视点的视频图像质量。

Description

多视点视频的编码、解码方法、装置和编解码器技术领域本发明属于视频编解码技术领域，尤其涉及多视点视频的编码方法、解码方法、装置和编码器、解码器。背景技术多视点视频编码 ( Multi-view Video Coding , MVC ) 是 H.264/AVC ( Advanced Video Coding, 高级视频编码）提出的一个技术，主要用于编码立体视频以及多角度三维视频内容。

MVC 中的视差矢量代表不同视点间记录的同一场景的冗余信息。这些视差矢量是以块为单位的矢量，它们是编码端通过非标准（non-normative ) 运动估计算法计算得到的。对于其他的视点，可以根据视差矢量用之前已编码的视点的可置换（displaced )块区域作为其他视点当前编码区域的预测信号。这些以块为单位的视差矢量是不能精确的描述多视点之间的视差信息的，从而使得 MVC编码方法难以产生高质量的用于不同视点压缩的预测信号。

现有技术提供了一种三维视频编码（3D Video Coding, 3DV )的方法，该 3DV编码方法中增加了深度信息。该深度信息用于描述不同视点间的每一个像素位置的关系，从而 3DV编码技术可以产生质量相对高一些的用于不同视点压缩的预测信号。

在编码端， 3DV编码方法的流程筒述如下：其中基本视点使用传统的编码标准进行编码。在编码完基本视点后，对下一个视点进行编码时，利用摄像机参数信息和前视点图的深度图信息计算已编码的前视点图和当前要编码视点之间的视差信息，利用视差信息对前视点图进行变形操作，得到变形视点图，并将该变形视点图作为当前要编码的视点的编码单元的参考图，对当前要编码的视点进行编码处理。

视差的计算在物体或者物体的局部可能引入像素移位噪声，导致变形后的像素位置和物体在其他视点的位置不能完全一致。这种现象可以解释为 rounding效应，离摄像机近的物体要比离摄像机远的物体效应明显。 rounding 效应的出现使得依据视差信息得到的变形视点图的精度降低了，进而影响 3DV编码的压缩效率。发明内容本发明实施例提供一种多视点视频的编码方法，可以提高变形视点图的精度。

本发明实施例提供一种多视点视频的编码方法，所述方法包括：最小化当前编码视点图和前视点图的变形视点图之间的误差，获得最优变形偏移；

根据所述最优变形偏移、视点的摄像机参数以及所述前视点图的深度图信息，获取所述前视点图和所述当前编码视点图之间的视差信息；

根据所述视差信息和所述前视点图确定所述前视点图的变形视点图，并将所述变形视点图作为预测信号对所述当前编码视点图进行预测编码。

本发明实施例还提供一种多视点视频的解码方法，所述方法包括：解析当前视点图的码流，得到最优变形偏移；

根据所述最优变形偏移、视点的摄像机参数以及前视点图的深度图信息确定前视点图和当前解码视点图之间的视差信息；根据所述视差信息计算所述前视点图相对于当前解码视点图的变形视点图；

将所述变形视点图作为重构所述当前解码视点图的参考图。

本发明实施例还提供一种多视点视频编码的编码装置，所述装置包括：最优变形偏移获取单元，用于最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移；

第一视差信息计算单元，用于根据所述最优变形偏移、视点的摄像机参数以及前视点图的深度图信息获取所述前视点图和当前编码视点图之间的视差信息；

第一变形视点图计算单元，用于根据所述视差信息和前视点图确定所述前视点图的变形视点图；

第一编码预测单元，用于将所述变形视点图作为预测信号对所述当前编码视点图进行预测编码。

本发明实施例的还提供一种多视点视频的解码装置，所述装置包括：码流解析单元，用于解析当前视点图的码流，得到最优变形偏移；第二视差信息计算单元，用于根据所述最优变形偏移、视点的摄像机参数以及前视点图的深度图信息确定前视点图和当前解码视点图之间的视差信第二变形视点图计算单元，用于根据所述视差信息和前视点图计算所述前视点图的变形视点图；

第一解码预测单元，用于将所述变形视点图作为重构所述当前解码视点图的参考图。

本发明实施例的还提供一种包括所述多视点视频的编码装置的编码器和包括所述多视点视频的解码装置的解码器。

在本发明实施例中，通过最小化当前编码视点图和前视点图的变形视点图的误差得到最优变形偏移，采用该最优变形偏移修正视差信息，从而提高变形视点图的精度，改善多视点的视频图像质量。附图说明为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一筒单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图 1是本发明实施例提供的多视点视频的编码方法的实现流程图；图 2是本发明实施例提供的最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移的实现流程图；

图 3是本发明另一实施例提供的多视点视频的编码方法的实现流程图；图 4是本发明另一实施例提供的多视点视频的编码方法的实现流程图；图 5是本发明实施例提供的多视点视频的解码方法的实现流程图；图 6是本发明另一实施例提供的多视点视频的解码方法的实现流程图；图 7是本发明另一实施例提供的多视点视频的解码方法的实现流程图；图 8是本发明实施例提供的多视点视频的编码装置的结构框图；图 9是本发明实施例提供的多视点视频的解码装置的结构框图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中，通过最小化当前编码视点图和前视点图的变形视点图的误差得到最优变形偏移，采用该最优变形偏移修正视差信息，从而提高变形视点图的精度，进而改善多视点的视频图像质量。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。实施例一：

图 1示出了本发明实施例提供的一种多视点视频的编码方法的实现流程，详述如下：

在步骤 S1 01 中，最小化当前编码视点图和前视点图的变形视点图之间的误差，获得最优变形偏移。

其中当前编码视点图是指当前正在进行编码的视点图。前视点图可以为当前编码视点图空间域上的前编码视点图。前视点图的变形视点图是通过对前视点图采用视点变形算法进行变形运算得到的。其中视点图包括视频图和深度图。变形视点图包括变形视频图和变形深度图。

在本发明实施例中，前视点图的变形视频图和变形深度图可以采用相同的最优变形偏移，也可以分别采用各自的最优变形偏移。

当前视点图的变形视频图和变形深度图分别采用各自的最优变形偏移时，则最小化当前编码视点图的编码视频图和前视点图的编码视频图的误差，获得前视点图的变形视频图的最优变形偏移，最小化当前编码视点图的深度图和前视点图的变形深度图的误差，获得前视点图的变形深度图的最优变形偏移。

在本发明实施例中，当存在多个最优变形偏移时，该多个最优变形偏移之间也可以通过预测压缩来减少编码所需码率。举例说明如下：如果多个最优变形偏移之间存在相关性时，则可以传递其中一个最优变形偏移，其它最优变形偏移可以仅传递与该最优变形偏移的差值，通过这种方式可以减少编码所需码率。

在本发明实施例中，最优变形偏移可以用于^ ί'爹正整图，也可以用于对一部分图比如条带进行修正。

其中当前编码视点图和前视点图的变形视点图的误差包括但不限于绝对差和 ( Sum of Absolute Difference, SAD )、均方差 ( Mean Square Error, MSE )和误差项平方和 ( Sum of Squares for Error, SSE )等。

其中最小化当前编码视点图和前视点图的变形视点图的误差的方式有多种。如可以通过以下方式：设置一偏移预设范围，根据该偏移预设范围内的所有值分别作为变形偏移来修正前视点图和当前编码视点图之间的视差信息，利用该视差信息得到前视点图的变形视点图，计算当前编码视点图和前视点图的变形视点图的误差，从该偏移预设范围中选择一个使当前编码视点图和前视点图的变形视点图的误差最小的值，将该值确定为最优变形偏移。其中偏移预设范围内的所有值包括整数值或者小数值，其中小数值为保留小数点后一位的小数值。当然还可以采用其他方式最小化当前编码视点图和前视点图的变形视点图的误差，在此不再——举例说明。

在步骤 S102中，根据最优变形偏移、视点的摄像机参数以及前视点图的深度图信息，获取前视点图和当前编码视点图之间的视差信息。

其中视点的摄像机参数包括摄像机焦距以及摄像机空间位置和景深信息等。其中视差信息是以像素点为单位的。

其中根据最优变形偏移、视点的摄像机参数以及前视点图的深度图信息，获取前视点图和所述当前编码视点图之间的视差信息的步骤具体包括：

根据视点的摄像机参数以及前视点图的深度图信息计算得到初始视差信根据最优变形偏移以及前视点图的深度图信息得到偏移修正信号；根据初始视差信号和偏移修正信号得到前视点图和所述当前编码视点图之间的视差信息。

在本发明实施例中，可以采用如下公式计算前视点图和当前编码视点图之间的每个像素位置的视差信息：

disp( p) =— * ( X_add - X_base ) + offset^ * -^— * a

z d_max 其中 ^为当前编码视点的摄像机焦距。 Z为物体距离视点的距离。 dd 为 3D空间内当前编码视点在视点直线上的位置。为 3D空间内前视点图在视点直线上的位置。为步骤 S101 中得到的最优变形偏移。 d为当前像素的深度值， ^d 为当前视点图深度的最大深度值。 "为半像素精度。

在步骤 S103中，根据视差信息和前视点图确定前视点图的变形视点图，并将该变形视点图作为预测信号对当前编码视点图进行预测编码。

在本发明实施例中，通过最小化当前编码视点图和前视点图的变形视点图的误差，得到最优变形偏移，采用该最优变形偏移修正视差信息，从而可以提高前视点图的变形视点图的精度，进而提高多视点的视频图像质量。

在本发明优选实施例中，在步骤 S101之后，该方法还包括下述步骤：将最优变形偏移写进码流中。

在本实施例中，由于将最优变形偏移编码进码流中了，从而解码端可以根据码流中的最优变形偏移计算得到视差信息，依据该视差信息得到前视点图的变形视点图，该前视点图的变形视点图可以作为重构当前解码视点图的参考图，使得解码端可以解码并重建各视点。本发明实施例的方法可以由处理器（比如中央处理器 CPU )或专用集成电路（ASIC )等执行。

实施例二：

图 2示出了本发明实施例提供的最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移的实现流程，详述如下：

在步骤 S201 中，设定变形偏移值。 ^ffset'。

在本发明实施例中 , 该变形偏移值。 ^¾^可以任意设置。

在步骤 S202中，根据变形偏移值。 ^ffset'、视点的摄像机参数以及前视点图的深度图信息确定前视点图和当前编码视点图之间的视差信息。其中视差信息可以是以像素点为单位的。

disp( p) =— * ( X_add - X_base ) + offset^ * -^— * a

z d_max 其中'为当前视点图的摄像机焦距。 Z 为物体距离视点的距离。 dd 为 3D空间内当前视点图在视点直线上的位置。为 3D空间内前视点图在视点直线上的位置。 d为当前像素的深度值， ^d-_x为当前视点图深度的最大深度值。 "为半像素精度。

在步骤 S203中，根据视差信息和前视点图确定前视点图的变形视点图。由于其具体过程属于现有技术，在此不再赘述。

在步骤 S204中，计算变形视点图和当前编码视点图的原始图的误差。其中变形视点图包括变形视频图和变形深度图，当前编码视点图的原始图包括原始视频图和原始深度图。以计算变形视点图和当前编码视点图的原始图的均方差为例进行说明。

其具体计算过程如下： _n

MSE (offset ) = -V (X. -Y)

η _i=i

其中 MSE^ffs^ )是指变形视点图和当前编码视点图的均方差。为当前编码视点图的像素。 X为变形视点图的像素。

在本发明实施例中，当变形视点图和当前编码视点图的均方差越小时，表示依据该变形偏移得到的变形视点图与当前编码视点图越接近。

在步骤 S205,判断变形视点图和当前编码视点图的误差是否小于目前最小的误差值，如果是，执行步骤 S206, 否则执行步骤 S207。其中最小误差值在开始 P介段设置为极大值。

以判断变形视点图和当前编码视点的原始图的均方差是否小于预设的极大值为例，其中具体的判断步骤为：

判断 MSE₍₀ff_{Seti ) <} MSE₍off_Set。_pt)是否成立，如果成立，执行步骤 S206, 否则执行步骤 S207。

在步 S206中，设置 ^offset。pt =。^ffseti , ^MSE(^offset。_Pt ) = MSE(offseti )。在步骤 S207中，在预设的偏移预设范围内更改变形偏移值°^¾^ , 并返回步骤 S202。其中偏移预设范围是指变形偏移值°^¾^的变化范围。如可以将该偏移预设范围设置为 [-2, 2], 但偏移预设范围不以该举例说明为限。

其中在预设的偏移预设范围内更改变形偏移值是指将变形偏移值 01¾^修改为该偏移预设范围内的未使用过的任意一个值。通过上述步骤，遍历偏移预设范围内的所有值，即当偏移预设范围内的所有值均被设置为变形偏移值°^^以后，即可从该偏移预设范围内找出一个使 MSE^ffsetJ最小的值，将该值确定为最优变形偏移。起镇南关偏移预设范围内的所有值包括整数值或者小数值，其中小数值为保留小数点后一位的小数值。

在本发明实施例中，可以在偏移预设范围内找出一个使 ^MSE(。^ffset 最小的值，即从偏移预设范围内找出一个使变形视点图和当前编码视点图的原始图最接近的变形偏移值，通过将该值确定为最优变形偏移，从而可以极大的提高变形视点图的精度。实施例三：

图 3示出了本发明另一实施例提供的多视点视频的编码方法的实现流程，其中步骤 S301、 S302与图 1 中的步骤 S101、 S102相同，不同之处在于还包括以下步骤，详述如下：

在步骤 S303中，根据视差信息和前视点图计算前视点图的变形视点图，并将该变形视点图作为预测信号对当前编码视点图进行预测编码，得到第一预测结果。

在步骤 S304中，采用当前编码视点图的其他预测编码模式对当前编码视点图进行预测编码，得到第二预测结果。

在步骤 S305中，根据第一预测结果和第二预测结果采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码，并将模式指示符号写进码流中。其中最优决策包括但不限于率失真决策。模式指示符号用于标识采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择出的最好的模式。变形视点图的预测模式是指将该变形视点图作为预测信号对当前编码视点图进行预测编码的模式。如当采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择出的最好的模式为变形视点图的预测模式时，设置模式标识符号

WarpSkip-Mode=1；当采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择出的最好的模式为当前视点图的其他预测模式时，设置模式标识符号 WarpSkip-Mode=0; 将该模式标识符号写进码流中，以便解码器在接收到码流后，可以依据该模式标识符号进行正确的解码。

实施例四：

图 4示出了本发明另一实施例提供的多视点视频的编码方法的实现流程，其中步骤 S401、 S402与图 1 中的步骤 S101、 S102相同，不同之处在于，其还包括以下步骤：

在步骤 S403中，利用视差信息和前视点图计算前视点图的变形视点图。在步骤 S404中，获取当前编码视点图的占用掩码图，该占用掩码图用于描述前视点图的像素是否可以被变形到当前编码视点图中。

其中获取占用掩码图的具体步骤属于现有技术，在此筒单说明如下：在计算变形视点图时，产生一个占用掩码图（occupancy mask )。该占用掩码图描述了前视点图的像素是否可以被变形到当前视点图中。它的表现形式为一个和视频相同尺寸的布尔占用掩码图。当一个像素被成功的从其他视点变形得到，则该像素在占用掩码图中被表示为占用（即真），反之则被表示为空缺（即假 ), 通过上述方式即可得到占用掩码图。

在步骤 S405中，根据占用掩码图得到当前编码视点图的每一个编码单元的掩码标识。

在步骤 S406中，根据当前编码视点图的每一个编码单元的掩码标识计算当前编码单元的占有率 P(cu)。其计算公式可以如下： p(CU) = ∑^{cu ?i}

size(CU)

其中为当前编码单元每一个像素的掩码标识，其值为 0或者 1。 size(CU) 是该编码单元内的所有像素的个数。

在步骤 S407中，判断当前编码单元的占有率 P(^cu)是否大于预设的阈值，如果是，执行步骤 S408, 否则执行步骤 S409。

在步骤 S408中，将变形视点图作为当前编码单元的预测信号对当前编码视点图进行预测编码。

在步骤 S409中，采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码。其中变形视点图的预测模式是指将变形视点图作为当前编码单元的预测信号对当前编码视点图进行预测编码的模式。其中最优决策包括但不限于率失真决策。

在本发明实施例中，在采用率失真决策从变形视点图的预测模式和当前视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码时，采用率失真决策从变形视点图的预测模式和当前视点图的其他预测模式中选择代价最小的模式对当前编码单元进行预测编码。

在本发明实施例中，通过根据当前编码单元的占有率 P(^cu) , 直接采用变形视点图作为当前编码单元的预测信号对当前编码视点图进行预测编码，或者采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码，从而可以提高编码预测精度，得到更好的率失真性能。

在本发明的优选实施例中，当当前编码单元的占有率小于或者等于预设的阈值时，所述方法还包括：

采用模式指示符号来标识采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择出的最好的模式，并将所述模式指示符号写进码流中。这样解码端即可根据该模式指示符号解析出采用何种模式对对当前编码单元进行预测解码。如模式指示符号可以用 WarpSkip-Mode代表。

实施例五

图 5示出了本发明实施例提供的多视点视频的解码方法的实现流程，详述如下：

在步骤 S501 中，解析当前视点图的码流，得到最优变形偏移。

在本发明实施例中，在编码端对多视点视频进行编码时，已经将各视点的最优变形偏移编码进码流了，因此通过解析当前视点图的码流，即可得到各视点的最优变形偏移。

在步骤 S502中，根据最优变形偏移、视点的摄像机参数以及前视点图的深度图信息计算前视点图和当前解码视点图之间的视差信息。其中前视点图可以是当前解码视点图空间域上的前解码视点图。其具体过程如下：

根据所述视点的摄像机参数以及前视点图的深度图信息计算得到初始视差信号；

根据所述最优变形偏移以及所述前视点图的深度图信息得到偏移修正信根据所述初始视差信号和所述偏移修正信号得到所述前视点图和所述当前编码视点图之间的视差信息。

在本发明实施例中，可以采用如下公式计算前视点图和当前编码视点图之间的视差信息：

disp( p) =— * ( X_add - X_base ) + offset^ * - -^— * a 在步骤 S503中，根据视差信息和前视点图计算前视点图相对于当前解码视点图的变形视点图（其中前视点图相对于当前解码视点图的变形视点图也称为前视点图的变形视点图）。其具体步骤如下：

根据视差信息对前视点图的像素进行移位得到前视点图相对于当前解码视点图的变形视点图。

在步骤 S504中，将计算得到的变形视点图作为重构当前解码视点图的参考图。通过将解码得到的其它信息和参考图共同构建重建图，从而实现对当前解码视点的解码重构。

在本发明实施例中，通过解码码流中的最优变形偏移，依据该最优变形偏移得到视差信息，依据视差信息得到前视点图的变形视点图，将该变形视点图作为重构当前解码视点图的参考图，并用解码得到的其它信息和参考图共同构建重建图，从而可以实现对当前解码视点的解码重构。

在本发明实施例中，该最优变形偏移可以为前视点图的变形视频图和变形深度图共同最优变形偏移，也可以包括前视点图的变形视频图和变形深度图各自的最优变形偏移。当最优变形偏移包括前视点图的变形视频图和变形深度图各自的最优变形偏移时，则在解码端进行解码时，可以得到前视点图的变形视频图和变形深度图各自的最优变形偏移。

实施例六

图 6示出了本发明另一实施例提供的多视点视频的解码方法的实现流程，详述如下：

在步骤 S601 中，解码当前解码单元的码流，得到模式指示符号，例如 WarpSkip-Mode。

在本发明实施例中，在编码端对多视点视频进行编码时，已经将各个编码单元的模式指示符号编码进码流了，因此通过解码当前视点图的码流，即可解码得到各个编码单元的此模式指示符号编码。

在步骤 S602中，根据模式指示符号判断是采用变形视点图作为当前视点图的预测信号对当前解码单元进行预测解码，还是采用其他预测信号对当前视点图的解码单元进行预测解码。举例说明如下：

如果该模式指示符号 WarpSkip-Mode=1的话，将变形视点图作为当前视点图的解码单元的预测信号对当前解码视点图进行预测解码。解码端不再需要该解码单元的解码残差等其他信息。如果该模式指示符号

WarpSkip-Mode=0的话，当前解码单元采用其他的预测解码模式对当前解码视点图的解码单元进行预测解码。

实施例七：

图 7示出了本发明另一实施例提供的多视点视频的解码方法的实现流程，其中步骤 S701、 S702与图 5中的步骤 S501、 S502相同，不同之处在于，其还包括以下步骤：

在步骤 S703中，利用视差信息和前视点图计算前视点图的变形视点图。在步骤 S704中，获取当前解码视点图的占用掩码图，该占用掩码图用于描述前视点图的像素是否可以被变形到当前解码视点图中。

在步骤 S705中，根据占用掩码图得到当前解码视点图的每一个解码单元的掩码标识。

在步骤 S706中，根据当前解码视点图的每一个解码单元的掩码标识计算当前解码单元的占有率 P(CU)。其计算公式可以如下：

∑

size(CU) 其中为当前编码单元每一个像素的掩码标识，其值为 0或者 1。 size(CU) 是该编码单元内的所有像素的个数。

在步骤 S707中，判断当前解码单元的占有率 P(^cu)是否大于预设的阈值，如果是，执行步骤 S708, 否则执行步骤 S709。

在步骤 S708中，将变形视点图作为当前解码单元的预测信号对当前解码视点图进行预测解码。

在步骤 S709中，解码当前解码单元的模式指示符号，根据模式指示符号判断是采用变形视点图的预测模式和当前解码视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码。

举例说明如下：如果模式指示符号为 1 ,采用变形视点图的预测模式对当前解码单元进行预测解码；如果模式指示符号为 0, 采用其他预测解码模式对当前解码单元进行解码。

在解码过程中占用掩码图可以是整体计算得到，也可以是解码每一个解码单元时计算得到占用掩码图。

在解码过程中变形视点图可以是整体计算得到，也可以是解码每一个解码单元时计算得到变形视点图。

实施例八

图 8示出了本发明实施例提供的多视点视频的编码装置，为了便于说明，仅示出了与本发明实施例相关的部分。该多视点视频的编码装置可以用于编码器，可以是运行于编码器内的软件单元、硬件单元或者软硬件相结合的单元，也可以作为独立的挂件集成到编码器中或者运行于编码器的应用系统中，其中：

最优变形偏移获取单元 81最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移。

其中视点图包括视频图和深度图。变形视点图包括变形视频图和变形深度图。其中当前编码视点图和前视点图的变形视点图的误差包括但不限于绝对差和 ( Sum of Absolute Difference, SAD )、均方差 ( Mean Square Error, MSE )和误差项平方和 ( Sum of Squares for Error, SSE )等。。

其中最优变形偏移获取单元 81最小化当前编码视点图和前视点图的变形视点图的误差的方式有多种。如可以通过以下方式：设置一偏移预设范围，根据该偏移预设范围内的所有值分别作为变形偏移来修正前视点图和当前编码视点图之间的视差信息，利用该视差信息得到前视点图的变形视点图，计算当前编码视点图和前视点图的变形视点图的误差，从该偏移预设范围中选择一个使当前编码视点图和前视点图的变形视点图的误差最小的值，将该值确定为最优变形偏移。其中偏移预设范围内的所有值包括整数值或者小数值，其中小数值为保留小数点后一位的小数值。

第一视差信息计算单元 82根据最优变形偏移、视点的摄像机参数以及前视点图的深度图信息获取前视点图和当前编码视点图之间的视差信息。

在本发明实施例中，可以采用如下公式计算前视点图和当前编码视点图之间的每个像素位置的视差信息： disp ( P) =— * ( X_add - X_base ) + offset, *-—* a

^{Z d}max 第一变形视点图计算单元 83根据视差信息和前视点图计算前视点图的变形视点图。

第一编码预测单元 84将第一变形视点图计算单元 83计算得到的变形视点图作为预测信号对当前编码视点图进行预测。在本发明优选实施例中，该最优变形偏移获取单元 81 包括：初始设置模块 81 1设定变形偏移值°^¾^。

视差计算模块 81 2根据变形偏移值。 ^¾^、视点的摄像机参数以及前视点图的深度图信息计算前视点图和当前编码视点图之间的视差信息。

变形视点图计算模块 81 3根据视差信息和前视点图计算前视点图的变形视点图。

误差计算模块 81 4计算变形视点图和当前编码视点图的原始图的误差。误差判断模块 81 5判断变形视点图和当前编码视点图的原始图的误差是否小于目前最小的误差值。其中最小误差值在开始阶段设置为极大值。

偏移值更改模块 81 6在误差判断模块 81 5判定变形视点图和当前编码视点图的原始图的误差小于目前最小的误差值时，设置。 ffset。_pt =。¾ ,

MSE(offset_opt) = MSE(offse_ti) , 并在预设的偏移预设范围内更改变形偏移值 , 否则直接在预设的偏移预设范围内更改变形偏移值 ^Qffsei。偏移值更改模块

81 6再触发视差计算模块 81 2利用更改后的变形偏移值、视点的摄像机参数以及前视点图深度图信息重新计算前视点图和当前编码视点图之间的视差信息。上述模块之间循环交互，直到偏移预设范围内的所有值均遍历完毕。

在本发明优选实施例中，该多视点视频的编码装置还包括第一模式预测单元 85、第二模式预测单元 86、模式选择单元 87。其中：

第一模式预测单元 85根据视差信息和前视点图计算前视点图的变形视点图，并将该变形视点图作为预测信号对当前编码视点图进行预测编码，得到第一预测结果。

第二模式预测单元 86采用当前编码视点图的其他预测编码模式对当前编码视点图进行预测编码，得到第二预测结果。模式选择单元 87根据第一预测结果和第二预测结果采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码，并将模式指示符号写进码流中。其中最优决策包括但不限于率失真决策。模式指示符号用于标识采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择出的最好的模式。变形视点图的预测模式是指将该变形视点图作为预测信号对当前编码视点图进行预测编码的模式。

在本发明优选实施例中，该装置还包括第一占用掩码图获取单元 88、第一掩码标识获取单元 89、第一占有率计算单元 901和第二编码预测单元 902。其中：

第一占用掩码图获取单元 88获取当前编码视点图的占用掩码图，该占用掩码图用于描述前视点图的像素是否可以被变形到当前编码视点图中。

第一掩码标识获取单元 89根据占用掩码图得到当前编码视点图的每一个编码单元的掩码标识。

第一占有率计算单元 901根据当前编码视点图的每一个编码单元的掩码标识计算当前编码单元的占有率 P(CU)。其计算公式可以如下：

P(CU ) - 厶

size(CU)

第二编码预测单元 902 判断当前编码单元的占有率是否大于预设的阈值，如果是，则将变形视点图作为当前编码单元的预测信号对当前视点图进行预测编码，如果否，则采用最优决策从变形视点图的预测模式和当前视点图的传统编码预测模式中选择一种最好的模式对当前编码单元进行预测编码。实施例九

图 9示出了本发明实施例提供的多视点视频的解码装置，为了便于说明，仅示出了与本发明实施例相关的部分。

该多视点视频编码的解码装置可以用于解码器，可以是运行于解码器内的软件单元、硬件单元或者软硬件相结合的单元，也可以作为独立的挂件集成到解码器中或者运行于解码器的应用系统中，其中：

码流解析单元 91解析当前视点图的码流，得到最优变形偏移。

在本发明实施例中，由于编码端在编码时，将最优变形偏移值°^¾^编码进了码流中，因此，在解码当前视点图的码流时，可以同时解码出该最优变形偏移。

第二视差信息计算单元 92根据最优变形偏移、视点的摄像机参数以及前视点图的深度图信息计算前视点图和当前解码视点图之间的视差信息。其中前视点图可以指当前解码视点图空间域上的前解码视点图。其具体过程如下： disp ( P) =— * ( X_add - X_base ) + offset, *-—* a

^{Z d}max

第二变形视点图计算单元 93根据得到的视差信息和前视点图计算前视点图的变形视点图。其具体过程如下：根据视差信息对前视点图的像素进行移位得到前视点图的变形视点图。

第一解码预测单元 94将计算得到的变形视点图作为重构当前解码视点图的参考图。解码端通过解码得到的其它信息和参考图共同构建重建图，从而实现对当前解码视点的解码重构。

在本发明优选实施例中，该多视点视频的解码装置还包括模式指示符号解码单元 95和第二解码预测单元 96。该模式指示符号解码单元 95在解码当前解码单元时，解码得到模式指示口

付。

第二解码预测单元 96根据模式指示符号判断是采用变形视点图作为当前视点图的预测信号对当前解码单元进行预测解码，还是采用其他预测信号对当前视点图的解码单元进行预测解码。

在本发明的优选实施例中，该多视点视频的解码装置还包括第二占用掩码图获取单元 97、第二掩码标识获取单元 98、第二占有率获取单元 99和第三解码预测单元 100。其中：

第二占用掩码图获取单元 97获取当前解码视点图的占用掩码图，其中占用掩码图用于描述前视点图的像素是否可以被变形到当前解码视点图中。

第二掩码标识获取单元 98根据占用掩码图得到当前解码视点图的每一个解码单元的掩码标识。

第二占有率计算单元 99根据当前解码视点图的每一个解码单元的掩码标识计算当前解码单元的占有率；

第三解码预测单元 100 判断当前解码单元的占有率是否大于预设的阈值，如果是，将变形视点图作为当前解码单元的预测信号对当前视点图进行预测解码，否则解码当前解码单元的模式指示符号，根据所述模式指示符号来判断是采用变形视点图的预测模式对当前解码单元进行解码还是采用当前解码视点图的其他预测模式对当前解码单元进行预测解码。

在本发明的整个文件中的图代表一种解码单位，可以是一帧 (frame) , 也可以是条带 (slice)等其它单位。在解码过程中变形视点图可以是整体计算得到也可以是解码每一个解码单元时计算得到变形视点图对应的当前解码单元参考。值得注意的是，上述多视点视频的视点重构装置和多视点视频的视点重构装置所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

本发明实施例的视频解码端可以是处理器（比如中央处理器 CPU )或专用集成电路（ASIC )等。本发明实施例的视频解码端具体可以是计算机、手机、机顶盒、电视机以及其他各种电子设备等。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，如 ROM/RAM、磁盘、光盘等。

在本发明实施例中，通过最小化当前编码视点图和前视点图的变形视点图的误差，得到最优变形偏移，采用该最优变形偏移修正视差信息，从而可以提高变形视点图的精度，进而减少编码其他视点残差的码率，改善 3DV编码方法的编码质量和编码压缩性能。通过将最优变形偏移编码进码流中，从而解码端可以根据码流中的最优变形偏移计算得到视差信息，依据该视差信息得到前视点图的变形视点图，该前视点图的变形视点图可以作为重构当前视点图的参考图，使得解码端可以解码并重建各视点。通过根据当前编码单元的占有率 P(^cu) ,直接采用变形视点图作为当前编码单元的预测信号对当前视点图进行预测，或者将变形视点图和当前视点图的传统参考图共同作为预测信号对当前视点图进行预测，从而可以提高编码预测精度，得到更好的率失真性能。在解码端，通过解码码流中的最优变形偏移，依据该最优变形偏移得到视差信息，依据视差信息得到前视点图的变形视点图，将该变形视点图作为重构当前解码视点图的参考图，从而可以实现对当前解码视点的解码重构。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

权利要求书

1、一种多视点视频的编码方法，其特征在于，所述方法包括：

最小化当前编码视点图和前视点图的变形视点图之间的误差，获得最优变形偏移；

2、如权利要求 1所述的多视点视频的编码方法，其特征在于，所述当前编码视点图和前视点图的变形视点图的误差包括：

绝对差和 SAD、或均方差 MSE、或误差项平方和 SSE。

3、如权利要求 1所述的多视点视频的编码方法，其特征在于，所述最优变形偏移为所述前视点图的变形视频图和变形深度图共同的最优变形偏移，或者所述最优变形偏移包括前视点图的变形视频图和变形深度图各自的最优变形偏移。

4、如权利要求 1所述的多视点视频的编码方法，其特征在于，所述最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移包括：设置一偏移预设范围，根据所述偏移预设范围内的所有值分别作为变形偏移来修正前视点图和当前编码视点图之间的视差信息，利用所述视差信息得到所述前视点图的变形视点图，计算当前编码视点图和前视点图的变形视点图的误差，从所述偏移预设范围中选择一个使当前编码视点图和前视点图的变形视点图的误差最小的值，将该值确定为最优变形偏移，所述偏移预设范围内的所有值包括整数值或者小数值，所述小数值为保留小数点后一位的小数值。

5、如权利要求 1所述的多视点视频的编码方法，其特征在于，所述最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移包括： a、设定变形偏移值°^¾^；

b、根据变形偏移值。 ^¾^、视点的摄像机参数以及前视点图的深度图信息确定前视点图和当前编码视点图之间的视差信息；

c、根据视差信息和前视点图确定前视点图的变形视点图；

d、计算变形视点图和当前编码视点图的原始图的误差；

e、判断变形视点图和当前编码视点图的原始图的误差是否小于目前最小的误差值，如果是，执行步骤 f, 否则执行步骤 g;

f 设置 = offset MSE (offset。_pt ) = MSE (offse^ ) · g、在预设的偏移预设范围内更改变形偏移值并返回所述步骤 b, 直到所述偏移预设范围内的所有值均遍历完毕，循环结束。

6、如权利要求 1所述的方法，其特征在于，所述根据所述最优变形偏移、视点的摄像机参数以及所述前视点图的深度图信息，获取所述前视点图和所述当前编码视点图之间的视差信息包括：

根据所述最优变形偏移以及所述前视点图的深度图信息得到偏移修正信

根据所述初始视差信号和所述偏移修正信号得到所述前视点图和所述当前编码视点图之间的视差信息。

7、如权利要求 1或 6所述的方法，其特征在于，采用下述公式获取前视点图和当前编码视点图之间的视差信息：

disp( p) =— * ( X_add - X_base ) + offset^ * -^— * a

z d_max

其中为当前视点图的摄像机焦距， Z为物体距离视点的距离， dd为 3D空间内当前视点图在视点直线上的位置，为 3D空间内前视点图在视点直线上的位置， d为当前像素的深度值， ^d _max为当前视点图深度的最大深度值， "为像素精度。

8、如权利要求 1所述的多视点视频的编码方法，其特征在于，在所述最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移之后，所述方法还包括：

将最优变形偏移写进码流中。

9、如权利要求 1所述的多视点视频的编码方法，其特征在于，在根据所述最优变形偏移、视点的摄像机参数以及所述前视点图的深度图信息，获取所述前视点图和所述当前编码视点图之间的视差信息之后，还包括：

根据视差信息和前视点图计算前视点图的变形视点图，并将该变形视点图作为预测信号对当前编码视点图进行预测编码，得到第一预测结果；

采用当前编码视点图的其他预测编码模式对当前编码视点图进行预测编码，得到第二预测结果；

根据第一预测结果和第二预测结果采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码，并将模式指示符号写进码流中，所述模式指示符号用于标识采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择出的最好的模式。

1 0、如权利要求 1 所述的多视点视频的编码方法，其特征在于，所述利用视差信息和前视点图计算前视点图的变形视点图，并将所述变形视点图作为预测信号对当前编码视点图进行预测包括：

利用视差信息和前视点图计算前视点图的变形视点图；

获取当前编码视点图的占用掩码图，所述占用掩码图用于描述所述前视点图的像素是否可以被变形到当前编码视点图中；

根据所述占用掩码图得到所述当前编码视点图的每一个编码单元的掩码标识；

根据所述当前编码视点图的每一个编码单元的掩码标识计算当前编码单元的占有率；

判断当前编码单元的占有率是否大于预设的阈值，如果是，则将所述变形视点图作为所述当前编码单元的预测信号对所述当前编码视点图进行预测编码，如果否，则采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码。

11、如权利要求 10所述的多视点视频的编码方法，其特征在于，当当前编码单元的占有率小于或者等于预设的阈值时，所述方法还包括：

采用模式指示符号来标识采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择出的最好的模式，并将所述模式指示符号写进码流中。

12、如权利要求 9至 11任一项所述的多视点视频的编码方法，其特征在于，所述最优决策为率失真决策。

13、如权利要求 1 0所述的多视点视频的编码方法，其特征在于，采用下述公式计算当前编码单元的占有率 P(^c

其中为当前编码单元每一个像素的掩码标识， size(CU)是该编码单元内的所有像素的个数。

14、一种多视点视频的解码方法，其特征在于，所述方法包括：

解析当前视点图的码流，得到最优变形偏移；

根据所述最优变形偏移、视点的摄像机参数以及前视点图的深度图信息确定前视点图和当前解码视点图之间的视差信息；

根据所述视差信息和前视点图计算所述前视点图的变形视点图；

将所述变形视点图作为重构所述当前解码视点图的参考图。

15、如权利要求 14所述的多视点视频的解码方法，其特征在于，所述最优变形偏移为前视点图的变形视频图和变形深度图共同的最优变形偏移，或者所述最优变形偏移包括前视点图的变形视频图和变形深度图各自的最优变形偏移。

1 6、如权利要求 14所述的多视点视频的解码方法，其特征在于，所述根据所述最优变形偏移、视点的摄像机参数以及所述前视点图的深度图信息，获取所述前视点图和所述当前编码视点图之间的视差信息包括：

1 7、如权利要求 14所述的多视点视频的解码方法，其特征在于，在所述根据最优变形偏移、视点的摄像机参数以及前视点图的深度图信息确定前视点图和当前解码视点图之间的视差信息时，采用下述公式计算前视点图和当前编码视点图之间的视差信息：

disp(p) = -* (X_add - X_base) + offse_ti *-^-*a 其中 f为当前视点图的摄像机焦距， z 为物体距离视点的距离， ^X _add为

3D空间内当前视点图在视点直线上的位置，为 3D空间内前视点图在视点直线上的位置， d为当前像素的深度值，为当前视点图深度的最大深度值， a为像素精度。

18、如权利要求 14所述的多视点视频的解码方法，其特征在于，所述利用视差信息和前视点图计算前视点图的变形视点图，并将所述变形视点图作为预测信号对当前解码视点图进行预测包括：

在解码当前解码单元的码流时，解码得到模式指示符号，根据所述模式指示符号判断是采用变形视点图作为当前视点图的预测信号对当前解码单元进行预测解码，还是采用其他预测信号对当前视点图的解码单元进行预测解码。

19、如权利要求 14所述的多视点视频的解码方法，其特征在于，所述利用视差信息和前视点图计算前视点图的变形视点图，并将所述变形视点图作为预测信号对当前解码视点图进行预测包括：

利用视差信息和前视点图计算前视点图的变形视点图；

获取当前解码视点图的占用掩码图，所述占用掩码图用于描述前视点图的像素是否可以被变形到当前解码视点图中；

根据所述占用掩码图得到所述当前解码视点图的每一个解码单元的掩码标识；

根据所述当前解码视点图的每一个解码单元的掩码标识计算当前解码单元的占有率；判断当前解码单元的占有率是否大于预设的阈值，如果是，将变形视点图作为当前解码单元的预测信号对当前解码视点图进行预测解码，否则解码当前解码单元的模式指示符号，根据模式指示符号判断是采用变形视点图的预测模式和当前解码视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码。

20、一种多视点视频的编码装置，其特征在于，所述装置包括：

最优变形偏移获取单元，用于最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移；

第一视差信息计算单元，用于根据所述最优变形偏移、视点的摄像机参数以及前视点图的深度图信息获取所述前视点图和当前编码视点图之间的视差信第一变形视点图计算单元，用于根据所述视差信息和前视点图确定所述前视点图的变形视点图；

21、如权利要求 20所述的多视点视频的编码装置，其特征在于，所述最优变形偏移获取单元包括：

初始设置模块，用于设定变形偏移值°^¾^；

视差计算模块，用于根据所述变形偏移值。¹³^、视点的摄像机参数以及前视点图的深度图信息确定前视点图和当前编码视点图之间的视差信息；

变形视点图计算模块，用于根据所述视差信息和所述前视点图确定所述前视点图的变形视点图；

误差计算模块，用于计算变形视点图和当前编码视点图的原始图的误差；误差判断模块，用于判断变形视点图和当前编码视点图的原始图的误差是否小于目前最小的误差值；

偏移值更改模块，用于在所述误差判断模块判定变形视点图和当前编码视点图的原始图的误差小于目前最小的误差值时，设置。 ff

° ^f , MSE(offset_opt) = MSE(offse_ti) _? 并在预设的偏移预设范围内更改变形偏移值。 , 否则在预设的偏移预设范围内更改变形偏移值。

22、如权利要求 20所述的多视点视频的编码装置，其特征在于，所述装置还包括：

第一模式预测单元，用于根据视差信息和前视点图计算前视点图的变形视点图，并将该变形视点图作为预测信号对当前编码视点图进行预测编码，得到第一预测结果；

第二模式预测单元，用于采用当前编码视点图的其他预测编码模式对当前编码视点图进行预测编码，得到第二预测结果；

模式选择单元，用于根据第一预测结果和第二预测结果采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码，并将模式指示符号写进码流中，所述模式指示符号用于标识采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择出的最好的模式。

23、如权利要求 20所述的多视点视频的编码装置，其特征在于，所述装置还包括：

第一占用掩码图获取单元，用于获取当前编码视点图的占用掩码图，所述占用掩码图用于描述前视点图的像素是否可以被变形到当前编码视点图中；第一掩码标识获取单元，用于根据所述占用掩码图得到所述当前编码视点图的每一个编码单元的掩码标识；

第一占有率计算单元，用于根据当前编码视点图的每一个编码单元的掩码标识计算当前编码单元的占有率；

第二编码预测单元，用于判断当前编码单元的占有率是否大于预设的阈值，如果是，则将所述变形视点图作为所述当前编码单元的预测信号对所述当前视点图进行预测编码，如果否，则采用最优决策从变形视点图的预测模式和当前视点图的其他编码预测模式中选择一种最好的模式对当前编码单元进行预测编码。

24、一种多视点视频的解码装置，其特征在于，包括：

码流解析单元，用于解析当前视点图的码流，得到最优变形偏移；第二视差信息计算单元，用于根据所述最优变形偏移、视点的摄像机参数以及前视点图的深度图信息确定前视点图和当前解码视点图之间的视差信息；第二变形视点图计算单元，用于根据所述视差信息和前视点图计算所述前视点图的变形视点图；

25、如权利要求 24所述的多视点视频的解码装置，其特征在于，还包括：模式指示符号解码单元，用于在解码当前解码单元时，解码得到模式指示口

付"

第二解码预测单元，用于根据所述模式指示符号判断是采用变形视点图作为当前视点图的预测信号对当前解码单元进行预测解码，还是采用其他预测信号对当前视点图的解码单元进行预测解码。

26、如权利要求 24所述的多视点视频的解码装置，其特征在于，还包括：第二掩码标识获取单元，用于获取当前解码视点图的占用掩码图，所述占用掩码图用于描述前视点图的像素是否可以被变形到当前解码视点图中；

第二掩码标识获取单元，用于根据所述占用掩码图得到所述当前解码视点图的每一个解码单元的掩码标识；

第二占有率计算单元，用于根据所述当前解码视点图的每一个解码单元的掩码标识计算当前解码单元的占有率；

第三解码预测单元，用于判断当前解码单元的占有率是否大于预设的阈值，如果是，将变形视点图作为当前解码单元的预测信号对当前视点图进行预测解码，否则解码当前解码单元的模式指示符号，根据所述模式指示符号来判断是采用变形视点图的预测模式对当前解码单元进行解码还是采用当前解码视点图的其他预测模式对当前解码单元进行预测解码。

27、一种编码器，其特征在于，所述编码器包括权利要求 20至 23任一项所述的多视点视频的编码装置。

28、一种解码器，其特征在于，所述解码器包括权利要求 24至 26任一项所述的多视点视频的解码装置。