WO2020007094A1

WO2020007094A1 - 一种全景图像滤波方法及装置

Info

Publication number: WO2020007094A1
Application number: PCT/CN2019/083033
Authority: WO
Inventors: 虞露; 皇甫旭昶
Original assignee: 浙江大学
Priority date: 2018-07-02
Filing date: 2019-04-17
Publication date: 2020-01-09

Abstract

本发明公开了一种全景图像滤波方法及装置。根据全景投影展开图像的格式信息确定在全景投影展开图像中存在的在全景球面上相邻、但在投影展开图像上不相邻的面边界区域对的位置，按照所述面边界区域对中一个特定的面边界区域在全景投影展开图像上的方向，确定面边界区域对中第一维和第二维滤波处理的方向，对所述面边界区域对依次进行第一维和第二维滤波处理，所述面边界区域对确定第一维和第二维滤波处理方向的方法与非面边界区域在全景投影展开图像上确定第一维和第二维滤波处理的方向一致。本发明可以减少编码图像的编码伪像和面边界的不连续性，提高了编码图像的主观质量，同时保证了编解码端的匹配。

Description

一种全景图像滤波方法及装置

技术领域

本发明涉及全景图像处理领域，特别涉及全景图像像素块滤波方法及装置。

背景技术

全景图像指空间中一个观察点四周所有的场景，由这个观察点所能接收到的所有光线构成，球面可以描述观察点四周的所有场景。由于球面图像难以存储及编码，所以全景图像的球面通过定义特定的投影展开方法，将球面图像展开为平面图像，该平面图像称为全景投影展开图像，所述的投影展开方法一般由某一全景图像展开格式信息确定。

立方体是目前最常见的全景图像投影展开格式之一，如图1所示，利用中心投影的方法将球面投影到其对应的外接立方体的六个面上，立方体体的八个顶点分别为A、B、C、D、E、F、G、H，然后将立方体展开，其中左侧面、前面以及右侧面水平排布，而上面、后面以及下面垂直排布。由于左侧面、前面以及右侧面展示的是立方体的外表面，而图1中上面、后面以及下面的垂直排布展示的立方体的内表面，所以需要将上面、后面以及下面的垂直排布左右翻转以表示立方体的外表面，如图2所示，将上面、后面以及下面左右翻转后再顺时针旋转90°，将立方体的6个面紧凑排布成3x2的矩形图像，图2仅展示出立方体6个面的一种排布情况，立方体的6个面也可以不按照这种方式排布。

除了立方体格式以外，还有其他相对于立方体格式改进的格式，目前表达效率较高的全景图像投影展开格式有EAC、PAU以及HEC等。

将紧邻立方体6个面的边界的区域称为面边界区域，将球面投影展开为全景投影展开图像后，原先在球面上相邻的面边界区域在全景投影展开图像上可能不相邻，如图3所示，面边界区域1和1’在立方体上有共同的边界AE，而在全景投影展开图像上面边界区域1和1’不相邻，图3中数字a和a’所代表的灰色区域表示在球面上相邻但在全景投影展开图像上不相邻的面边界区域对，其中a的取值可以为1、2、3、4、5、6、7以及8中的任一个。图3中的白色区域表示全景投影展开图像上的非面边界区域，而黑色区域表示在球面上相邻且在全景投影展开图像上仍然相邻的面边界区域。

传统的图像或视频编解码方法是将整幅图像划分成像素块来进行处理的，由于像素块之间在预测、变换、量化等过程中存在不一致性，像素块边界处存在着不连续性，因此要对像素块边界进行去块滤波处理。传统的去块滤波方法中，整幅图像的去块滤波处理的方向是一致的，并且去块滤波处理是像素块为单位的。

传统的去块滤波方法为二维分离的滤波，为了在编解码端匹配，因此需要指定第一维和第二维滤波处理的方向，并对像素块依次进行第一维和第二维滤波处理。例如先对像素块在图像上的边界方向(如竖直方向)进行第一维滤波处理，再对像素块在图像上的另一边界方向(如水平方向)进行第二维滤波处理，其中像素块的边界方向和滤波处理方向相互垂直，即对竖直边界进行水平方向的滤波处理，第一维滤波处理方向和第二维滤波处理方向也相互垂直。如图4所示，像素块A和B之间的边界方向为竖直方向，因此先对像素块A、B之间的竖直边界进行第一维滤波处理，即先进行水平方向的滤波，像素块A和C之间为水平边界，将第一维滤波处理后的结果再进行第二维滤波处理，即再进行竖直方向的滤波。在HEVC(High Efficiency Video Coding)以及H.264中，在对像素块边界进行去块滤波操作时先对竖直边界进行水平方向的滤波再对水平边界进行竖直方向的滤波，即先水平滤波再垂直滤波。

传统的编解码方法中，编码或解码顺序是从上到下从左到右的，如图5所示，对于像素块A、B、C以及D来说，先编码或解码像素块A，再编码或解码像素块B，接着编码或解码像素块C，最后编码或解码像素块D。因此在图3中在球面上相邻但在全景投影展开图像上不相邻的面边界区域对a和a’中，a’是较后编码或解码处理的面边界区域，其中a取1、2、3、4、5、6、7以及8中的任意一个。

对全景图像展开并进行压缩编码时，压缩编码存在失真，在编解码图像中的不同位置的失真不同。通过解码图像生成球面图像时，由于编解码上不同位置的失真不同，球面分割线两个的像素在编解码图像上的失真不同，所以在通过解码图像生成球面图像时会出现伪像，可以通过对编解码图像中球面分割线处进行滤波来减弱甚至消除伪像现象。

目前图像编解码器中的滤波技术都是对在编解码图像中相邻的像素块进行滤波操作的，对于全景图像球面分割线两侧的像素块不进行滤波。为了去除全景图像观看图像中的伪像，需要对全景视频球面分割线两侧的像素块设计特殊的滤波方法，由于全景视频球面分割线两侧的像素块在解码图像上存在不对齐情况，针对这一现象需要设计相应的对齐方法。

发明内容

本发明的目的是解决在全景球面上相邻、但在投影展开图像上不相邻的面边界区域对交界处的不连续性。通过指定面边界区域对中的一个特定面边界来确定面边界区域对第一维和第二维滤波处理的方向，确保编解码端对面边界区域对进行滤波处理时可以实现匹配。

本发明第一目的在于提供一种全景图像滤波方法，包括：

根据全景投影展开图像的格式信息，确定在全景投影展开图像中存在的在全景球面上相邻、但在投影展开图像上不相邻的面边界区域对的位置；

按照所述面边界区域对中一个特定的面边界区域在全景投影展开图像上的方向，确定面边界区域对中第一维和第二维滤波处理的方向，所述面边界区域对确定第一维和第二维滤波处理方向的方法与非面边界区域在全景投影展开图像上确定第一维和第二维滤波处理的方向一致；

对所述面边界区域对依次进行第一维和第二维滤波处理。

进一步的，所述特定的面边界区域为所述面边界区域对中在全景投影展开图像上较后编码或解码处理的面边界区域。

进一步的，对于同属于两个面边界区域的共同子区域，所述共同子区域滤波后的像素由所述两个面边界区域中在全景展开投影图像上较后编码或解码处理的面边界区域所对应的子区域滤波后的像素来确定。

本发明第二目的在于提供一种全景图像滤波装置，包括以下模块：

待滤波面边界区域对位置导出模块：该模块的输入为全景投影展开图像的格式信息，根据格式信息确定在全景投影展开图像中存在的在全景球面上相邻、但在投影展开图像上不相邻的面边界区域对的位置，该模块的输出为所述待滤波面边界区域对在全景投影展开图像中的位置；

滤波处理方向确定模块：该模块输入待滤波面边界区域对及其在全景投影展开图像中的位置，按照所述面边界区域对中一个特定的面边界区域在全景投影展开图像上的方向，确定面边界区域对中第一维和第二维滤波处理的方向，所述面边界区域对确定第一维和第二维滤波处理方向的方法与非面边界区域在全景投影展开图像上确定第一维和第二维滤波处理的方向一致；该模块输出待滤波面边界区域对的第一维和第二维滤波处理的方向；

滤波处理模块：输入为待滤波面边界区域对的第一维和第二维滤波处理的方向，对所述面边界区域对依次进行第一维和第二维滤波处理。

进一步的，所述滤波处理方向确定模块中的一个特定面边界区域为所述面边界区域对中在全景投影展开图像上较后编码或解码处理的面边界区域。

进一步的，所述滤波处理模块中，对于同属于两个面边界区域的共同子区域，所述共同子区域滤波后的像素由所述两个面边界区域中在全景展开投影图像上较后编码/解码处理的面边界区域所对应的子区域滤波后的像素来确定。

本发明第三目的是提出一种全景图像像素块滤波方法，包括：根据紧邻全景图像球面分割线一侧的待滤波像素块所在图像对应的投影格式信息，对所述待滤波像素块中的标称点沿所述球面分割线方向的位置进行伸缩变换，确定所述标称点在紧邻所述球面分割线另一侧的对应标称点的位置；由所述对应标称点确定所述待滤波像素块在紧邻所述球面分割线另一侧的对应像素块；对所述待滤波像素块及其对应像素块滤波，得到所述待滤波像素块滤波后的结果。

作为优选，所述待滤波像素块的对应像素块中对应标称点位置的确定方法为以下情况之一：

1)对所述对应像素块中对应标称点的位置取有限精度得到整像素位置；

2)对所述对应像素块中对应标称点的位置取有限精度得到分像素位置。

作为优选，所述待滤波像素块的对应像素块中其余非对应标称点的位置的确定方法为：以所述对应像素块中对应标称点为基准，按整像素间隔确定所述对应像素块中非对应标称点的位置。

作为优选，本滤波方法还包括获取所述待滤波像素块及其对应像素块的编码信息，根据所述待滤波像素块及其对应像素块的编码信息确定滤波方法。

作为优选，所述待滤波像素块对应像素块的编码信息的获取方法为以下情况之一：

1)所述编码信息来自所述对应像素块中对应标称点所在的编码单元；

2)所述编码信息来自包含所述对应像素块中像素数目最多的编码单元。

本发明第四目的在于提出一种全景图像像素块滤波方法，包括：

对紧邻全景图像球面分割线一侧的待滤波像素块，根据所述待滤波像素块所在图像对应的投影格式信息，确定所述待滤波像素块在紧邻所述球面分割线另一侧的对应像素块的位置；根据所述待滤波像素块及其对应像素块的编码信息确定滤波方法；其中所述待滤波像素块及其对应像素块中的编码信息中的运动信息始终认为相同；对所述待滤波像素块及其对应像素块滤波，得到所述待滤波像素块滤波后的结果。

本发明第五目的是提出一种全景图像像素块滤波装置，其包括以下模块：

对应标称点位置导出模块：该模块的输入为紧邻全景图像球面分割线一侧的待滤波像素块中标称点的位置信息以及所述待滤波像素块所在图像对应的投影格式信息；输出为所述标称点在全景图像中对应标称点的位置；根据紧邻全景图像球面分割线一侧的待滤波像素块所在图像对应的投影格式信息，对所述待滤波像素块中的标称点沿所述球面分割线方向的位置进行伸缩变换,确定所述标称点在紧邻所述球面分割线另一侧的对应标称点的位置；

对应像素块位置导出模块：该模块输入为对应标称点的位置，输出为待滤波像素块在全景图像中对应像素块的位置；该模块用于根据对应标称点的位置确定对应像素块中其余非对应标称点的位置；

像素滤波模块：该模块输入为待滤波像素块位置及其对应像素块的位置，输出为待滤波像素块滤波后的像素；该模块用于对所述待滤波像素块及其对应像素块滤波，得到所述待滤波像素块滤波后的结果。

作为优选，所述对应标称点位置导出模块中还包括对应标称点位置取整模块，所述对应标称点位置取整模块中对应标称点位置的取整方法为以下情况之一：

作为优选，所述对应像素块位置导出模块中还包括非对应标称点位置导出模块，所述非对应标称点位置导出模块中非标称点位置的确定方法为：以对应像素块中对应标称点为基准，按整像素间隔确定所述非对应标称点的位置。

作为优选，所述像素滤波模块中还包括以下子模块：

编码信息获取模块，用于获取所述待滤波像素块及其对应像素块的编码信息；

滤波方法确定模块，用于根据所述待滤波像素块及其对应像素块的编码信息和像素特性确定滤波方法。

作为优选，还包括以下模块：

对应像素块位置导出模块：该模块输入为紧邻全景图像球面分割线一侧的待滤波像素块的位置信息以及所述待滤波像素块所在图像对应的投影格式信息，输出为待滤波像素块的对应像素块位置；

编码信息获取模块，用于获取所述待滤波像素块及其对应像素块的编码信息，其中所述待滤波像素块及其对应像素块的编码信息中的运动信息始终认为相同；

像素滤波模块，用于对所述待滤波像素块及其对应像素块滤波，得到所述待滤波像素块滤波后的结果。

本发明第六目的是提出一种全景图像像素块滤波装置，其包括以下模块：

滤波方法确定模块，用于确定滤波方法，输入为待滤波像素块及其对应像素块的位置信息，根据所述待滤波像素块及其对应像素块的编码信息确定滤波方法，输出为该模块确定的滤波方法。

作为优选，所述确定滤波方法为以下之一种：

1)认为所述待滤波像素块及其对应像素块的编码信息中的运动信息相同；

2)不使用所述待滤波像素块及其对应像素块的编码信息中的运动信息。

本发明的有益效果可以减少全景图像的编码伪像和面边界的不连续性，提高了全景图像编码后的主观质量，同时规定第一维和第二维滤波处理的方向后能够确保在对面边界区域进行滤波处理时可以实现编解码端的匹配。

附图说明

结合附图，可从下面举出的实施例来对本发明的原理进行解释。

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的实施例仅用来解释本发明，只是其中的一些特例，本发明的适用范围并不仅限于这些实施例。在附图中：

图1将球面通过透视投影的方式映射到球的外接立方体上，并将外接立方体六个面展开；

图2表示将立方体六个面展开后通过旋转紧凑排布成3x2的格式；

图3表示全景投影展开图像上面边界区域和非面边界区域的分布；

图4为第一维滤波处理和第二维滤波处理的方向及处理顺序；

图5为传统编解码技术中一个图像内像素块的编码或解码顺序；

图6为本发明一个实施例中在球面上相邻但在全景投影展开图像上不相邻的面边界区域对；

图7为本发明一个实施例中在球面上相邻但在全景投影展开图像上不相邻的面边界区域对中的待滤波像素块；

图8为本发明一个实施例中在球面上相邻但在全景投影展开图像上不相邻的面边界区域对2和2’中的待滤波像素块的滤波方向及顺序；

图9为本发明一个实施例中在球面上相邻但在全景投影展开图像上不相邻的面边界区域对1和1’中的待滤波像素块的对齐方式；

图10为本发明一个实施例中在在球面上相邻但在全景投影展开图像上不相邻的面边界区域对3和3’中的待滤波像素块的对齐方式；

图11为本发明一个实施例中在球面上相邻但在全景投影展开图像上不相邻的面边界区域对4和4’中的待滤波像素块；

图12为本发明一个实施例中在球面上相邻但在全景投影展开图像上不相邻的面边界区域对4和4’中的待滤波像素块的滤波方向及顺序；

图13为本发明一个实施例中在球面上相邻但在全景投影展开图像上不相邻的面边界区域对5和5’中的待滤波像素块；

图14为本发明一个实施例中在球面上相邻但在全景投影展开图像上不相邻的面边界区域对5和5’中的待滤波像素块的滤波方向及顺序；

图15为本发明一个实施例中在球面上相邻但在全景投影展开图像上不相邻的面边界区域对7和7’中的待滤波像素块；

图16为本发明一个实施例中在球面上相邻但在全景投影展开图像上不相邻的面边界区域对7和7’中的待滤波像素块的滤波方向及顺序；

图17为本发明一个实施例中的装置图；

图18为本发明一个实施例中同属于两个面边界区域的共同子区域示意图；

图19为对共同子区域进行滤波处理的流程。

图20将六面体六个面展开并紧凑排布后的位置关系示意图；

图21为本发明一个实施例中待滤波像素块及其对应像素块在全景图像展开图像中的位置示意图；

图22为本发明一个实施例中待滤波像素块中的一个标称点的位置示意图；

图23为本发明一个实施例中对应标称点在对应像素块中的位置示意图；

图24为本发明一个实施例中对应标称点在对应像素块中的位置示意图；

图25为本发明一个实施例中待滤波像素块中的一个标称点的位置示意图；

图26为本发明一个实施例中对应标称点在对应像素块中的位置以及对应块所述编码单元示意图；

图27为本发明一个实施例中待滤波像素块及其对应像素块在全景图像展开为六面体图像中的位置示意图；

图28为本发明一个实施例中待滤波像素块及其对应像素块在全景图像展开为经纬图中的位置示意图；

图29为本发明一个实施例中全景图像像素块滤波装置示意图；

图30为本发明一个实施例中全景图像像素块滤波装置示意图；

图31为本发明一个实施例中对应标称点位置导出模块中子模块示意图；

图32为本发明一个实施例中对应像素块位置导出模块中子模块示意图；

图33为本发明一个实施例中像素滤波模块中子模块示意图；

图34为编码导致的全景图像viewport中的伪像示意图；

图35为经过滤波后的全景图像viewport；

图36为本发明一个实施例中边界强度的判决流程；

图37为HEVC去块滤波中边界强度的判决流程。

具体实施方式

实施例1

本发明实施例提供了一种全景图像滤波方法。

本实施例提供的全景图像滤波方法包括：

对所述面边界区域对依次进行第一维和第二维滤波处理。

在本实施例中所述特定的面边界区域为面边界区域对中在全景投影展开图像上后编码或解码处理的面边界区域；

如图6所示立方体格式的全景投影展开图像，且排布成3x2的矩形图像，因此可以很容易确定图6所示的全景投影展开图像上的面边界区域a和a’为全景图像中在全景球面上相邻、但在全景投影展开图像上不相邻的面边界区域对，其中a取1、2、3、4、5、6、7以及8中的任意一个。由于预测、变换、量化等编解码是在全景投影展开图像上进行的，那些在全景球面上相邻、但在全景投影展开图像上不相邻的像素块之间会出现特殊的不连续性，因此需要对这些像素块进行去块滤波以平滑其不连续性。如图6所示，面边界区域2中的像素块b和面边界区域2’中的像素块b’即为在全景球面上相邻但在全景投影展开图像上不相邻的像素块，因此需要对像素块b和b’进行去块滤波以平滑像素块间的不连续性。

在图6面边界区域对2和2’中，面边界区域2’为较后编码或解码处理的区域，且面边界区域2’在全景投影展开图像上的方向为竖直方向，在本实施例中设置非面边界区域第一维滤波处理的方向为水平方向，第二维滤波处理的方向为竖直方向，但本发明也不仅仅限于此设置，例如也可以设置成第一维滤波处理的方向为竖直方向，第二维滤波处理的方向为水平方向。当非面边界区域第一维滤波处理的方向为水平方向时，面边界区域对2和2’的第一维滤波处理方向也为水平方向，对面边界区域对2和2’中的像素块依次进行第一维和第二维滤波处理。

如图7所示，面边界区域2中有像素块d和e，面边界区域2’中有像素块d’和e’，对像素块d、e、d’以及e’进行滤波处理时，先将像素块d和e逆时针旋转90°后和像素块d’以及e’对齐，然后对像素块依次进行第一维和第二维滤波处理。如图8所示，首先对像素块d和d’，e和e’进行水平方向的去块滤波处理，得到滤波处理后的结果，再对像素块d’和e’，d和e进行竖直方向的去块滤波处理。按照本实施例采用的去块滤波处理，面边界区域2中的像素块的第一维和第二维滤波处理顺序和非面边界区域中的像素块的第一维和第二维滤波处理顺序不同。

对于图7中的其他编号的面边界区域对也按照本实施例中所描述的方法确定滤波方向对面边界区域对的边界进行滤波。例如面边界区域1和1’中，面边界区域1’在全景投影展开图像上的方向为水平方向，则面边界区域对1和1’中的像素块滤波顺序为先进行竖直边界的滤波再进行水平边界的滤波，面边界区域1中的像素块不需要进行任何旋转或转置直接和面边界区域1’中的像素块进行去块滤波处理，如图9所示，面边界区域对1中的像素第一维和第二维滤波处理顺序没有改变；面边界区域3和3’中，3’在全景投影展开图像上的方向为水平方向。则面边界区域对3和3’中的像素块滤波顺序为先进行竖直边界的滤波再进行水平边界的滤波，需要将面边界区域3中的像素块旋转180°之后和面边界区域3’进行去块滤波处理，如图10所示，面边界区域对3中的像素第一维和第二维滤波处理顺序没有改变。

对图6中的其他在球面上相邻但在全景投影展开图像上不相邻的面边界区域对中的像素块也按照本实施例中所述的方法处理。

实施例2

本发明实施例提供了一种全景图像滤波方法。

本实施例提供的全景图像滤波方法包括：

对所述面边界区域对依次进行第一维和第二维滤波处理。

在本实施例中所述特定的面边界区域为面边界区域对中在全景投影展开图像上先编码或解码处理的面边界区域；

在图6面边界区域对4和4’中，面边界区域4为先编码或解码处理的区域，且面边界区域4在全景投影展开图像上的方向为竖直方向，在本实施例中设置非面边界区域第一维滤波处理的方向为水平方向，第二维滤波处理的方向为竖直方向，但本发明也不仅仅限于此设置，例如也可以设置成第一维滤波处理的方向为竖直方向，第二维滤波处理的方向为水平方向。当非面边界区域第一维滤波处理的方向为水平方向时，面边界区域对4和4’的第一维滤波处理方向也为水平方向，对面边界区域对4和4’中的像素块依次进行第一维和第二维滤波处理。

如图11所示，面边界区域4中有像素块b和c，面边界区域4’中有像素块b’和c’，对像素块b、c、b’以及c’进行滤波处理时，先将像素块b’和c’逆时针旋转90°后和像素块b以及c对齐，然后对像素块依次进行第一维和第二维滤波处理。如图12所示，首先对像素块b’和b，c和c’进行水平方向的去块滤波处理，得到滤波处理后的结果，再对像素块b’和c’，b和c进行竖直方向的去块滤波处理。按照本实施例采用的去块滤波处理，面边界区域4中的像素块的第一维和第二维滤波处理顺序和非面边界区域中的像素块的第一维和第二维滤波处理顺序不同。

实施例3

本发明实施例提供了一种全景图像滤波方法。

本实施例提供的全景图像滤波方法包括：

对所述面边界区域对依次进行第一维和第二维滤波处理。

在本实施例中若所述面边界区域对中两个面边界区域的方向不同，所述特定的面边界区域为面边界区域对中水平方向的面边界区域。

在图6面边界区域对5和5’中，面边界区域5和面边界区域5’在全景投影展开图像上的方向不同。面边界区域5’为水平方向的面边界区域，在本实施例中设置非面边界区域第一维滤波处理的方向为竖直方向，第二维滤波处理的方向为水平方向，但本发明也不仅仅限于此设置，例如也可以设置成第一维滤波处理的方向为水平方向，第二维滤波处理的方向为竖直方向。当非面边界区域第一维滤波处理的方向为竖直方向时，面边界区域对5和5’的第一维滤波处理方向也为竖直方向，对面边界区域对5和5’中的像素块依次进行第一维和第二维滤波处理。

如图13所示，面边界区域5中有像素块b和c，面边界区域5’中有像素块b’和c’，对像素块b、c、b’以及c’进行滤波处理时，先将像素块b和c顺时针旋转90°后和像素块b’以及c’对齐，然后对像素块依次进行第一维和第二维滤波处理。如图14所示，首先对像素块b’和b，c’和c进行竖直方向的去块滤波处理，得到滤波处理后的结果，再对像素块b和c，b’和c’进行水平方向的去块滤波处理。按照本实施例采用的去块滤波处理，面边界区域5中的像素块的第一维和第二维滤波处理顺序和非面边界区域中的像素块的第一维和第二维滤波处理顺序相同。

实施例4

本发明实施例提供了一种全景图像滤波方法。

本实施例提供的全景图像滤波方法包括：

对所述面边界区域对依次进行第一维和第二维滤波处理。

在本实施例中若所述面边界区域对中两个面边界区域的方向不同，所述特定的面边界区域为面边界区域对中竖直方向的面边界区域。

在图6面边界区域对7和7’中，面边界区域7和面边界区域7’在全景投影展开图像上的方向不同。面边界区域7’为竖直方向的面边界区域，在本实施例中设置非面边界区域第一维滤波处理的方向为水平方向，第二维滤波处理的方向为竖直方向，但本发明也不仅仅限于此设置，例如也可以设置成第一维滤波处理的方向为竖直方向，第二维滤波处理的方向为水平方向。当非面边界区域第一维滤波处理的方向为水平方向时，面边界区域对7和5’的第一维滤波处理方向也为水平方向，对面边界区域对7和7’中的像素块依次进行第一维和第二维滤波处理。

如图15所示，面边界区域7中有像素块b和c，面边界区域7’中有像素块b’和c’，对像素块b、c、b’以及c’进行滤波处理时，先将像素块b和c顺时针旋转90°后和像素块b’以及c’对齐，然后对像素块依次进行第一维和第二维滤波处理。如图16所示，首先对像素块b’和b，c’和c进行水平方向的去块滤波处理，得到滤波处理后的结果，再对像素块b和c，b’和c’进行竖直方向的去块滤波处理。按照本实施例采用的去块滤波处理，面边界区域7中的像素块的第一维和第二维滤波处理顺序和非面边界区域中的像素块的第一维和第二维滤波处理顺序不同。

实施例5

本发明实施例提供了一种全景图像滤波装置。

本实施例提供的全景图像滤波装置包括：

图17给出了本实施例中全景图像滤波装置示意图。其中在待滤波面边界区域对位置导出模块中，输入的全景投影展开图像的格式信息确定了全景投影展开图像的展开方式，如立方体格式、EAC、PAU等，本实施例以立方体格式为例，如图2所示，全景投影展开图像被投影到立方体的六个面上且将6个面排布成3x2的矩形图像。在图6所示的相同数字对应的区域即为待滤波面边界区域对。

在所述滤波处理方向确定模块中，需要指定面边界区域对中的一个面边界区域，根据该面边界区域在全景投影展开图像中的方向来指定所述面边界区域对的第一维和第二维滤波处理方向。指定的面边界区域为以下4种情况之一：

a)所述指定的面边界区域为面边界区域对中在全景投影展开图像上先编码或解码处理的面边界区域；

b)所述指定的面边界区域为面边界区域对中在全景投影展开图像上后编码或解码处理的面边界区域；

c)若所述面边界区域对中两个面边界区域的方向不同，所述指定的面边界区域为面边界区域对中水平方向的面边界区域；

d)若所述面边界区域对中两个面边界区域的方向不同，所述指定的面边界区域为面边界区域对中竖直方向的面边界区域；

然后滤波处理方向确定模块根据所指定的面边界区域的方向指定面边界区域对的第一维和第二维滤波处理方向。

滤波处理模块对所述面边界区域对依次进行第一维和第二维滤波处理。在所述滤波处理模块中，对于同属于两个面边界区域的共同子区域，所述共同子区域滤波后的像素由所述两个面边界区域中在全景展开投影图像上按照编解码顺序较后编码/解码处理的面边界区域所对应的子区域滤波后的像素来确定。

对图6中的其他在球面上相邻但在全景投影展开图像上不相邻的面边界区域对中的像素块也按照本实施例中所述的装置处理。

实施例6

本发明实施例提供了一种全景图像滤波方法。

本实施例提供的全景图像滤波方法包括：

所述共同子区域滤波后的像素由所述两个面边界区域中在全景展开投影图像上按照编解码顺序较后编码/解码处理的面边界区域所对应的子区域滤波后的像素来确定。

在本实施例中，如图18所示，像素块b同属于面边界区域8和面边界区域5，像素块b即为所述全景图像滤波方法中的共同子区域。面边界区域8在球面上相邻但在全景投影展开图像上不相邻的面边界区域为8’；面边界区域5在球面上相邻但在全景投影展开图像上不相邻的面边界区域为5’。像素块b在面边界区域8’中的球面相邻像素块为b ₁’,像素块b在面边界区域5’中的球面相邻像素块为b ₂’。在对像素块b、b ₁’以及b ₂’进行滤波处理时，将面边界区域5中的像素块b顺时针旋转90°后放在面边界区域5’中像素块b ₂’的上方，如图19所示。

在本实施例中指定根据面边界区域对中后编码或解码处理的面边界区域在全景投影展开图像上的方向确定面边界区域对第一维和第二维滤波处理的方向。本实施例中设非面边界区域的第一维滤波处理方向为竖直方向，则对像素块b、b ₁’以及b ₂’进行滤波处理时，先对像素块b和b ₁’进行竖直方向的去块滤波处理，对像素块b和b ₂’进行竖直方向的去块滤波处理，然后对面边界区域8中的像素块b和面边界区域5中的像素块b进行水平方向的滤波。全景投影展开图像上像素块b滤波后的结果由面边界区域5中的像素块b确定。因为面边界区域5相对于面边界区域8按照编解码顺序较后处理。

若像素块间是串行依次进行去块滤波处理的，则在全景图像上靠下和靠右的像素块会较后处理，即图19中面边界区域5相对于面边界区域8较后去块滤波处理，若像素块间是并行进行去块滤波处理的，则共同子区域滤波后的像素仍由按照串行处理时较后处理的面边界区域确定，这样保证了串行处理和并行处理的一致性。

本发明通过确定面边界区域对的第一维和第二维滤波处理的方向以及处理顺序，使得编解码端在对面边界区域对进行滤波处理时可以匹配。

实施例7

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

根据紧邻全景图像球面分割线一侧的待滤波像素块所在图像对应的投影格式信息，对所述待滤波像素块中的标称点沿所述球面分割线方向的位置进行伸缩变换，确定所述标称点在紧邻所述球面分割线另一侧的对应标称点的位置；由所述对应标称点确定所述待滤波像素块在紧邻所述球面分割线另一侧的对应像素块；对所述待滤波像素块及其对应像素块滤波，得到所述待滤波像素块滤波后的结果。

本实施例中所述待滤波像素块所在的图像为3x2的六面体格式，如图20所示。图21给出了一个待滤波像素块B及其在全景图像球面分割线另一侧的对应像素块B’。假设图像在X-Y坐标系下采样率相同，由所述格式信息可以得到图像在图21中的X’-Y’坐标系下采样率不同，且有以下关系：

x′＝f(x)

y′＝g(y)

其中x∈(-1,1),y∈(-1,1),x′∈(-1,1),y′∈(-1,1)。

如图22所示所述标称点为待滤波像素块B中最靠近面边界一行像素的几何中点b，对该点的横坐标进行伸缩变换后得到像素块B’中对应标称点b’的纵坐标。伸缩变换方法如下：

x＝f ^-1(x′)

y′＝g(x)

其中f ^-1(x′)表示f(x)的反函数，在求y′对应公式中的y为±1。

图23给出了对应像素块B’中的对应标称点b’，滤波所需的编码信息如量化步长、预测模式(帧内预测或帧间预测)等信息来自标称点b’所在的编码单元，同时将b’的纵坐标取有限精度得到整像素精度，非对应标称点的像素以标称点b’位置为基准按照整像素间隔获取像素，根据获取待滤波像素块及其对应像素块的编码信息和像素特性确定滤波方法，对待滤波像素块及其对应像素块滤波，得到待滤波像素块滤波后的像素。

实施例8

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

x′＝f(x)

y′＝g(y)

其中x∈(-1,1),y∈(-1,1),x′∈(-1,1),y′∈(-1,1)。

x＝f ^-1(x′)

y′＝g(x)

其中f ^-1(x′)表示f(x)的反函数。

图24给出了对应像素块B’中的对应标称点b’，滤波所需的编码信息如量化步长、预测模式(帧内预测或帧间预测)等信息来自标称点b’所在的编码单元，对B’中的对应标称点b’的纵坐标取有限精度得到分像素精度，例如1/2像素精度、1/4像素精度、1/8像素精度、1/16像素精度等。其余非对应标称点所在位置的像素以b’为基准按照整像素间隔获取，非整像素位置的像素由周围整像素位置的像素插值得到，根据获取待滤波像素块及其对应像素块的编码信息和像素特性确定滤波方法。本实施例中所述滤波特指去块滤波，确定滤波方法指确定去块滤波时的滤波系数。根据确定的滤波系数对待滤波像素块及其对应像素块滤波，得到待滤波像素块滤波后的像素。

实施例9

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

x′＝f(x)

y′＝g(y)

其中x∈(-1,1),y∈(-1,1),x′∈(-1,1),y′∈(-1,1)。

如图25所示所述标称点为待滤波像素块B中最靠近面边界一行像素左侧像素点b，对该点的横坐标进行伸缩变换后得到像素块B’中对应标称点b’的纵坐标。伸缩变换方法如下：

x＝f ^-1(x′)

y′＝g(x)

其中f ^-1(x′)表示f(x)的反函数。

图26给出了对应像素块B’中的对应标称点b’，，由于编码单元C包含B’中的像素数目最多，所以滤波所需的编码信息如量化步长、预测模式(帧内预测或帧间预测)等信息来编码单元C，同时将标称点b’的纵坐标取有限精度得到整像素精度，非对应标称点的像素以标称点b’位置为基准按照整像素间隔获取像素，根据获取待滤波像素块及其对应像素块的编码信息和像素特性确定滤波方法，对待滤波像素块及其对应像素块滤波，得到待滤波像素块滤波后的像素。

实施例10

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

x′＝f(x)

y′＝g(y)

其中x∈(-1,1),y∈(-1,1),x′∈(-1,1),y′∈(-1,1)。

x＝f ^-1(x′)

y′＝g(x)

其中f ^-1(x′)表示f(x)的反函数。

图26给出了待滤波像素块B在全景图像上的对应像素B’中的对应标称点b’，由于编码单元C包含B’中的像素数目最多，所以滤波所需的编码信息如量化步长、预测模式(帧内预测或帧间预测)等信息来编码单元C，同时将标称点b’的纵坐标取有限精度得到分像素精度，例如1/2像素精度、1/4像素精度、1/8像素精度、1/16像素精度等。非对应标称点的像素以标称点b’位置为基准按照整像素间隔获取像素，根据获取待滤波像素块及其对应像素块的编码信息和像素特性确定滤波方法，对待滤波像素块及其对应像素块滤波，得到待滤波像素块及其对应像素块滤波后的像素。

实施例11

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

x′＝f(x)

y′＝g(y)

其中x∈(-1,1),y∈(-1,1),x′∈(-1,1),y′∈(-1,1)。

如图22所示所述标称点为待滤波像素块B中最靠近面边界一行像素的几何中点b，根据该点横坐标计算出像素块B’中对应标称点b’的纵坐标。计算方法如下：

x＝f ^-1(x′)

y′＝g(x)

其中f ^-1(x′)表示f(x)的反函数。

图23给出了对应像素块B’中的对应标称点b’，对B’中的对应标称点b’的纵坐标取有限精度得到分像素精度，例如1/2像素精度、1/4像素精度、1/8像素精度、1/16像素精度等。其余非对应标称点所在位置的像素以b’为基准按照整像素间隔获取，非整像素位置的像素由周围整像素位置的像素插值得到。对待滤波像素块及其对应像素块滤波，得到待滤波像素块滤波后的像素。

实施例12

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

β＝tan ^-1x

其中x∈(-1,1),y∈(-1,1),x′∈(-1,1),y′∈(-1,1)。

x＝f ^-1(x′)

y′＝g(x)

其中f ^-1(x′)表示f(x)的反函数。

实施例13

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

其中x∈(-1,1),y∈(-1,1),x′∈(-1,1),y′∈(-1,1)。

x＝f ^-1(x′)

y′＝g(x)

其中f ^-1(x′)表示f(x)的反函数。

图23给出了对应像素块B’中的对应标称点b’，对B’中的对应标称点b’的纵坐标取有限精度得到整像素精度。其余非对应标称点所在位置的像素以b’为基准按照整像素间隔获取。对待滤波像素块及其对应像素块滤波，得到待滤波像素块滤波后的像素。

实施例14

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

其中x∈(-1,1),y∈(-1,1),x′∈(-1,1),y′∈(-1,1)。

x＝f ^-1(x′)

y′＝g(x)

其中f ^-1(x′)表示f(x)的反函数。

实施例15

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

图27给出了一个待滤波像素块B及其在全景图像上的对应像素块B’。在图27中像素块B的横坐标和像素块B’的横坐标是对齐的，因此不需要对像素块B的横坐标进行伸缩变换。根据所述待滤波像素块及其对应像素块的编码信息确定滤波方法，其中待滤波像素块及其对应像素块的编码信息中的运动信息不需要获取，认为待滤波像素块及其对应像素块的运动信息始终相等。对所述待滤波像素块及其对应像素块滤波，得到待滤波像素块滤波后的像素。

实施例16

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

图28给出了一个经纬图格式上的待滤波像素块B及其对应像素块B’。在图28中像素块B的纵坐标和像素块B’的纵坐标是对齐的，因此不需要对像素块B的横坐标进行伸缩变换。根据所述待滤波像素块及其对应像素块的编码信息确定滤波方法，认为待滤波像素块及其对应像素块的编码信息中的运动信息始终相等。对所述待滤波像素块及其对应像素块滤波，得到待滤波像素块滤波后的像素。

实施例17

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

本实施例中所述滤波指去块滤波。在对待滤波像素块及其对应像素块滤波前，需要确定对应的滤波方法，在确定滤波方法时，将待滤波像素块及其对应像素块的边界强度设为1，确定滤波方法不需要获取待滤波像素块及其对应像素块的编码信息，而是使用待滤波像素块所在图像的量化步长作为待滤波像素块的量化步长，对应像素块所在图像的量化步长作为对应像素块的量化步长。根据边界强度、量化步长以及待滤波像素块及其对应像素块中的像素特性确定编码方法，对待滤波像素块及其对应像素块滤波，得到待滤波像素块滤波后的像素。

实施例18

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

在对待滤波像素块及其对应像素块滤波前，需要确定对应的滤波方法，在确定滤波方法时，将待滤波像素块及其对应像素块的边界强度设为2，确定滤波方法不需要获取待滤波像素块及其对应像素块的编码信息。使用待滤波像素块所在图像的量化步长作为待滤波像素块的量化步长，对应像素块所在图像的量化步长作为对应像素块的量化步长。根据边界强度、量化步长以及待滤波像素块及其对应像素块中的像素特性确定编码方法，对待滤波像素块及其对应像素块滤波，得到待滤波像素块滤波后的像素。

实施例19

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

在对待滤波像素块及其对应像素块滤波前，需要确定对应的滤波方法，在确定滤波方法时，待滤波像素块及其对应像素块的边界强度根据两像素块的编码信息决定，若两个像素块中至少有一个块的编码信息中的预测模式为帧内预测，则边界强度为2，否则边界强度为1。使用待滤波像素块所在图像的量化步长作为待滤波像素块的量化步长，对应像素块所在图像的量化步长作为对应像素块的量化步长。根据边界强度、量化步长以及待滤波像素块及其对应像素块中的像素特性确定编码方法，对待滤波像素块及其对应像素块滤波，得到待滤波像素块滤波后的像素。

实施例20

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

在对待滤波像素块及其对应像素块滤波前，需要确定对应的滤波方法，在确定滤波方法时，待滤波像素块及其对应像素块的边界强度根据两像素块的编码信息决定，若两个像素块中至少有一个块的编码信息中的预测模式为帧内预测，则边界强度为2，否则边界强度为1。确定滤波像素所需的量化步长从待滤波像素块及其对应像素块的编码信息中取出。根据边界强度、量化步长以及待滤波像素块及其对应像素块中的像素特性确定编码方法，对待滤波像素块及其对应像素块滤波，得到待滤波像素块滤波后的像素。

实施例21

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

在对待滤波像素块及其对应像素块滤波前，需要确定对应的滤波方法，在确定滤波方法时，待滤波像素块及其对应像素块的边界强度根据两像素块的编码信息决定，若两个像素块中至少有一个块的编码信息中的预测模式为帧内预测，则边界强度为2，否则边界强度为1。确定滤波方法所需的量化步长不是从待滤波像素块及其对应像素块中直接取出，而是使用待滤波像素块所在编码区域的量化步长和待滤波像素块的量化步长的较大值作为待滤波像素块的量化步长；对应像素块所在编码区域的量化步长和对应像素块的量化步长作为对应像素块的量化步长。根据边界强度、量化步长以及待滤波像素块及其对应像素块中的像素特性确定编码方法，对待滤波像素块及其对应像素块滤波，得到待滤波像素块滤波后的像素。

实施例22

本发明实施例提供了一种全景图像像素块滤波装置。

本实施例提供的全景图像像素块滤波装置，包括以下模块：

图29给出了本实施例提供的全景图像像素块滤波装置示意图。在该模块中对对应标称点位置取有限精度得到整像素位置。

该模块中对非标称点位置的确定方法为：以对应像素块中对应标称点为基准，按整像素间隔确定所述非对应标称点的位置。

像素滤波模块：该模块输入为待滤波像素块位置及其对应像素块的位置，输出为待滤波像素块滤波后的像素，该模块用于对所述待滤波像素块及其对应像素块滤波，得到所述待滤波像素块滤波后的结果。

该模块需要获取待滤波像素块及其对应像素块的编码信息，根据待滤波像素块及其对应像素块的编码信息和像素确定滤波方法，对待滤波像素块及其对应像素块滤波，得到待滤波像素块滤波后的结果。

实施例23

本发明实施例提供了一种全景图像像素块滤波装置。

本实施例提供的全景图像像素块滤波装置，包括以下模块：

滤波方法确定模块，用于确定滤波方法，输入为待滤波像素块及其对应像素块的位置信息，根据所述待滤波像素块及其对应像素块的编码信息确定滤波方法，确定滤波方法为以下之一种：认为所述待滤波像素块及其对应像素块的编码信息中的运动信息相同，或者不使用所述待滤波像素块及其对应像素块的编码信息中的运动信息，输出为该模块确定的滤波方法；

图30给出了本实施例提供的全景图像像素块滤波装置示意图。所述对应像素块位置导出模块在获得对应像素块位置后，将该位置传递给滤波方法确定模块，滤波方法确定模块确定滤波方法并将确定的滤波方法传递给待滤波像素块，像素滤波模块根据输入的滤波方法对输入的像素块滤波，获得待滤波像素块滤波后的结果。

实施例24

本发明实施例提供了一种全景图像像素块滤波装置。

本实施例提供的全景图像像素块滤波装置，包括以下模块：

如图31所示，所述对应标称点位置导出模块中包含对应标称点位置取整模块，该模块对对应标称点坐标取有限精度得到分像素精度，例如1/2像素精度、1/4像素精度、1/8像素精度、1/16像素精度等。

对应像素块位置导出模块中还包括非对应标称点位置导出模块，如图32所示。非对应标称点位置导出模块对非标称点位置的确定方法为：以对应像素块中对应标称点为基准，按整像素间隔确定所述非对应标称点的位置。

像素滤波模块中还包括编码信息获取模块以及滤波方法确定模块，如图33所示。编码信息获取模块根据输入的待滤波像素块及其对应像素块的位置获取所述待滤波像素块及其对应像素块的编码信息；滤波方法确定模块根据待滤波像素块及其对应像素块的编码信息和像素特性确定滤波方法。根据确定好的滤波方法对待滤波像素块及其对应块滤波，得到待滤波像素滤波后的结果。

实施例25

本发明实施例提供了一种全景图像像素块滤波装置。

本实施例提供的全景图像像素块滤波装置，包括以下模块：

在像素滤波模块中，对待滤波像素块及其对应像素块滤波前，需要确定对应的滤波方法，在确定滤波方法时，将待滤波像素块及其对应像素块的边界强度设为2，确定滤波方法不需要获取待滤波像素块及其对应像素块的编码信息。使用待滤波像素块所在图像的量化步长作为待滤波像素块的量化步长，对应像素块所在图像的量化步长作为对应像素块的量化步长。根据边界强度、量化步长以及待滤波像素块及其对应像素块中的像素特性确定编码方法，对待滤波像素块及其对应像素块滤波，得到待滤波像素块滤波后的像素。

实施例26

本发明实施例提供了一种全景图像像素块滤波装置。

本实施例提供的全景图像像素块滤波装置，包括以下模块：

在像素滤波模块中，对待滤波像素块及其对应像素块滤波前，需要确定对应的滤波方法，在确定滤波方法时，将待滤波像素块及其对应像素块的边界强度设为1，确定滤波方法不需要获取待滤波像素块及其对应像素块的编码信息。使用待滤波像素块所在图像的量化步长作为待滤波像素块的量化步长，对应像素块所在图像的量化步长作为对应像素块的量化步长。根据边界强度、量化步长以及待滤波像素块及其对应像素块中的像素特性确定编码方法，对待滤波像素块及其对应像素块滤波，得到待滤波像素块滤波后的像素。

实施例27

本发明实施例提供了一种全景图像像素块滤波装置。

本实施例提供的全景图像像素块滤波装置，包括以下模块：

在编码信息获取模块中，待滤波像素块及其对应像素块的编码信息中的运动信息不需要获取，认为待滤波像素块及其对应像素块的运动信息始终相等。

实施例28

本发明实施例提供了一种全景图像像素块滤波装置。

本实施例提供的全景图像像素块滤波装置，包括以下模块：

在对应标称点位置导出模块中，对对应标称点的坐标取整获得整像素位置；在对应像素块位置导出模块中，对应像素块中的其余非标称点的位置以对应标称点为基准，按整像素间隔获取。

图34给出了未滤波前全景图像的一个观看区域中的伪像现象，通过使用本实施例的全景图像像素块滤波装置对全景图像待滤波像素块滤波后生成的观看区域如图35所示，可以看出编码造成的伪像大大减弱。

实施例29

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

对紧邻全景图像球面分割线一侧的待滤波像素块，根据所述待滤波像素块所在图像对应的投影格式信息，确定所述待滤波像素块在紧邻所述球面分割线另一侧的对应像素块的位置；根据所述待滤波像素块及其对应像素块的编码信息确定滤波方法，确定滤波方法为以下之一种：认为所述待滤波像素块及其对应像素块的编码信息中的运动信息相同，或者不使用所述待滤波像素块及其对应像素块的编码信息中的运动信息；对所述待滤波像素块及其对应像素块滤波，得到所述待滤波像素块滤波后的结果。

在本实施例中，对上述根据所述待滤波像素块及其对应像素块的编码信息确定滤波方法这一过程进行了更加详细的描述。在确定滤波方法时，需要确定待滤波像素块及其对应像素块的边界强度，在确定边界强度时不使用编码信息中的运动信息或者认为编码信息中的运动信息相等，若两个像素块中至少有一个块的编码信息中的预测模式为帧内预测，则边界强度为2，否则边界强度为1。使用编码信息中的QP来确定滤波方法的判决门限。根据边界强度、判决门限以及待滤波像素块及其对应像素块中的像素特性确定编码方法，对待滤波像素块及其对应像素块滤波，得到待滤波像素块滤波后的像素。

实施例30

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

在本实施例中，对上述根据所述待滤波像素块及其对应像素块的编码信息确定滤波方法这一过程进行了更加详细的描述。在确定滤波方法时，需要确定待滤波像素块及其对应像素块的边界强度，在确定边界强度时不使用编码信息中的运动信息或者认为编码信息中的运动信息相等，将边界强度设为固定值1或者设为固定值2，使用编码信息中的QP来确定滤波方法的判决门限。根据边界强度、判决门限以及待滤波像素块及其对应像素块中的像素特性确定编码方法，对待滤波像素块及其对应像素块滤波，得到待滤波像素块滤波后的像素。

实施例31

本发明实施例提供了一种全景图像像素块滤波方法。

本实施例提供的全景图像像素块滤波方法包括：

在本实施例中，对上述根据所述待滤波像素块及其对应像素块的编码信息确定滤波方法这一过程进行了更加详细的描述。在确定滤波方法时，需要确定待滤波像素块及其对应像素块的边界强度，本实施例中在确定待滤波像素块及其对应像素块的边界强度时仅仅使用了帧内/帧间预测模式这一判决条件或者直接将边界强度设为固定大小的值，图36(a)展示了判断边界强度时使用帧内/帧间预测模式这一判决条件的流程图，若为帧内预测则边界强度为2，否则为1；图36(b)展示了边界强度判决的另一种方法，即边界强度固定为2或固定为1。确定边界强度之后还需要根据待滤波像素块及其对应块的编码信息中的QP来确定各滤波方法的判决门限值，针对不同的量化情况确定不同的门限值能够更好的提升滤波效果。

传统的滤波技术在判决边界强度时的流程较为复杂同时需要存储大量的编码信息，例如图37展示了HEVC中的去块滤波技术中边界强度的判决流程，在判断中需要的比特数分别为：帧内/帧间预测flag，1bit；非零变换系数flag，1bit；运动信息：运动矢量(MVx,MVy)其中MVx和MVy各需要16bit，参考帧的index：4bit，因此在双假设预测时共需要72bit的运动信息。而本实施例中仅仅使用了1bit(帧内/帧间预测flag)甚至不使用任何编码信息。

在现有的编解码技术中，编码信息是按照块来存储的，例如以4*4大小的块来存储编码信息。本发明相对于HEVC中的去块滤波技术对每个4*4块节省了73bit或74bit。每个4*4块中的像素数占用的大小为16*bitdepth bit,其中bitdepth表示每个像素使用的比特数，如8bit或10bit.当为8bit时一个4*4大小的像素块的像素使用的总比特数为128bit，加上编码信息共202bit,因此HEVC中的去块滤波技术对于每个4*4块使用了202bit，而本发明实施例中的方法仅使用128bit或129bit，和HEVC中的去块滤波技术相比节省了36％的行缓存。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

一种全景图像滤波方法，其特征在于，包括：

根据全景投影展开图像的格式信息，确定在全景投影展开图像中存在的在全景球面上相邻、但在投影展开图像上不相邻的面边界区域对的位置；

按照所述面边界区域对中一个特定的面边界区域在全景投影展开图像上的方向，确定面边界区域对中第一维和第二维滤波处理的方向，所述面边界区域对确定第一维和第二维滤波处理方向的方法与非面边界区域在全景投影展开图像上确定第一维和第二维滤波处理的方向一致；

对所述面边界区域对依次进行第一维和第二维滤波处理。
根据权利要求1中的全景图像像素滤波方法，其特征还在于，所述特定的面边界区域为所述面边界区域对中在全景投影展开图像上较后编码或解码处理的面边界区域。
根据权利要求1中的全景图像像素滤波方法，其特征还在于，对于同属于两个面边界区域的共同子区域，所述共同子区域滤波后的像素由所述两个面边界区域中在全景展开投影图像上较后编码或解码处理的面边界区域所对应的子区域滤波后的像素来确定。
一种全景图像滤波装置，其特征在于，包括以下模块：

待滤波面边界区域对位置导出模块：该模块的输入为全景投影展开图像的格式信息，根据格式信息确定在全景投影展开图像中存在的在全景球面上相邻、但在投影展开图像上不相邻的面边界区域对的位置，该模块的输出为所述待滤波面边界区域对在全景投影展开图像中的位置；

滤波处理方向确定模块：该模块输入待滤波面边界区域对及其在全景投影展开图像中的位置，按照所述面边界区域对中一个特定的面边界区域在全景投影展开图像上的方向，确定面边界区域对中第一维和第二维滤波处理的方向，所述面边界区域对确定第一维和第二维滤波处理方向的方法与非面边界区域在全景投影展开图像上确定第一维和第二维滤波处理的方向一致；该模块输出待滤波面边界区域对的第一维和第二维滤波处理的方向；

滤波处理模块：输入为待滤波面边界区域对的第一维和第二维滤波处理的方向，对所述面边界区域对依次进行第一维和第二维滤波处理。
根据权利要求4中的全景图像滤波装置，其特征还在于，所述滤波处理方向确定模块中的一个特定面边界区域为所述面边界区域对中在全景投影展开图像上较后编码或解码处理的面边界区域。
根据权利要求4中的全景图像滤波装置，其特征还在于，所述滤波处理模块中，对于同属于两个面边界区域的共同子区域，所述共同子区域滤波后的像素由所述两个面边界区域中在全景展开投影图像上较后编码/解码处理的面边界区域所对应的子区域滤波后的像素来确定。
一种全景图像像素块滤波方法，其特征在于，包括：

根据紧邻全景图像球面分割线一侧的待滤波像素块所在图像对应的投影格式信息，对所述待滤波像素块中的标称点沿所述球面分割线方向的位置进行伸缩变换，确定所述标称点在紧邻所述球面分割线另一侧的对应标称点的位置；由所述对应标称点确定所述待滤波像素块在紧邻所述球面分割线另一侧的对应像素块；对所述待滤波像素块及其对应像素块滤波，得到所述待滤波像素块滤波后的结果。
根据权利7中的全景图像像素块滤波方法，其特征还在于，所述待滤波像素块的对应像素块中对应标称点位置的确定方法为以下情况之一：

1)对所述对应像素块中对应标称点的位置取有限精度得到整像素位置；

2)对所述对应像素块中对应标称点的位置取有限精度得到分像素位置。
根据权利7中的全景图像像素块滤波方法，其特征还在于，所述待滤波像素块的对应像素块中其余非对应标称点的位置的确定方法为：以所述对应像素块中对应标称点为基准，按整像素间隔确定所述对应像素块中非对应标称点的位置。
根据权利7中的全景图像像素块滤波方法，其特征还在于，包括：

获取所述待滤波像素块及其对应像素块的编码信息，根据所述待滤波像素块及其对应像素块的编码信息确定滤波方法。
根据权利10中的全景图像像素块滤波方法，其特征还在于，包括：

所述待滤波像素块对应像素块的编码信息的获取方法为以下情况之一：

1)所述编码信息来自所述对应像素块中对应标称点所在的编码单元；

2)所述编码信息来自包含所述对应像素块中像素数目最多的编码单元。
一种全景图像像素块滤波方法，其特征在于，包括：

对紧邻全景图像球面分割线一侧的待滤波像素块，根据所述待滤波像素块所在图像对应的投影格式信息，确定所述待滤波像素块在紧邻所述球面分割线另一侧的对应像素块的位置；根据所述待滤波像素块及其对应像素块的编码信息确定滤波方法，确定滤波方法为以下之一种：认为所述待滤波像素块及其对应像素块的编码信息中的运动信息相同，或者不使用所述待滤波像素块及其对应像素块的编码信息中的运动信息；对所述待滤波像素块及其对应像素块滤波，得到所述待滤波像素块滤波后的结果。
一种全景图像像素块滤波装置，其特征在于，包括以下模块：

对应标称点位置导出模块：该模块的输入为紧邻全景图像球面分割线一侧的待滤波像素块中标称点的位置信息以及所述待滤波像素块所在图像对应的投影格式信息；输出为所述标称点在全景图像中对应标称点的位置；根据紧邻全景图像球面分割线一侧的待滤波像素块所在图像对应的投影格式信息，对所述待滤波像素块中的标称点沿所述球面分割线方向的位置进行伸缩变换,确定所述标称点在紧邻所述球面分割线另一侧的对应标称点的位置；

对应像素块位置导出模块：该模块输入为对应标称点的位置，输出为待滤波像素块在全景图像中对应像素块的位置；该模块用于根据对应标称点的位置确定对应像素块中其余非对应标称点的位置；

像素滤波模块：该模块输入为待滤波像素块位置及其对应像素块的位置，输出为待滤波像素块滤波后的像素，该模块用于对所述待滤波像素块及其对应像素块滤波，得到所述待滤波像素块滤波后的结果。
根据权利要求13中的全景图像像素块滤波装置，其特征还在于，所述对应标称点位置导出模块中还包括对应标称点位置取整模块，所述对应标称点位置取整模块中对应标称点位置的取整方法为以下情况之一：

1)对所述对应像素块中对应标称点的位置取有限精度得到整像素位置；

2)对所述对应像素块中对应标称点的位置取有限精度得到分像素位置。
根据权利要求13中的全景图像像素块滤波装置，其特征还在于，所述对应像素块位置导出模块中还包括非对应标称点位置导出模块，所述非对应标称点位置导出模块中非标称点位置的确定方法为：以对应像素块中对应标称点为基准，按整像素间隔确定所述非对应标称点的位置。
根据权利要求13中的全景图像像素块滤波装置，其特征还在于，所述像素滤波模块中还包括以下子模块：

编码信息获取模块，用于获取所述待滤波像素块及其对应像素块的编码信息；

滤波方法确定模块，用于根据所述待滤波像素块及其对应像素块的编码信息和像素特性确定滤波方法。
根据权利要求16中的编码信息获取模块，其特征还在于，所述待滤波像素块对应像素块的编码信息的获取方法为以下情况之一：

1)所述编码信息来自所述对应像素块中对应标称点所在的编码单元；

2)所述编码信息来自包含所述对应像素块中像素数目最多的编码单元。
一种全景图像像素块滤波装置，其特征在于，包括以下模块：

对应像素块位置导出模块：该模块输入为紧邻全景图像球面分割线一侧的待滤波像素块的位置信息以及所述待滤波像素块所在图像对应的投影格式信息，输出为待滤波像素块的对应像素块位置；

滤波方法确定模块，用于确定滤波方法，输入为待滤波像素块及其对应像素块的位置信息，根据所述待滤波像素块及其对应像素块的编码信息确定滤波方法，确定滤波方法为以下之一种：认为所述待滤波像素块及其对应像素块的编码信息中的运动信息相同，或者不使用所述待滤波像素块及其对应像素块的编码信息中的运动信息，输出为该模块确定的滤波方法；

像素滤波模块，用于对所述待滤波像素块及其对应像素块滤波，得到所述待滤波像素块滤波后的结果。