WO2012058902A1

WO2012058902A1 - 全景图合成方法及装置

Info

Publication number: WO2012058902A1
Application number: PCT/CN2011/072820
Authority: WO
Inventors: 刘冬梅
Original assignee: 中兴通讯股份有限公司
Priority date: 2010-11-02
Filing date: 2011-04-14
Publication date: 2012-05-10
Also published as: US9224189B2; CN101984463A; EP2637138A1; EP2637138A4; US20130208997A1

Description

全景图合成方法及装置技术领域

本发明涉及图像合成技术，特别是涉及一种全景图合成方法及装置。背景技术

目前，随着移动设备技术的飞速发展，移动设备的各项功能也越来越人性化，但是，目前移动设备照相机只能实现对单张图片的拍摄，在使用普通移动设备照相机来获取视野的场景图像时，必须调节照相机的焦距，通过缩放镜头才可以摄取完整的场景，因为照相机的分辨率是一定的，拍摄的场景越大分辨率越低，因此按照上述方法获取的照片的分辨率会非常低；为了获取高分辨率的场景照片，就需要通过缩放照相机镜头来减小拍摄的视野，但这又得不到完整的场景照片。

在上述场景下，用户虽然可以直接通过专门照相机的拍摄来获取场景的全景图像，但是均需要昂贵的硬件支持，不适用于普通用户。

如果普通用户想拍摄全景图片，只能拍摄一张低分辨率的单张全景图片，或者拍摄多张高分辨率的非全景图片，使得用户在使用移动设备照相机时，在上述场景下不能满足用户的需要。因此，现有技术中由于存在移动设备照相机的视角和大小的局限，不能获得高分辨率的大视野图片的问题。发明内容

有鉴于此，本发明提供一种全景图合成方法及装置，以解决现有技术中由于移动设备照相机的视角和大小的局限，不能获得高分辨率的大视野图片的问题。

为解决上述技术问题，本发明的技术方案是这样实现的：

一种全景图合成方法，用于移动设备照相机，包括：

获取同一场景的多个原始图像，对所述多个原始图像进行折叠变化和坐标变换，确定所述多个原始图像的重叠区域；

建立所述多个原始图像的数学模型，将所述多个原始图像的所述重叠区域对准，并将所述多个原始图像转换到参考图像的坐标系下；

根据所述参考图像的坐标系获取所述多个原始图像之间的空间变换关系，选择图像合成策略，完成图像的合成。

一种全景图合成装置，设置于移动设备照相机，包括：图像获取模块，用于获取同一场景的多个原始图像；

图像预处理模块，用于对所述多个原始图像进行折叠变化和坐标变换，确定所述多个原始图像的重叠区域；

图像配准模块，用于建立所述多个原始图像的数学模型，将所述多个原始图像的所述重叠区域对准，并将所述多个原始图像转换到参考图像的坐标系下；

图像合成模块，用于根据所述参考图像的坐标系获取所述多个原始图像之间的空间变换关系，选择图像合成策略，完成图像的合成。

本发明有益效果如下：

通过对多个单张图像进行配准等操作，将一系列单张图片合称为一幅全景图像，解决了现有技术中由于移动设备照相机的视角和大小的局限，不能获得高分辨率的大视野图片的问题，能够在不降低图像分辨率的条件下获取大视野范围的场景照片，本发明实施例利用照相机处理器进行自动匹配，构造一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野，能够更好的满足移动设备用户的需求。附图说明

图 1是本发明实施例的全景图合成装置的结构示意图；

图 2是本发明实施例的全景图像拼接流程的示意图；

图 3是本发明实施例的图像配准模块处理流程的示意图；

图 4是本发明实施例的算法 RANSAC的详细流程图；

图 5是本发明实施例的几何距离示意图；

图 6是本发明实施例的图像合成算法示意图；

图 7是本发明实施例的全景图合成方法的流程图。具体实施方式

为了解决现有技术中由于移动设备照相机的视角和大小的局限，不能获得高分辨率的大视野图片的问题，本发明提供了一种全景图合成方法及装置，通过移动设备照相机将所拍不同角度及大小的图片进行全景拼接，将一组相互间重叠部分的图像序列进行空间匹配对准，经过釆样合成后，形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像。以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

装置实施例

根据本发明的实施例，提供了一种全景图合成装置，设置于移动设备照相机，图 1 是本发明实施例的全景图合成装置的结构示意图，如图 1所示，居本发明实施例的全景图合成装置包括：图像获取模块 10、图像预处理模块 12、图像配准模块 14、图像合成模块 16四部分。以下对上述各个模块进行详细说明。

图 2是本发明实施例的全景图像拼接流程的示意图，如图 2所示，图像获取模块 10 获取图像 1和图像 2后，发送给图像预处理模块 12进行拼凑预处理，随后，图像配准模块 14进行图像配准，图像合成模块 16进行图像合成，最终获取目标全景图。

从图 2所示的全景图像拼接流程示意图可以看出，图像的获取是图像处理的第一步，图像获取模块 10用于获取同一场景的多个原始图像。也就是说，图像获取模块 10主要用来获取所要拍摄的图片，为实现获取图像的目的，需要相应的摄像头装置，包括摄像头、以及驱动装置。在开启摄像头后，将摄像头釆集到的图像信息传送到图像预处理模块 12 , 然后图像预处理模块 12对釆集到的图像信息进行分析处理，验证图像信息的有效性。需要说明的是，在实际应用中，由于图像获取的方式不同会导致输入原始图像的不同，最终使用的图像拼接方法也会不同。

图像预处理的目的是保证图像配准的精度，图像预处理模块 12用于对多个原始图像进行折叠变化和坐标变换，确定多个原始图像的重叠区域；具体地，图像预处理模块 12对多个原始图像进行图像处理的基本操作 ,建立图像的匹配模板，对图像进行预定变换、以及提取图像的特征点集合，确定多个原始图像的重叠区域，其中，图像处理的基本操作包括：直方图处理、以及图像的平滑滤波，预定变换包括以下至少之一：傅里叶变换、小波变换、伽柏 ( Gabor ) 变换。

也就是说，图像预处理模块 12需要对原始图像做一些折叠变化和坐标变换，包括图像处理的基本操作（例如，直方图处理、图像的平滑滤波等）、建立图像的匹配模板、对图像进行某种变换（例如，傅立叶变换、小波变换、 Gabor变换等）以及提取图像的特征集合等操作，图像预处理模块 12进行初略定位，找到大致的重叠区域，缩小匹配范围，提高图像合成速度。

拼接图像的盾量主要依赖图像的配准精度 , 图像配准模块 14用于建立多个原始图像的数学模型，将多个原始图像的重叠区域对准，并将多个原始图像转换到参考图像的坐标系下；

图像配准的核心问题是寻找一个变换，找到待拼接图像中的模板或特征点在参考图像中对应的位置，根据模板或者图像特征之间的对应关系，可以计算出数学模型中的各参量值，从而建立两幅图像的数学模型，使图像间相互重叠部分对准，将待拼接图像转换到参考图像的坐标系，以此构成完整的图像。精确配准的关键是要有很好地描述两幅图像之间的转换关系的数学模型。图像配准模块 14依据相似性度量来决定图像间的变换参数，使从不同传感器、不同视角、不同时间获取的同一场景的两幅或多幅图像变换到同一坐标系下，在像素层上得到最佳匹配的过程。具体实现方法为：本发明实施例首先改进了 Harris角点检测算法，有效提高所提取特征点的速度和精度；然后利用相似测度归一化互相关（ Normalized Cross Correlation, NCC ), 通过双向最大相关系数匹配的方法提取出初始特征点对，用随机釆样法（RANdom SAmple Consensus , RANSAC )来剔除伪特征点对，实现特征点对的精确匹配；最后用正确匹配特征点对实现图像的配准。

图 3是本发明实施例的图像配准模块处理流程的示意图，如图 3所示，图像配准模块 14需要对获取的图像进行特征提取、特征匹配、变换模型参数估计、图像重新釆样和变换等操作。下面对图像配准模块 14的操作进行详细的说明。

图像配准模块 14具体包括：建立子模块、第一提取子模块、第二提取子模块、获取子模块、以及转换子模块。具体地：

建立子模块，用于获取多个原始图像中匹配模板或特征点集合在参考图像中对应的位置，根据位置计算数学模型中的各参量值，建立多个原始图像的数学模型；

第一提取子模块，用于通过特定方式提取多个原始图像的特征点；也就是说，第一提取子模块可以根据图像性盾提取适用于该图像配准的几何特征或灰度特征，优选地，在本发明实施例中，特征点为角点。

在现有技术中，角点检测算法主要分为基于边缘和基于灰度两类提取算法。由于前者对边缘的提取依赖性比较大，如果检测到的边缘发生错误或是边缘线发生中断，则会对角点提取结果造成较大影响，而基于灰度的提取算法主要是通过计算局部范围内灰度和梯度变化剧烈的极大点来达到检测目的，无需进行边缘提取，因而在实际中得到了广泛应用。在现有技术中，最具代表性的几种角点检测包括： Moravec 算子角点检测、 Forstner算子角点检测、 Susan检测算法、 Harris角点检测算法。其中， Harris角点检测算法在一致性和有效性方面均具有优良的性能以及所提取的兴趣点被证明具有旋转、平移不变性、稳定性好等优点。

Harris角点检测算法是利用图像的灰度变化率确定角点，该算法通过计算一个与图像的自相关函数相联系的矩阵 M 的特征值，即自相关函数的一阶曲率来判定该点是否为角点，如果两个曲率值都高，那么就认为该点是角点。

Harris角点检测算法定义了任意方向上的自相关值 E(_M, v)为：

I_x、 I_y分别为图像 x、 y方向的梯度值， w c y)为高斯滤波器，其中 @表示卷积运算。 M是 2 x 2的对称矩阵，因此必然存在 2个特征值 ^和特征值反映了图像像素的特征性，即如果点 (x,y)是一特征点，那么关于这个点的 M矩阵的 2个特征值都是正值，并且它们是以 (x,y)为中心的区域中的局部最大值，则特征点可用评价函数表示为：

R = Det(M) - kTrace² ( ) 公式 3 其中， Det M) : ^ , Tmce(M) = A₁ + A₂ , Det为矩阵的行列式， Trace为矩阵的迹

(矩阵对角线元素的和）， k是一实验值，一般取 k=0.04~0.06。设定一个合理的阈值 T, 当实际由公式 3计算出来的 R大于该阈值时，则表示找到了一个角点，否则就表示没有找到角点。特征点一般是局部范围内的极大兴趣值对应的像素点，因此，在计算完各点的 R值后，要进行非极大值抑制，提取原始图像中所有局部兴趣值最大的点。

从上述 Harris角点检测过程可以看出，现有技术中原始的 Harris角点检测具有单一阈值设定、定位精度低以及实时性差等缺陷，本发明实施例对现有技术中 Harris角点检测算法进行了改进。从而在图像中提取出尽可能多又定位精确的特征点，同时加快提取角点的速度。

具体地，本发明实施例改进的 Harris角点检测算法包括如下处理：

步骤 1 , 对图像的每一个点计算其在横向和纵向的一阶导数以及两者的乘积，得到 3幅新的图像。在图像处理中，利用 3 x 3卷积核与原图像做卷积求得原图像每一点的偏导数。在实际应用中，为了减少图像噪声对提取角点的影响，可以对这 3幅图像进行高斯滤波。

步骤 2 , 根据角点响应函数式计算原图像上对应的每个像素的 R值。原始 Harris角点检测算法的角点响应函数式中的 k值是一个经验常数，使用起来随意性较大，造成角点提取可靠性的降低，在图片状况不一的情况下，容易影响到角点提取的准确性。考虑到 R实盾是角点检测信号，行列式的值大、迹的值小为角点信号，反之为边缘信号的特点，因此本发明实施例釆用如下比值法计算角点响应函数：

R₌ °^etm 公式 4

Trace(M) + £

为了避免矩阵的迹有时可能为零，因此在分母中补加很小的数 £；与原始 Harris角点检测算法中提出的响应函数相比，它避免参数 k 的选取，减少了 k选择的随机性，具有实用性，可靠性好，准确度高的特点。步骤 3 , 选取局部极值点。

现有技术中的做法是选择一个适当的阈值，然后将兴趣值大于该阈值的像元作为特征像元，兴趣值小于阈值的像元则被筛选掉。上述处理虽然筒单易实现，但单一阈值的选取对于非均盾图像来说可能导致部分特征点也被筛选掉。

为了克服这一缺陷，本发明实施例釆用图像中窗口内抑制非最大的方式结合阈值的设定来进行特征点的筛选。具体步骤为：在图像中选取一个适当的窗口，将窗口中兴趣值最大的像元保留，而将窗口中其余像元删去，移动窗口对整幅图像进行筛选。局部极值点的数目往往很多，根据要求设定一合理的阈值，选出兴趣值最大的若千个点作为最后的结果。另外，为了加快提取的速度，可以釆用边界模板将对匹配作用不大的边界角点排除。

步骤 4 , 亚像素角点定位：本发明实施例通过釆用二次多项式 ax² + by² + cxy + dx + dy + f = R(x, y)来逼近角点反应函数 R,以确定角点的亚像素级精确位置。用已经检测出来的角点周围的像素点可以建立含有 a~f的 6个未知量的超定方程组，运用最小二乘法求解这个超定方程组，亚像素级角点对应的是二次多项式的极大值点。

表 1为釆用不同方法进行角点提取的比较：

表 1

比较，在运算速度和后续的匹配率上都有所提高，与原 Harris角点检测法相比在时间上有了很大的提高，相对其它两算法，其提取的角点性能更好、提取的速度更快。

在实际应用中，两幅图像提取的特征点中有相当多的冗余点，如果不去除这些冗余的特征点将会导致匹配参数的误差，甚至导致匹配失败。选择合适的点匹配准则寻找对应的特征对，是实现图像配准正确性和精确度的重要保证。常用的角点匹配算法有 Hausdorff 距离法、松弛标记法、确定性退火算法以及迭代最近点算法。

本发明实施例提出的角点匹配算法分为两步： 1、利用双向最大相关系数 ( Bidirectional Greatest Correlative Coefficient, BGCC )进行粗匹配； 2、然后用 RANSAC 对其进行提纯，实现图像的精匹配。该方法在去除冗余特征点的同时能够准确提取出正确的匹配特征点对。

第二提取子模块，用于利用 NCC, 通过 BGCC 匹配方法提取初始特征点对；具体地，第二提取子模块用于：

建立一个相似测度 NCC, 只有当两角点均是相对于对方相似度量值最大时才认为匹配成功。

相关系数定义如下：

公式 ₅ 其中， Ii、 I₂是两幅图像的灰度； ηχη是窗口的大小；设第一幅图像中的角点为 di、 i=l...m, 第二幅图像中的角点为 dj、 j=l...n, 则 «ν,¹)和（ _; ²,v_; ²)分别为两幅图中第 i个和第 j个待匹配的特征点。 (M,V)是角点窗口区域的平均灰度值：

― ¾ ¾ /(w + i,v + ;)

I (u,v) =」

(2n + l)(2n + l) 公式 6 窗口区域的标准方差

∑ ∑ /²(w + i,v + ;)

σ = (u,v)

(2n + l)(2n + l) ' ' 公式 ₇ 用 BGCC算法进行角点的粗匹配具体为：

步骤 1, 以图像中的任意一个角点为中心选取一个 ηχη的相关窗口，在 1₂中以与中的角点具有相同坐标的像素点为中心，选取一个大小为 dlx dh的矩形搜索区域，然后对中的角点与 1₂中搜索窗口区域内每一个角点计算相关系数 Cij, 将相关系数最大的角点作为给定角点的匹配点，这样可以得到一组匹配点集。

步骤 2, 同样，给定图像 1₂中的任意一个角点，搜索图像中对应的窗口区域内与之相关系数最大的角点，作为 1₂给定角点的匹配点，这样也可以得到一组匹配点集。

步骤 3, 最后在得到的两组匹配点集中搜索相同的匹配角点对，认为该角点对是相互匹配对应的，至此，完成了角点的初始匹配。

在实际应用中，为了补偿两幅图像由于光照产生的不同，本发明实施例将图像用 7 X 7的中值滤波器进行平滑，然后将原图与经过滤波的图像相减的结果作为操作的对象。如果仅使用 BGCC进行匹配就会产生错误的匹配对，有时错误匹配的比例会非常高，严重千扰了变换矩阵的估计，导致图像配准失败。因此，必须对特征点对加以校正，去除错误的匹配对，本发明实施例釆用 RANSAC进行精匹配。

具体地，获取子模块，用于通过 RANSAC随机抽样一致性剔除伪特征点对，获取精确匹配的特征点对；

RANSAC 中，首先根据具体问题设计出某种目标函数，然后通过反复提取最小点集估计该函数中参数的初始值，利用这些初始参数值把所有的数据分为 "内点" （inliers, 即满足估计参数的点）和 "出格点" （outliers, 即不满足估计参数的点），最后反过来用所有的 "内点，，重新计算和估计函数的参数。具体包括如下处理：在输入数据中釆样最小点集，并利用每次取样所得到的最小点集估计出所要确定的参数，同时根据一定的判别准则判别输入数据中哪些是与该组参数相一致，即 "内点"，哪些是不一致的，即 "出格点"。如此迭代一定的次数之后，将对应输入数据中 "内点" 比例最高的所估计出的参数值作为最终的参数估计值。

算法 RANSAC的具体描述过程如下：

步骤 1 , 重复 N次随机釆样；

步骤 2, 随机选取 4对匹配点（选取的 4点应保证样本中的任意三点不在同一直线上），线性地计算投影变换矩阵 H;

步骤 3 , 计算每个匹配点经过矩阵变换后到对应匹配点的距离；

步骤 4, 根据内点距离小于距离阈值 t的原则计算 H的内点，选取一个包含内点最多的点集，并在此内点域上重新估计投影变换矩阵 H。

图 4是本发明实施例的算法 RANSAC的详细流程图，如图 4所示，包括如下处理：步骤 401 , 初始 N=l , trialcount=0;

步骤 402, 判断是否 N>trialcount, 如果为是，则执行步骤 403 , 否则执行步骤 408; 步骤 403 , 随机选取不重复四点， count++;

步骤 404, 判断是否三点共线且 count<maxDataTrials, 如果为是，则执行步骤 405 , 否则执行步骤 403;

步骤 405 , 计算变换矩阵 H, 记录 dis<t的匹配内点 inliers, 统计内点个数 ninliers; 步骤 406, 若 ninliers>bestscore, M bestscore=ninliers , bestinliers=inliers , 计算釆样次数 Ν, trialcount++;

步骤 407 , 判断是否 trialcount>maxTrials, 如果为是，则执行步骤 408 , 否则执行步骤 402;

步骤 408 , 输出矩阵11。在上述算法中，以实际匹配点与其估计的匹配点之间的几何距离作为判决准则，用以确定正确的匹配点，即内点。图 5是本发明实施例的几何距离示意图，如图 5所示，设点 p'、 q'分别为点、 q在各自对应图像中估计出来的对应点，则图像中一个点的实际匹配点到其估计匹配点之间的几何距离定义如下：

1

d(p, p ) = d(p, H~^lq) = \p -

q ) = d(q, Hp) = \\q - 公式 8 公式 8中的 |·|表示欧式距离，考虑到对称性，几何距离判决准则函数定义如下： dis =∑ {d_t (_Pi , p;)² + d; (q_t , q ) =∑ (J Α· - |Γ + - H_Pi f )

若计算出的 dis大于给定的距离阈值，则对应的匹配点被认为是出格点；若计算出的 dis小于给定的距离阈值，则对应的匹配点被认为是内点，只有内点才适合计算变换矩阵 H。

转换子模块，用于根据投影变换矩阵对多个原始图像进行逆向映射变换，将多个原始图像转换到参考图像的坐标系下，并根据精确匹配的特征点对进行图像的配准。

对算法 RANSAC的说明：

一、存在一种归一化坐标系，在此坐标系下估计的变换矩阵优于其它坐标系。通过对数据进行归一化处理，可以提高算法的稳定性，减少噪声的千扰。归一化变换： 1、对图像点做位移变换，使得图像的原点位于图像点集的盾心； 2、对图像点做缩放变换，使得图像点分布在以盾心为圆心半径为 ^的圆中。定义由平移变换和尺度变换组成的归一化变换矩阵

1 0

0 1

ζ,.

平移变换: ' i ) X . y是点集的平均值;

尺度变换：

Ρ, = Τ r ρ = Τ

公式 10 其中，公式 10中 i表示第 i个角点。

二、本发明实施例可以釆用直接线性变换（ Direct Linear Transformation, DLT ) 算法估计变换矩阵，该方法可得到更准确的参数。求解投影变换参数至少需要 8个方程，也就是需要在相邻的两幅图像中选取0 ( > 4 )对特征对应对，特征对可以通过上述角点匹配得。设图像、 1₂之间的投影变换为（以齐次坐标表示）:

公式 11 通过叉积方程可以表示为：其中 = ( ，χ'，ο 令表示 Η的 j行，那么叉积方程可以表示为 Ah=0 , 即：

：0

公式 12 实际中通过对 Α进行奇异值分解（ Singular Value Decomposition, SVD ), h的解就是 V的值。

当准确计算出图像之间的转换参数之后，图像合成模块 16需要根据求出的参数把多张原始图缝合成一张大的全景图。为了得到合成图像，就需要选择合适的图像合成策略，完成图像的拼接；图像合成就是将源图像的像素结合起来生成拼接平面上的像素，实现相邻图像间自然的过渡，由于图像配准的结果存在配准误差，因而不可能在每一点上都精确配准，因此，图像合成的策略要尽可能地减少遗留变形以及图像间的亮度差异对合并效果的影响，以获得对同一场景的更为精确、更为全面、更为可靠的图像描述。图像合成包括：拼接图像的画出，光度的调整混合，确定重叠区域和消除拼缝。

具体地，图像合成模块 16用于根据参考图像的坐标系获取多个原始图像之间的空间变换关系，选择合适的图像合成策略，完成图像的合成。

为了能使拼接区域平滑，保证图像盾量，本发明实施例釆用改进的渐进渐出合成方法。

在现有技术中，图像重叠区域中像素点的灰度值 f(x,y)由两图像中对应像素点的灰度值 fl(x,y)和 f2(x,y)的加权平均得到：

f(x,y)=dl X fl(x,y)+d2 x G(x,y) 公式 13

其中 dl、 d2是渐变因子，其取值范围限制在 (0, 1)之间，且满足 dl+d2=l的关系，在重叠区域中，按照从第 1幅图像到第 2幅图像的方向， dl由 1渐变至 0 , d2由 0渐变至 1 , fl(x,y)慢慢平滑过渡到 f2(x,y)。

在使用该算法时发现，经处理后的图像虽然消除了图像中的边界，但是重叠区域中仍然出现重影、模糊现象，由于两幅图像重叠部分中个别对应像素灰度值存在较大的差异而使合成后的图像在这些像素处的灰度值出现跳变，为避免这种情况出现，本发明实施例对上述算法进行了改进，引入一个阈值 door,对于 f(x,y) ,并不直接取 fl(x,y)和 f2(x,y) 的加权平均值，而是先计算该点在平滑前两幅图对应像素的灰度值差值，若此差值小于阈值，则取加权平均值为此点灰度值，反之，则取平滑前的灰度值为此点灰度值。

施例修正后的算法合成的图像像素 f(x,y)可以表示为：

公式 14 图 6是本发明实施例的图像合成算法示意图，如图 6所示，图像和图像 f₂具有拼缝区和重叠区，一般来说，如果选择的拼缝区、重叠区域过大，则会出现图像模糊、边缘信息不明显等问题，若选择的拼缝区、重叠区域太小，则无法消除图像的拼缝现象。经过多次实验，结果表明，可以釆用拼缝周围 7x7区域为拼缝处理区域，以 3x3的模板对拼缝区域内的像素点进行线性滤波，得到的效果最好。

需要说明的是，在本发明实施例中，上述图像预处理模块、图像配准模块、图像合成模块可以组成图像拼接模块，在实际应用中，图像拼接模块与中央控制模块共享同一硬件载体，图像拼接模块釆用数字图像处理技术进行图像拼接，可以作为中央控制模块内部完全封装的实体，拼接结果存入存储模块中，用户可以直接从存储模块中获得拼接完成的全景照片。优选地，存储模块包括手机内部存储器和外部扩充存储器，在实际应用中，可以在移动设备上设置图像拼接选择档供用户选择存储模块，并显示图像拼接模块得到的拼接图供用户预览。

在本实施例中，上述图像合成算法可以直接集成在移动设备中，只要该移动设备能够正常拍照，通过使用本发明实施例提供的上述图像合成算法能够在移动设备上实现不同角度不同方向的图像的合成，在不增加昂贵的硬件资源的基础上可以更加准确方便的满足用户需求。

方法实施例

根据本发明的实施例，提供了一种全景图合成方法，用于移动设备照相机，图 7是本发明实施例的全景图合成方法的流程图，如图 7所示，根据本发明实施例的全景图合成方法包括以下处理：

步骤 701 , 获取同一场景的多个原始图像，对所述多个原始图像进行折叠变化和坐标变换，确定所述多个原始图像的重叠区域；

从图 2所示的全景图像拼接流程示意图可以看出，图像的获取是图像处理的第一步，为了获取所要拍摄的图片，需要相应的摄像头装置，包括摄像头、以及驱动装置。在开启摄像头后，将摄像头釆集到的图像信息传送到图像预处理模块，然后图像预处理模块对釆集到的图像信息进行分析处理，验证图像信息的有效性。需要说明的是，在实际应用中，由于图像获取的方式不同会导致输入原始图像的不同，最终使用的图像拼接方法也会不同。

图像预处理的目的是保证图像配准的精度，图像预处理模块对多个原始图像进行图像处理的基本操作，建立图像的匹配模板，对图像进行预定变换、以及提取图像的特征点集合，确定多个原始图像的重叠区域，其中，图像处理的基本操作包括：直方图处理、以及图像的平滑滤波，预定变换包括以下至少之一：傅里叶变换、小波变换、伽柏变换。

也就是说，图像预处理模块需要对原始图像做一些折叠变化和坐标变换，包括图像处理的基本操作（例如，直方图处理、图像的平滑滤波等）、建立图像的匹配模板、对图像进行某种变换（例如，傅立叶变换、小波变换、 Gabor变换等）以及提取图像的特征集合等操作，图像预处理模块 12进行初略定位，找到大致的重叠区域，缩小匹配范围，提高图像合成速度。

步骤 702, 建立所述多个原始图像的数学模型，将所述多个原始图像的所述重叠区域对准，并将所述多个原始图像转换到参考图像的坐标系下；

图像配准的核心问题是寻找一个变换，找到待拼接图像中的模板或特征点在参考图像中对应的位置，根据模板或者图像特征之间的对应关系，可以计算出数学模型中的各参量值，从而建立两幅图像的数学模型，使图像间相互重叠部分对准，将待拼接图像转换到参考图像的坐标系，以此构成完整的图像。精确配准的关键是要有很好地描述两幅图像之间的转换关系的数学模型。

在步骤 702中，图像配准模块依据相似性度量来决定图像间的变换参数，使从不同传感器、不同视角、不同时间获取的同一场景的两幅或多幅图像变换到同一坐标系下，在像素层上得到最佳匹配的过程。具体实现方法为：本发明实施例首先改进了 Harris角点检测算法，有效提高所提取特征点的速度和精度；然后利用 NCC, 通过双向最大相关系数匹配的方法提取出初始特征点对，用 RANSAC来剔除伪特征点对，实现特征点对的精确匹配；最后用正确匹配特征点对实现图像的配准。

如图 3所示，图像配准模块需要对获取的图像进行特征提取、特征匹配、变换模型参数估计、图像重新釆样和变换等操作，具体包括如下处理：

一、获取多个原始图像中匹配模板或特征点集合在参考图像中对应的位置，根据位置计算数学模型中的各参量值，建立多个原始图像的数学模型；

二、通过特定方式提取多个原始图像的特征点；也就是说，可以根据图像性盾提取适用于该图像配准的几何特征或灰度特征，优选地，在本发明实施例中，特征点为角点。在现有技术中，角点检测算法主要分为基于边缘和基于灰度两类提取算法。由于前者对边缘的提取依赖性比较大，如果检测到的边缘发生错误或是边缘线发生中断，则会对角点提取结果造成较大影响，而基于灰度的提取算法主要是通过计算局部范围内灰度和梯度变化剧烈的极大点来达到检测目的，无需进行边缘提取，因而在实际中得到了广泛应用。在现有技术中，最具代表性的几种角点检测包括： Moravec 算子角点检测、 Forstner算子角点检测、 Susan检测算法、 Harris角点检测算法。其中， Harris角点检测算法在一致性和有效性方面均具有优良的性能以及所提取的兴趣点被证明具有旋转、平移不变性、稳定性好等优点。

Harris角点检测算法定义了任意方向上的自相关值 E(M, v)为：

u

E ( u , v ) ≡ \u v \M

R = Det(M) - kTrace² ( ) 公式 3 其中， Det M) : ^ , Trace(M) = A₁ + A₂ , Det为矩阵的行列式， Trace为矩阵的迹

步骤 2, 根据角点响应函数式计算原图像上对应的每个像素的 R值。原始 Harris角点检测算法的角点响应函数式中的 k值是一个经验常数，使用起来随意性较大，造成角点提取可靠性的降低，在图片状况不一的情况下，容易影响到角点提取的准确性。考虑到 R实盾是角点检测信号，行列式的值大、迹的值小为角点信号，反之为边缘信号的特点，因此本发明实施例釆用如下比值法计算角点响应函数：

R₌ °^etm 公式 4

Trace(M) + £

为了避免矩阵的迹有时可能为零，因此在分母中补加很小的数 £ "；与原始 Harris角点检测算法中提出的响应函数相比，它避免参数 k 的选取，减少了 k选择的随机性，具有实用性，可靠性好，准确度高的特点。

步骤 3 , 选取局部极值点。

步骤 4 , 亚像素角点定位：本发明实施例通过釆用二次多项式 ax² + by² + cxy + dx + dy + f = R(x, y)来逼近角点反应函数 R,以确定角点的亚像素级精确位置。用已经检测出来的角点周围的像素点可以建立含有 a~f 的 6个未知量的超定方程组，运用最小二乘法求解这个超定方程组，亚像素级角点对应的是二次多项式的极大值点。

前述表 1为釆用不同方法进行角点提取的比较：从表 1中可以看出，本发明实施例改进后的 Harris角点检测法与无阈值提取算法相比较，在运算速度和后续的匹配率上都有所提高，与原 Harris角点检测法相比在时间上有了很大的提高，相对其它两算法，其提取的角点性能更好、提取的速度更快。

本发明实施例提出的角点匹配算法分为两步： 1、利用 BGCC进行粗匹配； 2、然后用 RANSAC对其进行提纯，实现图像的精匹配。该方法在去除冗余特征点的同时能够准确提取出正确的匹配特征点对。

三、用于利用 NCC, 通过 BGCC匹配方法提取初始特征点对；具体地：

Claims

权利要求书

1、一种全景图合成方法，用于移动设备照相机，其特征在于，包括：

2、如权利要求 1所述的方法，其特征在于，所述对所述多个原始图像进行折叠变化和坐标变换确定所述多个原始图像的重叠区域，包括：

对所述多个原始图像进行图像处理的基本操作 , 建立图像的匹配模板 , 对图像进行预定变换，提取图像的特征点集合，确定所述多个原始图像的重叠区域。

3、如权利要求 1所述的方法，其特征在于，所述建立所述多个原始图像的数学模型，包括：

获取所述多个原始图像中所述匹配模板或所述特征点集合在所述参考图像中对应的位置，根据所述位置计算所述数学模型中的各参量值，建立所述多个原始图像的数学模型。

4、如权利要求 1所述的方法，其特征在于，所述将多个原始图像的重叠区域对准，并将多个原始图像转换到参考图像的坐标系下，包括：

通过特定方式提取所述多个原始图像的特征点；

利用相似测度归一化相互关 NCC, 通过双向最大相关系数匹配方法提取初始特征点对；

通过随机釆样法 RANS AC随机抽样一致性剔除伪特征点对，获取精确匹配的特征点对；

根据投影变换矩阵对所述多个原始图像进行逆向映射变换，将所述多个原始图像转换到所述参考图像的坐标系下，并根据所述精确匹配的特征点对进行图像的配准。

5、如权利要求 4所述的方法，其特征在于，所述特征点为角点，所述特定方式为角点检测算法；

所述通过特定方式提取所述多个原始图像的特征点包括：

对所述多个原始图像中每个原图像中的每一点计算该点在横向和纵向的一阶导数，并计算横向一阶导数和纵向一阶导数的乘积，获取与每个原图像对应的 3幅新的图像，利用 3 x 3卷积核与所述原图像进行卷积，获取所述原图像每一点的偏导数，并对所述 3 幅新的图像进行高斯滤波；

根据角点响应函数式即公式 1计算所述原图像上对应的每个像素的 R值，

R₌ °^etm 公式

Trace(M) + £

其中， £) (^0 = 412, Trace{M) = _i+ ₂ ^ _M是 2 χ 2的对称矩阵， 4和4为1^的 2个特征值， f为小值数；

在原图像中选取一个适当的窗口，将所述窗口中兴趣值最大的像元保留，将所述窗口中其他像元删除，移动所述窗口对整幅原图像进行筛选，并根据预先设置的阈值将兴趣值最大的若千个点选取为局部极值点，并釆用边界模板将匹配作用低的边界角点排除；

釆用二次多项式∞² + + cx_y + A + + / = R(x, y)进行角点的亚像素定位。

6、如权利要求 5所述的方法，其特征在于，所述利用相似测度归一化相互关 NCC, 通过双向最大相关系数匹配方法提取初始特征点对包括：

根据一个相似测度 NCC,

c _

~

公式 ₂, 其中， ^Zl、 ²是两幅图像的灰度， η χ η是窗口的大小，设第一幅图像中的角点为 di、 i=l...m, 第二幅图像中的角点为 dj、 j=l…！, 则（«)和分别为两幅图中第 i 个和第 j 个待匹配的特征点； ^T(^u,^v 是角点窗口区域的平均灰度值：

I (M,V) =」

(2n + l)(2n + l) 窗口区域的标

以图像 ^Ζι中的任意一个角点为中心选取一个 ηχ η的相关窗口，在^中以与角点具有相同坐标的像素点为中心选取一个大小为 dl X dh的矩形搜索区域，然后对的角点与^中搜索窗口区域内每一个角点计算相关系数 ' , 将相关系数最大的角点作为 ^Zl给定角点的匹配点，获取一组匹配点集；给定图像 ²中的任意一个角点，搜索图像 ^Zl中对应的窗口区域内与之相关系数最大的角点作为 ²给定角点的匹配点，获取另一组匹配点集；

在得到的两组匹配点集中搜索相同的匹配角点对，确认该角点对是相互匹配对应的，完成角点的初始匹配。

7、如权利要求 6所述的方法，其特征在于，在根据公式 2建立一个相似测度 NCC 之前，所述方法还包括：

釆用 7 x7的中值滤波器将所述图像进行平滑，并将原图像与经过滤波的图像相减的结果作为操作对象。

8、如权利要求 4所述的方法，其特征在于，所述 RANSAC包括：

重复 N次随机釆样，其中， N大于等于 1;

随机选取 4对匹配点，线性地计算所述投影变换矩阵，其中，所述 4对匹配点应保证样本中的任意三点不在同一直线上；

计算每个匹配点经过所述投影变换矩阵变换后到对应匹配点的距离；

根据内点距离小于距离阈值 t的原则计算所述投影变换矩阵的内点，选取一个包含内点最多的点集，并在此内点域上重新计算所述投影变换矩阵，其中，所述内点为满足估计参数的点。

9、如权利要求 1 所述的方法，其特征在于，所述根据参考图像的坐标系获取多个原始图像之间的空间变换关系选择图像合成策略，完成图像的合成，包括：

根据公式 3和公式 4计算两图像重叠区域中像素点的灰度值 f(x,y) ,

f(x,y) =

ΛΟ， y)

公式 3,

>d₂,(x, y)e (/ 门/₂)

-f₂\< door, (x, y) e f_x n f₂)

( ) e/₂ 公式 ₄, 其中， dl、 d2为渐变因子， dl、 d2的取值范围限制在（0, 1 )之间，并满足 dl +d2 =1的关系， fl(x,y)和 f2(x,y)分别为两图像中对应像素点的灰度值， door为预先设置的阈值。

10、一种全景图合成装置，设置于移动设备照相机，其特征在于，包括：图像获取模块，用于获取同一场景的多个原始图像；

11、如权利要求 10所述的装置，其特征在于，所述图像预处理模块具体用于：对所述多个原始图像进行图像处理的基本操作 , 建立图像的匹配模板 , 对图像进行预定变换、以及提取图像的特征点集合，确定所述多个原始图像的重叠区域。

12、如权利要求 10所述的装置，其特征在于，所述图像配准模块具体包括：建立子模块，用于获取所述多个原始图像中所述匹配模板或所述特征点集合在所述参考图像中对应的位置，根据所述位置计算所述数学模型中的各参量值，建立所述多个原始图像的数学模型；

第一提取子模块，用于通过特定方式提取所述多个原始图像的特征点；

第二提取子模块，用于利用 NCC, 通过双向最大相关系数匹配方法提取初始特征点对；

获取子模块，用于通过 RANS AC随机抽样一致性剔除伪特征点对，获取精确匹配的特征点对；

转换子模块，用于根据投影变换矩阵对所述多个原始图像进行逆向映射变换，将所述多个原始图像转换到所述参考图像的坐标系下，并根据所述精确匹配的特征点对进行图像的配准。

13、如权利要求 12所述的装置，其特征在于，所述特征点为角点，所述特定方式为角点检测算法。

14、如权利要求 13所述的装置，其特征在于，所述第一提取子模块具体用于：对所述多个原始图像中每个原图像中的每一点计算该点在横向和纵向的一阶导数，并计算横向一阶导数和纵向一阶导数的乘积，获取与每个原图像对应的 3幅新的图像，利用 3 x 3卷积核与所述原图像进行卷积，获取所述原图像每一点的偏导数，并对所述 3 幅新的图像进行高斯滤波；

根据角点响应函数式即公式 5计算所述原图像上对应的每个像素的 R值，

R₌ ^Det(M) 公式 5,

Trace(M) + £

其中，

_M是 2 x 2的对称矩阵，和为！^！的 2个特征值， f为小值数；

15、如权利要求 14所述的装置，其特征在于，所述第二提取子模块具体用于：根据公式 6建立一个相似测度 NCC,

c _

i^] ~ n

公式 ₆, 其中， ^Zl、 ²是两幅图像的灰度， η χ η是窗口的大小，设第一幅图像中的角点为 di、 i=l...m, 第二幅图像中的角点为 dj、 j=l…！, 则（«)和分别为两幅图中第 i 个和第 j 个待匹配的特征点； ^T(^u,^v 是角点窗口区域的平均灰度值：

― ^ ^I(u + i,v + j)

I (u,v)：

(2n + i)(2n + i) , 窗口区域的标

∑∑/²(Μ + ί, + ;)

σ- (M,V)

(2n + l)(2n + l) 以图像中的任意一个角点为中心选取一个 ηχ η的相关窗口，在^中以与中的角点具有相同坐标的像素点为中心选取一个大小为 dl X dh的矩形搜索区域，然后对 ^Ζι中的角点与 ²中搜索窗口区域内每一个角点计算相关系数 , 将相关系数最大的角点作为 ^Zl给定角点的匹配点，获取一组匹配点集；给定图像 ²中的任意一个角点，搜索图像中对应的窗口区域内与之相关系数最大的角点作为 ²给定角点的匹配点，获取另一组匹配点集；

16、如权利要求 12所述的装置，其特征在于，所述获取子模块具体用于：重复 N次随机釆样， N大于等于 1 ;

17、如权利要求 10所述的装置，其特征在于，所述图像合成模块具体用于：根据公式 7和公式 8计算两图像重叠区域中像素点的灰度值 f (x,y) ,

(x, y) f(x, y) =

ΛΟ， y)

公式 7 ,

^ y^ f^ 公式 8 , 其中， dl、 d2为渐变因子， dl、 d2的取值范围限制在（0, 1 )之间，并满足 dl +d2 =1的关系， fl(x,y)和 f2(x,y)分别为两图像中对应像素点的灰度值， door为预先设置的阈