WO2012175029A1

WO2012175029A1 - 多投影拼接几何校正方法及校正装置

Info

Publication number: WO2012175029A1
Application number: PCT/CN2012/077294
Authority: WO
Inventors: 李凯; 王静; 赵光耀; 刘源
Original assignee: 华为终端有限公司
Priority date: 2011-06-22
Filing date: 2012-06-21
Publication date: 2012-12-27
Also published as: CN102841767B; CN102841767A

Abstract

提供一种多投影拼接几何校正方法及校正装置。该方法包括获取摄像机到3D弧幕的映射关系；根据投影仪到摄像机的映射关系、所述摄像机到3D弧幕的映射关系以及3D弧幕到输入超分辨率图像映射关系，得到投影仪帧缓存图像变换映射表；根据所述投影仪帧缓存图像变换映射表，对投影仪要投影的图像进行几何配准校正。可以简单有效地实现校正。

Description

多投影拼接几何校正方法及校正装置本申请要求于 2011 年 06 月 22 日提交中国专利局、申请号为 201110169655.8、发明名称为"多投影拼接几何校正方法及校正装置"的中国专利申请的优先权，其全部内容通过引用结合在本申请中。技术领域

本发明涉及图像处理技术，尤其涉及一种多投影拼接几何校正方法及校正装置。背景技术

大屏幕显示系统是一个多路输入、超大单屏的显示系统。在大屏幕拼接系统中，显示出来的是一幅整体的画面，它由各信号源的图像拼接而成。每台设备只显示图像的一部分。弧幕背投是指从弧幕背面，分别投影图像到弧幕中。为了得到较好的显示效果，需要对投影仪中的图像进行校准。现有技术存在一些几何校准方案，但是，现有方案中需要较复杂的数学模型建立或者需要过多的图像映射变换过程。发明内容

本发明实施例提供一种多投影拼接几何校正方法及校正装置，采用较少的图像映射实现几何校准。

本发明实施例提供一种多投影拼接几何校正方法，包括：获取摄像机到 3D弧幕的映射关系；

根据投影仪到摄像机的映射关系、所述摄像机到 3D弧幕的映射关系以及 3D弧幕到输入超分辨率图像映射关系 , 得到投影仪帧緩存图像变换映射表；根据所述投影仪帧緩存图像变换映射表，对投影仪要投影的图像进行几何配准校正。本发明实施例提供一种校正装置，包括：

获取模块，用于获取摄像机到 3D弧幕的映射关系；确定模块，用于根据投影仪到摄像机的映射关系、所述获取模块得到的所述摄像机到 3D弧幕的映射关系以及 3D弧幕到输入超分辨率图像映射关系，得到投影仪帧緩存图像变换映射表；

校正模块，用于根据所述投影仪帧緩存图像变换映射表，对投影仪要投影的图像进行几何配准校正。

由上述技术方案可知，本发明实施例在求解投影仪帧緩存图像变换映射表时，所需的图像映射关系较少，因此可以采用较少的图像映射实现多投影时的几何校准，实现方法简便易行。附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图 1为本发明第一实施例的方法流程示意图；

图 2为本发明第二实施例的方法流程示意图；

图 3为本发明第二实施例中 3D弧幕在世界坐标系中的图像及摄像机对该

3D弧幕的拍摄图像的示意图；

图 4为本发明第二实施例中摄像机针孔成像模型的示意图；

图 5为本发明第二实施例中求解摄像机内外参数的实现方式一的流程示意图；

图 6为本发明第二实施例中求解摄像机内外参数的实现方式二的流程示意图；

图 7为本发明第二实施例中 3D弧幕的 2D参数化表示示意图；

图 8为本发明第二实施例中完整输入图像坐标与 3D弧幕坐标相同的 2D参数化表示示意图；

图 9为本发明第三实施例的方法流程示意图；图 10为本发明第三实施例中 3D弧幕与虚拟 2D平幕的示意图；图 11为本发明第三实施例中摄像机图像的示意图；

图 12为本发明第三实施例中虚拟摄像机图像的示意图；

图 13为本发明第四实施例的装置结构示意图。具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图 1为本发明第一实施例的方法流程示意图，包括：

步骤 11：校正装置获取摄像机到 3D弧幕的映射关系；

其中，摄像机到 3D弧幕的映射关系可以通过两个虚拟平幕作为中间参数确定，此时可以包括：根据摄像机图像与虚拟摄像机图像的映射关系，以及虚拟摄像机图像与虚拟 2D平幕的映射关系，得到摄像机与虚拟 2D平幕的映射关系；根据所述摄像机与虚拟 2D平幕的映射关系，以及虚拟 2D平幕与 3D弧幕的映射关系，得到摄像机到 3D弧幕的映射关系。

或者，摄像机到 3D弧幕的映射关系也可以通过摄像机内外参数作为中间参数确定，此时可以包括：根据对 3D弧幕的拍摄图像，及所述 3D弧幕的几何信息，求解摄像机内外参数；根据所述摄像机内外参数及所述 3D弧幕的 2D坐标，得到摄像机到 3D弧幕的映射关系。

上述两种方法可以具体参见下述实施例。

步骤 12: 校正装置根据投影仪到摄像机的映射关系、所述摄像机到 3D弧幕的映射关系以及 3D弧幕到输入超分辨率图像映射关系 , 得到投影仪帧緩存图像变换映射表；其中，通过步骤 1 1可以确定摄像机到 3D弧幕的映射关系。

另外，投影仪到摄像机的映射关 ^F^→c('' = i，²，³) (以 3个投影仪进行拼接为例）可以采用现有技术实现，例如，可以采用如下方式确定：

1 )制作特征 blob模板图；

2 ) 3个投影仪分别投影到 3D弧幕；

3 )分别由固定位置与参数的摄像机拍摄，获得 3个摄像机图像；

4 )对该 3个摄像机图像进行特征检测，并建立与已知特征 blob位置信息的模板图间的点对映射关系；此时的映射是稀疏的。

5 )应用 Rational Bezier Patch曲面插值算法，建立致密的投影仪到摄像机图像的映射。

至此，将得到的致密的投影仪到摄像机图像的映射作为上述的投影仪到摄像机图像的映射关系 F ^¹，²，³)。

再者， 3D弧幕到输入超分辨率图像映射关系 ^FD→ 可以采用如下方式确定：

此映射变换公式如下：

(m_x , m_y) = F_D→Su (s, t) = (s, t)

其中，

D表示投影幕 (Display) , Su表示输入超分辨率 (Superlmage)图像；

( _x， _y t)分别为输入超分辨率图像中的点， 3D弧幕的 2D坐标点；由于输入超分辨率图像的坐标含义与 3D弧幕的 2D坐标定义一致，则显

因此， → 为单位变换。

通过上述计算，得到了投影仪到摄像机的映射关系 F'_p→e( = l,2,3)、摄像机到 3D弧幕的映射关系 3D弧幕到输入超分辨率图像映射关系 ^FD→S"，之后，可以根据上述 3 个映射关系，得到投影仪帧緩存图像变换映射表。具体可以如下：

首先，根据上述 3个映射关系级联得到 ^→^'' = 1，²，³), 即，

(w_x ,m_y) = F_D→Su (F_C→D (F;_→c (X, y)))

= F_c→D(F_p ⁱ _→c(x,y))

= F _Su(x,y) 其中，（x,y) 为投影仪帧图像点的坐标。

之后，根据 ^F " = ^½3)得到投影仪帧图像中某一点对应的输入超分辨率图像中的点，根据输入超分辨率图像中的点计算颜色值并赋给该投影仪帧图像中的点，例如， ( 1^1)对应（^1,?^1), 则可以将 ?^1,^1邻近的点（点的个数可以设定 )进行插值计算得到的颜色值赋给 (xl,yl)。

之后，通过颜色比对确定投影仪帧緩存图像变换映射表：另 RGB{x,y) = RGB{m_{PW x},m_{PW y}) , 则得到点（，到点 ( m_{PW x},m_{PW y} ) 的映射

^Fip→pw(i-W), _y)的值为输入超分辨率图像中的点的颜色值。即选取一个点，计算得到该点的颜色值之后找到具有相同颜色值 WG^x^ ^^ ^— ― 的点 ( m_{PW x},m_{PW y} ), 即得到变换关系： (m_{PW x},m_{PW y}) = F_p ^l _→pw(i = 1,2,3)( , ')

上述的 RGB()表示颜色值。

至此则得到了投影仪帧緩存图像变换映射表 ^^':¹，²，³)。

步骤 13: 校正装置根据所述投影仪帧緩存图像变换映射表，对投影仪要投影的图像进行几何配准校正。

即，在得到投影仪帧緩存图像变换映射表 ^^^ ¹，²，³)之后，可以对投影仪中的緩存图像进行几何配准校正，即校正后的点的坐标 ― 与校正前点的坐标 (，的关系为：， ^M —_Y ) = ^F'P→PW y) j = i, ², 3)。

另外，上述的校正装置可以为独立的装置，其对投影仪中待緩存的图像进行上述几何配准校正后 , 将校正后的图像发送给投影仪进行緩存后投影。也可以是，该校正设备内嵌在投影仪中以在緩存前进行校正。

本实施例在求解投影仪帧緩存图像变换映射表时，所需的图像映射关系较少，因此可以采用较少的图像映射实现多投影时的几何校准，实现方法简便易行。

图 2为本发明第二实施例的方法流程示意图，本实施例以摄像机内外参数作为中间参数确定摄像机到 3D弧幕的映射关系。参见图 2, 本实施例包括：步骤 21 : 根据对 3D弧幕的拍摄图像，及所述 3D弧幕的几何信息，求解摄像机内外参数；

优选的，本发明实施例的 3D弧幕的几何信息是已知的。

在实际多点视频会议应用中， 3D弧幕，特别是柱面弧幕多投影系统更能给用户带来沉浸式体验，本地与远端用户更有身处同一会场的感觉。

并且，柱面弧幕产品化，大批量定制化更容易，柱面弧幕的规格容易实现定制下来。规则化的、已知信息的 3D柱面弧幕用于多投影拼接系统中，在求解各种变换映射时，就没有必要再去求解投影幕几何信息了，直接使用已知几何信息即可。

而现有技术中通常使用各种复杂的方式求解该 3D弧幕的几何信息，但是，随着 3D弧幕定制化的出现，本发明实施例可以采用定制化的 3D弧幕，即可以在几何校准时获取已知的 3D弧幕的几何信息。当然，如果对几何校正有非常高的精度要求，也可以将已知的 3D弧幕信息作为 3D弧幕几何信息的初始估计，之后再采用各种方法获取更为精确的 3D弧幕几何信息。

求解摄像机内外参数可以如下：

首先，关于 3D弧幕：

图 3为本发明实施例中 3D弧幕在世界坐标系中的图像及摄像机对该 3D弧幕的拍摄图像的示意图，参见图 3, 3D弧幕包括 4个顶点 A、 B、 C和 D, 3D弧幕的上下两个曲线分别为圓弧 AB和圓弧 CD , 左右线段分别为线段 AD和线段 BC。

当 3D弧幕的几何信息是已知的，则线段 AB、 CD、 AD、 BC的长度、圓弧 AB的长度、圓弧 CD的长度、圓弧 AB的半径及圓弧 CD的半径均是已知的。

其次，关于 3D与 2D的对应关系：

摄像机采用的是针孔模型，图 4为本发明实施例中摄像机针孔成像模型的示意图，在该针孔模型下，摄像机按透视射影变换将 3D世界空间 P³的点的齐次表达式为 M = (x,_y,_z,lf , 投影到 2D图像空间 P²的点的齐次表达式为 w = (M,v,lf。用公式标定可写成：

m « HM = K(R T)M

其中， H表示 3 x 4的摄像机投影矩阵，《表示方程两边在相差一个比例因子的意义下相等。（R T ) 为由 R和 T组成的一个大矩阵。假设摄像机光心不在无穷远平面上，摄像机投影矩阵 H可做如下分解：

H = K(R T)

K、 R、 T为待求解的摄像机内外参数，其中， Κ为摄像机的内部参数， R 为摄像机相对于世界坐标系的旋转矩阵， Τ为摄像机相对于世界坐标系的平移矩阵。

摄像机内外参数可以参照如下描述：

摄像机标定的目的是获得摄像机的内部参数 Κ和外部参数（包括旋转矩阵 R和平移向量 Τ ) ，摄像机内部的几何和光学特性，即为内部参数；摄像机坐标系相对于空间坐标系的位置关系，即为外部参数。

Κ为一个表示摄像机内部参数的上三角矩阵，如下：

f_u s C_0l

κ o f_v c。、

0 0 1 其中，是图像 u方向（横向）以像素为单位的放大倍数; 是图像 v方向（纵向）以像素为单位的放大倍数；

S是相应于相机坐标轴扭曲的畸变因子；

c。_u、 c。_v是以像素为单位的主点的坐标。

参数和 /_v与摄像机的焦距有密切的联系。在摄像机的感光阵列中包含的像素是正方形像素的情况下（即/ _M = /_v ) , 若 s=0, 则和/：即是以像素为单位的摄像机焦距；若感光阵列中包含的像素是非正方形像素（比如 CCD摄像机），则/ _M是焦距 f与 u方向像素的大小的比值，是焦距 f与 V方向像素的大小的比值。

在实际运算中，可令 = /_ν = /， f为摄像机焦距；

可令： s=0;

可令： C。_M和 c。_v均为图像分辨率的一半。

采用 Tsai以及张正友棋盘标定法，上述假设在通用品牌的标清或高清摄像机中是切实可行的。

由于图像分辨率是已知的，在上述假设条件下，需要求解的参数为 f。旋转矩阵 R是三个轴向的、摄像机坐标系相对于世界坐标系的 3 X 3阶旋转向量，包括 3个需要求解的参数；平移向量 T是摄像机坐标系相对于世界坐标系的 3 x 1阶平移向量，包括 3个需要求解的参数。

综上所述，在求解摄像机的内外参时，需要求解的参数为 7个。

另外，根据上述的 3D与 2D的关系，在设定摄像机内外参数初始值后，可以获取 3D弧幕的几何信息对应的 2 D图像信息。

再次，关于摄像机对 3D弧幕的拍摄图像：

第一步，确定拍摄图像的四个角点的 2D坐标：

四个角点在摄像机图像中的 2D坐标，分别为

为了更加鲁棒地获得 3D弧幕的四个角点，采取基于图像分割检测算法检测 3D弧幕轮廓，再进一步对封闭的轮廓的采样点进行研判。 ①任取封闭轮廓中采样点，求该点位置处的高斯核差分

( Difference-of-Gaussian, DoG ) , DoG算子如下式所示：

D(x,y,a) - (G(x, y, ko) * I(x, y)) - L(x, y, ko) - L(x, y, σ)

②计算该点位置处的梯度方向

θ(χ,γ) = t_an ^l((L(x, y + 1) - L(x,y - \))/(L(x + \, y) - L(x - \,y)))

③取所有采样点的 DoG进行分析，取一个阈值 T

该阈值需要实测确定，类同于特征点检测法 SIFT、 SURF阔值。

④由该阈值 T研判采样点是否属于四个角点。

将大于 T的采样点作为角点，若符合条件的点多于四个，进一步判断是否属于接近于图像四边的角点位置，若还是有更多的满足的点，则取这些点聚类的平均值作为角点。

至此，求得了摄像机图像点

第二步，确定拍摄图像的曲线的 2D坐标：

①对输入图像，采取图割，如最小割、 MeanShift颜色分割方法获得柱面弧幕轮廓；

②检测弧幕的四个角点，该检测也可手动进行；

③基于四个角点所规范的电子坐标范围，确定曲线上所有致密采样点，统计点数；

④基于③，多项式最小曲线拟合，采样上下曲线轮廓。

综上，通过上述步骤，可以获取摄像机对所述 3D弧幕的拍摄图像的信息，及所述 3D弧幕的几何信息对应的 2D坐标（与摄像机内外参数相关），之后，根据上述两个参数，可以求解摄像机内外参数。

具体地，可以采用等间隔采样点重投方式，或者采用线线重投方式进行求解。下面分别描述：

图 5为本发明实施例中求解摄像机内外参数的实现方式一的流程示意图，本实施例以等间隔采样点重投方式为例，参见图 5, 包括：步骤 51 : 根据拍摄图像中上下曲线的点的数目，对 3D弧幕的上下曲线进行等间隔采样，并建立拍摄图像的点与 3D弧幕的采样点之间的对应关系。

其中，等间隔采样是指将曲线划分为设定个数的等间隔的曲线段，每个曲线段的端点即为等间隔采样的采样点。

例如，以曲线 AB为例，如果拍摄得到的曲线 AB的点的个数为 n+1 , 则对 3D弧幕的曲线 AB进行采样，得到 n+1个采样点且每两个采样点之间的曲线间距相同，并且拍摄图像的第 1个点与 3D弧幕的第一个采样点是对应的。

步骤 52:计算拍摄图像中点的 2D坐标 m与 3D弧幕的采样点对应的 2D坐标的误差和。

例如，通过公式 ^ = ( ? Γ)Μ,·以及 3D弧幕的采样点的 3D坐标，可以获取对应的 2D坐标，而在计算 3D对应的 2D坐标时，可以采用初始设定的摄像机内外参数进行求解，而在拍摄图像中各点的 2D坐标是已知的，因此，可以获取上述的误差和：

ff²

其中， m i是点 i的摄像机拍摄图像的坐标， m' i是采样点 i的 3D弧幕对应的 2D坐标。

步骤 53: 判断该误差和 E是否满足精度要求，若是，执行步骤 54, 否贝' J , 执行步骤 55。

即：是否趋近于 0 (该绝对值是否小于等于一个预设的阈值，该阈值可以选为接近于 0的值）。

步骤 54: 若趋近于 0, 则将所求的 7个未知参数确定为设定的摄像机内外参数，即获取了摄像机内外参数。

步骤 55: 更新摄像机内外参数。之后，重复执行步骤 52。

其中，在设定及更新摄像机内外参数时可以采用 Levenberg-Marquardt 优化算法。图 6为本发明实施例中求解摄像机内外参数的实现方式二的流程示意图，本实施例以线线重投方式为例，参见图 6, 包括：

步骤 61 : 计算 3D弧幕的曲线对应的 2D曲线；

具体地，可以等间隔采样 3D圓弧 AB (或圓弧 CD), 根据初始设定的摄像机内外参数，逐点重投该圓弧 AB到图像中获得对应的 2D图像点；等间隔采样可以参见步骤 51中的相关描述。

之后，可以采用最小二乘法，多项式曲线拟合等对这些 2D图像点进行拟合得到对应的 2D曲线。；

步骤 62:计算 3D弧幕的曲线对应的 2D曲线与拍摄图像的曲线之间的距离步骤 63: 判断该距离 E是否满足精度要求，若是，执行步骤 64, 否则，执行步骤 65。

即： |E - |是否趋近于 0 (该绝对值是否小于等于一个预设的阈值，该阈值可以选为接近于 0的值）。

步骤 64: 若趋近于 0, 则所求的 7个未知参数获得了，即获取了摄像机内外参数。

步骤 65: 更新摄像机内外参数。之后，重复执行步骤 61。

其中，在设定及更新摄像机内外参数时可以采用 Levenberg-Marquardt 优化算法。

步骤 22: 根据所述摄像机内外参数及所述 3D弧幕的 2D坐标，得到摄像机到 3D弧幕的映射关系；

其中，根据上述的针孔模型得到的 3D与 2D的对应关系，根据该摄像机内外参数，可以得到摄像机到 3D弧幕的映射关系。具体可以如下：

输入：摄像机内部参数 K：、外部参数 R和 T, 以及 3D弧幕的 2D坐标。其中，

上述的 K：、 R、 T可以通过图 5或图 6得到；

3D孤幕的 2D坐标：

其中： ①、（Χ,Υ,Ζ)为 3D弧幕在世界坐标系下的点的坐标；

②、 Ζ = /( )

t为高度， s为弧长。

输出： ^FC→D (摄像机图像到 3D弧幕映射关系）。

具体计算过程可以如下：

图像点 m=(u,v)与 3D弧幕点 M=(X,Y,Z)的成像几何关系如下： am = K(R Τ)Μ , α为使得两侧对齐的常数；其中， w为图像点 m的齐次表示， m = (u,v,\f；同理，为 M的齐次坐标， -( ,7,Ζ,1)^Γ;

为摄像机内部参数； R、 T分别为摄像机外部参数。由 = ( ? Τ)Μ , 可求得与 /^ = (M，v，lf对应的 ;

之后，将转化成 2D参数化 (s,t) , 即采用

(^)可以由 = ( ，;Τ，Ζ，1 得到对应的（S,t), 另夕卜，也与 w = 0，v，lf对应，因此，可以得到摄像机到 3D弧幕的映射关系 _→1> , 其中， ,0 =^ (u,v)。

步骤 23: 根据投影仪到摄像机的映射关系、所述摄像机到 3D弧幕的映射关系以及 3D弧幕到输入超分辨率图像映射关系 ,得到投影仪帧緩存图像变换映射表；

步骤 24: 根据所述投影仪帧緩存图像变换映射表，对投影仪要投影的图像进行几何配准校正；

其中，步骤 23~24的内容可以参见步骤 12~13所示。具体地，上述各映射关系的计算过程可以如下：

投影仪帧緩存图像坐标：

(x'，y)， -0,1,..., 1920x1080

其巾：

① ）为第 i个投影仪帧緩存图像像素点坐标，单位为 pixel;

②、 xe[0,191K 0,1079] 摄像机图像坐标：

其中，

① 0，为摄像机图像的像素点坐标，单位为 p ixel；

② _Me[0,1919],ve [0,1079]

参见图 7, 3D弧幕的 2D参数坐标点：（w)

其中，

① ί表示幕的高度；

② s表示孤长， s= ^\ + f x)dx, 单位为 pixel。

注：令 s或 t的单位为 pixel, 方便与输入超分辨率图像统一。

参见图 8, 与 3D弧幕所对应的输入超分辨率图像坐标：

x为图像中任一点到 X轴距离，为图像中任一点到 y轴距离，本质含义同 3D弧幕的 2D参数 5和^

m_x，单位为 pixel, m_x e [0, 1920 * 3 - 1], w_y e [0, 1080*3-1]

s = m_x 在实际实现中，

①输入的超分辨率原始图像大小为 5760 1080; ②可令 3D弧幕的高度为 1个单位，该 1个单位表示为 1080个 pixel。弧幕曲线的总长度为 1920 x 3 pixel=5760 pixel, 满足弧幕实际尺寸（弧幕平面展开后的矩形 ) 比率 48: 9。

这样，输入的超分辨率原始图像大小和 3D弧幕的大小就一模一样，避免在二者映射时的插值运算，也恰到好处地符合了 "贴墙纸" 原理。

各种映射参数含义

d l，2，3) . 3个 Projector帧緩存图像—— Camera图像映射

F, C→D Camera图像—— ^Display弧幕映射

F D,→Su Display弧幕—— Superlmage (输入超分辨率图

像）变换映射

F_p'_→Su(i = W) 3个 Projector帧緩存图像—— Superlmage图像变

换映射

F ― 1， 2， 3) 生成 3个 Projector帧緩存图像变换 (Wraped)映射表

P: 表示投影仪 (Projector)变换之前图像

PW: 表示投影仪图像变换之后的图像 (ProjectorWarped) C: 表示由摄像机 (Camera)图像

D: 表示 3D弧幕 (Display)

Su: 表示输入超分辨率 (Superlmage)图像

RGB (- ) 表示某一坐标点或像素点（·）的 RGB颜色值细化 2个投影帧緩存图像变换映射表求解

输入：

3个投影仪到摄像机映射^_→C( = 1，2，3)、

摄像机到弧幕幕映射、

弧幕到输入超分辨率图像映射 F_D→Su 输出：

3个投影仪帧緩存图像变换映射表 _p→W( = l，2，3)

生成投影仪帧緩存变换映射表的流程可以如下，

1 ) F;_→c(i = 1,2,3)

3个 Projector帧緩存图像—— 〇3116「3图像映射 _→ '=1，2，3)

此 3个映射变换公式如下：

其巾：

数字 1、 2、 3表示第 1、 2、 3个投影仪或第 1、 2、 3个摄像机；

① C表示由摄像机 (Camera)图像， P表示投影仪 (Projector)帧緩存图像；

②、， ( "，的定义分别为投影仪帧緩存待投影图像点，由摄像机拍摄的图像点；

③、分别表示第 _i(i=1,₂,₃₎个投影仪帧緩存图像到摄像机图像变换的函数。

获得变换后的摄像机图像

步骤：任取第 i个投影仪中的图像任一点 (^χ'， '^ = ²， ³)

①、由映射表^→^' = 1，²，³), 找到在摄像机图像中对应的浮点；

②、取该浮点邻近 4个像素点，双线性插值，获得点 (^Μ'，^ν')的颜色值；

③、重复①②，直至待投影仪图像中最后一点。

④、若由步骤①，找不到对应的变换之前帧緩存图像中的浮点，则该点赋值为默认值（如：无穷大值)。

2) ^FC D _:

Camera图像 ^Display弧幕映射此映射变换公式如下：

(s,t)^F_c→D(u,v)

其中，

①、 C表示由摄像机 (Camera)图像， D表示投影幕 (Display);

②、（^)，("，的定义分别为 ₃D弧幕中 2D参数点，由摄像机拍摄的图像点;

③、分别表示摄像机图像到 3D弧幕变换的函数。

Display弧幕—— -^Superlmage (输入原始超分辨率图像）变换映射此映射变换公式如下：

(m_x,m_y) = F_D→Su(s,t) = (s,t)

其中，

①、 D表示投影幕 (Display) , Su表示原始超分辨率 (Superlmage)图像；

②、（ ^W)定义分别为原始超分辨率图像中的点， 3D弧幕中 2D参

并且，参数，与有相同的含义。

③、 _→ 分别表示 ₃D弧幕点到原始超分辨率图像点变换的函数。

原始输入大图的坐标含义与 3D弧幕的 2D参数化定义一致,显然有:

故而为单位变换

3个 Projector帧緩存图像—— -^Superlmage图像变换映射

级联应用映射变换^→C('' = 1，²，³)、 F_C→D 、 ^FD→Su , 可获得映射变换

F_p ^l _→Su(i = \,2, >) _? 有： (w_x ,m_y) = F_D→Su (F_C→D (F_→c (X, y )

= F_c→D(F_p ⁱ _→c(x,y)) 等价于：

其巾：

① 数字 1、 2、 3表示第 1、 2、 3个投影仪或原始超分辨率图像第 1、 2、 3部分；

Su表示超 (Super)分辨率图像， P表示投影仪 (Projector)图像；

②、， (^ ）的定义分别为投影仪帧緩存待投影图像点，输入原始超分辨率大图像点；

③、分别表示第 _i(i=1,₂,₃₎个投影仪帧緩存图像变换函数，表示由原始超分辨大图像变换到最终要投影的图像之变换函数，该变换函数不能由固定的数学表达式所表达，是由图像坐标映射表所表示。

获得变换后的对应的超分辨率图像点

步骤：任取第 i个投影仪中的图像任一点 (^，^(^¹，²，³)

①、由映射 → '=1，²，³), 找到摄像机图像中的浮点 (^Μλ ^，。）；

②、由 ^FC D , 找到 x，^v。 j)所对应的 3D孤幕中的浮点 ^sfl^l。" ^ffl。、；

③、也就找到了超分辨率图像中对应的浮点， ^m' j )；

④、取该浮点邻近 4个像素点，双线性插值，得到颜色值，并把该值赋给 ( ）；

⑤、重复①②③④，直至待投影仪图像中最后一点。

5 ) F^l _P→PW(i = 1,2,3) 此变换公式如下：（基于 → =1，²，³)来求解）已知我们已经获得了变换 ⁷ "^¹，²，³) ,待求变换 ⁷'^^^¹，²，³) ,也就是：令 RGB(x,y) - RGB(m_{PW x},m_{PW y})时，求点（xj)到点（?¾^— _x，w^—_y)的映射

F^l _p→pw(i = 1,2,3) ^ 即：

(x,j)( = l,2,3)。其中， ①、（X, 表示投影仪帧緩存图像变换之前的点；

②、 n_Pfr—_x J表示投影仪帧緩存图像变换之后的点；

③、 RGB (·)表示某一坐标点或像素点（·）的 RGB颜色值；

④、 PW ( Projector Warped )表示投影仪变换之后的意思。

本实施例在求解摄像机内外参数时，需要 3D弧幕的几何信息对应的 2D 坐标，即需要的数学模型只是 3D与 2D的对应关系，所需数学模型简单，并且在几何校正时需要的是投影仪到摄像机的映射关系和摄像机到 3D 弧幕的映射关系，所需的图像映射关系较少，因此可以采用较简单的数学模型及较少的图像映射实现多投影时的几何校准。

图 9 为本发明第三实施例的方法流程示意图，本实施例以两个虚拟平幕作为中间参数确定摄像机到 3D弧幕的映射关系。参见图 9, 本实施例包括：步骤 91: 根据摄像机图像与虚拟摄像机图像的映射关系，以及虚拟摄像机图像与虚拟 2D平幕的映射关系 , 得到摄像机与虚拟 2D平幕的映射关系；其中，上述的虚拟 2D平幕为与 3D弧幕对应的虚拟 2D平幕，例如，参见图 10, 假设将 3D弧幕展开，得到的展开后的 2D平幕即为虚拟 2D平幕。

摄像机图像与虚拟摄像机图像的映射关系可以根据柱面到平面的畸变算法得到，例如采用梯形畸变算法得到。例如，参见图 11, 摄像机对投影到 3D 弧幕上的模板图进行拍摄，得到模板图对应的摄像机图像，之后，参见图 12, 采用畸变算法将摄像机图像畸变为虚拟摄像机图像。

虚拟摄像机图像与虚拟 2D平幕的映射关系可以根据两个平幕的映射关系确定，具体可以如下: 计算 2D投影变换 H. 设图像 0和图像 J之间有 M对匹配的特征点，现在需要确定 2D投影变换 , 将图像 0上的 M个特征点分别映射到图像 J上的 M个特征点。 N - 1个的确定的步骤可分为两步：其一是使用线性方法分别计算 N - 1 个，其二是使用 Levenberg-Marquardt优化方法迭代求精这 N - 1个

H

步骤 1 ) DLT法线性确定各个可以参见 R.Hartley and A.Zisserman. Multiple View Gemetry in Computer Vision. Cambrdge University Press, ISBN: 0521540518, second edition,2004.中的第 88页。

设 = ，， 1)^τ和 _Ul ^j = iu\，， If是第 j对分别位于图像 0和图像 J的匹配的特征点。如下的方程在这对匹配点是成立的：

其中的未知，设

则可形成如下的方程组:

= ^Ui°^hjl + ^Vi ^hJ, + ^hJ9 消去未知量后整理得，

)h_j + (- j )h_J9 - 0

0- h + 0 - h + 0 ' h + u_t h + v_t h + h + (-^ v/ )h + (-v_; v )h + (-v )h = 0

H

该方程是以 j的 9个项为未知量的由 2个方程组成的方程组，也就是一对匹配点之间存在 2个以的 9个项为未知量的方程，于是，图像 0和图像 J之间

4对匹配点就能产生 8个以的 9个项为未知量的方程，从而就能在相差一个比例因子的意义上确定出 (令 =1 ) 。对于图像 0和图像 J之间存在 M对 (M≥5) 以上匹配点的情形，可以形成一个具备如下形式的超定方程组。

其中是 2 M X 9的矩阵，而 ^h = ， ^h ， ^'3， hj4， hjs ,h_j6, _r ,h_jS, h_j9 Y是 H的项组成的列向量。对于超定方程组 ^^{h = 0}, 需要求解出这样的 h,使得 h的模 l|h||=l 并且的模 I h||最小化，这样的 _h正好是相应于矩阵的最小特征值的特征向量，这可以通过对进行 SVD分解方便地找到。步骤 2 )用 Levenberg-Marquardt优化方法迭代求精这 N - 1个¹^ 由方程， ^v， ^1)T = ^， ^v'°， ^1)τ可引入向量 = ^，， )^τ, 并令：

= H _{j Y l}

¾ 分别是¹ ^和的校准值，这里 Levenberg-Marquardt优化方法的目标，通过迭代求精，计算出和 , 使得如下的误差最小：

的初始值可取由步骤 1 ) 线性确定的值，而^的初始值可取。

规范化可参见 R. Hartley and A. Zisserman. Multiple View Gemetry in

Computer Vision. Cambrdge University Press, ISBN: 0521540518, second edition,2004.中的第四章第四节。

至此可以得到摄像机图像与虚拟摄像机图像的映射关系 _→虚拟以及虚拟摄像机图像与虚拟 2D平幕的映射关系虚拟虚拟之后，采用级联的方式即可以得到摄像机与虚拟 2D平幕的映射关系 ^Fc→虚拟 _m = 虚拟 _c→虚拟 ²。0^→虚拟 c)。步骤 92: 根据所述摄像机与虚拟 2D平幕的映射关系，以及虚拟 2D平幕与

3D弧幕的映射关系，得到摄像机到 3D弧幕的映射关系；

其中，步骤 91可以得到摄像机与虚拟 2D平幕的映射关系 F_C→|M2D。

虚拟 2D平幕与 3D弧幕的映射关系可以对 3D弧幕与虚拟 2D平幕的映射关系进行逆变换得到，而 3D弧幕与虚拟 2D平幕的映射关系可以如下确定：

3D弧幕的 2D坐标： (^s，0

其中： ①、 t表示幕的高度；

②、 s表示弧长， = l + /'W 单位为 _pixel。

^{Ζ =} /( )为 3D曲线函数， Υ与 t对应，显然可令：

t = Y

5 = + f x)dx 其中： ①、（Χ,Υ,Ζ)为世界坐标系下的点的坐标；

②、 ^ζ = /( )。

这样也建立了世界坐标系 (Χ,Υ,Ζ)与 3D弧幕的 2D参数化表示 (s,t)。

本实施例中要改成柱面圓弧形式的参数坐标表示，例如，如果圓弧上任一点的 3D坐标点为（Xw,Yw,Zw ), 求解拉直的线段上的对应点（S,T ), 求解步骤可以包括：由（Xw,Zw )求解圓弧弧长 S, 而丁=丫\¥。

至此，可以确定摄像机与虚拟 2D平幕的映射关系 _→虚《²。，以及虚拟 2D 平幕与 3D弧幕的映射关系 ^^^。，之后，根据级联可以得到摄像机到 3D弧

！映射关系 Fc→ = 拟虚拟。

步骤 93: 根据投影仪到摄像机的映射关系、所述摄像机到 3D弧幕的映射关系以及 3D弧幕到输入超分辨率图像映射关系 , 得到投影仪帧緩存图像变换映射表；

步骤 94: 根据所述投影仪帧緩存图像变换映射表，对投影仪要投影的图像进行几何配准校正。步骤 93~94的内容可以参见步骤 12~ 13。

本实施例不采取等分 3D弧幕成平面幕，即，通过离散化 3D弧幕，每一个小段弧幕假设为一个平幕，进而采取平幕投影几何校正方法来校正 3D弧幕。本实施例把 3D弧幕变换到虚拟的 2D平幕中，把摄像机拍摄到的 3D弧幕变换到虚拟的平面图像中，在虚拟的 2D平幕和虚拟的平幕的图像上，移植现有平幕投影几何校正方法，校正 3D弧幕投影。也就是，最大程度基于现有平面幕校正技术，进行弧幕拼接几何校正。巧妙规避了复杂的 3D弧幕模型的建立，以及规避求解 3D弧幕到 2D图像的映射。

图 13为本发明第四实施例的装置结构示意图，该装置可以为独立设置的装置，之后将校正后的图像发送给投影仪緩存，也可以为设置在投影仪内的装置，在緩存前进行校正。该装置包括获取模块 131、确定模块 132和校正模块 133; 获取模块 131用于获取摄像机到 3D弧幕的映射关系；确定模块 132用于根据投影仪到摄像机的映射关系、所述获取模块得到的所述摄像机到 3D弧幕的映射关系以及 3D弧幕到输入超分辨率图像映射关系 , 得到投影仪帧緩存图像变换映射表；校正模块 133用于根据所述投影仪帧緩存图像变换映射表，对投影仪要投影的图像进行几何配准校正。

可以是，所述获取模块包括第一单元，所述第一单元用于：根据摄像机图像与虚拟摄像机图像的映射关系，以及虚拟摄像机图像与虚拟 2D平幕的映射关系，得到摄像机与虚拟 2D平幕的映射关系；根据所述摄像机与虚拟 2D平幕的映射关系，以及虚拟 2D平幕与 3D弧幕的映射关系，得到摄像机到 3D弧幕的映射关系。

或者，所述获取模块包括第二单元，所述第二单元用于：根据对 3D弧幕的拍摄图像，及所述 3D弧幕的几何信息，求解摄像机内外参数；根据所述摄像机内外参数及所述 3D弧幕的 2D坐标，得到摄像机到 3D弧幕的映射关系。

进一步可以是，所述第二单元获取的所述 3D弧幕的几何信息为已知信息。具体地，所述第二单元具体用于：根据所述拍摄图像中上下曲线的点的数目，对所述 3D弧幕的上下曲线进行等间隔采样，并建立拍摄图像的点与 3D 弧幕的采样点之间的对应关系；计算拍摄图像中点的 2D坐标与 3D弧幕的采样点对应的 2D坐标的误差和，所述 3D弧幕的采样点对应的 2D坐标为根据设定的初始的摄像机的内外参数及所述 3D弧幕的几何信息得到的；如果所述误差和不满足精度要求，则更新所述初始的摄像机的内外参数，并采用更新后的摄像机的内外参数重新计算所述 3D弧幕的采样点对应的 2D坐标，直至所述误差和满足精度要求；获取误差和满足精度要求时对应的摄像机的内外参数。

或者，所述第二单元具体用于：根据所述 3D弧幕的几何信息及设定的初始的摄像机的内外参数，计算 3D弧幕的曲线对应的 2D曲线；计算 3D弧幕的曲线对应的 2D曲线与拍摄图像的曲线之间的距离；如果所述距离不满足精度要求，则更新所述初始的摄像机的内外参数，并采用更新后的摄像机的内外参数重新计算 3D弧幕的曲线对应的 2D曲线，直至所述距离满足精度要求；获取距离满足精度要求时对应的摄像机的内外参数。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括： ROM, RAM ,磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

权利要求书

1、一种多投影拼接几何校正方法，其特征在于，包括：获取摄像机到 3D弧幕的映射关系；

根据投影仪到摄像机的映射关系、所述摄像机到 3D弧幕的映射关系以及 3D 弧幕到输入超分辨率图像映射关系，得到投影仪帧緩存图像变换映射表；根据所述投影仪帧緩存图像变换映射表，对投影仪要投影的图像进行几何配准校正。

2、根据权利要求 1所述的方法，其特征在于，所述获取摄像机到 3D弧幕的映射关系，包括：根据摄像机图像与虚拟摄像机图像的映射关系，以及虚拟摄像机图像与虚拟 2D平幕的映射关系，得到摄像机与虚拟 2D平幕的映射关系；根据所述摄像机与虚拟 2D平幕的映射关系，以及虚拟 2D平幕与 3D弧幕的映射关系，得到摄像机到 3D弧幕的映射关系。

3、根据权利要求 1所述的方法，其特征在于，所述获取摄像机到 3D弧幕的映射关系，包括：

根据对 3D弧幕的拍摄图像，及所述 3D弧幕的几何信息，获取摄像机内外参数；

根据所述摄像机内外参数及所述 3D弧幕的 2D坐标，得到摄像机到 3D弧幕的映射关系。

4、根据权利要求 3所述的方法，其特征在于，所述 3D弧幕的几何信息为已知信息。

5、根据权利要求 3或 4所述的方法，其特征在于，所述根据对 3D弧幕的拍摄图像，及所述 3D弧幕的几何信息，获取摄像机内外参数，包括：

根据所述拍摄图像中上下曲线的点的数目，对所述 3D弧幕的上下曲线进行等间隔采样，并建立拍摄图像的点与 3D弧幕的采样点之间的对应关系；根据设定的初始的摄像机的内外参数及所述 3D弧幕的几何信息得到所述

3D弧幕采样点对应的 2D坐标，并获取拍摄图像中点的 2D坐标与 3D弧幕的采样点对应的 2 D坐标的误差和；

如果所述误差和不满足精度要求，则更新所述初始的摄像机的内外参数，并采用更新后的摄像机的内外参数重新计算所述 3D弧幕的采样点对应的 2D坐标，直至所述误差和满足精度要求；

获取误差和满足精度要求时对应的摄像机的内外参数。

6、根据权利要求 3或 4所述的方法，其特征在于，所述根据对 3D弧幕的拍摄图像，及所述 3D弧幕的几何信息，获取摄像机内外参数，包括：

根据所述 3D弧幕的几何信息及设定的初始的摄像机的内外参数，计算 3D弧幕的曲线对应的 2D曲线；

计算 3D弧幕的曲线对应的 2D曲线与拍摄图像的曲线之间的距离；

如果所述距离不满足精度要求，则更新所述初始的摄像机的内外参数，并采用更新后的摄像机的内外参数重新计算 3D弧幕的曲线对应的 2D曲线，直至所述距离满足精度要求；

获取距离满足精度要求时对应的摄像机的内外参数。

7、一种校正装置，其特征在于，包括：

获取模块，用于获取摄像机到 3D弧幕的映射关系；

确定模块，用于根据投影仪到摄像机的映射关系、所述获取模块得到的所述摄像机到 3D弧幕的映射关系，以及 3D弧幕到输入超分辨率图像映射关系，得到投影仪帧緩存图像变换映射表；

8、根据权利要求 7所述的装置，其特征在于，所述获取模块包括第一单元，所述第一单元用于：根据摄像机图像与虚拟摄像机图像的映射关系，以及虚拟摄像机图像与虚拟 2D平幕的映射关系，得到摄像机与虚拟 2D平幕的映射关系；

根据所述摄像机与虚拟 2D平幕的映射关系，以及虚拟 2D平幕与 3D弧幕的映射关系，得到摄像机到 3D弧幕的映射关系。

9、根据权利要求 7所述的装置，其特征在于，所述获取模块包括第二单元，所述第二单元用于：

10、根据权利要求 9所述的装置，其特征在于，所述第二单元获取的所述 3D 弧幕的几何信息为已知信息。

1 1、根据权利要求 9或 10所述的装置，其特征在于，所述第二单元具体用于：根据所述拍摄图像中上下曲线的点的数目，对所述 3D弧幕的上下曲线进行等间隔采样，并建立拍摄图像的点与 3D弧幕的采样点之间的对应关系；

根据设定的初始的摄像机的内外参数及所述 3D弧幕的几何信息得到所述

获取误差和满足精度要求时对应的摄像机的内外参数；并

12、根据权利要求 9或 10所述的装置，其特征在于，所述第二单元具体用于：根据所述 3D弧幕的几何信息及设定的初始的摄像机的内外参数，计算 3D弧幕的曲线对应的 2D曲线；

计算 3D弧幕的曲线对应的 2D曲线与拍摄图像的曲线之间的距离；如果所述距离不满足精度要求，则更新所述初始的摄像机的内外参数，并采用更新后的摄像机的内外参数重新计算 3D弧幕的曲线对应的 2D曲线，直至所述距离满足精度要求；

获取距离满足精度要求时对应的摄像机的内外参数；并