WO2019062177A1

WO2019062177A1 - 基于主视点的全景视频映射方法

Info

Publication number: WO2019062177A1
Application number: PCT/CN2018/088806
Authority: WO
Inventors: 王荣刚; 王悦名; 王振宇; 高文
Original assignee: Peking University Shenzhen Graduate School
Current assignee: Peking University Shenzhen Graduate School
Priority date: 2017-09-26
Filing date: 2018-05-29
Publication date: 2019-04-04
Anticipated expiration: 2020-03-26
Also published as: US11301953B2; CN107622474B; CN107622474A; US20210192678A1

Abstract

一种全景视频非对称映射方法及相应的反映射方法，通过映射方法将全景图像或视频A所对应的球面映射到二维图像或视频B上；先将球面投影到底面为方形的等腰四棱锥上，再进一步将四棱锥投影到平面上；投影中对主视点的区域使用等角投影并使用较高的采样密度，保证主视点的区域的视频质量较高，对非主视点区域使用较低的采样密度以节省码率。该全景视频非对称映射技术在保证主视点区域视频质量不变的情况下，大大降低视频其余区域的分辨率，有效地节省了虚拟现实视频编码所需的码率。全景视频非对称反映射技术提供了从平面映射回球面的方法，通过此方法可将平面视频映射回球面进行渲染观看。

Description

基于主视点的全景视频映射方法

技术领域

本发明涉及虚拟现实(VR)视频技术领域，尤其涉及一种新的基于主视点的全景视频映射方法及相应的反映射方法，该映射技术用于全景视频，在保证全景视频的主视点区域质量不变的前提下，可大大减少全景视频的文件大小和编码的码率。

背景技术

随着虚拟现实视频的发展，对虚拟现实视频的需求日益增加。相较于传统视屏100多度的视角，虚拟现实视频需要提供360度的视角，因此虚拟现实视频需要更大的分辨率，此外虚拟现实视频通常需要在头戴式设备上观看，为了不给用户造成眩晕感，建议的帧率需要在60帧每秒以上，甚至需要120帧每秒。由于分辨率和帧率的增加，虚拟现实视频编码所需的码率也比传统视频大大增加。

虽然虚拟现实视频提供了360度的视角，但是用户在一小段时间内只会观看一个视点附近的图像，这个视点方向称为用户观看的主视点，针对这个特点，非对称映射技术和流切换技术被提出以实现节省码率的目的。非对称映射技术是使用较高的采样密度对主视点区域进行采样，而对别的区域使用较低的采样密度进行采样。流切换技术在服务器端编码存储多路主视点不同的非对称映射视频的码流，客户端根据用户视点的位置选择接收对应的流。

使用非对称映射技术和流切换技术虽然需要提高服务器端的存储和编码成本，但是能有效地降低网络的传输成本和客户端的解码复杂度，在一对多的应用场景下十分有效。但现有的非对称映射技术的编码效率较低下，还有待提高。

发明内容

为了克服上述现有技术的不足，进一步提高非对称映射技术的编码效率，本发明提出了一种新的全景视频非对称映射方法及相应的反映射方法。该全景视频非对称映射技术在保证主视点区域视频质量不变的情况下，大大降低视频其余区域的分辨率，有效地节省了虚拟现实视频编码所需的码率。全景视频非对称反映射技术提供了从平面映射回球面的方法，通过此方法可将平面视频映射回球面进行渲染观看。

本发明提供的技术方案是：

一种新的基于主视点的全景视频非对称映射方法，将全景图像或视频A所对应的球面映射到二维图像或视频B上；所述映射方法先将球面投影到底面为方形的等腰四棱锥上，再进一步将四棱锥投影到平面上；投影中对主视点附近的区域使用等角投影并使用较高的采样密度，保证主视点附近的区域的视频质量较高，对距离主视点较远的区域使用较低的采样密度以节省码率；进一步的，过球心O建立右手坐标系，Z轴指向球面经度和纬度为(0°，0°)的方向，Y轴指向球面北极的方向，X轴指向球面经度和纬度为(90°，0°)的方向；再建立一个四棱锥W，其底面中心在Z轴正半轴上，顶点在Z轴负半轴上，底面边分别与X轴和Y轴平行，四棱锥的底面中心D与球心O的连线记作l ₁，四棱锥的底面边的中心与球心O的连线记作l ₂，l ₁和l ₂所成角的角度为θ，将四棱锥的底面记为面I″，与X轴正半轴相交的侧面记为面II″，与Y轴正半轴相交的侧面记为面III″，与X轴负半轴相交的侧面记为面IV″，与Y轴负半轴相交的侧面记为面V″；当主视点的俯仰角(pitch)，航偏角(yaw)和翻滚角(roll)分别为(β ₁，β ₂，β ₃)时对应的四棱锥为上述四棱锥Q绕球心O旋转(β ₁，β ₂，β ₃)后对应的四棱锥Q′，过球心O与四棱锥Q′的四条底边作四个扇形平面，四个扇形平面将球面划为两个区域，其中包含主视点的区域称为主视点区域，其对应棱锥的底面，记为区域I，另一区域称为非主视点区域，过球心O与四棱锥Q′的四条侧边作四个扇形平面，四个平面进一步将非主视点区域划分为四个子区域，四个子区域分别对应棱锥的四个侧面II″，III″，IV″，V″，分别记作区域II、III、IV、V。本发明的映射方法将上述的区域I映射到分辨率为W _I′×H _I′的矩形平面I′上，将区域II、III、IV、V分别映射到四个等腰三角形平面II′，III′，IV′，V′上，四个等腰三角形平面的底和高分别为

再将四个等腰三角形拼接成分辨率为W _II′×H _II′矩形平面VI′。所述参数θ，W _I′，H _I′，W _II′，H _II′，β ₁，β ₂，β ₃均自行设置；矩形平面I′和矩形平面VI′即为映射得到的二维图像或视频B。

上述全景图像A的映射格式包括但不限于经纬图、立方体映射图像、多路相机采集的全景视频。上述二维图像或视频B包含上述矩形平面I′和矩形平面VI′。

针对上述全景图像映射方法，进一步地，将全景图像或视频A所对应的球面映射到二维平面图像或视频B上的方法包括如下步骤：

第一步：对矩形平面I′中的每个像素点，根据其在平面I′中的坐标(X _I′，Y _I′)，计算其对应到四棱锥Q′底面上的坐标Coordinate′，然后进一步根据透视投影的方法计算其对应到球面上的坐标Coordinate，最后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为平面I′中像素点(X _I，Y _I)的像素值，根据平面坐标(X _I′，Y _I′)计算球面坐标Coordinate的具体步骤为：

(1.1)将平面I′中坐标为(X _I′，Y _I′)的点对应四棱锥Q′底面上的点记为A _I′，四棱锥Q′底面对边中心的连线记为m ₁和m ₂，点A _I′在m ₁和m ₂上的投影分别记作B _I′和C _I′，四棱锥Q′底面中心记为D，A _I′的方位可以由角B _I′OD和角C _I′OD来确定；本发明中根据(X _I′，Y _I′)的值来计算角B _I′OD和角C _I′OD的大小，角B _I′OD和角C _I′OD的大小分别与X _I′和Y _I′的值成一次函数关系；

(1.2)根据角B _I′OD和角C _I′OD的大小以及β ₁，β ₂，β ₃的值求出A _I′的坐标Coordinate′；

(1.3)根据点A _I′的坐标，求出射线

与球面的交点坐标Coordinate；

第二步：对四个等腰三角形平面II′，III′，IV′，V′中的每个像素点，根据其坐标(X _II′，Y _II′)(X和Y坐标轴分别垂直和平行于等腰三角形的底边)，计算其对应到四棱锥Q′侧面上的坐标Coordinate′，然后进一步根据透视投影的方法计算其对应到球面上的坐标Coordinate，最后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为像素点(X _II′，Y _II′)的像素值，根据平面坐标(X _II′，Y _II′)计算球面坐标Coordinate的具体步骤为：

(2.1)将像素点(X _II′，Y _II′)对应到四棱锥Q′侧面上的点记为A _II′，四棱锥Q′侧面底边中心和顶点的连线记为n ₁，四棱锥Q′顶点和底面中心的连线记为n ₂，点A _II′在n ₁和n ₂上的投影分别记作B _II′和C _II′，四棱锥Q′底面中心记为D，A _II′的方位可以由角B _II′OD和角A _II′C _II′B _II′来确定；本发明中根据(X _II′，Y _II′)的值来计算角B _II′OD和角A _II′C _II′B _II′的大小，角A _II′C _II′B _II′的大小与Y _II′的值成一次函数关系，角B _II′OD的大小与X _II′的关系为∠B _II′OD＝f(X _II′)，f函数为满足以下条件的任意函数：

θ＝f(0)

180°＝f(H)

其中，H为等腰三角形的高，对于四个等腰三角形平面II′，III′，IV′，V′，其值分别为

(2.2)根据角B _II′OD和角A _II′C _II′B _II′的大小以及β ₁，β ₂，β ₃的值求出A _II′的坐标Coordinate′；

(2.3)根据点A _II′的坐标，求出射线

与球面的交点坐标Coordinate；

第三步：将第二步中得到的四个等腰三角形平面II′，III′，IV′，V′拼接成分辨率为W _II′×H _II′矩形平面VI′。

矩形平面I′和矩形平面VI′即为映射得到的二维图像或视频B。

针对上述全景视频映射过程，进一步的，步骤(2.1)中，f(X _II′)可为：

(其中C是大于0小于0.5的常数)。

另一方面，全景视频反映射过程是基于主视点，将二维图像或视频B映射回球面的过程；二维图像或视频B包含分辨率为W _I′×H _I′的矩形平面I′和分辨率为W _II′×H _II′矩形平面VI′，矩形平面VI′可进一步划分为四个等腰三角形平面II′，III′，IV′，V′，四个等腰三角形的底和高分别为

所述反映射方法先将上述平面通过等角投影等方法映射到四棱锥上，然后再将四棱锥映射到球面上。进一步的，过球心O建立右手坐标系，Z轴指向球面经度和纬度为(0°，0°)的方向，Y轴指向球面北极的方向，X轴指向球面经度和纬度为(90°，0°)的方向；再建立一个四棱锥W，其底面中心在Z轴正半轴上，顶点在Z轴负半轴上，底面边分别与X轴和Y轴平行，四棱锥的底面中心D与球心O的连线记作l ₁，四棱锥的底面边的中心与球心O的连线记作l ₂，l ₁和l ₂所成角的角度为θ，θ表示了主视点区域的大小，将四棱锥的底面记为面I″，与X轴正半轴相交的侧面记为面II″，与Y轴正半轴相交的侧面记为面III″，与X轴负半轴相交的侧面记为面IV″，与Y轴负半轴相交的侧面记为面V″；当主视点的俯仰角(pitch)，航偏角(yaw)和翻滚角(roll)分别为(β ₁，β ₂，β ₃)时对应的四棱锥为上述四棱锥Q绕球心O旋转(β ₁，β ₂，β ₃)后对应的四棱锥Q′，过球心O与四棱锥Q′的四条底边作四个扇形平面，四个扇形平面将球面划为两个区域，其中包含主视点的区域称为主视点区域，其对应棱锥的底面，记为区域I，另一区域称为非主视点区域，过球心O与四棱锥Q′的四条侧边作四个扇形平面，四个平面进一步将非主视点区域划分为四个子区域，四个子区域分别对应棱锥的四个侧面II″，III″，IV″，V″，分别记作区域II、III、IV、V。本发明的反映射方法将二维图像或视频B包含的分辨率为W _I′×H _I′的矩形平面I′映射到球面的主视点区域I上，将二维图像或视频B包含的四个等腰三角形平面II′，III′，IV′，V′映射到球面的非主视点区域II、III、IV、V上，所述参数θ，W _I′，H _I′，W _II′，H _II′，β ₁，β ₂，β ₃的值包括但不限于从码流中获取。

针对上述全景图像反映射方法，进一步地，将平面图像或视频B映射回球面的方法为对球面上的所有点具体进行如下操作：

第一步：根据球面点的坐标Coordinate以及β ₁，β ₂，β ₃的值判断其位于区域I、II、III、IV、V中的哪一个区域；如果其位于区域I中，则跳到第二步；如果其位于区域II、III、IV、V中，则跳到第五步；

第二步：将球面坐标为Coordinate的点记为A _I′，四棱锥Q′底面对边中心的连线记为m ₁和m ₂，点A _I′在m ₁和m ₂上的投影分别记作B _I′和C _I′，四棱锥Q′底面中心记为D；根据A _I′的坐标Coordinate以及β ₁，β ₂，β ₃的值来计算角B _I′OD和角C _I′OD的大小；

第三步：根据角B _I′OD和角C _I′OD的大小来计算平面坐标(X _I′，Y _I′)的值，X _I′和Y _I′的值分别与角B _I′OD和角C _I′OD的大小分别成一次函数关系；

第四步：取矩形平面I′上(X _I′，Y _I′)处的像素值(或附近像素进行插值)，作为球面上坐标为Coordinate的点的像素值；跳过后续步骤；

第五步：将球面坐标为Coordinate的点记为A _II′，四棱锥Q′侧面底边中心和顶点的连线记为n ₁，过n ₁于球心O的平面记为α ₃，四棱锥Q′顶点和底面中心的连线记为n ₂，点A _II′在α ₃和n ₂上的投影分别记作B _II′和C _II′，四棱锥Q′底面中心记为D；根据A _II′的坐标Coordinate以及β ₁，β ₂，β ₃的值来计算角B _II′OD和角A _II′C _II′B _II′的大小；

第六步：根据角B _II′OD和角A _II′C _II′B _II′的大小计算出平面坐标(X _II′，Y _II′)的值(X和Y坐标轴分别垂直和平行于等腰三角形的底边)，Y _II′的值与角A _II′C _II′B _II′的大小成一次函数关系，角B _II′OD的大小与X _II′的关系为∠B _II′OD＝f(X _II′)，f函数为满足以下条件的任意函数：

θ＝f(0)

180°＝f(H)

其中H为等腰三角形的高，对于四个等腰三角形平面II′，III′，IV′，V′，其值分别为

第七步：取三角形平面上(X _II′，Y _II′)处的像素值(或附近像素进行插值)，作为球面上坐标为Coordinate的点的像素值；

对球面上所有的点进行第一步到第七步的操作，由此得到球面的全景图像。

针对上述全景视频反映射过程，进一步的，第六步中，f(X _II′)可为：

(其中C是大于0小于0.5的常数)。

与现有技术相比，本发明的有益效果是：

本发明提供了一种新的全景视频非对称映射方法及相应的反映射方法，通过映射方法将全景图像或视频A所对应的球面映射到二维图像或视频B上；先将球面投影到底面为方形的等腰四棱锥上，再进一步将四棱锥投影到平面上；投影中对主视点的区域使用等角投影并使用较高的采样密度，保证主视点的区域的视频质量较高，对非主视点区域使用较低的采样密度以节省码率。该全景视频非对称映射技术在保证主视点区域视频质量不变的情况下，大大降低视频其余区域的分辨率，有效地节省了虚拟现实视频编码所需的码率。全景视频非对称反映射技术提供了从平面映射回球面的方法，通过此方法可将平面视频映射回球面进行渲染观看。

本发明克服了现有技术的不足，进一步提高非对称映射技术的编码效率，具有以下优点：

(一)本发明中主视点区域球面上的角度与平面坐标成一次函数的关系，即对主视点根据角度等间距的采样，保证主视点区域的采样比较均匀；

(二)本发明中的全景图像映射参数θ和函数f是可调的，即主视点区域的范围以及采样密度的变化速度是可调的；

(三)在合理设置参数θ和函数f(X _II)时，能保证主视点区域的质量，又能大大节省码率。如

时，将分辨率为4096x2048的视频映射成分辨率为平面I′和平面VI′分辨率均为1024x1024的视频，然后将平面I和平面II拼接成分辨率均为2048x1024的视频，相比于已有的非对称映射技术能提高约10％-30％的编码效率；

(四)通过反映射方法，可将本发明中的平面图像B映射回球面进行渲染观看。

附图说明

图1是本发明映射过程中，球面与平面映射关系示意图；

其中，(a)为当主视点的俯仰角(pitch)，航偏角(yaw)和翻滚角(roll)分别为(0°，0°，0°）时对应的四棱锥和球面的示意图；(b)为当主视点的俯仰角(pitch)，航偏角(yaw)和翻滚角(roll)分别为(β ₁，β ₂，β ₃)时对应的四棱锥和球面的示意图；(c)为将球面通过本发明方法映射到平面后得到的矩形平面I′和矩形平面VI′的示意图；

(a)中：O为球心；Z轴指向球面经度和纬度为(0°，0°）的方向，Y轴指向球面北极的方向，X轴指向球面经度和纬度为(90°，0°）的方向；四棱锥中，底面中心D在Z轴正半轴上，顶点在Z轴负半轴上，底面边分别与X轴和Y轴平行；四棱锥的底面中心D与球心O的连线和四棱锥的底面边的中心与球心O的连线所成角的角度为θ，θ表示主视点区域的大小；

(b)中：四棱锥是将(a)中四棱锥根据俯仰角(pitch)，航偏角(yaw)和翻滚角(roll)绕球心O进行旋转后的结果；

(c)中：I′为矩形平面；II′，III′，IV′，V′为四个等腰三角形平面，II′，III′，IV′，V′拼接成矩形平面VI′

图2是本发明中矩形面平I′中坐标为(X _I′，Y _I′)的点与四棱锥上的点A _I′的映射关系示意图；

其中，(a)是矩形面平I′中坐标为(X _I′，Y _I′)的点的示意图；(b)是四棱锥上的点A _I′的示意图；图中，O是球心，D是主视点中心，m ₁和m ₂分别是四棱锥底面对边中点的连线，点A _I′是矩形面平I′中坐标为(X _I′，Y _I′)的点映射到四棱锥上的对应点，B _I′和C _I′分别是点A _I′在m ₁和m ₂上的投影。

图3是本发明中三角形平面中坐标为(X _II′，Y _II′)的点与四棱锥上的点A _II′的映射关系示意图；

其中，(a)是三角形平面中坐标为(X _II′，Y _II′)的点的示意图；(b)是四棱锥上的点A _II′的示意图；图中，O是球心，D是主视点中心，n ₁是四棱锥侧面底边中心和顶点的连线，n ₂是四棱锥顶点和底面中心D的连线，点A _II′是三角形平面中坐标为(X _II′，Y _II′)的点映射到四棱锥上的对应点，B _II′和C _II′分别是点A _II′在n ₁和n ₂上的投影。

图4是本发明全景图像映射方法实施例效果图。

图5是本发明全景图像反映射方法中计算角BOD和角COD时的示意图；

其中，点B和点C分别是点A在ZOX平面和ZOY平面上投影；D是Z轴正半轴上的点，E是Z轴负半轴上的点。

图6是本发明全景图像反映射方法中球面上位于区域I中的点A _I′与矩形平面I′中坐标为(X _I′，Y _I′)的点的映射关系示意图；

其中，(a)是球面上位于区域I中的点A _I′的示意图，O是球心，D是主视点中心，m ₁和m ₂分别是四棱锥底面对边中点的连线，B _I′和C _I′分别是点A _I′在m ₁和m ₂上的投影；(b)是矩形平面I′中坐标为(X _I′，Y _I′)的点的示意图。

图7本发明全景图像反映射方法中球面上位于区域II、III、IV、V中的点A _II′与三角形平面中的点(X _II′，Y _II′)的映射关系示意图；

其中，(a)是球面上位于区域II、III、IV、V中的点A _II′的示意图，O是球心，D是主视点中心，n ₁是四棱锥侧面底边中心和顶点的连线，n ₂是四棱锥顶点和底面中心D的连线，B _II′和C _II′分别是点A _II′在n ₁和n ₂上的投影；(b)是三角形平面中的点(X _II′，Y _II′)的示意图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明实施例提供了一种基于主视点的全景图像映射方法，包括全景图像映射方法以及相应的反映射方法，以下分别介绍映射方法以及反映射方法的实施例。

在全景图像映射方法的实施例中，我们将某种映射格式的全景图像A(如经纬图，立方体映射图像等)所对应的球面映射到本发明中设计的全景映射对应的平面图像B，平面图像B包含分辨率为W _I′×H _I′的矩形平面I′和分辨率为W _II′×H _II′矩形平面VI′。全景图像映射方法先将球面投影到底面为方形的等腰四棱锥上，再进一步将四棱锥投影到平面上；投影中对主视点的区域使用等角投影并使用较高的采样密度，保证主视点的区域的视频质量较高，对非主视点区域使用较低的采样密度以节省码率。如图1所示，过球心O建立右手坐标系，Z轴指向球面经度和纬度为(0°，0°)的方向，Y轴指向球面北极的方向，X轴指向球面经度和纬度为(90°，0°)的方向；再建立一个四棱锥W，其底面中心在Z轴正半轴上，顶点在Z轴负半轴上，底面边分别与X轴和Y轴平行，四棱锥的底面中心D与球心O的连线记作l ₁，四棱锥的底面边的中心与球心O的连线记作l ₂，l ₁和l ₂所成角的角度为θ，θ表示了主视点区域的大小，将四棱锥的底面记为面I″，与X轴正半轴相交的侧面记为面II″，与Y轴正半轴相交的侧面记为面III″，与X轴负半轴相交的侧面记为面IV″，与Y轴负半轴相交的侧面记为面V″；当主视点的俯仰角(pitch)，航偏角(yaw)和翻滚角(roll)分别为(β ₁，β ₂，β ₃)时对应的四棱锥为上述四棱锥Q绕球心O旋转(β ₁，β ₂，β ₃)后对应的四棱锥Q′，过球心O与四棱锥Q′的四条底边作四个扇形平面，四个扇形平面将球面划为两个区域，其中包含主视点的区域称为主视点区域，其对应棱锥的底面，记为区域I，另一区域称为非主视点区域，过球心O与四棱锥Q′的四条侧边作四个扇形平面，四个平面进一步将非主视点区域划分为四个子区域，四个子区域分别对应棱锥的四个侧面II″，III″，IV″，V″，分别记作区域II、III、IV、V。本发明的映射方法将上述的区域I映射到分辨率为W _I′×H _I′的矩形平面I′上，将区域II、III、IV、V分别映射到四个等腰三角形平面II′，III′，IV′，V′上，四个等腰三角形平面的底和高分别为

再将四个等腰三角形拼接成分辨率为W _II′×H _II′矩形平面VI′。所述参数θ，W _I′，H _I′，W _II′，H _II′，β ₁，β ₂，β ₃均自行设置。全景图像映射方法具体的流程如下：

(1.1)如图2所示，平面I′中坐标为(X _I′，Y _I′)的点对应四棱锥Q′底面上的点为A _I′，四棱锥Q′底面对边中心的连线记为m ₁和m ₂，点A _I′在m ₁和m ₂上的投影分别为B _I′和C _I′，根据(X _I′，Y _I′)的值来计算角B _I′OD和角C _I′OD的大小，其计算公式为：

(1.2)根据角B _I′OD和角C _I′OD的大小以及β ₁，β ₂，β ₃的值求出A _I′的坐标Coordinate′，Coordinate′由笛卡尔坐标来表示，其计算公式为：

其中T是一个根据俯仰角β ₁，航偏角β ₂和翻滚角β ₃生成的3×3维的旋转矩阵；k是线段OD的长度；

(1.3)根据点A _I′的坐标，求出射线

与球面的交点坐标Coordinate，坐标Coordinate由笛卡尔坐标来表示，其计算公式为：

其中，R是球的半径；

表示OA _I′线段的模，即OA _I′线段的长度，

除以

即是对

进行归一化操作。

需说明，上述步骤(1.2)中k的值未知，但不影响后续计算，因为步骤(1.3)中对

进行归一化操作时，k会被消除掉。

(2.1)如图3所示，将像素点(X _II′，Y _II′)对应到四棱锥Q′侧面上的点为A _II′，四棱锥Q′侧面底边中心和顶点的连线为n ₁，四棱锥Q′顶点和底面中心的连线为n ₂，点A _II′在n ₁和n ₂上的投影分别为B _II′和C _II′，根据(X _II′，Y _II′)的值来计算角B _II′OD和角A _II′C _II′B _II′的大小，其计算公式如下：

∠B _II′OD＝f(X _II′)

其中，f函数为满足以下条件的任意函数：

θ＝f(0)

180°＝f(H)

L为等腰三角形的底，对于四个等腰三角形平面II′，III′，IV′，V′，其值分别为W _II′，H _II′，W _II′，H _II′；

(2.2)根据角B _II′OD和角A _II′C _II′B _II′的大小以及β ₁，β ₂，β ₃的值求出A _II′的坐标Coordinate′，Coordinate′由笛卡尔坐标来表示，其计算公式为：

其中T是一个根据俯仰角β ₁，航偏角β ₂和翻滚角β ₃生成的3×3维的旋转矩阵；k是线段C _II′B _II′的长度；

(2.3)根据点A _II′的坐标，求出射线

其中，R是球的半径；

表示OA _I′线段的模，即OA _I′线段的长度，

除以

即是对

进行归一化操作。

需说明，上述步骤(2.2)中k的值未知，但不影响后续计算，因为步骤(2.3)中对

进行归一化操作时，k会被消除掉。

第三步：将第二步中得到的四个等腰三角形平面II′，III′，IV′，V′拼接成分辨率为W _II′×H _II′矩形平面VI′；

至此，全景图像映射方法的实施例的所有步骤完成，实施例展示效果如图4所示。

另一方面，在全景图像反映射方法的实施例中，基于主视点，将二维图像或视频B映射回球面；二维图像或视频B包含分辨率为W _I′×H _I′的矩形平面I′和分辨率为W _II′×H _II′矩形平面VI′，矩形平面VI′可进一步划分为四个等腰三角形平面II′，III′，IV′，V′，四个等腰三角形的底和高分别为

所述反映射方法先将上述平面通过等角投影等方法映射到四棱锥上，然后再将四棱锥映射到球面上。进一步的，过球心O建立右手坐标系，Z轴指向球面经度和纬度为(0°，0°)的方向，Y轴指向球面北极的方向，X轴指向球面经度和纬度为(90°，0°)的方向；再建立一个四棱锥W，其底面中心在Z轴正半轴上，顶点在Z轴负半轴上，底面边分别与X轴和Y轴平行，四棱锥的底面中心D与球心O的连线记作l ₁，四棱锥的底面边的中心与球心O的连线记作l ₂，l ₁和l ₂所成角的角度为θ，θ表示了主视点区域的大小，将四棱锥的底面记为面I″，与X轴正半轴相交的侧面记为面II″，与Y轴正半轴相交的侧面记为面III″，与X轴负半轴相交的侧面记为面IV″，与Y轴负半轴相交的侧面记为面V″；当主视点的俯仰角(pitch)，航偏角(yaw)和翻滚角(roll)分别为(β ₁，β ₂，β ₃)时对应的四棱锥为上述四棱锥Q绕球心O旋转(β ₁，β ₂，β ₃)后对应的四棱锥Q′，过球心O与四棱锥Q′的四条底边作四个扇形平面，四个扇形平面将球面划为两个区域，其中包含主视点的区域称为主视点区域，其对应棱锥的底面，记为区域I，另一区域称为非主视点区域，过球心O与四棱锥Q′的四条侧边作四个扇形平面，四个平面进一步将非主视点区域划分为四个子区域，四个子区域分别对应棱锥的四个侧面II″，III″，IV″，V″，分别记作区域II、III、IV、V。本发明的反映射方法将二维图像或视频B包含的分辨率为W _I′×H _I′的矩形平面I′映射到球面的主视点区域I上，将二维图像或视频B包含的四个等腰三角形平面II′，III′，IV′，V′映射到球面的非主视点区域II、III、IV、V上，所述参数θ，W _I′，H _I′，W _II′，H _II′，β ₁，β ₂，β ₃的值包括但不限于从码流中获取。全景图像反映射方法具体的流程如下：

第一步：根据球面点的坐标Coordinate以及β ₁，β ₂，β ₃的值判断其位于区域I、II、III、IV、V中的哪一个区域；其具体方法为：

首先根据β ₁，β ₂，β ₃对球面点的坐标Coordinate进行旋转，坐标Coordinate由笛卡尔坐标来表示为(X _球，Y _球，Z _球)，旋转后的点记为A，A的坐标为：

(X _A，Y _A，Z _A)＝(X _球，Y _球，Z _球)×T′

其中，T′是一个根据俯仰角-β ₁，航偏角-β ₂和翻滚角-β ₃生成的3×3维的旋转矩阵；

如图5所示，将点A向ZOX平面和ZOY平面上投影，投影点分别为点B和点C，计算角BOD和角COD的大小：

∠COD＝arctan(Y _A，Z _A)

∠BOD＝arctan(X _A，Z _A)

根据角BOD和角COD判断其所在区域：

如果不是以上情况，则点在区域II、III、IV、V中，需根据X _A，Y _A的值进一步判断：

如果其位于区域I中，则跳到第二步；如果其位于区域II、III、IV、V中，则跳到第五步；

第二步：如图6所示，将球面坐标为Coordinate的点记为A _I′，坐标Coordinate由笛卡尔坐标来表示为(X _球，Y _球，Z _球)，四棱锥Q′底面对边中心的连线记为m ₁和m ₂，点A _I′在m ₁和m ₂上的投影分别记作B _I′和C _I′，四棱锥Q′底面中心记为D；根据A _I′的坐标Coordinate以及β ₁，β ₂，β ₃的值来计算角B _I′OD和角C _I′OD的大小：

角B _I′OD和角C _I′OD的计算与第一步中角BOD和角COD的计算方法一样，因此，也可直接使用第一步中角BOD和角COD的值作为角B _I′OD和角C _I′OD的值；

第三步：根据角B _I′OD和角C _I′OD的大小来计算平面坐标(X _I′，Y _I′)的值，其计算公式如下：

第五步：如图7所示，将球面坐标为Coordinate的点记为A _II′，坐标Coordinate由笛卡尔坐标来表示为(X _球，Y _球，Z _球)，四棱锥Q′侧面底边中心和顶点的连线记为n ₁，过n ₁于球心O的平面记为α ₂，四棱锥Q′顶点和底面中心的连线记为n ₂，点A _II′在α ₃和n ₂上的投影分别记作B _II′和C _II′，四棱锥Q′底面中心记为D；根据A _II′的坐标Coordinate以及β ₁，β ₂，β ₃的值来计算角B _II′OD和角A _II′C _II′B _II′的大小；

第六步：根据角B _II′OD和角A _II′C _II′B _II′的大小计算出平面坐标(X _II′，Y _II′)的值(X和Y坐标轴分别垂直和平行于等腰三角形的底边)，Y _II′的值与角A _II′C _II′B _II′的关系为：

角B _II′OD的大小与X _II′的关系为∠B _II′OD＝f(X _II′)，f函数为满足以下条件的任意函数：

θ＝f(0)

180°＝f(H)

第七步：取对应三角形平面上(X _II′，Y _II′)处的像素值(或附近像素进行插值)，作为球面上坐标为Coordinate的点的像素值；

至此，完成全景图像反映射方法实施的所有步骤。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims

一种基于主视点的全景视频映射方法，将全景图像或视频A所对应的球面映射到二维图像或视频B上；首先将球面投影到底面为方形的等腰四棱锥上，再进一步将等腰四棱锥投影到平面上；投影中对主视点区域使用等角投影并使用较高的采样密度，使得主视点的区域的视频质量较高；对非主视点区域使用较低的采样密度以节省码率。
如权利要求1所述全景视频映射方法，其特征是，所述全景视频映射方法包括：

首先过球心O建立右手坐标系，Z轴指向球面经度和纬度为(0°，0°)的方向，Y轴指向球面北极的方向，X轴指向球面经度和纬度为(90°，0°)的方向；

再建立一个四棱锥W，底面中心在Z轴正半轴上，顶点在Z轴负半轴上，底面边分别与X轴和Y轴平行，四棱锥的底面中心D与球心O的连线记作l ₁，四棱锥的底面边的中心与球心O的连线记作l ₂，l ₁和l ₂所成角的角度为θ，θ表示主视点区域的大小；

将四棱锥的底面记为面I″，与X轴正半轴相交的侧面记为面II″，与Y轴正半轴相交的侧面记为面III″，与X轴负半轴相交的侧面记为面IV″，与Y轴负半轴相交的侧面记为面V″；当主视点的俯仰角pitch、航偏角yaw和翻滚角roll分别为(β ₁，β ₂，β ₃)时，对应的四棱锥设为四棱锥Q绕球心O旋转(β ₁，β ₂，β ₃)后对应的四棱锥Q′；

过球心O与四棱锥Q′的四条底边作四个扇形平面，四个扇形平面将球面划为两个区域，其中包含主视点的区域称为主视点区域，其对应棱锥的底面，记为区域I，另一区域称为非主视点区域；

过球心O与四棱锥Q′的四条侧边作四个扇形平面，四个扇形平面进一步将非主视点区域划分为四个子区域，四个子区域分别对应棱锥的四个侧面II″、III″、IV″、V″，分别记作区域II、III、IV、V；

将区域I映射到分辨率为W _I′×H _I′的矩形平面I′上；将区域II、III、IV、V分别映射到四个等腰三角形平面II′，III′，IV′，V′上，四个等腰三角形平面的底和高分别为

再将四个等腰三角形拼接成分辨率为W _II′×H _II′矩形平面VI′；

矩形平面I′和矩形平面VI′即为映射得到的二维图像或视频B；

所述参数θ，W _I′，H _I′，W _II′，H _II′，β ₁，β ₂，β ₃均可自行设置。
如权利要求2所述全景视频映射方法，其特征是，所述全景视频映射方法包括如下步骤：

第一步：对矩形平面I′中的每个像素点，根据其在平面I′中的坐标(X _I′，Y _I′)，计算其对应到四棱锥Q′底面上的坐标Coordinate′；然后进一步根据透视投影的方法计算其对应到球面上的坐标Coordinate；最后根据球面坐标Coordinate取球面上对应位置的像素值，附近像素通过插值计算得到相应像素值，作为平面I′中像素点(X _I，Y _I)的像素值；

第二步：对四个等腰三角形平面II′，III′，IV′，V′中的每个像素点，根据其坐标(X _II′，Y _II′)，计算其对应到四棱锥Q′侧面上的坐标Coordinate′，然后进一步根据透视投影的方法计算其对应到球面上的坐标Coordinate，最后根据球面坐标Coordinate取球面上对应位置的像素值，或附近像素通过插值计算得到相应像素值，作为像素点(X _II′，Y _II′)的像素值；

第三步：将第二步中得到的四个等腰三角形平面II′，III′，IV′，V′拼接成分辨率为W _II′×H _II′矩形平面VI′。
如权利要求3所述全景视频映射方法，其特征是，第一步中，根据平面坐标(X _I′，Y _I′)计算球面坐标Coordinate的具体步骤为：

(1.1)将平面I′中坐标为(X _I′，Y _I′)的点对应四棱锥Q′底面上的点记为A _I′，四棱锥Q′底面对边中心的连线记为m ₁和m ₂，点A _I′在m ₁和m ₂上的投影分别记作B _I′和C _I′，四棱锥Q′底面中心记为D，A _I′的方位可由角B _I′OD和角C _I′OD来确定；优选地，可根据(X _I′，Y _I′)的值来计算角B _I′OD和角C _I′OD的大小，角B _I′OD和角C _I′OD的大小分别与X _I′和Y _I′的值成一次函数关系；

(1.2)根据角B _I′OD和角C _I′OD的大小以及β ₁，β ₂，β ₃的值求出A _I′的坐标Coordinate′；

(1.3)根据点A _I′的坐标，求出射线
与球面的交点坐标Coordinate。
如权利要求3所述全景视频映射方法，其特征是，第二步中，根据平面坐标(X _II′，Y _II′)计算球面坐标Coordinate的具体步骤为：

(2.1)将像素点(X _II′，Y _II′)对应到四棱锥Q′侧面上的点记为A _II′，四棱锥Q′侧面底边中心和顶点的连线记为n ₁，四棱锥Q′顶点和底面中心的连线记为n ₂，点A _II′在n ₁和n ₂上的投影分别记作B _II′和C _II′，四棱锥Q′底面中心记为D，A _II′的方位可由角B _II′OD和角A _II′C _II′B _II′来确定；优选地，可根据(X _II′，Y _II′)的值来计算角B _II′OD和角A _II′C _II′B _II′的大小，角A _′I′C _II′B _II′的大小与Y _II′ 的值成一次函数关系，角B _II′OD的大小与X _II′的关系为∠B _II′OD＝f(X _II′)，f函数为满足以下条件的任意函数：

θ＝f(0)

180°＝f(H)

其中H为等腰三角形的高，对于四个等腰三角形平面II′，III′，IV′，V′，其值分别为

(2.2)根据角B _II′OD和角A _II′C _II′B _II′的大小以及β ₁，β ₂，β ₃的值求出A _II′的坐标Coordinate′；

(2.3)根据点A _II′的坐标，求出射线
与球面的交点坐标Coordinate。
如权利要求5所述全景视频映射方法，其特征是，步骤(2.1)中，f(X _II′)为：

其中C是大于0小于0.5的常数。
如权利要求1所述全景视频映射方法，其特征是，全景图像A的映射格式包括但不限于经纬图、立方体映射图像、多路相机采集的全景视频。
一种基于主视点的全景视频反映射方法，基于主视点，将二维图像或视频B映射回球面；二维图像或视频B包含分辨率为W _I′×H _I′的矩形平面I′和分辨率为W _II′×H _II′矩形平面VI′；矩形平面VI′进一步划分为四个等腰三角形平面II′，III′，IV′，V′，四个等腰三角形的底和高分别为
所述反映射方法先将上述平面通过等角投影等方法映射到四棱锥上，然后再将四棱锥映射到球面上；包括：

过球心O建立右手坐标系，Z轴指向球面经度和纬度为(0°，0°)的方向，Y轴指向球面北极的方向，X轴指向球面经度和纬度为(90°，0°)的方向；

再建立一个四棱锥W，其底面中心在Z轴正半轴上，顶点在Z轴负半轴上，底面边分别与X轴和Y轴平行，四棱锥的底面中心D与球心O的连线记作l ₁，四棱锥的底面边的中心与球心O的连线记作l ₂，l ₁和l ₂所成角的角度为θ，θ表示了主视点区域的大小，将四棱锥的底面记为面I″，与X轴正半轴相交的侧面记为面II″，与Y轴正半轴相交的侧面记为面III″，与X轴负半轴相交的侧面记为面IV″，与Y轴负半轴相交的侧面记为面V″；

当主视点的俯仰角pitch，航偏角yaw和翻滚角roll分别为(β ₁，β ₂，β ₃)时，对应的四棱锥设为上述四棱锥Q绕球心O旋转(β ₁，β ₂，β ₃)后对应的四棱锥Q′，过球心O与四棱锥Q′的四条底边作四个扇形平面，四个扇形平面将球面划为两个区域，其中包含主视点的区域称为主视点区域，其对应棱锥的底面，记为区域I，另一区域称为非主视点区域；

过球心O与四棱锥Q′的四条侧边作四个扇形平面，四个平面进一步将非主视点区域划分为四个子区域，四个子区域分别对应棱锥的四个侧面II″，III″，IV″，V″，分别记作区域II、III、IV、V；

将二维图像或视频B包含的分辨率为W _I′×H _I′的矩形平面I′映射到球面的主视点区域I上，将二维图像或视频B包含的四个等腰三角形平面II′，III′，IV′，V′映射到球面的非主视点区域II、III、IV、V上；

所述参数θ，W _I′，H _I′，W _II′，H _II′，β ₁，β ₂，β ₃的值包括但不限于从码流中获取。
如权利要求8所述全景视频反映射方法，其特征是，将平面图像或视频B映射回球面，针对球面上的所有点进行如下操作：

第一步：根据球面点的坐标Coordinate以及β ₁，β ₂，β ₃的值判断其位于区域I、II、III、IV、V中的哪一个区域；如果其位于区域I中，则跳到第二步；如果其位于区域II、III、IV、V中，则跳到第五步；

第二步：将球面坐标为Coordinate的点记为A _I′，四棱锥Q′底面对边中心的连线记为m ₁和m ₂，点A _I′在m ₁和m ₂上的投影分别记作B _I′和C _I′，四棱锥Q′底面中心记为D；根据A _I′的坐标Coordinate以及β ₁，β ₂，β ₃的值来计算角B _I′OD和角C _I′OD的大小；

第三步：根据角B _I′OD和角C _I′OD的大小来计算平面坐标(X _I′，Y _I′)的值，X _I′和Y _I′的值分别与角B _I′OD和角C _I′OD的大小分别成一次函数关系；

第四步：取矩形平面I′上(X _I′，Y _I′)处的像素值，或附近像素进行插值，作为球面上坐标为Coordinate的点的像素值；跳过后续步骤；

第五步：将球面坐标为Coordinate的点记为A _II′，四棱锥Q′侧面底边中心和顶点的连线记为n ₁，过n ₁于球心O的平面记为α ₃，四棱锥Q′顶点和底面中心的连线记为n ₂，点A _II′在α ₃和n ₂上的投影分别记作B _II′和C _II′，四棱锥Q′底面中心记为D；根据A _II′的坐标Coordinate以及 β ₁，β ₂，β ₃的值来计算角B _II′OD和角A _II′C _II′B _II′的大小；

第六步：根据角B _II′OD和角A _II′C _II′B _II′的大小计算出平面坐标(X _II′，Y _II′)的值，Y _II′的值与角A _II′C _II′B _II′的大小成一次函数关系，角B _II′OD的大小与X _II′的关系为∠B _II′OD＝f(X _II′)，f函数为满足以下条件的任意函数：

θ＝f(0)

180°＝f(H)

其中，H为等腰三角形的高，对于四个等腰三角形平面II′，III′，IV′，V′，其值分别为

第七步：取三角形平面上(X _II′，Y _II′)处的像素值，或附近像素进行插值，作为球面上坐标为Coordinate的点的像素值；

对球面上所有的点进行第一步到第七步的操作，由此得到球面的全景图像。
如权利要求9所述全景视频反映射方法，其特征是，第六步中，f(X _II′)可为：

其中，C是大于0小于0.5的常数。