WO2018157568A1 - 全景图像映射方法 - Google Patents

全景图像映射方法 Download PDF

Info

Publication number
WO2018157568A1
WO2018157568A1 PCT/CN2017/098378 CN2017098378W WO2018157568A1 WO 2018157568 A1 WO2018157568 A1 WO 2018157568A1 CN 2017098378 W CN2017098378 W CN 2017098378W WO 2018157568 A1 WO2018157568 A1 WO 2018157568A1
Authority
WO
WIPO (PCT)
Prior art keywords
plane
iii
point
latitude
pixel
Prior art date
Application number
PCT/CN2017/098378
Other languages
English (en)
French (fr)
Inventor
王荣刚
王悦名
王振宇
高文
Original Assignee
北京大学深圳研究生院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京大学深圳研究生院 filed Critical 北京大学深圳研究生院
Priority to US16/490,373 priority Critical patent/US10798301B2/en
Publication of WO2018157568A1 publication Critical patent/WO2018157568A1/zh
Priority to US16/558,870 priority patent/US20200074593A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present invention relates to the field of virtual reality (VR), and more particularly to a new panoramic image mapping method capable of reducing the code rate required for encoding panoramic images and video, and can be used for panoramic images and video.
  • VR virtual reality
  • mapping a 360° panoramic image onto a two-dimensional plane In the existing methods, the most common mapping method is the equientctangular mapping. This mapping method samples the spherical surface according to the longitude and latitude of the spherical surface, and maps the spherical surface to the two-dimensional plane.
  • mapping 360° panoramic images by this mapping method there is a serious oversampling phenomenon in the high latitude area of the spherical surface, and the code rate required for encoding and the complexity of decoding are high.
  • the invention provides a new panoramic image mapping method and a corresponding inverse mapping method thereof.
  • the panoramic image mapping method can map a spherical surface onto a two-dimensional plane, and the panoramic image inverse mapping method can be mapped from a plane to a spherical surface for rendering.
  • the method of the invention effectively improves the oversampling of the spherical surface corresponding to the panoramic image or video in the high latitude region, reduces the code rate required for encoding the panoramic image and the video, and improves the coding efficiency.
  • a panoramic image mapping method which maps a spherical image corresponding to a panoramic image or a video A to a two-dimensional planar image or video B, can improve oversampling of the panoramic image in a high latitude region, and reduce a code required for encoding the panoramic image and the video.
  • the mapping method maps the spherical surface into a two-dimensional plane. First, according to the latitude of the spherical surface, the spherical surface is divided into three regions: respectively, the region I, the region II, and the region III; the region I corresponds to a spherical surface with a latitude of -90°.
  • the region II corresponds to the region on the spherical surface with the latitudes Z 1 to Z 2
  • the region III corresponds to the region on the spherical surface with the latitude of Z 2 to 90°; then the region I is mapped to the resolution W I ⁇ W I Square plane I', area II is mapped to rectangular plane II' with resolution W II ⁇ H II , area III is mapped to square plane III' with resolution W III ⁇ W III ; finally according to W I , W II , H
  • the values of II and W III are the planes I', II', III' into a plane, and the plane is the above two-dimensional plane image B; the parameters Z 1 , Z 2 , W I , W II , H II , W III can be set, and the conditions must be met: -90 ° ⁇ Z 1 ⁇ Z 2 And Z 1 ⁇ Z 2 ⁇ 90°.
  • the process of mapping the spherical image corresponding to the panoramic image or the video A onto the two-dimensional planar image or the video B includes the following steps or an equivalent implementation of the following steps:
  • the square plane I' can be regarded as a plurality of concentric squares.
  • the distance from the point to the zeroth point on the concentric square where it is located is calculated as n; the position of the zeroth point can be Arbitrarily selected, the above distance can be calculated in a clockwise or counterclockwise manner;
  • offset is the longitude corresponding to the center of the rectangular plane II', which can be set by itself.
  • the square plane III' can be regarded as a plurality of concentric squares.
  • the distance from the point to the zeroth point on the concentric square where it is located is calculated as n; the position of the zeroth point can be Arbitrarily selected;
  • the mapping format of the panoramic image or video A includes, but is not limited to, a warp andft image, a cube-mapped image or a video, a panoramic image or video captured by a multi-way camera.
  • the vertical distance and the horizontal distance of the point to the center of the square plane I′ are calculated in step 1.1), and the calculation formula of the larger one recorded as m is as follows:
  • step 1.2 the distance from the point to the zeroth point on the concentric square where the point is located is calculated, and the pixel in the upper right corner is selected as the zeroth pixel, and the distance is calculated in the counterclockwise direction.
  • the calculation method is as follows:
  • step 1.3 the calculation formulas of the latitude latitude and the longitude longitude corresponding to the point of the (X, Y) coordinate in the square plane I' are calculated according to n and m:
  • step 3.2 the distance from the point to the zeroth point on the concentric square where the point is located is calculated, and the pixel in the upper right corner is selected as the zeroth pixel, and the distance is calculated in the clockwise direction.
  • the calculation method is as follows:
  • step 3.3 the calculation formulas of the latitude latitude and the longitude longitude corresponding to the point of the (X, Y) coordinate in the square plane III' are calculated according to n and m:
  • the rectangular plane II' is divided into four facets of resolution H II ⁇ H II , which are recorded as: II′ 1 , II′ 2 , II′ 3 , II′ 4 And then splicing them into a plane with a resolution of 6W I ⁇ W I in the order of plane II′ 1 , plane II′ 2 , plane II′ 3 , plane III′, plane II′ 4 , plane I′, in the splicing
  • the plane III' is rotated 90° clockwise, and the plane II' 4 is rotated 90° counterclockwise.
  • the panoramic image inverse mapping method maps a two-dimensional planar image or video B back to a spherical surface, and the two-dimensional planar image B is formed by splicing three planes, which are recorded as plane I', plane II', plane III.
  • plane I' is a square plane with a resolution of W I ⁇ W I
  • plane II' is a rectangular plane with a resolution of W II ⁇ H II
  • plane III' is a square plane with a resolution of W III ⁇ W III ;
  • the panoramic video anti-mapping method maps the plane I′ back to the region I with a latitude of -90° to Z 1 on the spherical surface, and the plane II′ maps back to the region II with the latitude Z 1 to Z 2 on the spherical surface, and the plane III′ is mapped back to the spherical surface.
  • the region latitude is Z 2 to 90°
  • the values of the parameters Z 1 , Z 2 , W I , W II , H II , W III include, but are not limited to, those obtained from the code stream.
  • the process of mapping a two-dimensional planar image or video B back to a spherical surface includes the following steps and an equivalent implementation of the following steps:
  • offset is the longitude corresponding to the center of the rectangular plane II'.
  • the splitting can be performed by dividing the two-dimensional planar image B into six planes of W I ⁇ W I , which are respectively referred to as plane 1, plane 2, plane 3, plane 4, plane.
  • plane 6 the plane 4 is rotated 90° counterclockwise to obtain the plane III′; the plane 6 is the plane I′; the remaining 4 planes are spliced into the resolution according to the plane 1, the plane 2, the plane 3, and the plane 5 Plane of 4W I ⁇ W I (where plane 5 rotates 90° clockwise) to obtain plane II'
  • step 2.1 the calculation formula of the distance m of the corresponding point in the plane I' from the center of the plane I' on the spherical surface according to the latitude latitude is calculated as follows:
  • step 2.2 the calculation formula of the distance n of the corresponding point in the plane I' on the spherical surface from the zeroth point in the concentric square where the corresponding point is located is calculated. as follows:
  • n 8 ⁇ m ⁇ (longitude+180°) ⁇ 360°
  • the pixel in the upper right corner is specifically selected as the zeroth pixel, and the distance is calculated in the counterclockwise direction, and the point on the spherical surface is calculated in the plane I.
  • the coordinates (X, Y) of the corresponding points in ' are calculated as follows:
  • step 4.1 the calculation formula of the distance m of the corresponding point on the spherical surface from the center of the plane III' in the plane III' is calculated according to the latitude latitude as follows:
  • step 4.2 the calculation formula of the distance n of the corresponding point in the plane III' from the zero point in the concentric square where the corresponding point is located is calculated according to the longitude longitude. as follows:
  • n 8 ⁇ m ⁇ (longitude+180°) ⁇ 360°
  • step 4.3 the pixel in the upper right corner is specifically selected as the zeroth pixel, and the distance is calculated in a clockwise direction, and the point on the spherical surface is calculated in the plane III.
  • the coordinates (X, Y) of the corresponding points in ' are calculated as follows:
  • the invention provides a new panoramic image mapping method and a reverse mapping method.
  • the mapping process maps the spherical surface corresponding to the panoramic image or the video A into a two-dimensional planar image or video B.
  • the spherical surface is divided into three regions: respectively, the region I, the region II, and the region III;
  • the three regions are respectively mapped into a square plane I', a rectangular plane II' and a square plane III'; the planes I', II', III' are then formed into a plane; the resulting plane is a two-dimensional plane image or video B
  • the spherical panoramic video is mapped to a planar image of the same size (the same number of pixels) by using requirectangular, PLANE_POLES and the method of the present invention, and the method of the present invention obtains more than 10% compared with the equictangular mapping.
  • the coding efficiency is improved by 3%-4% compared to the PLANE_POLES method.
  • the present invention is applicable to panoramic images and video.
  • FIG. 1 is a schematic diagram of a mapping process in a panoramic image mapping method according to an embodiment of the present invention
  • (a) is a spherical panoramic image before mapping;
  • (b) is a schematic diagram of a square plane I', a rectangular plane II', and a square plane III' mapped by the panoramic image mapping method of the present invention;
  • (c) is a map The resulting planar image is stitched together.
  • FIG. 2 is an effect diagram of mapping a panoramic image into a planar image according to an embodiment of the present invention.
  • the present invention provides a new panoramic image mapping method and a corresponding inverse mapping method thereof.
  • a spherical surface can be mapped onto a two-dimensional plane, and oversampling in a high latitude region can be improved.
  • the planar image in the present invention can be mapped back to the spherical surface by the panoramic image back mapping method for rendering viewing.
  • Embodiments of the present invention provide a panoramic view mapping method based on a primary view, including a panoramic image mapping method, and Corresponding anti-mapping methods, the following describes the mapping method and the embodiment of the demapping method, respectively.
  • FIG. 1 shows a mapping process of mapping a spherical surface corresponding to a panoramic image A onto a two-dimensional planar image B by a panoramic video back mapping method.
  • the latitude of the sphere, the sphere is divided into three regions: denoted as region I, region II and the region III; region I corresponds to the latitude of the spherical surface region of -90 ° ⁇ Z 1, zone II corresponds to the latitude of the sphere Z 1 ⁇
  • region III corresponds to a region on the spherical surface with a latitude of Z 2 to 90°; then region I is mapped to a square plane I′ having a resolution of W I ⁇ W I , and region II is mapped to a resolution of W II ⁇ H II rectangular plane II ', III region mapped to a resolution of W III ⁇ W III square plane III';
  • the first step for each pixel in the square plane I', according to its coordinates (X, Y) in the plane I', calculate its corresponding spherical coordinate Coordinate (longitude and latitude), and then according to the spherical coordinate Coordinate
  • the pixel value of the corresponding position on the spherical surface (or the nearby pixel is calculated by interpolation to obtain the corresponding pixel value) as the pixel value of the pixel point (X, Y) in the plane I'.
  • the method for calculating the corresponding spherical coordinate Coordinate according to the coordinates (X, Y) in the plane I' is:
  • the square plane I' can be regarded as a plurality of concentric squares.
  • the distance from the point to the zeroth point on the concentric square where it is located is calculated as n; specifically, the upper right is selected in this embodiment.
  • the pixel of the corner is the zeroth pixel, and the distance is calculated counterclockwise.
  • the calculation method is as follows:
  • n and m calculate the latitude latitude and longitude longitude corresponding to the point of the (X, Y) coordinate in the square plane I' by Equations 3 and 4, respectively.
  • the second step for each pixel in the square plane II', according to its coordinates (X, Y) in the plane II', calculate its corresponding spherical coordinate Coordinate (longitude and latitude), and then according to the spherical coordinate Coordinate
  • the pixel value of the corresponding position on the spherical surface (or the nearby pixel is calculated by interpolation to obtain the corresponding pixel value) as the pixel value of the pixel point (X, Y) in the plane II'.
  • the formula for calculating the corresponding spherical coordinate Coordinate according to the coordinates (X, Y) in the plane II' is:
  • offset is the longitude corresponding to the center of the rectangular plane II', which can be set by itself.
  • the third step for each pixel in the square plane III', according to its coordinates (X, Y) in the plane III', calculate its corresponding spherical coordinate Coordinate (longitude and latitude), and then according to the spherical coordinate Coordinate
  • the pixel value of the corresponding position on the spherical surface (or the nearby pixel is calculated by interpolation to obtain the corresponding pixel value) as the pixel value of the pixel point (X, Y) in the plane III'.
  • the method for calculating the corresponding spherical coordinate Coordinate according to the coordinates (X, Y) in the plane III' is:
  • the square plane III' can be regarded as a plurality of concentric squares.
  • the distance from the point to the zeroth point on the concentric square where it is located is calculated as n; the position of the zeroth point can be Arbitrarily selected;
  • Step 4 As shown in Fig. 1(b) and Fig. 1(c), the rectangular plane II' is first divided into four facets of resolution H II ⁇ H II , which are recorded as: II' 1 , II' 2 , II' 3 , II' 4 , and then spliced into a resolution of 6W I in the order of plane II' 1 , plane II' 2 , plane II' 3 , plane III', plane II' 4 , plane I' The plane of ⁇ W I , the splicing midplane III' is rotated 90° clockwise, and the plane II' 4 is rotated 90° counterclockwise.
  • the present embodiment completes mapping the panoramic image from the spherical surface to the planar image, and the obtained planar image display effect is as shown in FIG. 2 .
  • the panoramic image back mapping method maps the two-dimensional planar image B back to the spherical surface, and the two-dimensional planar image B is formed by splicing three planes, which are recorded as plane I', plane II', Plane III', plane I' is a square plane with resolution W I ⁇ W I , plane II' is a rectangular plane with resolution W II ⁇ H II , and plane III' is a square with resolution W III ⁇ W III plane; demapping method panoramic video plane I 'mapped back to the latitude of the sphere region -90 ° ⁇ Z I 1, the plane II' sphere is mapped back to the latitude Z 1 ⁇ Z 2 region II, the plane III 'mapped back
  • the region on the spherical surface has a latitude of Z 2 to 90°, and the values of the parameters Z 1 , Z 2 , W I , W II , H II , W III include, but are not limited to, those obtained from the code stream.
  • the resolution of the two-dimensional plane image B in which the plane I', the plane II', and the plane III' are spliced is 6W I ⁇ W I .
  • the first step the two-dimensional plane image B is split into a plane I', a plane II', a plane III', and the splitting method is to divide the two-dimensional plane image B into six planes of W I ⁇ W I , which are respectively recorded as Plane 1, plane 2, plane 3, plane 4, plane 5, plane 6, rotate plane 90 counterclockwise by 90° to obtain plane III'; plane 6 is plane I'; the remaining 4 planes are plane 1 2, the plane 3, the plane 5 is spliced into a plane with a resolution of 4W I ⁇ W I (where the plane 5 is rotated 90° clockwise) to obtain a plane II';
  • Step 2 For all pixels in the region with a latitude of -90° to Z 1 on the spherical surface, calculate the coordinates (X, Y) corresponding to the plane I′ according to its spherical coordinate Coordinate (longitude and latitude), and take the plane.
  • the pixel value at (X, Y) in I' (or the nearby pixel is interpolated) as the value of the pixel at the coordinate Coordinate on the spherical surface.
  • the steps of calculating the coordinates (X, Y) corresponding to the plane I' according to the spherical coordinate Coordinate are as follows:
  • the third step for all the pixels in the region with the latitude Z 1 ⁇ Z 2 on the spherical surface, calculate the coordinates (X, Y) corresponding to the plane II' according to the spherical coordinates Coordinate (longitude and latitude), take the plane II
  • the pixel value at (X, Y) (or nearby pixels is interpolated) as the value of the pixel at the coordinate Coordinate on the spherical surface.
  • the calculation formula for calculating the coordinates (X, Y) corresponding to the plane II' according to its spherical coordinate Coordinate is:
  • offset is the longitude corresponding to the center of the rectangular plane II'.
  • Step 4 Calculate the coordinates (X, Y) corresponding to the plane III' according to its spherical coordinate Coordinate (longitude and latitude) for all pixels in the region with a latitude of Z 2 ⁇ 90° on the sphere, and take the plane III The pixel value at (X, Y) (or nearby pixels is interpolated) as the value of the pixel at the coordinate Coordinate on the spherical surface.
  • the above embodiment completes all the steps of the demapping method of the present invention, and the two-dimensional planar image is obtained by the inverse mapping method.
  • B maps back to the spherical surface for easy rendering viewing.
  • the spherical panoramic video is mapped to a planar video of the same size (the same number of pixels) using the requirectangular mapping method, the PLANE_POLES mapping method, and the method of the present invention, respectively.
  • the PLANE_POLES mapping method maps the area near the poles on the spherical surface into a square based on the equitenctangular mapping method, and maps the same latitude ring on the spherical surface to a circular ring on the plane.
  • the implementation results show that the method of the present invention achieves an improvement of coding efficiency of more than 10% compared to the equictangular mapping, and an improvement of coding efficiency of 3%-4% compared with the PLANE_POLES method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公布了一种全景图像映射方法及反映射方法。其中，映射过程将全景图像或视频A对应的球面映射为二维平面图像或视频B，首先根据球面的纬度，将球面分成三个区域：分别记为区域I，区域II和区域III；将所述三个区域分别映射为方形平面I'、矩形平面II'和方形平面III'；再将平面I'、II'、III'拼成一个平面；所得的平面即为二维平面图像或视频B。相比于现有常用映射方法，本发明方法有效地改善了在高纬度区域的过采样，能够有效降低编码所需的码率以及解码的复杂度。涉及虚拟现实领域，可应用于全景图像和视频。

Description

全景图像映射方法 技术领域
本发明涉及虚拟现实(VR)领域，尤其涉及一种新的全景图像映射方法，能够减少编码全景图像和视频所需的码率，可用于全景图像和视频。
背景技术
随着虚拟现实技术的日益发展，各领域对虚拟现实视频的需求日益增加。相比于传统的平面图像，360°的全景图像要求更广的视角，因此，全景图像需要更高的分辨率，其编码所需的码率也高出许多。
现有的编码和存储技术均不支持球面，因此，采用现有方法对全景图像进行编码和存储，需要将360°的全景图像映射到二维平面上。现有方法中，最常见的映射方式是equirectangular映射，这种映射方式根据球面的经度和纬度对球面进行采样，将球面映射到二维平面上。但是，采用这种映射方式对360°全景图像进行映射时，在球面的高纬度区域存在着较严重的过采样现象，编码所需的码率及解码的复杂度高。
发明内容
本发明提供一种新的全景图像映射方法及其相应的反映射方法，通过全景图像映射方法可将球面映射到二维平面上，采用全景图像反映射方法可从平面映射回球面，以进行渲染观看。本发明方法有效改善全景图像或视频所对应球面在高纬度区域的过采样，减少编码全景图像和视频所需的码率，同时提高了编码效率。
本发明提供的技术方案是：
一种全景图像映射方法，将全景图像或视频A所对应的球面映射到二维平面图像或视频B上，可改善全景图像在高纬度区域的过采样，减少编码全景图像和视频所需的码率；所述映射方法将球面映射为二维平面，首先根据球面的纬度，将球面分成三个区域：分别记为区域I，区域II和区域III；区域I对应球面上纬度为-90°～Z1的区域，区域II对应球面上纬度为Z1～Z2的区域，区域III对应球面上纬度为Z2～90°的区域；然后将区域I映射为分辨率为WI×WI的方形平面I′，区域II映射为分辨率为WII×HII的矩形平面II′，区域III映射为分辨率为WIII×WIII的方形平面III′；最后根据WI，WII，HII，WIII的值将平面I′，II′，III′拼成一个平 面，所的平面即为上述二维平面图像B；所述参数Z1，Z2，WI，WII，HII，WIII均可进行设置，且需满足条件：-90°≤Z1≤Z2和Z1≤Z2≤90°。
针对上述全景图像映射方法，进一步地，将全景图像或视频A所对应的球面映射到二维平面图像或视频B上的过程包括以下步骤或以下步骤的等效实现：
1)对方形平面I′中的每个像素点，根据其在平面I′中的坐标(X，Y)，计算其对应的球面坐标Coordinate(经度和纬度)，然后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为平面I′中像素点(X，Y)的像素值。根据平面I′中的坐标(X，Y)计算其对应的球面坐标Coordinate的方法为：
1.1)计算得到该点到方形平面I′中心的垂直距离和水平距离，取其中较大的一个记为m；
1.2)方形平面I′可看作是多个同心方形组成的，本步中计算得到该点到其所在的同心方形上第零个点的距离，记为n；其中第零个点的位置可任意选取，可按照顺时针或逆时针方式计算上述距离；
1.3)根据n和m计算得到方形平面I′中坐标为(X，Y)的点所对应的纬度latitude和经度longitude；
2)对矩形平面II′中的每个像素点，根据其在平面II′中的坐标(X，Y)，计算其对应的球面坐标Coordinate(经度和纬度)，然后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为平面II′中像素点(X，Y)的像素值。根据平面II′中的坐标(X，Y)计算其对应的球面坐标Coordinate的公式为：
latitude＝Z2-(Z2-Z1)×(Y+0.5)÷HII
longitude＝360°×(X+0.5)÷WII-180°+offset
其中，offset为矩形平面II′中心对应的经度，可自行设置。
3)对方形平面III′中的每个像素点，根据其在平面III′中的坐标(X，Y)，计算其对应的球面坐标Coordinate(经度和纬度)，然后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为平面I′中像素点(X，Y)的像素值。根据 平面I′中的坐标(X，Y)计算其对应的球面坐标Coordinate的方法为：
3.1)计算得到该点到方形平面III′中心的垂直距离和水平距离，取其中较大的一个记为m；
3.2)方形平面III′可看作是多个同心方形组成的，本步中计算得到该点到其所在的同心方形上第零个点的距离，记为n；其中第零个点的位置可任意选取；
3.3)根据n和m计算得到方形平面III′中坐标为(X，Y)的点所对应的纬度latitude和经度longitude；
4)根据WI，WII，HII，WIII的值将平面I′，II′，III′拼成一个平面。
针对上述全景图像映射过程，进一步地，全景图像或视频A的映射格式包括但不限于经纬图、立方体映射图像或视频、多路相机采集的全景图像或视频。
针对上述全景图像映射方法，进一步地，步骤1.1)中计算得到该点到方形平面I′中心的垂直距离和水平距离，取其中较大的一个记为m的计算公式如下：
m＝max(abs(WI÷2-X-0.5),abs(WI÷2-Y-0.5))
针对上述全景图像映射方法，进一步地，步骤1.2)中计算得到该点到其所在的同心方形上第零个点的距离，具体选取右上角的像素为第零个像素，距离按逆时针方向计算，其计算方法如下：
m2＝(WI-1)÷2-m
Figure PCTCN2017098378-appb-000001
针对上述全景图像映射方法，进一步地，步骤1.3)中根据n和m计算得到方形平面I′中坐标为(X，Y)的点所对应的纬度latitude和经度longitude的计算公式如下：
latitude＝(Z1+90°)×m÷(WI÷2)-90°
longitude＝n÷(8×m)×360°-180°
针对上述全景图像映射方法，进一步地，步骤3.1)中计算得到该点到方形平面III′中心的垂直距离和水平距离，取其中较大的一个记为m的计算公式如下：
m＝max(abs(WIII÷2-X-0.5),abs(WIII÷2-Y-0.5))
针对上述全景图像映射方法，进一步地，步骤3.2)中计算得到该点到其所在的同心方形上第零个点的距离，具体选取右上角的像素为第零个像素，距离按顺时针方向计算，其计算方法如下：
m2＝(WIII-1)÷2-m
Figure PCTCN2017098378-appb-000002
针对上述全景图像映射方法，进一步地，步骤3.3)中根据n和m计算得到方形平面III′中坐标为(X，Y)的点所对应的纬度latitude和经度longitude的计算公式如下：
latitude＝90°-(90°-Z2)×m÷(WIII÷2)
longitude＝n÷(8×m)×360°-180°
针对上述全景图像映射方法，进一步地，步骤4)中当WI＝0.25×WII＝HII＝WIII时可进行如下的拼接：由于0.25×WII＝HII，因此矩形平面II′的分辨率为表示为4HII×HII，首先将矩形平面II′分成四个分辨率为HII×HII的小平面，记作：II′1，II′2，II′3，II′4，然后按照平面II′1，平面II′2，平面II′3，平面III′，平面II′4，平面I′的顺序将它们拼接成一个分辨率为6WI×WI的平面，拼接中平面III′顺时针旋转90°，平面II′4逆时针旋转90°。
另一方面，全景图像反映射方法将二维平面图像或视频B映射回球面，二维平面图像B由三个平面拼接而成，这三个平面记为平面I′，平面II′，平面III′，平面I′是分辨率为WI×WI的方形平面，平面II′是分辨率为WII×HII的矩形平面，平面III′是分辨率为WIII×WIII的方形平面；全景视频反映射方法将平面I′映射回球面上纬度为-90°～Z1的区域I，平面II′映射回球面上纬度为Z1～Z2的区域II，平面III′映射回球面上纬度为Z2～90°的区域III，所述参数Z1，Z2，WI，WII，HII，WIII的值包括但不限于从码流中获取。
针对上述全景图像反映射方法，将二维平面图像或视频B映射回球面的过程包括以下步骤及以下步骤的等效实现：
1)将二维平面图像B拆分成平面I′，平面II′，平面III′
2)对于球面上纬度为-90°～Z1的区域中的所有像素，根据其球面坐标Coordinate(经度和纬度)计算其对应到平面I′中的坐标(X，Y)，取平面I′中(X，Y)处的像素值(或附近像素进 行插值)，作为球面上坐标Coordinate处像素点的值。根据球面坐标Coordinate计算其对应到平面I′中的坐标(X，Y)的步骤如下：
2.1)根据纬度latitude计算球面上的点在平面I′中的对应点距离平面I′中心的距离m；
2.2)根据经度longitude计算球面上的点在平面I′中的对应点距离该对应点所在的同心方形中第零个点的距离n；
2.3)根据m和n的值以及同心方形第零个像素的位置，计算出球面上的点在平面I′中的对应点的坐标(X，Y)；
3)对于球面上纬度为Z1～Z2的区域中的所有像素，根据其球面坐标Coordinate(经度和纬度)计算其对应到平面II′中的坐标(X，Y)，取平面II′中(X，Y)处的像素值(或附近像素进行插值)，作为球面上坐标Coordinate处像素点的值。根据其球面坐标Coordinate计算其对应到平面II′中的坐标(X，Y)的计算公式为：
Y＝(Z2-latitude)×HII÷(Z2-Z1)-0.5
X＝(longitude+180°-offste)÷360°×WII-0.5
其中offset为矩形平面II′中心对应的经度。
4)对于球面上纬度为Z2～90°的区域中的所有像素，根据其球面坐标Coordinate(经度和纬度)计算其对应到平面III′中的坐标(X，Y)，取平面III′中(X，Y)处的像素值(或附近像素进行插值)，作为球面上坐标Coordinate处像素点的值。
4.1)根据纬度latitude计算球面上的点在平面III′中的对应点距离平面III′中心的距离m；
4.2)根据经度longitude计算球面上的点在平面III′中的对应点距离该对应点所在的同心方形中第零个点的距离n；
4.3)根据m和n的值以及同心方形第零个像素的位置，计算出球面上的点在平面III′中的对应点的坐标(X，Y)
针对上述全景图像反映射方法，进一步地，步骤1)中当参数WI＝0.25×WII＝HII＝WIII，且平面I′，平面II′，平面III′拼接成的二维平面图像B分辨率为6WI×WI时，可进行如下拆分：将二维平面图像B分成6个WI×WI的平面，分别记作平面1，平面2，平面3，平面4，平面 5，平面6，将平面4逆时针旋转90°得到平面III′；平面6即为平面I′；剩下的4个平面按照平面1，平面2，平面3，平面5的顺序拼接为分辨率4WI×WI的平面(其中平面5顺时针旋转90°)得到平面II′
针对上述全景图像反映射方法，进一步地，步骤2.1)中根据纬度latitude计算球面上的点在平面I′中的对应点距离平面I′中心的距离m的计算公式如下：
m＝(WI÷2)×(latitude+90°)÷(Z1+90°)
针对上述全景图像反映射方法，进一步地，步骤2.2)中根据经度longitude计算球面上的点在平面I′中的对应点距离该对应点所在的同心方形中第零个点的距离n的计算公式如下：
n＝8×m×(longitude+180°)÷360°
针对上述全景图像反映射方法，进一步地，步骤2.3)中根据m和n的值，具体选取右上角的像素为第零个像素，距离按逆时针方向计算，计算出球面上的点在平面I′中的对应点的坐标(X，Y)的计算公式如下：
m2＝(WI-1)÷2-m
Figure PCTCN2017098378-appb-000003
针对上述全景图像反映射方法，进一步地，步骤4.1)中根据纬度latitude计算球面上的点在平面III′中的对应点距离平面III′中心的距离m的计算公式如下：
m＝(WIII÷2)×(90°-latitude)÷(90°-Z2)
针对上述全景图像反映射方法，进一步地，步骤4.2)中根据经度longitude计算球面上的点在平面III′中的对应点距离该对应点所在的同心方形中第零个点的距离n的计算公式如下：
n＝8×m×(longitude+180°)÷360°
针对上述全景图像反映射方法，进一步地，步骤4.3)中根据m和n的值，具体选取右上角的像素为第零个像素，距离按顺时针方向计算，计算出球面上的点在平面III′中的对应点的坐标(X，Y)的计算公式如下：
m2＝(WIII-1)÷2-m
Figure PCTCN2017098378-appb-000004
与现有技术相比，本发明的有益效果是：
本发明提供一种新的全景图像映射方法及反映射方法。其中，映射过程将全景图像或视频A对应的球面映射为二维平面图像或视频B，首先根据球面的纬度，将球面分成三个区域：分别记为区域I，区域II和区域III；将所述三个区域分别映射为方形平面I′、矩形平面II′和方形平面III′；再将平面I′、II′、III′拼成一个平面；所得的平面即为二维平面图像或视频B
本发明方法可自行设置参数进行映射和反映射。相较于equirectangular映射方法，当合理选择参数时(比如：WI＝0.25×WII＝HII＝WIII)，本发明方法可有效地改善在高纬度区域的过采样，能够有效降低编码所需的码率以及解码的复杂度。在具体实施中，将球面全景视频分别使用equirectangular，PLANE_POLES和本发明的方法映射为相同大小(像素个数相同)的平面视屏并进行编码，本发明的方法相较于equirectangular映射取得了超过10％的编码效率的提升，相较于PLANE_POLES方法，取得了3％-4％的编码效率的提升。本发明可应用于全景图像和视频。
附图说明
图1是本发明实施例提供的全景图像映射方法中映射过程的示意图；
其中，(a)为映射前的球面全景图像；(b)为通过本发明全景图像映射方法映射后的方形平面I′、矩形平面II′和方形平面III′的示意图；(c)为映射后再拼接得到的平面图像。
图2是本发明实施例将全景图像映射成平面图像的效果图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供了一种新的全景图像映射方法及其相应的反映射方法，通过本发明的全景图像映射方法可将球面映射到二维平面上，能够改善在高纬度区域的过采样。通过全景图像反映射方法可将本发明中的平面图像映射回球面，以进行渲染观看。
本发明实施例提供了一种基于主视点的全景图像映射方法，包括全景图像映射方法以及 相应的反映射方法，以下分别介绍映射方法以及反映射方法的实施例。
图1所示为通过全景视频反映射方法将全景图像A所对应的球面映射到二维平面图像B上的映射过程。根据球面的纬度，将球面分成三个区域：分别记为区域I，区域II和区域III；区域I对应球面上纬度为-90°～Z1的区域，区域II对应球面上纬度为Z1～Z2的区域，区域III对应球面上纬度为Z2～90°的区域；然后将区域I映射为分辨率为WI×WI的方形平面I′，区域II映射为分辨率为WII×HII的矩形平面II′，区域III映射为分辨率为WIII×WIII的方形平面III′；最后根据WI，WII，HII，WIII的值将平面I′，II′，III′拼成一个平面，所得的平面即为上述二维平面图像B；所述参数Z1，Z2，WI，WII，HII，WIII均可进行设置，且需满足条件：-90°≤Z1≤Z2和Z1≤Z2≤90°，在本实施例中令参数WI＝0.25×WII＝HII＝WIII以保证最后拼接成矩形。将图1(a)中的球面映射并拼接成图1(c)中的平面的方法步骤如下：
第一步：对方形平面I′中的每个像素点，根据其在平面I′中的坐标(X，Y)，计算其对应的球面坐标Coordinate(经度和纬度)，然后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为平面I′中像素点(X，Y)的像素值。根据平面I′中的坐标(X，Y)计算其对应的球面坐标Coordinate的方法为：
1.1)计算得到该点到方形平面I′中心的垂直距离和水平距离，取其中较大的一个记为m；通过式1计算得到：
m＝max(abs(WI÷2-X-0.5),abs(WI÷2-Y-0.5))    (式1)
1.2)方形平面I′可看作是多个同心方形组成的，本步中计算得到该点到其所在的同心方形上第零个点的距离，记为n；具体地，本实施例选取右上角的像素为第零个像素，距离按逆时针方向计算，其计算方法如下：
Figure PCTCN2017098378-appb-000005
其中，m2＝(WI-1)÷2-m。
1.3)根据n和m，分别通过式3和式4计算得到方形平面I′中坐标为(X，Y)的点所对应的纬度latitude和经度longitude：
latitude＝(Z1+90°)×m÷(WI÷2)-90°    (式3)
longitude＝n÷(8×m)×360°-180°    (式4)
第二步：对方形平面II′中的每个像素点，根据其在平面II′中的坐标(X，Y)，计算其对应的球面坐标Coordinate(经度和纬度)，然后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为平面II′中像素点(X，Y)的像素值。根据平面II′中的坐标(X，Y)计算其对应的球面坐标Coordinate的公式为：
latitude＝Z2-(Z2-Z1)×(Y+0.5)÷HII        (式5)
longitude＝360°×(X+0.5)÷WII-180°+offset    (式6)
其中，offset为矩形平面II′中心对应的经度，可自行设置。
第三步：对方形平面III′中的每个像素点，根据其在平面III′中的坐标(X，Y)，计算其对应的球面坐标Coordinate(经度和纬度)，然后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为平面III′中像素点(X，Y)的像素值。根据平面III′中的坐标(X，Y)计算其对应的球面坐标Coordinate的方法为：
3.1)计算得到该点到方形平面III′中心的垂直距离和水平距离，取其中较大的一个记为m；
m＝max(abs(WIII÷2-X-0.5),abs(WIII÷2-Y-0.5))    (式7)
3.2)方形平面III′可看作是多个同心方形组成的，本步中计算得到该点到其所在的同心方形上第零个点的距离，记为n；其中第零个点的位置可任意选取；
Figure PCTCN2017098378-appb-000006
其中，m2＝(WIII-1)÷2-m；
3.3)根据n和m计算得到方形平面III′中坐标为(X，Y)的点所对应的纬度latitude和经度longitude；
latitude＝90°-(90°-Z2)×m÷(WIII÷2)    (式9)
longitude＝n÷(8×m)×360°-180°      (式10)
第四步：如图1(b)和图1(c)所示，首先将矩形平面II′分成四个分辨率为HII×HII的小平面，记作：II′1，II′2，II′3，II′4，然后按照平面II′1，平面II′2，平面II′3，平面III′，平面II′4，平面I′的顺序将它们拼接成一个分辨率为6WI×WI的平面，拼接中平面III′顺时针旋转90°，平面II′4逆时针旋转90°。
至此，本实施例完成将全景图像从球面映射成平面图像，得到的平面图像展示效果如图2所示。
另一方面，本发明提供的全景图像反映射方法将二维平面图像B映射回球面，二维平面图像B由三个平面拼接而成，这三个平面记为平面I′，平面II′，平面III′，平面I′是分辨率为WI×WI的方形平面，平面II′是分辨率为WII×HII的矩形平面，平面III′是分辨率为WIII×WIII的方形平面；全景视频反映射方法将平面I′映射回球面上纬度为-90°～Z1的区域I，平面II′映射回球面上纬度为Z1～Z2的区域II，平面III′映射回球面上纬度为Z2～90°的区域III，所述参数Z1，Z2，WI，WII，HII，WIII的值包括但不限于从码流中获取。本实施例中令参数WI＝0.25×WII＝HII＝WIII，且平面I′，平面II′，平面III′拼接成的二维平面图像B分辨率为6WI×WI。
上述全景视频反映射方法将二维平面图像B映射回球面的具体步骤如下：
第一步：二维平面图像B拆分成平面I′，平面II′，平面III′，拆分的方法为，将二维平面图像B分成6个WI×WI的平面，分别记作平面1，平面2，平面3，平面4，平面5，平面6，将平面4逆时针旋转90°得到平面III′；平面6即为平面I′；剩下的4个平面按照平面1、平面2、平面3、平面5的顺序拼接为分辨率4WI×WI的平面(其中平面5顺时针旋转90°)得到平面II′；
第二步：对于球面上纬度为-90°～Z1的区域中的所有像素，根据其球面坐标Coordinate(经度和纬度)计算其对应到平面I′中的坐标(X，Y)，取平面I′中(X，Y)处的像素值(或附近像素进行插值)，作为球面上坐标Coordinate处像素点的值。根据球面坐标Coordinate计算其对应到平面I′中的坐标(X，Y)的步骤如下：
2.1)根据纬度latitude计算球面上的点在平面I′中的对应点距离平面I′中心的距离m，计算公式如下：
m＝(WI÷2)×(latitude+90°)÷(Z1+90°)    (式11)
2.2)根据经度longitude计算球面上的点在平面I′中的对应点距离该对应点所在的同心方形中第零个点的距离n，其计算公式如下：
n＝8×m×(longitude+180°)÷360°    (式12)
2.3)根据m和n的值计算出球面上的点在平面I′中的对应点的坐标(X，Y)：
Figure PCTCN2017098378-appb-000007
其中，m2＝(WI-1)÷2-m；
第三步：对于球面上纬度为Z1～Z2的区域中的所有像素，根据其球面坐标Coordinate(经度和纬度)计算其对应到平面II′中的坐标(X，Y)，取平面II′中(X，Y)处的像素值(或附近像素进行插值)，作为球面上坐标Coordinate处像素点的值。根据其球面坐标Coordinate计算其对应到平面II′中的坐标(X，Y)的计算公式为：
Y＝(Z2-latitude)×HII÷(Z2-Z1)-0.5        (式14)
X＝(longitude+180°-offset)÷360°×WII-0.5    (式15)
其中，offset为矩形平面II′中心对应的经度。
第四步：对于球面上纬度为Z2～90°的区域中的所有像素，根据其球面坐标Coordinate(经度和纬度)计算其对应到平面III′中的坐标(X，Y)，取平面III′中(X，Y)处的像素值(或附近像素进行插值)，作为球面上坐标Coordinate处像素点的值。
4.1)根据纬度latitude计算球面上的点在平面III′中的对应点距离平面III′中心的距离m；
m＝(WIII÷2)×(90°-latitude)÷(90°-Z2)    (式16)
4.2)根据经度longitude计算球面上的点在平面III′中的对应点距离该对应点所在的同心方形中第零个点的距离n；
n＝8×m×(longitude+180°)÷360°    (式17)
4.3)根据m和n的值计算出球面上的点在平面III′中的对应点的坐标(X，Y)
m2＝(WIII-1)÷2-m
Figure PCTCN2017098378-appb-000008
其中，m2＝(WIII-1)÷2-m。
至此，上述实施例完成本发明反映射方法的所有步骤，通过反映射方法将二维平面图像 B映射回球面，便于进行渲染观看。
在具体实施中，将球面全景视频分别使用equirectangular映射方法、PLANE_POLES映射方法和本发明方法映射为相同大小(像素个数相同)的平面视频并进行编码。其中，PLANE_POLES映射方法是在equirectangular映射方法基础上，将球面上两极附近的区域映射成方形，将球面上纬度相同的圆环映射为平面上的圆环。实施结果表明，本发明的方法相较于equirectangular映射取得了超过10％的编码效率的提升，相较于PLANE_POLES的方法，取得了3％-4％的编码效率的提升。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (12)

  1. 一种全景图像映射方法，将全景图像或视频A对应的球面映射为二维平面图像或视频B，首先根据球面的纬度，将球面分成三个区域：分别记为区域I，区域II和区域III；将所述三个区域分别映射为方形平面I′、矩形平面II′和方形平面III′；再将平面I′、II′、III′拼成一个平面；所得的平面即为二维平面图像或视频B；
    所述区域I对应球面上纬度为-90°～Z1的区域，区域II对应球面上纬度为Z1～Z2的区域，区域III对应球面上纬度为Z2～90°的区域；所述参数Z1，Z2取值自行设置并满足条件：-90°≤Z1≤Z2≤90°；
    所述方形平面I′分辨率为WI×WI，矩形平面II′分辨率为WII×HII，方形平面III′分辨率为WIII×WIII；所述参数WI、WII、HII、WIII取值自行设置；
    所述映射方法包括如下步骤：
    1)针对方形平面I′中的每个像素点，根据平面I′中像素点的坐标(X，Y)，计算得到该像素点对应的球面坐标Coordinate，包括经度和纬度；然后根据球面坐标Coordinate取球面上对应位置的像素值或对附近像素通过插值计算得到相应像素值，作为平面I′中像素点(X，Y)的像素值；所述根据像素点在平面I′中的坐标(X，Y)计算其对应的球面坐标Coordinate，包括如下步骤：
    1.1)计算得到该像素点到方形平面I′中心的垂直距离和水平距离，取其中较大者记为m；
    1.2)将方形平面I′看作是由多个同心方形组成，计算得到该像素点到其所在的同心方形上第零个点的距离，记为n；所述第零个点的位置任意选取；按照顺时针或逆时针方式计算得到该像素点到其所在的同心方形上第零个点的距离；
    1.3)根据n和m计算得到方形平面I′中坐标为(X，Y)的点所对应的纬度和经度，即对应的球面坐标Coordinate；
    2)针对矩形平面II′中的每个像素点，根据平面II′中像素点的坐标(X，Y)，计算得到该像素点对应的球面坐标Coordinate，包括经度和纬度；然后根据球面坐标Coordinate取球面上对应位置的像素值或对附近像素通过插值计算得到相应像素值，作为平面II′中像素点(X，Y) 的像素值；
    3)针对方形平面III′中的每个像素点，根据平面III′中像素点的坐标(X，Y)，计算得到该像素点对应的球面坐标Coordinate，包括经度和纬度；然后根据球面坐标Coordinate取球面上对应位置的像素值或附近像素通过插值计算得到相应像素值，作为平面I′中像素点(X，Y)的像素值；所述根据像素点在平面III′中的坐标(X，Y)计算其对应的球面坐标Coordinate的方法为：
    3.1)计算得到该像素点到方形平面III′中心的垂直距离和水平距离，取其中较大的一个记为m；
    3.2)将方形平面III′看作是由多个同心方形组成，计算得到该像素点到其所在的同心方形上第零个点的距离，记为n；其中第零个点的位置任意选取；
    3.3)根据n和m计算得到方形平面III′中坐标为(X，Y)的点所对应的纬度和经度；
    4)根据参数WI、WII、HII、WIII取值，将平面I′、II′、III′拼接成一个平面。
  2. 如权利要求1所述映射方法，其特征是，步骤1.1)通过式1计算得到：
    m＝max(abs(WI÷2-X-0.5),abs(WI÷2-Y-0.5))  (式1)
    其中，m为像素点到方形平面I′中心的垂直距离和水平距离中较大者；
    步骤1.2)通过式2计算：
    Figure PCTCN2017098378-appb-100001
    其中，m2＝(WI-1)÷2-m；n为像素点到其所在的同心方形上第零个点的距离；
    步骤1.3)通过式3和式4计算：
    latitude＝(Z1+90°)×m÷(WI÷2)-90°  (式3)
    longitude＝n÷(8×m)×360°-180°  (式4)
    其中，latitude为方形平面I′中坐标为(X，Y)的点所对应的纬度；longitude为相应的经度。
  3. 如权利要求1所述映射方法，其特征是，步骤2)根据像素点在平面II′中的坐标(X，Y)计算其对应的球面坐标Coordinate的公式为：
    latitude＝Z2-(Z2-Z1)×(Y+0.5)÷HII  (式5)
    longitude＝360°×(X+0.5)÷WII-180°+offset  (式6)
    其中，offset为矩形平面II′中心对应的经度，自行设置。
  4. 如权利要求1所述映射方法，其特征是，步骤3.1)通过式7计算得到：
    m＝max(abs(WIII÷2-X-0.5),abs(WIII÷2-Y-0.5))  (式7)
    其中，m为像素点到方形平面III′中心的垂直距离和水平距离中较大者；
    步骤3.2)通过式8计算：
    Figure PCTCN2017098378-appb-100002
    其中，m2＝(WIII-1)÷2-m；n为像素点到其所在的同心方形上第零个点的距离；
    步骤3.3)通过式9和式10计算：
    latitude＝90°-(90°-Z2)×m÷(WIII÷2)  (式9)
    longitude＝n÷(8×m)×360°-180°  (式10)
    其中，latitude为方形平面III′中坐标为(X，Y)的点所对应的纬度；longitude为相应的经度。
  5. 如权利要求1所述映射方法，其特征是，步骤4)根据参数WI、WII、HII、WIII取值，将平面I′、II′、III′拼接成一个平面的方法具体是：当WI＝0.25×WII＝HII＝WIII时，首先将矩形平面II′分成四个分辨率为HII×HII的小平面，分别记作：II′1、II′2、II′3、II′4；然后按照平面II′1、平面II′2、平面II′3、平面III′、平面II′4、平面I′的顺序，将上述六个平面进行拼接，拼接过程中将平面III′顺时针旋转90°，将平面II′4逆时针旋转90°，即得到分辨率为6WI×WI的一个平面。
  6. 一种全景图像反映射方法，将二维平面图像或视频B映射回球面，得到全景图像或视频A；所述二维平面图像或视频B由三个平面拼接而成，所述三个平面分别记为平面I′、平面II′、平面III′；所述平面I′是分辨率为WI×WI的方形平面，平面II′是分辨率为WII×HII的矩形 平面，平面III′是分辨率为WIII×WIII的方形平面；所述反映射方法将平面I′映射回球面上纬度为-90°～Z1的区域I，将平面II′映射回球面上纬度为Z1～Z2的区域II，将平面III′映射回球面上纬度为Z2～90°的区域III；所述参数Z1、Z2、WI、WII、HII、WIII取值包括但不限于从码流中获取；所述反映射方法包括以下步骤：
    1)将二维平面图像B拆分成平面I′、平面II′、平面III′；
    2)对于球面上纬度为-90°～Z1的区域中的每一个像素点，根据其球面坐标Coordinate，即经度和纬度计算该像素点对应到平面I′中的坐标(X，Y)，取平面I′中(X，Y)处的像素值或对附近像素进行插值得到的像素值，作为球面上坐标Coordinate处像素点的值；
    3)对于球面上纬度为Z1～Z2的区域中的每一个像素点，根据其球面坐标Coordinate计算其对应到平面II′中的坐标(X，Y)，取平面II′中(X，Y)处的像素值或对附近像素进行插值得到的像素值，作为球面上坐标Coordinate处像素点的值；
    4)对于球面上纬度为Z2～90°的区域中的每一个像素点，根据其球面坐标Coordinate计算其对应到平面III′中的坐标(X，Y)，取平面III′中(X，Y)处的像素值或对附近像素进行插值得到的像素值，作为球面上坐标Coordinate处像素点的值；
    由此实现将二维平面图像或视频B映射回球面，得到全景图像或视频A。
  7. 如权利要求6所述反映射方法，其特征是，步骤1)中，当参数WI＝0.25×WII＝HII＝WIII，且平面I′、平面II′、平面III′拼接成的二维平面图像B分辨率为6WI×WI时，将二维平面图像B分成6个WI×WI的平面，分别记作平面1、平面2、平面3、平面4、平面5、平面6，将平面4逆时针旋转90°得到平面III′；平面6即为平面I′；将剩下的四个平面按照平面1、平面2、平面3、平面5的顺序拼接为分辨率4WI×WI的平面，其中平面5顺时针旋转90°，即得到平面II′。
  8. 如权利要求6所述反映射方法，其特征是，步骤2)对于球面上纬度为-90°～Z1的区域中的每一个像素点，根据该像素点球面坐标Coordinate计算其对应到平面I′中的坐标(X，Y)的步骤如下：
    2.1)根据纬度计算球面上的点在平面I′中的对应点距离平面I′中心的距离m；
    2.2)根据经度计算球面上的点在平面I′中的对应点距离该对应点所在的同心方形中第零 个点的距离n；
    2.3)根据m和n的值计算出球面上的点在平面I′中的对应点的坐标(X，Y)。
  9. 如权利要求8所述反映射方法，其特征是，步骤2.1)通过式11根据纬度latitude计算球面上的点在平面I′中的对应点距离平面I′中心的距离m：
    m＝(WI÷2)×(latitude+90°)÷(Z1+90°)  (式11)
    其中，latitude为球面上的点的纬度；
    步骤2.2)通过式12根据经度计算球面上的点在平面I′中的对应点距离该对应点所在的同心方形中第零个点的距离n：
    n＝8×m×(longitude+180°)÷360°  (式12)
    其中，longitude为球面上的点的经度；
    步骤2.3)通过式13根据m和n的值计算出球面上的点在平面I′中的对应点的坐标(X，Y)：
    Figure PCTCN2017098378-appb-100003
    其中，m2＝(WI-1)÷2-m。
  10. 如权利要求6所述反映射方法，其特征是，步骤3)对于球面上纬度为Z1～Z2的区域中的每一个像素点，根据该像素点球面坐标Coordinate，通过式14和式15计算得到其对应到平面II′中的坐标(X，Y)：
    Y＝(Z2-latitude)×HII÷(Z2-Z1)-0.5  (式14)
    X＝(longitude+180°-offset)÷360°×WII-0.5  (式15)
    其中，latitude和longitude分别为球面上的点的纬度和经度；offset为矩形平面II′中心对应的经度。
  11. 如权利要求6所述反映射方法，其特征是，步骤4)对于球面上纬度为Z2～90°的区域中的每一个像素点，根据其球面坐标Coordinate计算其对应到平面III′中的坐标(X，Y)，取 平面III′中(X，Y)处的像素值或对附近像素进行插值得到的像素值，作为球面上坐标Coordinate处像素点的值；包括如下步骤：
    4.1)根据纬度计算球面上的点在平面III′中的对应点距离平面III′中心的距离m；
    4.2)根据经度计算球面上的点在平面III′中的对应点距离该对应点所在的同心方形中第零个点的距离n；
    4.3)根据m和n的值计算出球面上的点在平面III′中的对应点的坐标(X，Y)。
  12. 如权利要求11所述反映射方法，其特征是，步骤4.1)通过式16根据纬度计算球面上的点在平面III′中的对应点距离平面III′中心的距离m：
    m＝(WIII÷2)×(90°-latitude)÷(90°-Z2)  (式16)
    其中，latitude为球面上的点的纬度；
    步骤4.2)通过式17根据经度计算球面上的点在平面III′中的对应点距离该对应点所在的同心方形中第零个点的距离n：
    n＝8×m×(longitude+180°)÷360°  (式17)
    其中，longitude为球面上的点的经度；
    步骤4.3)通过式18根据m和n的值计算出球面上的点在平面III′中的对应点的坐标(X，Y)：
    m2＝(WIII-1)÷2-m
    Figure PCTCN2017098378-appb-100004
    其中，m2＝(WIII-1)÷2-m。
PCT/CN2017/098378 2017-03-01 2017-08-22 全景图像映射方法 WO2018157568A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/490,373 US10798301B2 (en) 2017-03-01 2017-08-22 Panoramic image mapping method
US16/558,870 US20200074593A1 (en) 2017-03-01 2019-09-03 Panoramic image mapping method, apparatus, and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710116888.9 2017-03-01
CN201710116888.9A CN106899840B (zh) 2017-03-01 2017-03-01 全景图像映射方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/490,373 A-371-Of-International US10798301B2 (en) 2017-03-01 2017-08-22 Panoramic image mapping method
US16/558,870 Continuation-In-Part US20200074593A1 (en) 2017-03-01 2019-09-03 Panoramic image mapping method, apparatus, and device

Publications (1)

Publication Number Publication Date
WO2018157568A1 true WO2018157568A1 (zh) 2018-09-07

Family

ID=59185344

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/098378 WO2018157568A1 (zh) 2017-03-01 2017-08-22 全景图像映射方法

Country Status (3)

Country Link
US (1) US10798301B2 (zh)
CN (1) CN106899840B (zh)
WO (1) WO2018157568A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275730A (zh) * 2020-01-13 2020-06-12 平安国际智慧城市科技股份有限公司 地图区域的确定方法、装置、设备及存储介质
CN111489288A (zh) * 2019-01-28 2020-08-04 北京初速度科技有限公司 一种图像的拼接方法和装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
CN106899840B (zh) * 2017-03-01 2018-06-05 北京大学深圳研究生院 全景图像映射方法
CN109218755B (zh) * 2017-07-07 2020-08-25 华为技术有限公司 一种媒体数据的处理方法和装置
CN109327699B (zh) 2017-07-31 2021-07-16 华为技术有限公司 一种图像的处理方法、终端和服务器
CN110349226B (zh) * 2018-04-01 2021-06-01 浙江大学 一种全景图像处理方法及装置
CN108769680B (zh) * 2018-05-31 2021-02-23 上海大学 一种全景视频基于斜率分段采样方法及装置
CN110545429B (zh) * 2019-09-26 2021-08-31 福州大学 一种基于全景视频纬度特性的复杂度优化方法及设备
CN110827193B (zh) * 2019-10-21 2023-05-09 国家广播电视总局广播电视规划院 基于多通道特征的全景视频显著性检测方法
CN111429529B (zh) * 2020-04-10 2024-02-20 浙江大华技术股份有限公司 一种坐标转换的标定方法、电子设备以及计算机存储介质
CN111507894B (zh) * 2020-04-17 2023-06-13 浙江大华技术股份有限公司 一种图像拼接处理方法及装置
CN112927371A (zh) * 2021-03-03 2021-06-08 深圳市创想三维科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN115619648A (zh) * 2021-07-14 2023-01-17 华为技术有限公司 全景图像的色调映射方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077509A (zh) * 2013-01-23 2013-05-01 天津大学 利用离散立方体全景图实时合成连续平滑全景视频的方法
CN105898344A (zh) * 2016-04-12 2016-08-24 乐视控股（北京）有限公司 一种全景视频的播放方法和装置
CN106231311A (zh) * 2016-08-01 2016-12-14 上海国茂数字技术有限公司 一种非矩形视频编码方法及装置
CN106412554A (zh) * 2016-09-22 2017-02-15 北京搜狐新媒体信息技术有限公司 一种编码方法及装置
CN106899840A (zh) * 2017-03-01 2017-06-27 北京大学深圳研究生院 全景图像映射方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160286128A1 (en) * 2002-10-01 2016-09-29 Dylan TX ZHOU Amphibious vtol super drone camera in a mobile case (phone case) with multiple aerial and aquatic flight modes for capturing panoramic virtual reality views, selfie and interactive video
CN100458560C (zh) * 2004-12-17 2009-02-04 上海杰图软件技术有限公司 一种基于全帧图像生成球形全景的方法
JP4980153B2 (ja) * 2007-06-21 2012-07-18 株式会社ソニー・コンピュータエンタテインメント 画像表示装置および画像表示方法
CN105898339A (zh) * 2016-04-12 2016-08-24 乐视控股（北京）有限公司 一种全景视频转码的方法及装置
CN106162207B (zh) * 2016-08-25 2019-02-12 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077509A (zh) * 2013-01-23 2013-05-01 天津大学 利用离散立方体全景图实时合成连续平滑全景视频的方法
CN105898344A (zh) * 2016-04-12 2016-08-24 乐视控股（北京）有限公司 一种全景视频的播放方法和装置
CN106231311A (zh) * 2016-08-01 2016-12-14 上海国茂数字技术有限公司 一种非矩形视频编码方法及装置
CN106412554A (zh) * 2016-09-22 2017-02-15 北京搜狐新媒体信息技术有限公司 一种编码方法及装置
CN106899840A (zh) * 2017-03-01 2017-06-27 北京大学深圳研究生院 全景图像映射方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489288A (zh) * 2019-01-28 2020-08-04 北京初速度科技有限公司 一种图像的拼接方法和装置
CN111489288B (zh) * 2019-01-28 2023-04-07 北京魔门塔科技有限公司 一种图像的拼接方法和装置
CN111275730A (zh) * 2020-01-13 2020-06-12 平安国际智慧城市科技股份有限公司 地图区域的确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN106899840B (zh) 2018-06-05
CN106899840A (zh) 2017-06-27
US20200092471A1 (en) 2020-03-19
US10798301B2 (en) 2020-10-06

Similar Documents

Publication Publication Date Title
WO2018157568A1 (zh) 全景图像映射方法
US11301953B2 (en) Main viewpoint-based panoramic video mapping method
US10467775B1 (en) Identifying pixel locations using a transformation function
WO2018133380A1 (zh) 基于主视点的全景视频映射方法
Li et al. Novel tile segmentation scheme for omnidirectional video
TWI673995B (zh) 生成和編碼包括堆疊在360度虛擬實境投影佈局中的至少一個填充區域和至少一個投影面的基於投影的圖框的方法及裝置
US10855968B2 (en) Method and apparatus for transmitting stereoscopic video content
WO2018068612A1 (zh) 一种全景图像的映射方法、装置和设备
TW201804436A (zh) 具紋理映射功能的全景影像產生方法及裝置
TWI666913B (zh) 用於將虛擬實境圖像映射成分段球面投影格式的方法以及裝置
WO2010034202A1 (zh) 图像缩放方法及装置
CN106875331B (zh) 一种全景图像的非对称映射方法
CN106127691B (zh) 全景图像映射方法
TWI655858B (zh) 生成基於投影的幀的方法以及裝置
TW201921035A (zh) 用於處理包括封裝在360度虛擬現實投影佈局中的至少一個投影面的基於投影的圖框的方法
TWI681662B (zh) 用於減少基於投影的圖框中的偽影的方法和裝置
Sandnes et al. Translating the viewing position in single equirectangular panoramic images
CN111091491B (zh) 一种等距圆柱投影的全景视频像素再分配方法及系统
US20200068205A1 (en) Geodesic intra-prediction for panoramic video coding
CN109166178B (zh) 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统
CN108022204A (zh) 一种柱面全景视频转换为球面全景视频的方法
US20230326128A1 (en) Techniques for processing multiplane images
WO2022199584A1 (zh) 全景视频压缩方法、装置、计算机设备和存储介质
Jin et al. An efficient spherical video sampling scheme based on Cube model
TW202209250A (zh) 用以產生旋轉後全景影像的轉換方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898534

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17898534

Country of ref document: EP

Kind code of ref document: A1