WO2018133380A1 - 基于主视点的全景视频映射方法 - Google Patents

基于主视点的全景视频映射方法 Download PDF

Info

Publication number
WO2018133380A1
WO2018133380A1 PCT/CN2017/095984 CN2017095984W WO2018133380A1 WO 2018133380 A1 WO2018133380 A1 WO 2018133380A1 CN 2017095984 W CN2017095984 W CN 2017095984W WO 2018133380 A1 WO2018133380 A1 WO 2018133380A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
latitude
ball
image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/095984
Other languages
English (en)
French (fr)
Inventor
王荣刚
王悦名
王振宇
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to US16/478,607 priority Critical patent/US20200143511A1/en
Publication of WO2018133380A1 publication Critical patent/WO2018133380A1/zh
Priority to US16/514,269 priority patent/US20200154111A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations

Definitions

  • the present invention relates to the field of virtual reality (VR) video, and particularly relates to a panoramic video mapping method based on a primary view, which can be used for panoramic video, and can greatly reduce panoramic video under the premise of ensuring the quality of the main view area of the panoramic video.
  • VR virtual reality
  • the panoramic video provides a 360° viewable range, but the viewer only watches videos in a certain area for a period of time.
  • the video area viewed by the viewer may be referred to as the main view area, and the main view area is often only a part of the 360° panoramic video.
  • panoramic video requires higher resolution than traditional flat video, and the code rate required for encoding is much higher than that of traditional flat video, and video editing
  • the complexity of decoding is also greatly improved.
  • the existing mapping method is difficult to reduce the bit rate of the panoramic video coding and the complexity of the codec, and it is also difficult to ensure the video quality of the main view area.
  • the present invention provides a new panoramic image positive mapping and a corresponding inverse mapping method.
  • the panoramic image positive mapping method greatly reduces the resolution of the video while ensuring that the video quality of the main viewing area is constant. Rate, thereby effectively reducing the bit rate of the panoramic video coding and the complexity of the codec, achieving the purpose of reducing the bit rate of the panoramic video coding and ensuring the video quality of the main view area.
  • the panoramic image back mapping technique provides a method of mapping back to the spherical surface from a plane, by which the planar image in the present invention can be rendered and viewed.
  • a panoramic video positive mapping method based on the main viewpoint, mapping the spherical surface corresponding to the panoramic image A to the planar square image B; the longitude and latitude of the center of the main viewpoint is (lon, lat), according to the center of the main viewpoint to the center of the sphere angle connection, the spherical divided into three regions: denoted as region I, region II, region III and region I corresponds to an angle region of 0 ° ⁇ Z 1, an angle region corresponding to region II Z 1 ⁇ Z 2 is , the area III corresponds to the area of the angle Z 2 ⁇ 180 °; then the area I is mapped to the circle on the image B with the center of the image as the center and the radius of ⁇ 0 ; the area II is mapped to the image B with the center of the image as the center,
  • the inner radius is ⁇ 0 ;
  • the outer radius is a ring of half the image size;
  • the area III is mapped to four quarter circles centered on the four corners of the image
  • the specific method of mapping the spherical surface corresponding to the panoramic image A to the planar square image B is for each pixel point in the planar image B (X) , Y), according to (X, Y) to calculate its corresponding spherical coordinate Coordinate
  • the pixel point (X, Y) in the plane image B corresponds to the coordinates on the spherical surface; the specific steps include the following steps:
  • the pixel point (X, Y) is in the region III according to the value of ⁇ ', when the pixel point (X, Y) is in the region III Go to step C); when the pixel point (X, Y) is not in the area III, the pixel point (X, Y) is an unused pixel, and is filled with an arbitrary value (if the pixel is close to the area boundary of II, III, preferably , can fill the value of the pixel on the boundary of the II, III region or calculate the pixel value according to the mapping manner of the II, III region), and end the operation;
  • the coordinates of the pixel on the spherical surface are obtained.
  • the center of the main viewpoint is 90 degrees north latitude or 90 degrees south latitude
  • the pixel point (X, Y) in the plane image B corresponds to the spherical surface.
  • step F Rotating the coordinates obtained in step F) to obtain coordinates corresponding to pixel points (X, Y) in the plane image B when the center of the main viewpoint is (lon, lat);
  • step 2 According to the coordinates after the rotation in step 2), take the pixel value of the corresponding position on the spherical surface (or calculate the corresponding pixel value by interpolation) as the pixel value of the pixel point (X, Y) in the planar image B.
  • the mapping format of the panoramic image A includes, but is not limited to, a latitude and longitude map, a cube-mapped image, and a panoramic video captured by a multi-channel camera.
  • the values of the parameters lon, lat, Z 1 , Z 2 and ⁇ 0 in the method can be set by themselves.
  • step A) calculates the distance ⁇ from the pixel point (X, Y) in the planar image B to the center of the planar image B, specifically the pixel point (X, Y) in the planar image B.
  • the normalized coordinates are (X', Y')
  • the distance between the calculated point (X', Y') to the center of the planar image B is
  • the method of determining the region where the pixel point (X, Y) is located in step B) is: when ⁇ ⁇ ⁇ 0 , the pixel point (X, Y) is located in the region I; When 1 ⁇ > ⁇ 0 , the pixel point (X, Y) is located in the region II; when ⁇ >1, the distance between the pixel point (X, Y) and the four corners of the plane image B is calculated, and the minimum is taken.
  • the distance is recorded as ⁇ ', when When the pixel (X, Y) is located in the area III, when When the pixel point (X, Y) in the plane image B is an unused pixel, it is filled with an arbitrary value (if the pixel is close to the boundary of the II, III region, it is recommended to fill the value of the pixel on the boundary of the II, III region or according to II, III.
  • the mapping method of the area calculates the pixel value).
  • step 12 the rotation, according to the longitude and latitude calculation, the rectangular coordinates of the point on the unit sphere (X ball , Y ball , Z ball ), and then the coordinates (X ball) , Y ball , Z ball ) multiplied by the rotation matrix (the rotation matrix satisfies the following condition: the coordinates of the point at 90 degrees north latitude (or 90 degrees south latitude) multiplied by the rotation matrix to obtain the coordinates of the main viewpoint center (lon, lat)
  • the pixel points (X, Y) in the plane image B correspond to the rectangular coordinates (X- ball ', Y- ball ', Z- ball ') on the spherical surface (the longitude can also be obtained from the rectangular coordinates). And latitude).
  • the panoramic video demapping process maps the planar square image B back to the spherical surface based on the main viewpoint; the longitude and latitude of the center of the main viewpoint of the square image B is (lon, lat), and the area I is the image on the image B.
  • the center is the center of the circle, and the circle with radius ⁇ 0 corresponds to the area where the angle between the sphere and the center line of the main viewpoint is 0° to Z 1 ;
  • the area II is the center of the image with the center of the image as the center, and the inner radius is ⁇ 0
  • the outer radius is a circle of half the image size, corresponding to the area of the sphere on the spherical center of the main viewpoint center point is Z 1 ⁇ Z 2 ;
  • the area III is four four with the four corners of the image B as the center One-half circle, the quarter circle is tangent to the outer ring of the ring corresponding to the area II, and the area corresponding to the spherical center line of the central point of the main viewpoint is Z 2 ⁇ 180°;
  • the parameter lon The values of lat, Z 1 , Z 2 and ⁇ 0 include, but are not limited to, those obtained from the code stream.
  • the above spherical coordinate Coordinate can be expressed as ( Longitude', latitude') or (X ball ', Y ball ', Z ball '), the specific steps of the above method are as follows:
  • step 21 the rotation, specifically converting the spherical coordinates (longitude ', latitude') or (X ball ', Y ball ', Z ball ') into rectangular coordinates (X ball) ', Y ball ', Z ball '), and then multiply the coordinates (X ball ', Y ball ', Z ball ') by the rotation matrix (the rotation matrix satisfies the following condition: the center of the main viewpoint (lon, lat) can be The point is rotated to 90 degrees north latitude (or 90 degrees south latitude), and the right angle coordinates (X ball , Y ball , Z ball ) after rotation are obtained, and then the coordinates are calculated according to the Cartesian coordinates (X ball , Y ball , Z ball ). Longitude, latitude.
  • step 23 calculating, according to the region corresponding to the current point and the value of Z, the distance ⁇ of the current point corresponding to the center of the back plane image B or the distance plane image B
  • step 24 solves the value of the coordinate (X, Y), and if the point is located in the area I or II, the current point and the area on the plane I or II are selected according to the longitude.
  • the angle of the direction with a longitude of 0, according to the angle of the angle and the value of ⁇ , the value of the coordinate (X, Y) of the current point mapped to the plane is solved; if the point is located in the area III, according to the value of longitude, ⁇ ' And the angle corresponding to the four quarter circles gives the value of the current point mapped to the coordinates (X, Y) on the plane.
  • the direction of the longitude 0 selected by the region I or II and the angle corresponding to the four quarter circles should be consistent with the positive mapping process.
  • a panoramic video mapping method based on a primary view including a panoramic video positive mapping process and a panoramic video inverse mapping method process; by using the above steps of the positive mapping process, the image A (region on the spherical surface) may be separately mapped. To the plane image B (corresponding area on the plane), the plane image B can be mapped back to the spherical surface for rendering viewing by the above steps of the demapping process.
  • the invention provides a new panoramic image positive mapping technology and anti-mapping technology, which greatly reduces the resolution of the video while ensuring the video quality of the main viewing area is unchanged, thereby effectively reducing the bit rate and codec of the panoramic video encoding.
  • the complexity achieves the goal of reducing the bit rate of the panoramic video coding and guaranteeing the video quality of the main view area.
  • the present invention has the following advantages:
  • the panoramic image mapping parameters Z 1 , Z 2 , ⁇ 0 , f 1 (Z) and f 2 (Z) in the present invention are all adjustable, that is, the rate of change of the sampling density of the range of the main viewpoint area It is adjustable.
  • planar image B in the present invention can be mapped back to the spherical surface for rendering viewing.
  • FIG. 1 is a schematic diagram of a mapping relationship between a panoramic image and a spherical surface.
  • the panoramic image positive mapping method provided by the present invention maps the I, II, and III regions on the spherical surface to the I, II, and III regions on the plane, respectively;
  • the panoramic image back mapping method is provided, and the I, II, and III regions on the plane are respectively mapped back to the I, II, and III regions on the spherical surface;
  • (a) is a schematic diagram of a panoramic image on a spherical surface;
  • (b) is a schematic diagram of an image mapped by the method of the present invention; and the region I in (a) is a main viewpoint region centered on a point C, which corresponds to The region from 0° to Z 1 ;
  • Z 1 is the degree of ZBOC in (a), which can be set by itself;
  • the present invention maps it to the circular surface of region I in (b), and the circle of I in (b)
  • the surface radius is ⁇ 0 , which can be set by itself;
  • the II area on the spherical surface is the first-level non-primary viewpoint area, which corresponds to the area from Z 1 to Z 2 , and Z 2 is (a)
  • the degree of AOC can be set by itself;
  • the present invention maps it to the ring of the II region in the (b) square;
  • the III region on the spherical surface is the second-level non-primary
  • FIG. 3 is a flow chart of a positive mapping method of the present invention.
  • FIG. 4 is a flow chart of the demapping method of the present invention.
  • FIG. 5 is a schematic diagram of performing positive mapping and inverse mapping calculation in an embodiment of the present invention.
  • the I and II regions select the direction in which the positive direction of the X axis is longitude is 0°, and the correspondence between the longitudes in the III region is calculated by mapping.
  • FIG. 6 is an effect diagram of performing positive mapping according to an embodiment of the present invention.
  • An embodiment of the present invention provides a method for mapping a panoramic image based on a primary view, including a method for mapping a panoramic image and a corresponding method for mapping the mapping.
  • the following describes an embodiment of a positive mapping method and a reverse mapping method, respectively.
  • the panoramic image positive mapping method maps the I, II, and III regions on the spherical surface to the I, II, and III regions on the plane by the panoramic image positive mapping method provided by the present invention.
  • the left side is a schematic diagram of a panoramic image on a spherical surface
  • the right side is a schematic diagram of an image mapped by the method of the present invention.
  • the I area on the spherical surface is a main viewpoint area centered on the point C, which corresponds to an area between 0° and Z 1 (Z 1 is a degree of ⁇ BOC in the figure, which can be set by itself), and the present invention maps it to The circular surface of the I region in the square (the radius of the circular area of the I region is ⁇ 0 , which can be set by itself); the II region on the spherical surface is the non-primary viewpoint region of the first level, which corresponds to Z 1 to Z 2 (Z 2
  • the present invention maps it to the ring of the II region in the square;
  • the III region on the spherical surface is the second-level non-primary view region, which corresponds to The region between R' and 180°, the present invention maps it to the circular surface of the III region in the square (the circular surface of the III region in the square is composed of four 1/4 circular faces);
  • the area outside the II, II, II, II region in the square is a degree of ⁇
  • the spherical surface corresponding to the panoramic image A (such as the warp and weft map, the cube map image, etc.) of a certain mapping format to the plane image B corresponding to the panoramic map designed in the present invention (the resolution of the planar image B) It is N ⁇ N).
  • the specific process is as follows (the first step to the sixth step is to calculate the center of the main viewpoint is 90 degrees north latitude, the pixel point (X, Y) in the plane image B corresponds to the coordinates on the spherical surface, and the seventh step is rotated. The coordinates are rotated to the coordinates corresponding to the center of the current main viewpoint):
  • the first step normalize the pixel points (X, Y) in the plane image B to -1 to 1, and the normalized coordinates are (X', Y') (the normalization may not be performed here, but After normalization, the latter formula is easier to derive).
  • Step 2 Calculate the distance from the point (X', Y') to the center of the plane image B
  • Step 5 Calculate the longitude of the current point according to the value of X', Y', longitude is positive for east longitude, and longitude is negative for west longitude.
  • Step 6 According to the longitude and latitude, the coordinates of the point on the spherical surface can be known, that is, when the center of the main viewpoint is 90 degrees north latitude, the pixel point (X, Y) in the plane image B corresponds to the coordinate on the spherical surface.
  • Step 7 Calculate the Cartesian coordinates (X- ball , Y- ball , Z- ball ) of the point on the unit sphere according to the longitude latitude, and then multiply the coordinates (X- ball , Y- ball , Z- ball ) by 90 degrees from the north latitude to
  • the rotation matrix corresponding to the center of the main viewpoint obtains the pixel point (X, Y) in the plane image B corresponding to the Cartesian coordinates (X- ball ', Y- ball ', Z- ball ') on the spherical surface (here, the latitude and longitude coordinates may also be used. Rotating directly, but rotating the Cartesian coordinates is computationally simple).
  • Step 8 According to the spherical coordinates (X ball ', Y ball ', Z ball '), take the pixel value of the corresponding position on the spherical surface (or calculate the corresponding pixel value by interpolation) as the pixel point in the plane image B (X , Y) pixel value.
  • FIG. 3 is a flow chart of a positive mapping method of the present invention.
  • the specific calculation of the positive mapping process in this embodiment is as follows:
  • the first step normalize the pixel points (X, Y) in the plane image B (resolution N ⁇ N) to -1 to 1, and the normalized coordinates are (X', Y'). Calculated as follows:
  • Step 2 Calculate the distance from the point (X', Y') to the center of the plane image B:
  • ⁇ is the distance from the point (X', Y') to the center of the planar image B.
  • Step 3 If ⁇ 0, then the point is located in the region I; if 1 ⁇ > ⁇ 0, then the point is located in region II; if ⁇ > 1, the calculation point (X ', Y') to the image plane B The distance between the four corners, the smallest of which is recorded as ⁇ ', if Then the point is in area III, if Then, the pixel point (X, Y) in the plane image B is an unused pixel, and can be filled into an arbitrary value, and then the subsequent steps are directly skipped. If the point is in the region I, II, III, the value of Z is solved according to the relationship of ⁇ or ⁇ ' and Z, and the calculated relationship is as follows:
  • Step 4 Calculate the latitude latitude corresponding to the point according to Z. When latitude is positive, it indicates north latitude, and when latitude is negative, it indicates south latitude.
  • the calculation formula is as follows:
  • Step 5 Calculate the longitude of the current point according to the value of X', Y', longitude is positive for east longitude, and longitude is negative for west longitude.
  • the correspondence between the direction in which the longitude is 0° on the I and II regions in the plane image B and the longitude in the III region can be set by itself.
  • the I and II regions select the direction in which the positive direction of the X axis is longitude is 0°
  • the correspondence relationship of the longitude in the III region is as shown in FIG. 5, and the specific calculation formula is as follows:
  • Step 6 According to the longitude and latitude, the coordinates of the point on the spherical surface can be known, that is, when the center of the main viewpoint is 90 degrees north latitude, the pixel point (X, Y) in the plane image B corresponds to the coordinate on the spherical surface.
  • Step 7 Calculate the Cartesian coordinates (X- ball , Y- ball , Z- ball ) of the point on the unit sphere according to the longitude latitude (the X, Y, and Z axes of the coordinate system are as shown in Figure 1), and calculate as follows:
  • Step 8 According to the spherical coordinates (X ball ', Y ball ', Z ball '), take the pixel value of the corresponding position on the spherical surface (or calculate the corresponding pixel value by interpolation) as the pixel point in the plane image B (X , Y) pixel value.
  • the panoramic image back mapping method maps the planar square image B back to the spherical surface.
  • the longitude and latitude of the center of the main viewpoint of the square image B are (lon, lat)
  • the resolution is N ⁇ N
  • the area I is a circle on the image B with the center of the image as the center and the radius of ⁇ 0 .
  • the region II of the image B to the image center of a circle, the radius ⁇ 0, outer radius is half the size of the image circle Ring, corresponding to the area on the spherical surface and the center line of the main viewpoint center line is Z 1 ⁇ Z 2 ;
  • area III is four quarter circle centered on the four corners of image B, quarter circle
  • the outer ring of the ring corresponding to the area II is tangent to the area on the spherical surface which is at an angle of Z 2 to 180° with the center line of the central point of the main viewpoint;
  • the parameters lon, lat, Z 1 , Z 2 and ⁇ Values of 0 include, but are not limited to, those obtained from the code stream.
  • FIG. 4 is a flow chart of the demapping method of the present invention.
  • the specific process of the inverse mapping method embodiment is as follows:
  • Step 1 Convert the coordinates of the point on the spherical surface (longitude', latitude' or (X- ball ', Y- ball ', Z- ball ') to Cartesian coordinates (X- ball ', Y- ball ', Z- ball ' ), the calculation formula is as follows (the X, Y, and Z axes of the coordinate system are as shown in Figure 1. If the input is (X- ball ', Y- ball ', Z- ball '), no conversion is required):
  • Step 2 Multiply the coordinates (X ball ', Y ball ', Z ball ') by the rotation matrix corresponding to the rotation from the center of the main viewpoint (lon, lat) to 90 degrees north latitude (or 90 degrees south latitude) to obtain the rotation.
  • the third step normalize (X ball “, Y ball “, Z ball "), the normalized Cartesian coordinates are (X ball , Y ball , Z ball ), and the calculated relationship is as follows:
  • the third step then calculate the corresponding latitude and longitude (longitude, latitude) according to the Cartesian coordinates (X ball , Y ball , Z ball ), and the calculated relationship is as follows:
  • Step 5 Determine the region where the current point is located according to the value of Z. If 0° ⁇ Z ⁇ Z 1 , it is located in region I; if Z 1 ⁇ Z ⁇ Z 2 , it is located in region II; if Z 2 ⁇ Z ⁇ 180°, then it is located in the area III;
  • Step 6 If the point is located in the area I, II, calculate the distance ⁇ of the current point corresponding to the center of the back plane image B on the plane. If the point is located in the area III, calculate the current point corresponding to the plane back distance.
  • the minimum distance ⁇ ', ⁇ or ⁇ ' of the four corners of the plane image B is solved by the following formula:
  • Step 7 Calculate the coordinates (X, Y) of the current point on the plane according to the value of longitude, ⁇ or ⁇ '. If the point is in the area I or II, obtain the current point and the area I on the plane according to the longitude. II selects the angle of the direction of the longitude 0, according to the angle of the angle and the value of ⁇ to solve the value of the coordinate (X, Y) of the current point map to the plane; if the point is located in the area III, according to the longitude, The value of ⁇ ' and the angle corresponding to the four quarter circles get the current point mapped to The value of the coordinates (X', Y') on the plane.
  • the I and II regions select the direction in which the positive direction of the X axis is longitude is 0°, and the correspondence relationship of the longitude in the III region is as shown in FIG. 5, and the specific calculation formula is as follows:
  • Step 8 The (X', Y') calculated in the previous step is the normalized to -1 to 1 coordinates. It needs to be denormalized.
  • the inverse normalization is calculated as follows:
  • Step 9 Take the pixel value at (X, Y) on the plane image B (or interpolate nearby pixels) as the coordinates on the spherical surface (longitude', latitude') or (X- ball ', Y- ball ', Z- ball The pixel value of the point of ');
  • the positive mapping process of the embodiment of the present invention can map the image A (the area on the spherical surface) to the planar image B (the corresponding area on the plane) through all the steps of the positive mapping process and the demapping process.
  • the inverse mapping process maps the planar image B back to the sphere for rendering viewing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公布了全景视频正映射方法和全景视频反映射方法，涉及虚拟现实(VR)视频领域。本发明中，正映射方法基于主视点，将球面上的区域I、II、III分别映射到平面上相应的区域，其中区域I对应夹角0°～Z1的区域，区域II对应夹角Z1～Z2的区域，区域III对应夹角Z2～180°的区域。全景视频正映射方法将全景图像A所对应的球面映射到平面方形图像B上；全景视频反映射方法将平面方形图像B映射回球面，进行渲染播放。本发明可大大降低视频的分辨率，有效地降低全景视频编码的码率和编解码的复杂度，达到减少编码码率并保证ROI区域的视频质量的目的。

Description

基于主视点的全景视频映射方法 技术领域
本发明涉及虚拟现实(VR)视频领域，尤其涉及一种基于主视点的全景视频映射方法，可用于全景视频，在保证全景视频的主视点区域质量不变的前提下，能够大大减少全景视频的文件大小和编码的码率。
背景技术
随着虚拟现实技术的日益发展，对虚拟现实视频的需求日益增加。全景视频提供了360°的可视范围，但是，观看者在一段时间内只观看一定区域内的视频。以上这些情况下，观看者观看的视频区域可称为主视点区域，主视点区域往往只是360°全景视频的一部分。
由于360°的要求更广的视角，因此，全景视频相比于传统的平面视频，需要更高的分辨率，其编码所需的码率也相较传统的平面视频高出许多，并且视频编解码的复杂度也大大提高。现有的映射方法难以降低全景视频编码的码率和编解码的复杂度，也难以保证主视点区域的视频质量。
发明内容
为了克服上述现有技术的不足，本发明提供一种新的全景图像正映射及相应的反映射方法，全景图像正映射方法在保证主视点区域视频质量不变的情况下，大大降低视频的分辨率，从而有效地降低全景视频编码的码率和编解码的复杂度，达到减少全景视频编码的码率并保证主视点区域的视频质量的目的。全景图像反映射技术提供了从平面映射回球面的方法，通过此方法可以对本发明中的平面图像进行渲染观看。
本发明提供的技术方案是：
一种基于主视点的全景视频正映射方法，将全景图像A所对应的球面映射到平面方形图像B上；主视点中心的经度和纬度为(lon，lat)，根据与主视点中心到球心连线的夹角，将球面分成三个区域：分别记为区域I、区域II和区域III，区域I对应夹角0°～Z1的区域，区域II对应夹角Z1～Z2的区域，区域III对应夹角Z2～180°的区域；然后将区域I映射为图像B上以图像中心为圆心，半径为ρ0的圆；将区域II映射为图像B上以图像中心为圆心，内半径为ρ0；外半径为图像尺寸一半的圆环；区域III映射为以图像B四个角为圆心的四个四分之一圆，四分之一圆与区域II对应的圆环的外圈相切；特别的，当Z1＝0°时，ρ0＝0，此时不存在区 域I，只存在区域II，III；当Z1＝Z2时，ρ0为图像尺寸的一半，此时没有区域II，只存在区域I，III；采用上述方法映射后，图像B中有部分区域未使用，可填充成任意的像素值；
针对上述全景视频正映射过程，进一步地，将全景图像A所对应的球面映射到平面方形图像B(其分辨率N×N)上的具体方法为针对平面图像B中的每一个像素点(X，Y)，根据(X，Y)计算其对应的球面坐标Coordinate，球面坐标Coordinate与(X，Y)的关系可表示为：Coordinate＝F(X，Y)＝fT(fM(X，Y))，其中fM表示计算主视点中心为北纬90度(或南纬90度)时，平面图像B中的像素点(X，Y)对应到球面上的坐标，对应以下的步骤11)，fT表示旋转的操作，对应以下的步骤12)，然后根据球面坐标Coordinate取球面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为平面图像B中像素点(X，Y)的像素值。上述方法的具体过程包括如下步骤11)～13)：
11)计算得到主视点中心为北纬90度时，平面图像B中的像素点(X，Y)对应到球面上的坐标；具体包括如下步骤：
A)计算平面图像B中的每个像素点(X，Y)到平面图像B中心的距离ρ；
B)根据ρ的值判断像素点(X，Y)所在的区域，当像素点(X，Y)在区域I或区域II中时，转入步骤C)，反之计算像素点(X，Y)到图像四个角的距离，取其中最小的距离记作ρ′，根据ρ′的值判断像素点(X，Y)是否在区域III中，当像素点(X，Y)在区域III中时，转入步骤C)；当像素点(X，Y)不在区域III中时，像素点(X，Y)为未使用像素，填充成任意值(如果像素靠近II，III的区域边界，优选地，可填充成II，III区域边界上像素的值或按照II，III区域的映射方式计算出像素值)，结束操作；
C)根据像素点(X，Y)所在的区域以及ρ或ρ′的值，来计算当前点与主视点中心夹角Z的值；
D)根据公式latitude＝90°-Z(主视点中心为北纬90度)或latitude＝-90°+Z(主视点中心为南纬90度)，计算得到像素点(X，Y)对应的纬度；
E)如果像素点(X，Y)在区域I或区域II中，根据平面上区域I，II选取的经度为0的方 向(经度为0的方向可自行设置)以及X，Y的值，计算得到当前像素点的经度longitude；如果像素点(X，Y)在区域III中，根据四个四分之一圆所对应的角度(其对应的角度可自行设置，但需要覆盖整个360°的范围)和X，Y的值，计算得到当前像素点的经度longitude；
F)根据像素点的经度和纬度得到该像素点在球面的坐标，该坐标为主视点中心为北纬90度或南纬90度时，平面图像B中的像素点(X，Y)对应到球面上的坐标；
12)对步骤F)所得到的坐标进行旋转，得到主视点中心为(lon，lat)时，平面图像B中的像素点(X，Y)所对应的坐标；
13)根据步骤2)中旋转后的坐标，取球面上对应位置的像素值(或通过插值计算得到相应像素值)，作为平面图像B中的像素点(X，Y)的像素值。
针对上述全景视频正映射过程，进一步地，全景图像A的映射格式包括但不限于经纬图、立方体映射图像、多路相机采集的全景视频。
针对上述全景视频正映射过程，进一步地，所述方法中的参数lon，lat，Z1，Z2和ρ0的值均可自行设置。
针对上述全景视频正映射过程，进一步地，步骤A)计算平面图像B中的像素点(X，Y)到平面图像B中心的距离ρ，具体将平面图像B中的像素点(X，Y)归一化到-1到1，归一化后的坐标为(X′，Y′)，再计算点(X′，Y′)到平面图像B中心的距离为
Figure PCTCN2017095984-appb-000001
针对上述全景视频正映射过程，进一步地，步骤B)判断像素点(X，Y)所在的区域的方法为：当ρ＜ρ0时，所述像素点(X，Y)位于区域I中；当1≥ρ＞ρ0时，所述像素点(X，Y)位于区域II中；当ρ＞1时，计算像素点(X，Y)到平面图像B四个角的距离，取其中最小的距离记作ρ′，当
Figure PCTCN2017095984-appb-000002
时，像素点(X，Y)位于区域III中，当
Figure PCTCN2017095984-appb-000003
时，平面图像B中的像素点(X，Y)为未使用像素，填充成任意值(如果像素靠近II，III区域边界，建议填充成II，III区域边界上像素的值或按照II，III区域的映射方式计算出像素值)。上述步骤中，满足ρ＝ρ0的点归为区域I或归为区域II均可；
针对上述全景视频正映射过程，进一步地，步骤C)根据像素点(X，Y)所在的区域以及ρ或ρ′的值，来计算方位角Z的值的方法为：如果像素点(X，Y)位于区域I中，方位角为
Figure PCTCN2017095984-appb-000004
C0由边界条件：ρ＝ρ0时，Z＝Z1来确定；如果像素点(X，Y)位于区域II中，方位角Z由ρ2＝C1+C0∫sinZ f1(Z)dZ求解得到，公式中的C0，C1由边界条件：ρ＝ρ0时，Z＝Z1和ρ＝1时，Z＝Z2来确定；如果像素点(X，Y)位于区域III中，方位角Z由ρ′2＝C1+C0∫sinZ f2(Z)dZ求解得到，公式中的C0，C1由边界条件：ρ′＝0时，Z＝180°和
Figure PCTCN2017095984-appb-000005
时，Z＝Z2来确定；上述步骤中，f1(Z)和f2(Z)是关于Z的任意函数；
针对上述全景视频正映射过程，进一步地，步骤12)所述旋转，具体根据经度和纬度计算得到点在单位球面上的直角坐标(X球，Y球，Z球)，再将坐标(X球，Y球，Z球)乘旋转矩阵(该旋转矩阵满足以下条件：北纬90度(或南纬90度)的点的坐标乘上该旋转矩阵后得到的坐标为主视点中心(lon，lat)处的坐标)，得到平面图像B中的像素点(X，Y)对应到球面上的直角坐标(X球′，Y球′，Z球′)(也可通过此直角坐标求出对应的经度和纬度)。
另一方面，全景视频反映射过程，基于主视点，将平面方形图像B映射回球面；设方形图像B的主视点中心的经度和纬度为(lon，lat)，区域I为图像B上以图像中心为圆心，半径为ρ0的圆，对应球面上与主视点中心道球心连线夹角为0°～Z1的区域；区域II为图像B上以图像中心为圆心，内半径为ρ0，外半径为图像尺寸一半的圆环，对应球面上与主视点中心道球心连线夹角为Z1～Z2的区域；区域III为以图像B四个角为圆心的四个四分之一圆，四分之一圆与区域II对应的圆环的外圈相切，对应球面上与主视点中心道球心连线夹角为Z2～180°的区域；所述参数lon，lat，Z1，Z2和ρ0的值包括但不限于从码流中获取。
全景视频反映射具体方法为：对于球面上的点，根据其坐标Coordinate计算其对应到平面的坐标(X，Y)，平面坐标(X，Y)与Coordinate的关系表示为：(X，Y)＝F′(Coordinate)＝fM′(fT′(Coordinate))，其中fT′表示旋转操作对应以下的步骤21)，fM′表示映射的操作，对应以下的步骤22)到24)，然后根据平面坐标(X，Y)取平面上对应位置的像素值(或附近像素通过插值计算得到相应像素值)，作为球面上Coordinate处像素点的像素值，以上球面坐标 Coordinate可表示为(longitude′，latitude′)或(X球′，Y球′，Z球′)，上述方法的具体步骤如下：
21)对球面上的点进行旋转，得到假设当前主视点中心为北纬90度(或南纬90度)，其所对应的经纬度(longitude，latitude)；
22)根据纬度latitude，计算出与北纬90度(或南纬90度)的夹角Z，然后根据Z的值判断当前点所在的区域(区域I，区域II或区域III)；
23)根据当前点所对应的区域以及Z的值，计算出当前点对应到平面上后距离平面图像B中心的距离ρ或距离平面图像B四个角的最小距离ρ′；
24)根据步骤23)中求出的ρ或ρ′以及经度longitude，来求出当前点对应到平面图像B上后的坐标(X，Y)；
25)取平面图像B上(X，Y)处的像素值(或附近像素进行插值)，作为球面上坐标为(longitude′，latitude′)或(X球′，Y球′，Z球′)的点的像素值；
针对上述全景视频反映射过程，进一步地，步骤21)所述旋转，具体将球面坐标(longitude′，latitude′)或(X球′，Y球′，Z球′)转换为直角坐标(X球′，Y球′，Z球′)，再将坐标(X球′，Y球′，Z球′)乘以旋转矩阵(该旋转矩阵满足以下条件：能将主视点中心(lon，lat)处的点旋转到北纬90度(或南纬90度)处)，得到旋转后的直角坐标(X球，Y球，Z球)，然后根据直角坐标(X球，Y球，Z球)算出对应的经纬度(longitude，latitude)。
针对上述全景视频反映射过程，进一步地，步骤22)根据纬度latitude计算出与北纬90度(或南纬90度)的夹角Z，然后根据Z的值判断当前点所在的区域(区域I，区域II或区域III)，其具体的方法为：由公式Z＝90°-latitude(主视点中心为北纬90度)或Z＝latitude+90°(主视点中心为南纬90度)计算出Z的值；如果0°≤Z＜Z1，则其位于区域I中；如果Z1＜Z＜Z2，则其位于区域II中；如果Z2＜Z≤180°，则其位于区域III中；如果Z＝Z1，可归为区域I或区域II，如果Z＝Z2，可归为区域II或区域III，但需要与正映射一致。
针对上述全景视频反映射过程，进一步地，步骤23)根据当前点所对应的区域以及Z的值，计算出当前点对应到平面上后距离平面图像B中心的距离ρ或距离平面图像B四个角的最小 距离ρ′的具体方法为：当前点位于区域I中时，ρ由公式
Figure PCTCN2017095984-appb-000006
计算得到，C0由边界条件：ρ＝ρ0时，Z＝Z1来确定；当前点位于区域II中时，ρ由公式ρ2＝C1+C0∫sinZ f1(Z)dZ求解得到，其中的C0，C1由边界条件：ρ＝ρ0时，Z＝Z1和ρ＝1时，Z＝Z2来确定；当前点位于区域III中时，ρ′由公式ρ′2＝C1+C0∫sinZ f2(Z)dZ求解得到，其中的C0，C1由边界条件：ρ′＝0时，Z＝180°和
Figure PCTCN2017095984-appb-000007
时，Z＝Z2来确定。上述步骤中，f1(Z)和f2(Z)是关于Z的任意函数。
针对上述全景视频反映射过程，进一步地，步骤24)求解坐标(X，Y)的值，具体的如果点位于区域I或II中，根据longitude得到当前点与平面上区域I或II所选的经度为0的方向的夹角，根据夹角的大小以及ρ的值求解出当前点映射到平面上的坐标(X，Y)的值；如果点位于区域III中，根据longitude、ρ′的值以及四个四分之一圆所对应的角度得到当前点映射到平面上的坐标(X，Y)的值。区域I或II所选的经度为0的方向以及四个四分之一圆所对应的角度应与正映射过程一致。
本发明实施例中，采用基于主视点的全景视频映射方法，包括全景视频正映射过程和全景视频反映射方法过程；通过正映射过程的上述步骤，可将图像A(球面上的区域)分别映射到平面图像B(平面上的相应区域)，通过反映射过程的上述步骤，可将平面图像B映射回球面进行渲染观看。
与现有技术相比，本发明的有益效果是：
本发明提供一种新的全景图像正映射技术及反映射技术，在保证主视点区域视频质量不变的情况下，大大降低视频的分辨率，从而有效地降低全景视频编码的码率和编解码的复杂度，达到减少全景视频编码的码率并保证主视点区域的视频质量的目的。
具体地，本发明具有以下优点：
(一)本发明中的全景图像映射参数Z1，Z2，ρ0，f1(Z)和f2(Z)均是可调的，即主视点区域的范围一集采样密度的变化速度是可调的。
(二)在合理选择映射的参数Z1，Z2，ρ0，f1(Z)和f2(Z)时(比如Z1＝60°，Z2＝90°，ρ0＝sin60°，
Figure PCTCN2017095984-appb-000008
时)，即可保证主视点区域及有较好的质量，又能有效地 降低非主视点区域的采样密度，大大减小图像的分辨率，从而有效地降低全景视频编码的码率和编解码的复杂度。
在上述参数条件下，我们将分辨率为4096x2048的图像映射成分辨率为1536×1536的图像，像素数下降了约72％，在测试中，编码的所需的码率下降了约55％，主视点区域的视频质量基本不变。
(三)通过反映射方法，可将本发明中的平面图像B映射回球面进行渲染观看。
附图说明
图1是全景图像映射与球面对应关系的示意图，通过本发明提供的全景图像正映射方法，将球面上的I，II，III区域分别映射到平面上的I，II，III区域；通过本发明提供的全景图像反映射方法，将平面上的I，II，III区域分别映射回球面上的I，II，III区域；
其中，(a)为球面上的全景图像的示意图；(b)为经本发明方法映射后的图像的示意图；(a)中的区域I为以点C为中心的主视点区域，其对应从0°到Z1的区域；Z1为(a)图中ZBOC的度数，可自行设置；本发明将其映射到(b)中的区域I的圆面上，(b)中的I区域圆面半径为ρ0，可自行设置；(a)球面上的II区域为第一级的非主视点区域，其对应从Z1到Z2之间的区域，Z2为(a)图中∠AOC的度数，可自行设置；本发明将其映射到(b)方形中的II区域的圆环上；(a)球面上的III区域为第二级非主视点区域，其对应从R′到180°之间的区域，本发明将其映射到(b)方形中的III区域的圆面上，方形中的III区域的圆面由四个1/4圆面组成；(b)方形中除I、II、III区域之外的区域为未使用区域，填充成任意的像素值。
图2是本发明中的映射与球面上面积对应的示意图；其中，(a)为球面上一小块区域面积计算的示意图；(b)为平面上一小块区域面积计算的示意图；单位球面上一个较小区域的面积可表示为S球＝sinZdαdZ，将其映射到平面中的圆面上后对应的面积为S圆面＝ρdαdρ，二者面积之比为
Figure PCTCN2017095984-appb-000009
当其面积之比为一个常数，即
Figure PCTCN2017095984-appb-000010
时，解出ρ与Z的关系为
Figure PCTCN2017095984-appb-000011
这保证了主视点区域中的采样密度是一样的；当令其面积之比为一个值随Z增加而非递增的函数f(Z)，即
Figure PCTCN2017095984-appb-000012
时，解出ρ与Z的关系为ρ2＝C1+C0∫sinZ f(Z)dZ，这保证了离主视点区域越远，采样密度越低。
图3是本发明正映射方法的流程图。
图4是本发明反映射方法的流程图。
图5是本发明实施例中进行正映射和反映射计算的示意图；
其中，I，II区域选择X轴正方向为longitude为0°的方向，通过映射计算得到III区域上longitude的对应关系。
图6是本发明实施例进行正映射得到的效果图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明实施例提供了一种基于主视点的全景图像映射方法，包括全景图像正映射方法以及相应的反映射方法，以下分别介绍正映射方法以及反映射方法的实施例。
全景图像正映射方法如图1所示，通过本发明提供的全景图像正映射方法，将球面上的I，II，III区域分别映射到平面上的I，II，III区域。图1中，左边为球面上的全景图像的示意图，右边为本发明方法映射后的图像的示意图。球面上的I区域为以点C为中心的主视点区域，其对应从0°到Z1(Z1为图中∠BOC的度数，可自行设置)之间的区域，本发明将其映射到方形中的I区域的圆面上(I区域圆面半径为ρ0，可自行设置)；球面上的II区域为第一级的非主视点区域，其对应从Z1到Z2(Z2为图中∠AOC的度数，可自行设置)之间的区域，本发明将其映射到方形中的II区域的圆环上；球面上的III区域为第二级非主视点区域，其对应从R′到180°之间的区域，本发明将其映射到方形中的III区域的圆面上(方形中的III区域的圆面由四个1/4圆面组成)；方形中除I，II，II区域之外的区域为未使用区域，可填充成任意的像素值。
如图2所示，单位球面上一个较小区域的面积可表示为S球＝sinZdαdZ，其映射到平面中的圆面上后对应的面积为S圆面＝ρdαdρ，他们的面积之比为
Figure PCTCN2017095984-appb-000013
在方形中的I区域对应的圆面中，令其面积之比为一个常数，即
Figure PCTCN2017095984-appb-000014
解出ρ与Z的关系为
Figure PCTCN2017095984-appb-000015
这保证了方形中I区域的圆面中(主视点区域中)的采样密度是一样的。在方形中的II，III区域对应的圆面中，令其面积之比为一个值随Z增加而非递增的函数f(Z)(方形中的II，III区域的f(Z)函数可以不同)，即
Figure PCTCN2017095984-appb-000016
解出ρ与Z的关系为ρ2＝C1+C0∫sinZ f(Z)dZ，这保证了离主视点区域越远，采样密度越低。
在实施例中，我们将某种映射格式的全景图像A(如经纬图，立方体映射图像等)所对应的球面映射到本发明中设计的全景映射对应的平面图像B(平面图像B的分辨率为N×N)。 其具体的流程如下(其中第一步到第六步为计算主视点中心为北纬90度时，平面图像B中的像素点(X，Y)对应到球面上的坐标，第七步经过旋转将坐标旋转到当前主视点中心所对应的坐标)：
第一步：将平面图像B中的像素点(X，Y)归一化到-1到1，归一化后的坐标为(X′，Y′)(这里可以不进行归一化，但归一化以后后面的公式更便于推导)。
第二步：计算点(X′，Y′)到平面图像B中心的距离
Figure PCTCN2017095984-appb-000017
第三步：如果ρ≤ρ0，则点位于区域I中，方位角
Figure PCTCN2017095984-appb-000018
(公式中的C0由边界条件：ρ＝ρ0时，Z＝Z1来确定)；如果1≥ρ＞ρ0，则点位于区域II中，方位角Z由ρ2＝C1+C0∫sinZ f1(Z)dZ求解出(公式中的C0，C1由边界条件：ρ＝ρ0时，Z＝Z1和ρ＝1时，Z＝Z2来确定)；如果ρ＞1，计算点(X′，Y′)到平面图像B四个角的距离，取其中最小的距离记作ρ′，如果
Figure PCTCN2017095984-appb-000019
则点位于区域III中，方位角Z由ρ′2＝C1+C0∫sinZ f2(Z)dZ求解出(公式中的C0，C1由边界条件：ρ′＝0时，Z＝180°和
Figure PCTCN2017095984-appb-000020
1时，Z＝Z2来确定)，如果
Figure PCTCN2017095984-appb-000021
则平面图像B中的像素点(X，Y)为未使用像素这，可填充成任意值。
第四步：根据公式latitude＝90°-Z计算出该点对应的纬度，latitude为正时表示北纬，latitude为负时表示南纬。
第五步：根据X′，Y′的值计算出当前点的经度longitude，longitude为正表示东经，longitude为负表示西经。
第六步：根据经度和纬度便可知道该点在球面的坐标，即为主视点中心为北纬90度时，平面图像B中的像素点(X，Y)对应到球面上的坐标。
第七步：根据经度纬度计算出点在单位球面上的笛卡尔坐标(X球，Y球，Z球)，再将坐标(X球，Y球，Z球)乘上从北纬90度旋转到主视点中心所对应的旋转矩阵得到平面图像B中的像素点(X，Y)对应到球面上的笛卡尔坐标(X球′，Y球′，Z球′)(这里也可以对经度纬度坐标直 接进行旋转，但对笛卡尔坐标进行旋转在计算上比较简单)。
第八步：根据球面上坐标(X球′，Y球′，Z球′)取球面上对应位置的像素值(或通过插值计算得到相应像素值)，作为平面图像B中的像素点(X，Y)的像素值。
图3是本发明正映射方法的流程图。本实施例正映射过程的具体计算如下：
第一步：将平面图像B(分辨率为N×N)中的像素点(X，Y)归一化到-1到1，归一化后的坐标为(X′，Y′)，其计算公式如下：
Figure PCTCN2017095984-appb-000022
Figure PCTCN2017095984-appb-000023
第二步：计算点(X′，Y′)到平面图像B中心的距离：
Figure PCTCN2017095984-appb-000024
其中，ρ为点(X′，Y′)到平面图像B中心的距离。
第三步：如果ρ≤ρ0，则点位于区域I中；如果1≥ρ＞ρ0，则点位于区域II中；如果ρ＞1，计算点(X′，Y′)到平面图像B四个角的距离，取其中最小的距离记作ρ′，如果
Figure PCTCN2017095984-appb-000025
则点位于区域III中，如果
Figure PCTCN2017095984-appb-000026
则平面图像B中的像素点(X，Y)为未使用像素，可填充成任意值，然后直接跳过后面的步骤。如果点位于区域I，II，III中，则根据ρ或ρ′和Z的关系解出Z的值，其计算的关系如下：
区域I中：
Figure PCTCN2017095984-appb-000027
区域II中：ρ2＝C1+C0∫sinZ f1(Z)dZ    (式5)
区域III中：ρ′2＝C1+C0∫sinZ f2(Z)dZ    (式6)
以上公式中的C0，C1由边界条件解出，区域I，II，III的边界条件如下：
区域I中：
Figure PCTCN2017095984-appb-000028
区域II中：
Figure PCTCN2017095984-appb-000029
区域III中：
Figure PCTCN2017095984-appb-000030
第四步：根据Z计算出该点对应的纬度latitude，latitude为正时表示北纬，latitude为负时表示南纬，计算公式如下：
latitude＝90°-Z      (式10)
第五步：根据X′，Y′的值计算出当前点的经度longitude，longitude为正表示东经，longitude为负表示西经。平面图像B中的I，II区域上longitude为0°的方向和III区域上longitude的对应关系可自行设置。本实施例中I，II区域选择X轴正方向为longitude为0°的方向，III区域上longitude的对应关系如图5所示，其具体的计算公式：
区域I，II中：
Figure PCTCN2017095984-appb-000031
区域III中：
Figure PCTCN2017095984-appb-000032
第六步：根据经度和纬度便可知道该点在球面的坐标，即为主视点中心为北纬90度时，平面图像B中的像素点(X，Y)对应到球面上的坐标。
第七步：根据经度纬度计算出点在单位球面上的笛卡尔坐标(X球，Y球，Z球)(坐标系的X，Y，Z轴如图1所示)，其计算如下：
X球＝sin(longitude)×cos(latitude)        (式13)
Y球＝sin(latitude)      (式14)
Z球＝cos(longitude)×cos(latitude)     (式15)
再将坐标(X球，Y球，Z球)乘上从北纬90度旋转到主视点中心所对应的旋转矩阵得到平面 图像B中的像素点(X，Y)对应到球面上的笛卡尔坐标(X球′，Y球′，Z球′)。
第八步：根据球面上坐标(X球′，Y球′，Z球′)取球面上对应位置的像素值(或通过插值计算得到相应像素值)，作为平面图像B中的像素点(X，Y)的像素值。
至此，该本发明正映射方法实施例的所有步骤完成，实施例展示效果如图6所示。
另一方面，全景图像反映射方法将平面方形图像B映射回球面。在本实施例中，设方形图像B的主视点中心的经度和纬度为(lon，lat)，分辨率为N×N，区域I为图像B上以图像中心为圆心，半径为ρ0的圆，对应球面上与主视点中心道球心连线夹角为0°～Z1的区域；区域II为图像B上以图像中心为圆心，内半径为ρ0，外半径为图像尺寸一半的圆环，对应球面上与主视点中心道球心连线夹角为Z1～Z2的区域；区域III为以图像B四个角为圆心的四个四分之一圆，四分之一圆与区域II对应的圆环的外圈相切，对应球面上与主视点中心道球心连线夹角为Z2～180°的区域；所述参数lon，lat，Z1，Z2和ρ0的值包括但不限于从码流中获取。
图4是本发明反映射方法的流程图。反映射方法实施例具体的流程如下：
第一步：将球面上坐标为(longitude′，latitude′)或(X球′，Y球′，Z球′)的点的坐标转换为直角坐标(X球′，Y球′，Z球′)，其计算公式如下(坐标系的X，Y，Z轴如图1所示，如果输入是(X球′，Y球′，Z球′)，则不需要进行转换)：
X球′＝sin(longitude′)×cos(latitude′)       (式16)
Y球′＝sin(latitude′)        (式17)
Z球′＝cos(longitude′)×cos(latitude′)       (式18)
第二步：将坐标(X球′，Y球′，Z球′)乘以从主视点中心(lon，lat)旋转到北纬90度(或南纬90度)所对应的旋转矩阵，得到旋转后的直角坐标(X球″，Y球″，Z球″)；
第三步：对(X球″，Y球″，Z球″)进行归一化，归一化后的直角坐标为(X球，Y球，Z球)，其计算的关系如下：
Figure PCTCN2017095984-appb-000033
第三步：然后根据直角坐标(X球，Y球，Z球)算出对应的经纬度(longitude，latitude)，其计算的关系如下：
latitude＝arcsin(Y球)       (式20)
Figure PCTCN2017095984-appb-000034
第四步：由公式Z＝90°-latitude算出当前点与主视点中心的夹角；
第五步：根据Z的值判断当前点所在的区域，如果0°≤Z≤Z1，则其位于区域I中；如果Z1＜Z≤Z2，则其位于区域II中；如果Z2＜Z≤180°，则其位于区域III中；
第六步：如果该点位于区域I、II中，则计算当前点对应到平面上后距离平面图像B中心的距离ρ，如果该点位于区域III中，则计算当前点对应到平面上后距离平面图像B四个角的最小距离ρ′，ρ或ρ′由以下公式解出：
区域I中：
Figure PCTCN2017095984-appb-000035
区域II中：ρ2＝C1+C0∫sinZ f1(Z)dZ    (式23)
区域III中：ρ′2＝C1+C0∫sinZ f2(Z)dZ   (式24)
以上公式中，的C0，C1由边界条件求解出，边界条件如下：
区域I中：
Figure PCTCN2017095984-appb-000036
区域II中：
Figure PCTCN2017095984-appb-000037
区域III中：
Figure PCTCN2017095984-appb-000038
第七步：根据longitude，ρ或ρ′的值计算出当前点在平面上的坐标(X，Y)，具体的如果点位于区域I或II中，根据longitude得到当前点与平面上区域I或II所选的经度为0的方向的夹角，根据夹角的大小以及ρ的值求解出当前点映射到平面上的坐标(X，Y)的值；如果点位于区域III中，根据longitude、ρ′的值以及四个四分之一圆所对应的角度得到当前点映射到 平面上的坐标(X′，Y′)的值。本实施例中I，II区域选择X轴正方向为longitude为0°的方向，III区域上longitude的对应关系如图5所示，其具体的计算公式：
区域I，II中：X′＝ρcos(longitude)，Y′＝ρsin(longitude)    (式28)
区域III中：
Figure PCTCN2017095984-appb-000039
第八步：上一步中算出的(X′，Y′)是归一化到-1到1后的坐标，需反归一化，反归一化的计算如下：
Figure PCTCN2017095984-appb-000040
Figure PCTCN2017095984-appb-000041
第九步：取平面图像B上(X，Y)处的像素值(或附近像素进行插值)，作为球面上坐标为(longitude′，latitude′)或(X球′，Y球′，Z球′)的点的像素值；
至此，通过上述正映射过程和反映射过程的所有步骤，本发明实施例的正映射过程可将图像A(球面上的区域)映射到平面图像B(平面上的相应区域)，本发明实施例的反映射过程可将平面图像B映射回球面进行渲染观看。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (14)

  1. 一种全景视频正映射方法，基于主视点，将全景图像A所对应的球面映射到平面方形图像B上；其中，主视点中心的经度和纬度为(lon，lat)，根据与主视点中心到球心连线的夹角，将球面分成三个区域：分别记为区域I、区域II和区域III，区域I对应夹角0°～Z1的区域，区域II对应夹角Z1～Z2的区域，区域III对应夹角Z2～180°的区域；然后将区域I映射为图像B上以图像中心为圆心，半径为ρ0的圆；将区域II映射为图像B上以图像中心为圆心，内半径为ρ0，外半径为图像尺寸一半的圆环；区域III映射为以图像B四个角为圆心的四个四分之一圆，四分之一圆与区域II对应的圆环的外圈相切；当Z1＝0°时，ρ0＝0，此时不存在区域I，只存在区域II和III；当Z1＝Z2时，ρ0为图像尺寸的一半，此时没有区域II，只存在区域I和III；经所述方法正映射后，图像B中有部分区域未使用，将未使用区域填充成任意的像素值。
  2. 如权利要求1所述全景视频正映射方法，其特征是，将全景图像A所对应的球面映射到分辨率为N×N的平面方形图像B上的具体方法为：针对平面图像B中的每一个像素点(X，Y)，包括如下步骤：
    1)计算得到主视点中心为北纬90度或南纬90度时，平面图像B中的像素点(X，Y)对应到球面上的坐标；具体包括如下步骤：
    A)计算平面图像B中的每个像素点(X，Y)到平面图像B中心的距离ρ；
    B)根据ρ的值判断像素点(X，Y)所在的区域，当像素点(X，Y)在区域I或区域II中时，转入步骤C)，反之计算像素点(X，Y)到图像四个角的距离，取其中最小的距离记作ρ′，根据ρ′的值判断像素点(X，Y)是否在区域III中，当像素点(X，Y)在区域III中时，转入步骤C)；当像素点(X，Y)不在区域III中时，像素点(X，Y)为未使用像素，填充成任意值，结束操作；
    C)根据像素点(X，Y)所在的区域以及ρ或ρ′的值，来计算当前点与主视点中心夹角Z的值；
    D)当主视点中心为北纬90度时根据公式latitude＝90°-Z，或者当主视点中心为南纬 90度时根据公式latitude＝-90°+Z，计算得到像素点(X，Y)对应的纬度；
    E)如果像素点(X，Y)在区域I或区域II中，根据平面上区域I，II选取的经度为0的方向以及X，Y的值，计算得到当前像素点的经度longitude；如果像素点(X，Y)在区域III中，根据四个四分之一圆所对应的角度和X，Y的值，计算得到当前像素点的经度longitude；上述区域I，II中经度为0的方向自行设置，区域III中四个四分之一圆所对应的经度自行设置；
    F)根据像素点的经度和纬度得到该像素点在球面的坐标，该坐标为主视点中心为北纬90度或南纬90度时，平面图像B中的像素点(X，Y)对应到球面上的坐标；
    2)对步骤F)所得到的坐标进行旋转，得到主视点中心为(lon，lat)时，平面图像B中的像素点(X，Y)所对应的坐标；
    3)根据步骤2)中旋转后的坐标，取球面上对应位置的像素值或通过插值计算得到相应像素值，作为平面图像B中的像素点(X，Y)的像素值。
  3. 如权利要求1所述全景视频正映射方法，其特征是，所述全景图像A的映射格式包括但不限于经纬图、立方体映射图像、多路相机采集的全景视频。
  4. 如权利要求1所述全景视频正映射方法，其特征是，所述方法中的参数lon，lat，Z1，Z2和ρ0的值均可自行设置。
  5. 如权利要求2所述全景视频正映射方法，其特征是，步骤A)计算平面图像B中的像素点(X，Y)到平面图像B中心的距离ρ，具体将平面图像B中的像素点(X，Y)归一化到-1到1，归一化后的坐标为(X′，Y′)，再计算点(X′，Y′)到平面图像B中心的距离为
    Figure PCTCN2017095984-appb-100001
  6. 如权利要求2所述全景视频正映射方法，其特征是，步骤B)判断像素点(X，Y)所在的区域的方法为：当ρ＜ρ0时，所述像素点(X，Y)位于区域I中；当1≥ρ＞ρ0时，所述像素点(X，Y)位于区域II中；当ρ＞1时，计算像素点(X，Y)到平面图像B四个角的距离，取其中最小的距离记作ρ′，当
    Figure PCTCN2017095984-appb-100002
    时，像素点(X，Y)位于区域III中；+
    Figure PCTCN2017095984-appb-100003
    时，平 面图像B中的像素点(X，Y)为未使用像素，填充成任意值；上述步骤中，满足ρ＝ρ0的点归为区域I或归为区域II。
  7. 如权利要求2所述全景视频正映射方法，其特征是，步骤C)根据像素点(X，Y)所在的区域、ρ或ρ′的值，来计算当前点与主视点中心夹角Z的值的方法具体为：
    当像素点(X，Y)位于区域I中时，Z由公式
    Figure PCTCN2017095984-appb-100004
    计算得到，C0由边界条件：ρ＝ρ0时，Z＝Z1来确定；
    当像素点(X，Y)位于区域II中时，Z由公式ρ2＝C1+C0∫sinZ f1(Z)dZ求解得到，其中的C0，C1由边界条件：ρ＝ρ0时，Z＝Z1和ρ＝1时，Z＝Z2来确定；f1(Z)是关于Z的任意函数；
    当像素点(X，Y)位于区域III中时，方位角Z由ρ′2＝C1+C0∫sinZ f2(Z)dZ求解得到，其中的C0，C1由边界条件：ρ′＝0时，Z＝180°和
    Figure PCTCN2017095984-appb-100005
    时，Z＝Z2来确定；f2(Z)是关于Z的任意函数。
  8. 如权利要求2所述全景视频正映射方法，其特征是，步骤2)所述旋转，具体根据经度和纬度计算得到点在单位球面上的直角坐标(X球，Y球，Z球)，再将坐标(X球，Y球，Z球)乘以从北纬90度或南纬90度旋转到主视点中心(lon，lat)所对应的旋转矩阵，得到平面图像B中的像素点(X，Y)对应到球面上的直角坐标(X球′，Y球′，Z球′)。
  9. 一种全景视频反映射方法，基于主视点，将平面方形图像B反映射回球面；其中，设方形图像B的主视点中心的经度和纬度为(lon，lat)，区域I为图像B上以图像中心为圆心，半径为ρ0的圆，将其反映射成球面上与主视点中心道球心连线夹角为0°～Z1的区域；区域II为图像B上以图像中心为圆心，内半径为ρ0，外半径为图像尺寸一半的圆环，将其反映射成球面上与主视点中心道球心连线夹角为Z1～Z2的区域；区域III为以图像B四个角为圆心的四个四分之一圆，四分之一圆与区域II对应的圆环的外圈相切，将其反映射成球面上与主视点中心道球心连线夹角为Z2～180°的区域；当ρ0＝0时，Z1＝0，此时不存在区域I，只存在 区域II和III；当ρ0为图像尺寸的一半时，Z1＝Z2，此时没有区域II，只存在区域I和III；所述参数lon，lat，Z1，Z2和ρ0的值包括但不限于从码流中获取。
  10. 如权利要求9所述全景视频反映射方法，其特征是，将平面方形图像B反映射回球面的具体方法为对于球面上的点，其坐标为(longitude′，latitude′)或(X球′，Y球′，Z球′)，进行如下的步骤：
    1)对球面上的点进行旋转，得到假设当前主视点中心为北纬90度或南纬90度，其所对应的经纬度(longitude，latitude)；
    2)根据纬度latitude，计算出与北纬90度或南纬90度的夹角Z，然后根据Z的值判断当前点所在的区域；
    3)根据当前点所对应的区域以及Z的值，计算出当前点对应到平面上后距离平面图像B中心的距离ρ或距离平面图像B四个角的最小距离ρ′；
    4)根据步骤3)中求出的ρ或ρ′以及经度longitude，来求出当前点对应到平面图像B上后的坐标(X，Y)；
    5)取平面图像B上(X，Y)处的像素值或附近像素进行插值，作为球面上坐标为(longitude′，latitude′)或(X球′，Y球′，Z球′)的点的像素值；
    对球面上所有点执行以上步骤1)～5)，由此完成全景视频的反映射。
  11. 如权利要求10所述全景视频反映射方法，其特征是，步骤1)所述旋转，具体将坐标(longitude′，latitude′)或(X球′，Y球′，Z球′)转换为直角坐标(X球′，Y球′，Z球′)，再将坐标(X球′，Y球′，Z球′)乘以从主视点中心(lon，lat)旋转到北纬90度或南纬90度所对应的旋转矩阵，得到旋转后的直角坐标(X球，Y球，Z球)，然后根据直角坐标(X球，Y球，Z球)算出对应的经纬度(longitude，latitude)。
  12. 如权利要求10所述全景视频反映射方法，其特征是，步骤2)根据纬度latitude计算出与北纬90度或南纬90度的夹角Z，然后根据Z的值判断当前点所在的区域的方法为：
    当主视点中心为北纬90度时，由公式Z＝90°-latitude计算出Z的值；当主视点中心为 南纬90度时，由公式Z＝latitude+90°计算出Z的值；
    当0°≤Z＜Z1时，当前点位于区域I中；当Z1＜Z＜Z2时，当前点位于区域II中；当Z2＜Z≤180°时，当前点位于区域III中；当Z＝Z1时，当前点位于区域I或区域II中；当Z＝Z2时，当前点位于区域II或区域III。
  13. 如权利要求10所述全景视频反映射方法，其特征是，步骤3)根据当前点所对应的区域以及Z的值，计算出当前点对应到平面上后距离平面图像B中心的距离ρ或距离平面图像B四个角的最小距离ρ′的具体方法为：
    当前点位于区域I中时，ρ由公式
    Figure PCTCN2017095984-appb-100006
    计算得到，C0由边界条件：ρ＝ρ0时，Z＝Z1来确定；
    当前点位于区域II中时，ρ由公式ρ2＝C1+C0∫sinZ f1(Z)dZ求解得到，其中的C0，C1由边界条件：ρ＝ρ0时，Z＝Z1和ρ＝1时，Z＝Z2来确定；f1(Z)是关于Z的任意函数；
    当前点位于区域III中时，ρ′由公式ρ′2＝C1+C0∫sinZ f2(Z)dZ求解得到，其中的C0，C1由边界条件：ρ′＝0时，Z＝180°和
    Figure PCTCN2017095984-appb-100007
    时，Z＝Z2来确定；f2(Z)是关于Z的任意函数。
  14. 如权利要求10所述全景视频反映射方法，其特征是，步骤4)求解坐标(X，Y)的值，具体方法是：
    当点位于区域I或II中时，根据longitude得到当前点与平面上区域I或II所选的经度为0的方向的夹角，再根据夹角的大小和ρ的值求解出当前点映射到平面上的坐标(X，Y)的值；
    当点位于区域III中时，根据longitude、ρ′的值和四个四分之一圆所对应的角度，得到当前点映射到平面上的坐标(X，Y)的值。
PCT/CN2017/095984 2017-01-17 2017-08-04 基于主视点的全景视频映射方法 Ceased WO2018133380A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/478,607 US20200143511A1 (en) 2017-01-17 2017-08-04 Panoramic video mapping method based on main viewpoint
US16/514,269 US20200154111A1 (en) 2017-01-17 2019-07-17 Image mapping methods, apparatuses, device, and computer-readable memory medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710031017.7A CN106846245B (zh) 2017-01-17 2017-01-17 基于主视点的全景视频映射方法
CN201710031017.7 2017-01-17

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/478,607 A-371-Of-International US20200143511A1 (en) 2017-01-17 2017-08-04 Panoramic video mapping method based on main viewpoint
US16/514,269 Continuation-In-Part US20200154111A1 (en) 2017-01-17 2019-07-17 Image mapping methods, apparatuses, device, and computer-readable memory medium

Publications (1)

Publication Number Publication Date
WO2018133380A1 true WO2018133380A1 (zh) 2018-07-26

Family

ID=59124746

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/095984 Ceased WO2018133380A1 (zh) 2017-01-17 2017-08-04 基于主视点的全景视频映射方法

Country Status (3)

Country Link
US (1) US20200143511A1 (zh)
CN (1) CN106846245B (zh)
WO (1) WO2018133380A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2568355A (en) * 2017-11-03 2019-05-15 Adobe Inc Dynamic mapping of virtual and physical interactions
CN114612621A (zh) * 2022-05-13 2022-06-10 武汉大势智慧科技有限公司 基于三维倾斜模型的全景图生成方法及系统
CN115134604A (zh) * 2021-03-26 2022-09-30 影石创新科技股份有限公司 全景视频压缩方法、装置、计算机设备和存储介质

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10313652B1 (en) 2016-08-18 2019-06-04 Relay Cars LLC Cubic or spherical mapped content for presentation of pre-rendered images viewed from a fixed point of view in HTML, javascript and/or XML for virtual reality applications
CN106846245B (zh) * 2017-01-17 2019-08-02 北京大学深圳研究生院 基于主视点的全景视频映射方法
WO2018184528A1 (en) * 2017-04-05 2018-10-11 Mediatek Inc. Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
CN109218274A (zh) * 2017-07-07 2019-01-15 华为技术有限公司 一种媒体信息的处理方法及装置
CN109218755B (zh) * 2017-07-07 2020-08-25 华为技术有限公司 一种媒体数据的处理方法和装置
CN109300182B (zh) * 2017-07-25 2023-08-01 中国移动通信有限公司研究院 全景图像数据处理方法、处理设备及存储介质
CN111034191A (zh) 2017-08-18 2020-04-17 联发科技股份有限公司 用于减少基于投影的帧中的伪影的方法和装置
EP3460759A1 (en) * 2017-09-26 2019-03-27 Thomson Licensing Method and network equipment for tiling a sphere representing a spherical multimedia content
CN107622474B (zh) * 2017-09-26 2021-03-30 北京大学深圳研究生院 基于主视点的全景视频映射方法
CN109906468B (zh) * 2017-09-27 2023-08-22 联发科技股份有限公司 用于处理包括封装在360度虚拟现实投影布局中的至少一个投影面的基于投影的帧的方法
CN108074281B (zh) * 2017-12-27 2021-10-15 北京奇艺世纪科技有限公司 棱锥全景图模型生成方法及装置、存储介质及电子设备
WO2019127484A1 (zh) * 2017-12-29 2019-07-04 深圳市大疆创新科技有限公司 视频编码方法、视频解码方法及相关装置
CN108520492B (zh) * 2018-03-16 2022-04-26 中国传媒大学 全景视频映射方法及系统
CN109104611A (zh) * 2018-07-11 2018-12-28 深圳超多维科技有限公司 一种用于球面与平面间映射的方法和装置
CN110956583B (zh) 2018-09-26 2022-05-10 华为技术有限公司 球面图像处理方法、装置及服务器
CN110072158B (zh) * 2019-05-06 2021-06-04 复旦大学 球面赤道区域双c型全景视频投影方法
CN116670623A (zh) * 2021-06-07 2023-08-29 深圳市大疆创新科技有限公司 遥控器及其杆量确定方法、云台系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095338A1 (en) * 2001-10-29 2003-05-22 Sanjiv Singh System and method for panoramic imaging
US20100134516A1 (en) * 2008-11-28 2010-06-03 Sony Corporation Image processing system
CN101777193A (zh) * 2010-02-03 2010-07-14 中国人民解放军国防科学技术大学 基于双向映射精确插值的折反射全向图柱面全景展开方法
CN104835117A (zh) * 2015-05-11 2015-08-12 合肥工业大学 基于重叠方式的球面全景图生成方法
CN105069761A (zh) * 2015-08-28 2015-11-18 Tcl集团股份有限公司 一种低计算量的柱面全景图实现方法及系统
CN106127691A (zh) * 2016-07-12 2016-11-16 北京大学深圳研究生院 全景图像映射方法
CN106846245A (zh) * 2017-01-17 2017-06-13 北京大学深圳研究生院 基于主视点的全景视频映射方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6486908B1 (en) * 1998-05-27 2002-11-26 Industrial Technology Research Institute Image-based method and system for building spherical panoramas
CN105959702B (zh) * 2016-05-30 2019-03-22 北京奇艺世纪科技有限公司 一种球面视频编码方法和装置
CN106060570B (zh) * 2016-06-30 2019-06-14 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095338A1 (en) * 2001-10-29 2003-05-22 Sanjiv Singh System and method for panoramic imaging
US20100134516A1 (en) * 2008-11-28 2010-06-03 Sony Corporation Image processing system
CN101777193A (zh) * 2010-02-03 2010-07-14 中国人民解放军国防科学技术大学 基于双向映射精确插值的折反射全向图柱面全景展开方法
CN104835117A (zh) * 2015-05-11 2015-08-12 合肥工业大学 基于重叠方式的球面全景图生成方法
CN105069761A (zh) * 2015-08-28 2015-11-18 Tcl集团股份有限公司 一种低计算量的柱面全景图实现方法及系统
CN106127691A (zh) * 2016-07-12 2016-11-16 北京大学深圳研究生院 全景图像映射方法
CN106846245A (zh) * 2017-01-17 2017-06-13 北京大学深圳研究生院 基于主视点的全景视频映射方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2568355A (en) * 2017-11-03 2019-05-15 Adobe Inc Dynamic mapping of virtual and physical interactions
GB2568355B (en) * 2017-11-03 2019-12-11 Adobe Inc Dynamic mapping of virtual and physical interactions
CN115134604A (zh) * 2021-03-26 2022-09-30 影石创新科技股份有限公司 全景视频压缩方法、装置、计算机设备和存储介质
CN114612621A (zh) * 2022-05-13 2022-06-10 武汉大势智慧科技有限公司 基于三维倾斜模型的全景图生成方法及系统

Also Published As

Publication number Publication date
CN106846245B (zh) 2019-08-02
CN106846245A (zh) 2017-06-13
US20200143511A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
WO2018133380A1 (zh) 基于主视点的全景视频映射方法
US11257283B2 (en) Image reconstruction method, system, device and computer-readable storage medium
US11301953B2 (en) Main viewpoint-based panoramic video mapping method
WO2018157568A1 (zh) 全景图像映射方法
TWI619088B (zh) 圖像資料處理系統和相關方法以及相關圖像融合方法
US10977764B2 (en) Viewport independent image coding and rendering
CN106934772B (zh) 一种全景图像或视频的水平校准方法、系统及便携式终端
US20180218513A1 (en) Method and system of automatic object dimension measurement by using image processing
CN106875331B (zh) 一种全景图像的非对称映射方法
WO2018068612A1 (zh) 一种全景图像的映射方法、装置和设备
WO2019214594A1 (zh) 图像处理方法、相关设备及计算机存储介质
CN106412497A (zh) 一种基于全景拼接凝视技术的双目视觉立体匹配方法
CN106127691B (zh) 全景图像映射方法
CN111669564A (zh) 图像重建方法、系统、设备及计算机可读存储介质
WO2018068680A1 (zh) 图像处理方法和装置
CN106657972A (zh) 一种视频播放的控制方法及装置
CN106204496A (zh) 一种云台摄像头的鱼眼图像处理方法及装置
US20230326128A1 (en) Techniques for processing multiplane images
CN104103057B (zh) 一种快速的鱼眼图像生成全景图的方法
CN114567742A (zh) 全景视频的传输方法、装置及存储介质
CN105069761A (zh) 一种低计算量的柱面全景图实现方法及系统
CN111080523B (zh) 红外周视搜索系统及基于角度信息的红外周视图像拼接方法
WO2019157923A1 (zh) 一种环境贴图映射方法及装置
US11388336B2 (en) Horizontal calibration method and system for panoramic image or video, and portable terminal
CN110072158A (zh) 球面赤道区域双c型全景视频投影方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17892227

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17892227

Country of ref document: EP

Kind code of ref document: A1