WO2018133381A1 - 一种全景图像的非对称映射方法 - Google Patents

一种全景图像的非对称映射方法 Download PDF

Info

Publication number
WO2018133381A1
WO2018133381A1 PCT/CN2017/095995 CN2017095995W WO2018133381A1 WO 2018133381 A1 WO2018133381 A1 WO 2018133381A1 CN 2017095995 W CN2017095995 W CN 2017095995W WO 2018133381 A1 WO2018133381 A1 WO 2018133381A1
Authority
WO
WIPO (PCT)
Prior art keywords
map
boundary
interest
latitude
region
Prior art date
Application number
PCT/CN2017/095995
Other languages
English (en)
French (fr)
Inventor
王荣刚
王振宇
王悦名
高文
Original Assignee
北京大学深圳研究生院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京大学深圳研究生院 filed Critical 北京大学深圳研究生院
Publication of WO2018133381A1 publication Critical patent/WO2018133381A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations

Definitions

  • the present invention relates to the field of virtual reality (VR) technology, and in particular, to a new method for asymmetric mapping of panoramic images, which can reduce the image area occupied by non-ROI regions (non-interest regions) on the panoramic image, and reduce the required image for encoding panoramic images.
  • VR virtual reality
  • panoramic images are an important part. Since the panoramic image records the entire picture of the 360-degree view, it has an extremely high amount of data, which is disadvantageous for transmission and storage.
  • the panoramic image Since only a part of the panoramic image is the area that the user is more interested in, the rest is less likely to attract the user's attention. Therefore, it is possible to use a higher sampling precision for a region of interest (ROI) in a panoramic image, and a lower sampling precision for a non-interest region, which can greatly reduce the amount of data of the panoramic image.
  • ROI region of interest
  • the current general latitude and longitude map-based panoramic image mapping method cannot flexibly set the sampling precision of an image. Therefore, the existing panoramic image mapping method cannot use the above-described asymmetric sampling precision, and the mapping method is unreasonable, and it is difficult to reduce the data amount of the panoramic image.
  • the present invention provides an asymmetric mapping method for a panoramic image, which can use different sampling precisions for different regions of the panoramic image, and reduce the data amount of the non-ROI region.
  • An asymmetric mapping method for panoramic images including asymmetric forward mapping method and asymmetric reverse mapping method; asymmetric forward mapping method converts original image into asymmetric graph; asymmetric reverse mapping method takes above asymmetric The map is inversely mapped to the original image;
  • the original image may be a panoramic image in any format, such as a latitude and longitude image; the same column of pixels on the image have the same longitude The pixels in the same row have the same dimension; unlike the existing latitude and longitude map mapping, in the method, the image is set at the center position according to the specified width and height, and the ROI region has the same sampling precision as the corresponding point on the latitude and longitude map. The sampling accuracy of the ROI region is smoothly decremented toward the edge of the image along the center of the image.
  • the specific steps of the mapping method are:
  • Step 1 Specify a traditional latitude and longitude map with width and height of W ⁇ H, and map the latitude and longitude map coordinates to any specified mapping.
  • the original panorama coordinates acquired or stored by the method that is, the mapping relationship between the coordinates (x, y) of a point on the latitude and longitude image to the same point on the original panoramic image (xo, yo) is:
  • Step 2 Specify a ROI area whose center is the center of the warp and latitude chart and whose width and height are Wr ⁇ Hr. Specify the width and height of the map as W' ⁇ H', and calculate the maximum downsampling ratios rx and ry in the horizontal and vertical directions:
  • Fig. 3(a) shows the warp and weft diagram
  • Rh represents the lateral distance from the longitudinal boundary of the ROI to the longitudinal boundary of the warp and weft
  • Fig. 3(b) shows the map
  • Rh ' denotes the vertical boundary of the ROI to the vertical of the map. The lateral distance of the boundary.
  • mapping relationship between x' and x, Fx' can be written as:
  • D l and D r are the lateral distances of the points P l and P r on the warp and latitude diagram to the longitudinal boundary of the ROI, and can be from the lateral distances D l ' and D of the points P l ' and P r ' on the map to the longitudinal boundary of the ROI.
  • r 'calculation the formula is:
  • D h represents D l or D r
  • D h ' represents D l ' or D r '
  • D l ' R h '-x'
  • D r ' x'-Wr-R h '.
  • FIG. 4(a) shows a warp and weft diagram
  • R v represents a longitudinal distance from a lateral boundary of the ROI to a lateral boundary of the warp and weft
  • FIG. 4(b) represents a map
  • R v ' represents a lateral boundary of the ROI to the horizontal of the map. The longitudinal distance of the boundary.
  • mapping relationship between y' and y, Fy' can be written as:
  • D t and D b are the longitudinal distances of the points P t and P b on the warp and latitude diagram to the lateral boundary of the ROI, which may be from the points P t ' and P b ' on the map to the longitudinal distances D t ' and D of the lateral boundary of the ROI b 'calculation, the formula is:
  • D v represents D t or D b
  • D v ' represents D t ' or D b '
  • D t ' R v '-y'
  • D b ' y'-Hr-R v '.
  • the fourth step generating a map (asymmetric map), the pixel value of a point (x', y') on the map is the pixel value of the F(F'(x', y')) point on the original panorama. Do the above for each point on the map to get the map.
  • the map is inversely mapped to the latitude and longitude map by the asymmetric reverse mapping method, and further inversely mapped to the panorama (target panorama) of any other mapping method, the process includes the following specific steps:
  • Step 1 Map the target panorama coordinates mapped according to any specified mapping method to the latitude and longitude coordinates, that is, establish the coordinates (xo, yo) from a point on the target panorama to the coordinates of the same point on the latitude and longitude map (x) , y) mapping relationship:
  • the width and height of the warp and latitude chart are W ⁇ H
  • the width and height of the ROI area are Wr ⁇ Hr
  • the width and height of the map are W′ ⁇ H′
  • the maximum downsampling in the horizontal and vertical directions is calculated.
  • Fig. 3(a) shows a warp and weft diagram
  • Rh represents the lateral distance from the longitudinal boundary of the ROI to the longitudinal boundary of the warp and weft
  • Fig. 3(b) shows the map
  • Rh ' represents the vertical boundary of the ROI to the vertical of the map. The lateral distance of the boundary.
  • mapping relationship between x and x' Fx" can be written as:
  • D l ' and D r ' are the lateral distances from the points P l ' and P r ' on the map to the ROI boundary, and can be from the lateral distances D l and D r of the points P l and P r on the latitude and longitude map to the ROI boundary. Calculated, the formula is:
  • D h ' represents D l ' or D r '
  • D h represents D l or D r
  • D l R h -x
  • D r x-Wr-R h .
  • FIG. 4(a) shows a warp and weft diagram
  • R v represents a longitudinal distance from a lateral boundary of the ROI to a lateral boundary of the warp and weft
  • FIG. 4(b) represents a map
  • R v ' represents a lateral boundary of the ROI to the horizontal of the map. The longitudinal distance of the boundary.
  • mapping relationship between y and y' Fy can be written as:
  • D t ' and D b ' are the longitudinal distances from the points P t ' and P b ' on the map to the ROI boundary, which may be from the points P t and P b on the map to the longitudinal distances D t and D b of the ROI boundary Calculated, the formula is:
  • D v ' represents D t ' or D b '
  • D v represents D t or D b
  • D t R v - y
  • D b y - Hr - R v .
  • Step 4 Generate the original panorama.
  • the pixel value of a point (xo, yo) on the original panorama is the pixel value of the F′′ (F -1 (xo, yo)) point on the map.
  • F′′ F -1 (xo, yo)
  • the invention provides an asymmetric mapping method for panoramic images, including an asymmetric forward mapping method and an asymmetric reverse mapping method; the asymmetric forward mapping method converts the original image into an asymmetric graph; the asymmetric reverse mapping method will The asymmetric map is inversely mapped to the original image.
  • the present invention can perform mapping processing for a panorama of any format.
  • the latitude and longitude map is used as the original panoramic image
  • the asymmetric mapping method of the panoramic image provided by the present invention is used for mapping.
  • the present invention can be used for the region of interest in the panoramic image (ROI). Use higher sampling accuracy and lower sampling accuracy for non-interest areas, which can reduce image resolution and thus reduce the amount of data in panoramic images.
  • FIG. 1 is a flow chart of an asymmetric mapping method provided by the present invention.
  • FIG. 2 is a schematic diagram of a warp and weft diagram, a map, and an ROI area in an embodiment of the present invention
  • FIG. 3 is a schematic diagram showing a mapping relationship between a latitude and longitude map and a corresponding point abscissa on a map according to an embodiment of the present invention
  • (a) is a latitude and longitude diagram, where R h represents the lateral distance from the longitudinal boundary of the ROI to the longitudinal boundary of the latitude and longitude diagram, and P l and P r respectively indicate two points located to the left and right of the ROI region, D l and D r denotes the lateral distance of P l and P r from the longitudinal boundary of the ROI, respectively, Wr denotes the width of the ROI region;
  • (b) is a map, where R h ' represents the lateral distance from the longitudinal boundary of the ROI to the longitudinal boundary of the map, P l ' and P r ' respectively indicate two points located to the left and right of the ROI region, corresponding to points P l and P r in (a), and D l ' and D r ' respectively represent P l ' and P r 'The lateral distance from the longitudinal boundary of the ROI, and Wr is the height of the ROI area.
  • FIG. 4 is a schematic diagram showing the mapping relationship between the latitude and longitude maps of the corresponding points on the latitude and longitude maps in the embodiment of the present invention
  • (a) is a latitude and longitude diagram
  • R v in the figure represents the longitudinal distance from the lateral boundary of the ROI to the lateral boundary of the latitude and longitude diagram
  • P t and P b respectively indicate two points above and below the ROI region
  • D t and D b Respectively indicate the longitudinal distance of P t and P b from the lateral boundary of the ROI
  • Hr represents the height of the ROI region
  • (b) is the map, where R v ' represents the longitudinal distance from the lateral boundary of the ROI to the lateral boundary of the map, P t ' and P b ' respectively indicate two points above and below the ROI region, corresponding to P t and P b in Figure (a), D t ' and D b ' respectively indicate P t ' and P b 'distance from ROI
  • the longitudinal distance of the boundary, Hr represents the height of the ROI area.
  • the invention provides an asymmetric mapping method for panoramic images, including an asymmetric forward mapping method and an asymmetric reverse mapping method; the asymmetric forward mapping method converts the original image into an asymmetric graph; the asymmetric reverse mapping method will The asymmetric map is inversely mapped to the original image.
  • the present invention can use a higher sampling precision for a region of interest (ROI) in a panoramic image, and a lower sampling precision for a non-interest region, thereby reducing image resolution and thereby reducing the amount of data of the panoramic image.
  • ROI region of interest
  • the latitude and longitude map is used as the original panoramic image
  • the asymmetric mapping method of the panoramic image provided by the present invention is used for mapping processing.
  • an asymmetric forward mapping method is used to map a latitude and longitude map into an asymmetric map, and then the asymmetric map is used.
  • the reverse mapping method maps the map to a latitude and longitude map (original panorama).
  • Step 1 Since the original panorama is the latitude and longitude map, the mapping relationship from the coordinates (x, y) of a point on the latitude and longitude map to the coordinates (xo, yo) of the same point on the original panoramic image is established:
  • Step 2 Set the width and height of the ROI area to Wr ⁇ Hr, specify the width of the map as W′ ⁇ H′, and calculate the maximum downsampling ratios rx and ry in the horizontal and vertical directions by Equation 201:
  • Fig. 3(a) shows a warp and weft diagram
  • Rh represents the lateral distance from the longitudinal boundary of the ROI to the longitudinal boundary of the warp and weft
  • Fig. 3(b) shows the map
  • Rh ' represents the vertical boundary of the ROI to the vertical of the map. The lateral distance of the boundary.
  • mapping relationship between x' and x, Fx' can be written as:
  • D l and D r are the lateral distances of the points P l and P r to the ROI boundary on the warp and latitude diagram, and the lateral distances D l ' and D r ' from the points P l ' and P r ' on the map to the ROI boundary. Calculated, the formula is Equation 301:
  • D h represents D l or D r
  • D h ' represents D l ' or D r '
  • D l ' R h '-x'
  • D r ' x'-Wr-R h '.
  • FIG. 4(a) shows a warp and weft diagram
  • R v represents a longitudinal distance from a lateral boundary of the ROI to a lateral boundary of the warp and weft
  • FIG. 4(b) represents a map
  • R v ' represents a lateral boundary of the ROI to the horizontal of the map. The longitudinal distance of the boundary.
  • mapping relationship between y' and y, Fy' can be written as:
  • D t and D b are the longitudinal distances of the points P t and P b to the ROI boundary on the warp and latitude diagram, and the longitudinal distances D t ' and D b ' from the points P t ' and P b ' on the map to the ROI boundary. Calculated, the formula is 401:
  • D v represents D t or D b
  • D v ' represents D t ' or D b '
  • D t ' R v '-y'
  • D b ' y'-Hr-R v '.
  • Step 4 Generate a map.
  • the pixel value of a point (x', y') on the map is the pixel value of the F(F'(x', y')) point on the original panorama, that is, on the original panorama.
  • the pixel value of the point of F'(x', y'). Do the above for each point on the map to get the map.
  • Step 1 Since the target panorama is the latitude and longitude map, the mapping relationship from the coordinates (xo, yo) of a point on the target panorama to the coordinates (x, y) of the same point on the latitude and longitude map is established:
  • Step 2 Set the width and height of the warp and latitude chart to W ⁇ H, the width and height of the ROI area to Wr ⁇ Hr, and the width and height of the map to W′ ⁇ H′, and calculate the maximum downsampling ratio rx and ry in the horizontal and vertical directions. :
  • Fig. 3(a) shows a warp and weft diagram
  • Rh represents the lateral distance from the longitudinal boundary of the ROI to the longitudinal boundary of the warp and weft
  • Fig. 3(b) shows the map
  • Rh ' represents the vertical boundary of the ROI to the vertical of the map. The lateral distance of the boundary.
  • mapping relationship between x and x' Fx" can be written as:
  • D l ' and D r ' are the lateral distances from the points P l ' and P r ' on the map to the ROI boundary, which can be from the points P l and P r on the latitude and longitude map
  • the lateral distances D l and D r of the ROI boundary are calculated as follows:
  • D h ' represents D l ' or D r '
  • D h represents D l or D r
  • D l R h -x
  • D r x-Wr-R h .
  • FIG. 4(a) shows a warp and weft diagram
  • R v represents a longitudinal distance from a lateral boundary of the ROI to a lateral boundary of the warp and weft
  • FIG. 4(b) represents a map
  • R v ' represents a lateral boundary of the ROI to the horizontal of the map. The longitudinal distance of the boundary.
  • mapping relationship between y and y' Fy can be written as:
  • D t ' and D b ' are the longitudinal distances from the points P t ' and P b ' on the map to the ROI boundary, which may be from the points P t and P b on the map to the longitudinal distances D t and D b of the ROI boundary Calculated, the formula is 801:
  • D v ' represents D t ' or D b '
  • D v represents D t or D b
  • D t R v - y
  • D b y - Hr - R v .
  • Step 4 Generate the original panorama.
  • the pixel value of a point (xo, yo) on the original panorama is the pixel value of the F′′ (F -1 (xo, yo)) point on the map, which is the F on the map.
  • the pixel value of the "(xo, yo) point. Do the above for each point on the original panorama to get the original panorama.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Instructional Devices (AREA)

Abstract

一种全景图像的非对称映射方法，包括映射过程和反向映射过程；映射过程通过非对称前向映射方法将原始图转换成非对称图；包括：将经纬图坐标映射为原始全景图坐标；计算经纬图感兴趣区域横向和纵向上的最大下采样比例；建立从映射图到经纬图相同点坐标的映射关系；生成非对称映射图；反向映射过程通过非对称反向映射方法将非对称图反映射成原始图。原始图为任意格式的全景图。对全景图像中的感兴趣区域使用较高的采样精度，对非感兴趣区域使用较低采样精度，由此降低图像分辨率，进而降低全景图像的数据量。

Description

一种全景图像的非对称映射方法 技术领域
本发明涉及虚拟现实(VR)技术领域，尤其涉及一种新的全景图像非对称映射方法，可减少全景图上非ROI区域(非感兴趣区域)所占的图像面积，降低编码全景图像所需的码率
背景技术
目前，虚拟现实技术和相关应用正在快速发展。在虚拟现实技术中，全景图像是一个重要的组成部分。由于全景图像记录了360度视角的全部画面，具有极高的数据量，不利于传输和存储。
由于全景图像中往往只有一部分是用户比较感兴趣的区域，而其余部分不太容易引起用户注意。因此，可以对全景图像中的感兴趣区域(ROI)使用较高的采样精度，而对非感兴趣区域使用较低采样精度，可以大幅降低全景图像的数据量。但是，目前通用的基于经纬图的全景图像映射方式无法灵活地设定图像的采样精度。因此，现有的全景图像映射方法不能使用上述非对称的采样精度，映射方式不合理，难以降低全景图像的数据量。
发明内容
为了克服上述现有技术的不足，本发明提供一种针对全景图像的非对称映射方法，可对全景图像不同区域使用不同的采样精度，降低非ROI区域的数据量。
本发明提供的技术方案是：
一种全景图像的非对称映射方法，包括非对称前向映射方法和非对称反向映射方法；非对称前向映射方法将原始图转换成非对称图；非对称反向映射方法将上述非对称图反映射成原始图；
其中，对全景图像通过非对称前向映射方法将原始图转换(映射)成非对称图的过程中，原始图可以是任意格式的全景图，如经纬图；图像上同一列像素具有相同的经度，同一行像素具有相同的维度；与现有的经纬图映射不同，该方法中，图像在中心位置按照指定宽高设定ROI区域，ROI区域具有同经纬图上对应点相同的采样精度，非ROI区域的采样精度沿图像中心向图像边缘平滑递减。该映射方法具体步骤为：
第一步：指定一个宽高为W×H的传统经纬图，将经纬图坐标映射为按照任意指定的映射 方法采集或存储的原始全景图坐标，即建立从所属经纬图上某一点的坐标(x,y)到所述原始全景图像上相同点的坐标(xo,yo)的映射关系为：
F:(xo,yo)＝F(x,y)           (式1)
第二步：对经纬图指定一个中心为经纬图中心、且宽高为Wr×Hr的ROI区域。指定映射图的宽高为W′×H′，计算横向和纵向上的最大下采样比例rx和ry:
Figure PCTCN2017095995-appb-000001
第三步：建立从映射图上某一点的坐标(x′,y′)到所述经纬图上相同点的坐标(x,y)的映射关系F′，F′可以写作F′(x′,y′)＝(Fx′(x′),Fy′(y′))，其中x＝Fx′(x′),y＝Fy′(y′)。
如图3所示，图3(a)表示经纬图；Rh表示ROI纵向边界到经纬图纵向边界的横向距离；图3(b)表示映射图，Rh′表示ROI纵向边界到映射图纵向边界的横向距离。
x′和x的映射关系Fx′可以写作：
当x′＜Rh′时，如映射图上Pl′点，x＝Rh-Dl,如经纬图上Pl点；
当x′＞Rh′+Wr时，如映射图上Pr′点，x＝Rh+Wr+Dr，如经纬图上Pr点；
否则，x＝Rh+x′-Rh′。
Dl和Dr是经纬图上的点Pl和Pr到ROI纵向边界的横向距离，可以由映射图上的点Pl′和Pr′到ROI纵向边界的横向距离Dl′和Dr′计算，公式为：
Figure PCTCN2017095995-appb-000002
其中，Dh代表Dl或Dr，Dh′代表Dl′或Dr′，并且，Dl′＝Rh′-x′，Dr′＝x′-Wr-Rh′。
如图4所示，图4(a)表示经纬图，Rv表示ROI横向边界到经纬图横向边界的纵向距离；图4(b)表示映射图，Rv′表示ROI横向边界到映射图横向边界的纵向距离。
y′和y的映射关系Fy′可以写作：
当y′＜Rv′时，如映射图上Pt′点，y＝Rv-Dt,如经纬图上Pt点；
当y′＞Rv′+Hr时，如映射图上Pb′点，y＝Rv+Hr+Db，如经纬图上Pb点；
否则，y＝Rv+y′-Rv′。
Dt和Db是经纬图上的点Pt和Pb到ROI横向边界的纵向距离，可以由映射图上的点Pt′和Pb′到ROI横向边界的纵向距离Dt′和Db′计算，公式为：
Figure PCTCN2017095995-appb-000003
其中，Dv代表Dt或Db，Dv′代表Dt′或Db′，并且，Dt′＝Rv′-y′，Db′＝y′-Hr-Rv′。
第四步：生成映射图(非对称图)，映射图上某一点(x′,y′)的像素值为原始全景图上F(F′(x′,y′))点的像素值。对映射图上每一点做上述操作，得到映射图。
另一方面，通过非对称反向映射方法将映射图反向映射到经纬图上，并进一步反向映射到其它任何映射方式的全景图(目标全景图)上，这个过程包括如下具体步骤：
第一步：将按照任意指定映射方法映射的目标全景图坐标映射到经纬图坐标，即建立从目标全景图上某一点的坐标(xo,yo)到所述经纬图上相同点的坐标(x,y)的映射关系：
F-1:(x,y)＝F-1(xo,yo)         (式11)
第二步：如图2所示，经纬图的宽高为W×H，ROI区域宽高为Wr×Hr，映射图的宽高为W′×H′，计算横向和纵向上的最大下采样比例rx和ry:
Figure PCTCN2017095995-appb-000004
第三步：建立从经纬图上某一点的坐标(x,y)到所述映射图上相同点的坐标(x′,y′)的映射关系F″，F″可以写作F″(x,y)＝(Fx″(x),Fy″(y))，其中x′＝Fx″(x),y′＝Fy″(y)。
如图3所示，图3(a)表示经纬图，Rh表示ROI纵向边界到经纬图纵向边界的横向距离；图3(b)表示映射图，Rh′表示ROI纵向边界到映射图纵向边界的横向距离。
x和x′的映射关系Fx″可以写作：
当x＜Rh时，如映射图上Pl点，x′＝Rh′-Dl′,如经纬图上Pl′点；
当x＞Rh+Wr时，如映射图上Pr点，x′＝Rh′+Wr+Dr′，如经纬图上Pr′点；
否则，x′＝Rh′+x-Rh。
Dl′和Dr′是映射图上的点Pl′和Pr′到ROI边界的横向距离，可以由经纬图上的点Pl和Pr到ROI边界的横向距离Dl和Dr计算，公式为：
Figure PCTCN2017095995-appb-000005
其中，Dh′代表Dl′或Dr′，Dh代表Dl或Dr，并且，Dl＝Rh-x，Dr＝x-Wr-Rh。
如图4所示，图4(a)表示经纬图，Rv表示ROI横向边界到经纬图横向边界的纵向距离；图4(b)表示映射图，Rv′表示ROI横向边界到映射图横向边界的纵向距离。
y和y′的映射关系Fy″可以写作：
当y＜Rv时，如映射图上Pt点，y′＝Rv′-Dt′,如经纬图上Rt′点；
当y＞Rv+Hr时，如映射图上Pb点，y′＝Rv′+Hr+Db′，如经纬图上Pb′点；
否则，y＝Rv′+y-Rv。
Dt′和Db′是映射图上的点Pt′和Pb′到ROI边界的纵向距离，可以由映射图上的点Pt和Pb到ROI边界的纵向距离Dt和Db计算，公式为：
Figure PCTCN2017095995-appb-000006
其中，Dv′代表Dt′或Db′，Dv代表Dt或Db，并且，Dt＝Rv-y，Db＝y-Hr-Rv。
第四步：生成原始全景图，原始全景图上某一点(xo,yo)的像素值为映射图上F″(F-1(xo,yo))点的像素值。对原始全景图上每一点做上述操作，得到原始全景图。
与现有技术相比，本发明的有益效果是：
本发明提供一种全景图像的非对称映射方法，包括非对称前向映射方法和非对称反向映射方法；非对称前向映射方法将原始图转换成非对称图；非对称反向映射方法将非对称图反映射成原始图。
本发明可针对任意格式的全景图进行映射处理。本发明实施例以经纬图为原始全景图，采用本发明提供的全景图像的非对称映射方法进行映射，与现有经纬图映射方法相比，本发明可以对全景图像中的感兴趣区域(ROI)使用较高的采样精度，而对非感兴趣区域使用较低采样精度，从而可以降低图像分辨率，进而降低全景图像的数据量。
附图说明
图1是本发明提供的非对称映射方法的流程框图。
图2是本发明实施例中经纬图、映射图以及ROI区域的示意图；
其中，(a)为经纬图，图中的W和H分别代表经纬图的宽和高；(b)为映射图，图中的W′和H′分 别代表映射图的宽和高；(a)和(b)中，Wr和Hr分别代表ROI区域的宽和高。
图3是本发明实施例中经纬图和映射图上对应点横坐标的映射关系示意图；
其中，(a)为经纬图，图中的Rh代表ROI纵向边界到经纬图纵向边界的横向距离，Pl和Pr分别示意位于ROI区域左方和右方的两个点，Dl和Dr分别表示Pl和Pr距离ROI纵向边界的横向距离，Wr表示ROI区域的宽度；(b)为映射图，图中的Rh‘代表ROI纵向边界到映射图纵向边界的横向距离，Pl’和Pr‘分别示意位于ROI区域左方和右方的两个点，对应图(a)中Pl和Pr点，Dl’和Dr‘分别表示Pl’和Pr‘距离ROI纵向边界的横向距离，Wr表示ROI区域的高度。
图4是本发明实施例中经纬图和映射图上对应点纵坐标的映射关系示意图；
其中，(a)为经纬图，图中的Rv代表ROI横向边界到经纬图横向边界的纵向距离，Pt和Pb分别示意位于ROI区域上方和下方的两个点，Dt和Db分别表示Pt和Pb距离ROI横向边界的纵向距离，Hr表示ROI区域的高度；(b)为映射图，图中的Rv‘代表ROI横向边界到映射图横向边界的纵向距离，Pt’和Pb‘分别示意位于ROI区域上方和下方的两个点，对应图(a)中Pt和Pb点，Dt’和Db‘分别表示Pt’和Pb‘距离ROI横向边界的纵向距离，Hr表示ROI区域的高度。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供一种全景图像的非对称映射方法，包括非对称前向映射方法和非对称反向映射方法；非对称前向映射方法将原始图转换成非对称图；非对称反向映射方法将非对称图反映射成原始图。本发明可以对全景图像中的感兴趣区域(ROI)使用较高的采样精度，而对非感兴趣区域使用较低采样精度，从而可以降低图像分辨率，进而降低全景图像的数据量。
以下实施例以经纬图为原始全景图，采用本发明提供的全景图像的非对称映射方法进行映射处理，首先使用非对称前向映射方法将一个经纬图映射成非对称映射图，再使用非对称反向映射方法将映射图映射为经纬图(原始全景图)。
使用非对称前向映射方法将宽高为W×H的经纬图映射为映射图，步骤如下：
第一步：由于原始全景图即为经纬图，因此即建立从经纬图上某一点的坐标(x,y)到所述原始全景图像上相同点的坐标(xo,yo)的映射关系为：
F:(xo,yo)＝F(x,y)＝(x,y)          (式101)
第二步：设定ROI区域宽高为Wr×Hr，指定映射图宽高为W′×H′，通过式201计算横向和纵向上的最大下采样比例rx和ry:
Figure PCTCN2017095995-appb-000007
第三步：建立从映射图上某一点的坐标(x′,y′)到所述经纬图上相同点的坐标(x,y)的映射关系F′，F′可以写作F′(x′,y′)＝(Fx′(x′),Fy′(y′))，其中x＝Fx′(x′),y＝Fy′(y′)。
如图3所示，图3(a)表示经纬图，Rh表示ROI纵向边界到经纬图纵向边界的横向距离；图3(b)表示映射图，Rh′表示ROI纵向边界到映射图纵向边界的横向距离。
x′和x的映射关系Fx′可以写作：
当x′＜Rh′时，如映射图上Pl′点，x＝Rh-Dl,如经纬图上Pl点；
当x′＞Rh′+Wr时，如映射图上Pr′点，x＝Rh+Wr+Dr，如经纬图上Pr点；
否则，x＝Rh+x′-Rh′。
Dl和Dr是经纬图上的点Pl和Pr到ROI边界的横向距离，可以由映射图上的点Pl′和Pr′到ROI边界的横向距离Dl′和Dr′计算，公式为式301：
Figure PCTCN2017095995-appb-000008
其中，Dh代表Dl或Dr，Dh′代表Dl′或Dr′，并且，Dl′＝Rh′-x′，Dr′＝x′-Wr-Rh′。
如图4所示，图4(a)表示经纬图，Rv表示ROI横向边界到经纬图横向边界的纵向距离；图4(b)表示映射图，Rv′表示ROI横向边界到映射图横向边界的纵向距离。
y′和y的映射关系Fy′可以写作：
当y′＜Rv′时，如映射图上Pt′点，y＝Rv-Dt,如经纬图上Pt点；
当y′＞Rv′+Hr时，如映射图上Pb′点，y＝Rv+Hr+Db，如经纬图上Pb点；
否则，y＝Rv+y′-Rv′。
Dt和Db是经纬图上的点Pt和Pb到ROI边界的纵向距离，可以由映射图上的点Pt′和Pb′到ROI边界的纵向距离Dt′和Db′计算，公式为式401：
Figure PCTCN2017095995-appb-000009
其中，Dv代表Dt或Db，Dv′代表Dt′或Db′，并且，Dt′＝Rv′-y′，Db′＝y′-Hr-Rv′。
第四步：生成映射图，映射图上某一点(x′,y′)的像素值为原始全景图上F(F′(x′,y′))点的像素值，即原始全景图上F′(x′,y′)点的像素值。对映射图上每一点做上述操作，得到映射图。
使用非对称反向映射方法将映射图反向映射为经纬图，步骤为：
第一步：由于目标全景图即为经纬图，建立从目标全景图上某一点的坐标(xo,yo)到经纬图上相同点的坐标(x,y)的映射关系为式501：
F-1:(x,y)＝F-1(xo,yo)＝(xo,yo)     (式501)
第二步：设定经纬图的宽高为W×H，ROI区域宽高为Wr×Hr，映射图的宽高为W′×H′，计算横向和纵向上的最大下采样比例rx和ry:
Figure PCTCN2017095995-appb-000010
第三步：建立从经纬图上某一点的坐标(x,y)到所述映射图上相同点的坐标(x′,y′)的映射关系F″，F″可以写作F″(x,y)＝(Fx″(x),Fy″(y))，其中x′＝Fx″(x),y′＝Fy″(y)。
如图3所示，图3(a)表示经纬图，Rh表示ROI纵向边界到经纬图纵向边界的横向距离；图3(b)表示映射图，Rh′表示ROI纵向边界到映射图纵向边界的横向距离。
x和x′的映射关系Fx″可以写作：
当x＜Rh时，如映射图上Pl点，x′＝Rh′-Dl′,如经纬图上Pl′点；
当x＞Rh+Wr时，如映射图上Pr点，x′＝Rh′+Wr+Dr′，如经纬图上Pr′点；
否则，x′＝Rh′+x-Rh。
Dl′和Dr′是映射图上的点Pl′和Pr′到ROI边界的横向距离，可以由经纬图上的点Pl和Pr到
ROI边界的横向距离Dl和Dr计算，公式为如下：
Figure PCTCN2017095995-appb-000011
其中，Dh′代表Dl′或Dr′，Dh代表Dl或Dr，并且，Dl＝Rh-x，Dr＝x-Wr-Rh。
如图4所示，图4(a)表示经纬图，Rv表示ROI横向边界到经纬图横向边界的纵向距离；图4(b)表示映射图，Rv′表示ROI横向边界到映射图横向边界的纵向距离。
y和y′的映射关系Fy″可以写作：
当y＜Rv时，如映射图上Pt点，y′＝Rv′-Dt′,如经纬图上Pt′点；
当y＞Rv+Hr时，如映射图上Pb点，y′＝Rv′+Hr+Db′，如经纬图上Pb′点；
否则，y＝Rv′+y-Rv。
Dt′和Db′是映射图上的点Pt′和Pb′到ROI边界的纵向距离，可以由映射图上的点Pt和Pb到ROI边界的纵向距离Dt和Db计算，公式为式801：
Figure PCTCN2017095995-appb-000012
其中，Dv′代表Dt′或Db′，Dv代表Dt或Db，并且，Dt＝Rv-y，Db＝y-Hr-Rv。
第四步：生成原始全景图，原始全景图上某一点(xo,yo)的像素值为映射图上F″(F-1(xo,yo))点的像素值,即为映射图上F″(xo,yo)点的像素值。对原始全景图上每一点做上述操作，得到原始全景图。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (8)

  1. 一种全景图像的非对称映射方法，包括映射过程和反向映射过程；所述映射过程通过非对称前向映射方法将原始图转换成非对称图；所述反向映射过程通过非对称反向映射方法将上述非对称图反映射成原始图；所述原始图为任意格式的全景图；非对称图上同一列像素具有相同的经度，同一行像素具有相同的维度；所述非对称图的中心区域为指定宽高的感兴趣区域；所述感兴趣区域和非感兴趣区域具有不同的采样精度，且非感兴趣区域的采样精度沿非对称图中心向非对称图边缘递减。
  2. 如权利要求1所述的非对称映射方法，其特征是，所述映射过程包括如下步骤：
    第一步：将指定宽高为W×H的经纬图的坐标映射为任意原始全景图坐标，即建立从所述经纬图上某一点的坐标(x，y)到所述原始全景图上相同点的坐标(xo，yo)的映射关系，表示为式1：
    F：(xo，yo)＝F(x，y)   (式1)
    第二步：对经纬图指定一个感兴趣区域，所述感兴趣区域的中心为经纬图中心、且宽高为Wr×Hr；设定映射图的宽高为W′×H′；
    第三步：建立从映射图上某一点的坐标(x′，y′)到所述经纬图上相同点的坐标(x，y)的映射关系F′，F′表示为：F′(x′，y′)＝(Fx′(x′)，Fy′(y′))，其中x＝Fx′(x′)，y＝Fy′(y′)；设定Rh表示感兴趣区域纵向边界到经纬图纵向边界的横向距离；Rh′表示感兴趣区域纵向边界到映射图纵向边界的横向距离；x′和x的映射关系Fx′为：
    当x′＜Rh′时，x＝Rh-Dl；
    当x′＞Rh′+Wr时，x＝Rh+Wr+Dr；
    否则，x＝Rh+x′-Rh′；
    其中，Dl和Dr分别是经纬图上的点Pl和Pr到感兴趣区域纵向边界的横向距离；
    设定Rv表示感兴趣区域横向边界到经纬图横向边界的纵向距离；Rv′表示感兴趣区域横向边界到映射图横向边界的纵向距离；y′和y的映射关系Fy′为：
    当y′＜Rv′时，y＝Rv-Dt；
    当y′＞Rv′+Hr时，y＝Rv+Hr+Db；
    否则，y＝Rv+y′-Rv′；
    其中，Dt和Db是经纬图上的点Pt和Pb到感兴趣区域横向边界的纵向距离；
    第四步：生成非对称映射图：将原始全景图上F(F′(x′，y′))点的像素值作为映射图上相应的每一点(x′，y′)的像素值，由此得到非对称映射图。
  3. 如权利要求1所述的非对称映射方法，其特征是，所述反向映射过程通过非对称反向映射方法将所述非对称映射图反向映射到经纬图上，并进一步反向映射到任何映射方式的全景图上，包括如下步骤：
    第一步：将目标全景图坐标映射到经纬图坐标，即建立从目标全景图上某一点的坐标(xo，yo)到所述经纬图上相同点的坐标(x，y)的映射关系，表示为式11：
    F-1：(x，y)＝F-1(xo，yo)   (式11)
    第二步：建立从经纬图上某一点的坐标(x，y)到所述映射图上相同点的坐标(x′，y′)的映射关系F″，记作F″(x，y)＝(Fx″(x)，Fy″(y))，其中x′＝Fx″(x)，y′＝Fy″(y)；
    设定Rh表示感兴趣区域纵向边界到经纬图纵向边界的横向距离，Rh′表示感兴趣区域纵向边界到映射图纵向边界的横向距离，x和x′的映射关系Fx″表示为：
    当x＜Rh时，x′＝Rh′-Dl′；
    当x＞Rh+Wr时，x′＝Rh′+Wr+Dr′；
    否则，x′＝Rh′+x-Rh；
    其中，Dl′和Dr′分别是映射图上的点Pl′和Pr′到感兴趣区域边界的横向距离；
    设定Rv表示感兴趣区域横向边界到经纬图横向边界的纵向距离，Rv′表示感兴趣区域横向边界到映射图横向边界的纵向距离；y和y′的映射关系Fy″表示为：
    当y＜Rv时，y′＝Rv′-Dt′；
    当y＞Rv+Hr时，y′＝Rv′+Hr+Db′；
    否则，y＝Rv′+y-Rv；
    其中，Dt′和Db′分别是映射图上的点Pt′和Pb′到感兴趣区域边界的纵向距离；
    第三步：生成原始全景图，原始全景图上某一点(xo，yo)的像素值为映射图上 F″(F-1(xo，yo))点的像素值；对原始全景图上每一点做上述赋值操作，由此得到原始全景图。
  4. 如权利要求2或3所述的非对称映射方法，其特征是，在非对称图纵向边缘处，横向下采样比例为：
    Figure PCTCN2017095995-appb-100001
    在非对称图横向边缘处，纵向下采样比例为：
    Figure PCTCN2017095995-appb-100002
    其中，rx为横向上的下采样比例；ry为纵向上的下采样比例。
  5. 如权利要求2所述的非对称映射方法，其特征是，所述映射过程第三步中，所述经纬图上的点Pl和Pr到感兴趣区域纵向边界的横向距离Dl和Dr，具体通过式3由映射图上的对应点Pl′和Pr′到感兴趣区域纵向边界的横向距离Dl′和Dr′计算得到：
    Figure PCTCN2017095995-appb-100003
    其中，Dh代表Dl或Dr；Dh′代表Dl′或Dr′，并且，Dl′＝Rh′-x′，Dr′＝x′-Wr-Rh′。
  6. 如权利要求2所述的非对称映射方法，其特征是，所述映射过程第三步中，所述经纬图上的点Pt和Pb到感兴趣区域横向边界的纵向距离Dt和Db，具体通过式4由映射图上的对应点Pt′和Pb′到感兴趣区域横向边界的纵向距离Dt′和Db′计算得到：
    Figure PCTCN2017095995-appb-100004
    其中，Dv代表Dt或Db；Dv′代表Dt′或Db′，并且，Dt′＝Rv′-y′，Db′＝y′-Hr-Rv′。
  7. 如权利要求3所述的非对称映射方法，其特征是，所述反向映射过程第二步中，所述映射图上的点Pl′和Pr′到感兴趣区域边界的横向距离Dl′和Dr′，具体由经纬图上的对应点Pl和Pr到感兴趣区域边界的横向距离Dl和Dr通过式13计算得到：
    Figure PCTCN2017095995-appb-100005
    其中，Dh′代表Dl′或Dr′；Dh代表Dl或Dr，并且，Dl＝Rh-x，Dr＝x-Wr-Rh。
  8. 如权利要求3所述的非对称映射方法，其特征是，所述反向映射过程第二步中，所述映射图上的点Pl′和Pb′到感兴趣区域边界的纵向距离Dt′和Db′，由映射图上的对应点Pt和Pb到 感兴趣区域边界的纵向距离Dt和Db通过式14计算得到：
    Figure PCTCN2017095995-appb-100006
    其中，Dv′代表Dt′或Db′，Dv代表Dt或Db，并且，Dt＝Rv-y，Db＝y-Hr-Rv。
PCT/CN2017/095995 2017-01-19 2017-08-04 一种全景图像的非对称映射方法 WO2018133381A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710037483.6A CN106875331B (zh) 2017-01-19 2017-01-19 一种全景图像的非对称映射方法
CN201710037483.6 2017-01-19

Publications (1)

Publication Number Publication Date
WO2018133381A1 true WO2018133381A1 (zh) 2018-07-26

Family

ID=59158623

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/095995 WO2018133381A1 (zh) 2017-01-19 2017-08-04 一种全景图像的非对称映射方法

Country Status (2)

Country Link
CN (1) CN106875331B (zh)
WO (1) WO2018133381A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3672250A1 (en) * 2018-12-21 2020-06-24 InterDigital VC Holdings, Inc. Method and apparatus to encode and decode images of points of a sphere

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875331B (zh) * 2017-01-19 2019-04-12 北京大学深圳研究生院 一种全景图像的非对称映射方法
CN109427087A (zh) * 2017-08-22 2019-03-05 优酷网络技术（北京）有限公司 图像处理方法和装置
WO2019037558A1 (zh) 2017-08-22 2019-02-28 优酷网络技术（北京）有限公司 图像处理方法和装置
CN107944351B (zh) * 2017-11-07 2020-08-04 深圳市易成自动驾驶技术有限公司 图像识别方法、装置及计算机可读存储介质
CN108230454B (zh) * 2017-12-28 2021-09-28 瑞庭网络技术（上海）有限公司 一种全景图片的切图方法、装置及存储介质
CN110009559B (zh) * 2019-03-19 2023-07-07 北京迈格威科技有限公司 图像处理方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150264259A1 (en) * 2014-03-17 2015-09-17 Sony Computer Entertainment Europe Limited Image processing
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
CN105631809A (zh) * 2015-12-31 2016-06-01 北京理工大学 一种非均匀分辨率球面全景图生成方法
CN105915907A (zh) * 2016-06-07 2016-08-31 北京圣威特科技有限公司 全景图的压缩和解压方法、装置及系统
CN106162207A (zh) * 2016-08-25 2016-11-23 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置
CN106210716A (zh) * 2016-08-01 2016-12-07 上海国茂数字技术有限公司 一种全景视频等密度采样方法及装置
CN106875331A (zh) * 2017-01-19 2017-06-20 北京大学深圳研究生院 一种全景图像的非对称映射方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5870636B2 (ja) * 2011-11-09 2016-03-01 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN105262958B (zh) * 2015-10-15 2018-08-21 电子科技大学 一种虚拟视点的全景特写拼接系统及其方法
CN106127691B (zh) * 2016-07-12 2019-04-12 北京大学深圳研究生院 全景图像映射方法
CN106296589B (zh) * 2016-08-26 2020-12-04 北京疯景科技有限公司 全景图像的处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150264259A1 (en) * 2014-03-17 2015-09-17 Sony Computer Entertainment Europe Limited Image processing
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
CN105631809A (zh) * 2015-12-31 2016-06-01 北京理工大学 一种非均匀分辨率球面全景图生成方法
CN105915907A (zh) * 2016-06-07 2016-08-31 北京圣威特科技有限公司 全景图的压缩和解压方法、装置及系统
CN106210716A (zh) * 2016-08-01 2016-12-07 上海国茂数字技术有限公司 一种全景视频等密度采样方法及装置
CN106162207A (zh) * 2016-08-25 2016-11-23 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置
CN106875331A (zh) * 2017-01-19 2017-06-20 北京大学深圳研究生院 一种全景图像的非对称映射方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3672250A1 (en) * 2018-12-21 2020-06-24 InterDigital VC Holdings, Inc. Method and apparatus to encode and decode images of points of a sphere
WO2020131984A1 (en) * 2018-12-21 2020-06-25 Interdigital Vc Holdings, Inc. Method and apparatus to encode and decode images of points of a sphere
CN113228683A (zh) * 2018-12-21 2021-08-06 交互数字Vc控股公司 对球体的点的图像进行编码和解码的方法和装置

Also Published As

Publication number Publication date
CN106875331B (zh) 2019-04-12
CN106875331A (zh) 2017-06-20

Similar Documents

Publication Publication Date Title
WO2018133381A1 (zh) 一种全景图像的非对称映射方法
US11301953B2 (en) Main viewpoint-based panoramic video mapping method
CN110567469B (zh) 视觉定位方法、装置、电子设备及系统
CN110782490B (zh) 一种具有时空一致性的视频深度图估计方法及装置
US8355565B1 (en) Producing high quality depth maps
WO2018157568A1 (zh) 全景图像映射方法
US7239331B2 (en) Method and apparatus for correction of perspective distortion
US7881560B2 (en) Method for determining the position of a marker in an augmented reality system
US9454851B2 (en) Efficient approach to estimate disparity map
US20200143511A1 (en) Panoramic video mapping method based on main viewpoint
WO2020007320A1 (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
US20160155215A1 (en) Image processing device, and an image processing method
WO2018010371A1 (zh) 全景图像映射方法
WO2010034202A1 (zh) 图像缩放方法及装置
TW201514867A (zh) 光流追蹤方法和裝置
WO2022237272A1 (zh) 用于车道线识别的道路图片标注方法和装置
WO2023004956A1 (zh) 一种在高动态环境下的激光slam方法、系统设备及存储介质
CN114565863B (zh) 无人机图像的正射影像实时生成方法、装置、介质及设备
WO2021017589A1 (zh) 一种基于梯度域映射的图像融合方法
CN114998406B (zh) 一种自监督多视图深度估计方法、装置
CN114926514B (zh) 一种事件图像与rgb图像的配准方法及装置
CN113140034A (zh) 基于房间布局的全景新视角生成方法、装置、设备和介质
CN114519772A (zh) 一种基于稀疏点云和代价聚合的三维重建方法及系统
WO2009089785A1 (en) Image processing method, encoding/decoding method and apparatus
CN112381894B (zh) 一种自适应光场成像校准方法、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17892849

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17892849

Country of ref document: EP

Kind code of ref document: A1