WO2018120888A1 - 一种全景图压缩方法及装置 - Google Patents

一种全景图压缩方法及装置 Download PDF

Info

Publication number
WO2018120888A1
WO2018120888A1 PCT/CN2017/099694 CN2017099694W WO2018120888A1 WO 2018120888 A1 WO2018120888 A1 WO 2018120888A1 CN 2017099694 W CN2017099694 W CN 2017099694W WO 2018120888 A1 WO2018120888 A1 WO 2018120888A1
Authority
WO
WIPO (PCT)
Prior art keywords
spherical model
coordinates
panoramic image
dimensional rectangular
panorama
Prior art date
Application number
PCT/CN2017/099694
Other languages
English (en)
French (fr)
Inventor
诸加丹
王涛
Original Assignee
北京奇艺世纪科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京奇艺世纪科技有限公司 filed Critical 北京奇艺世纪科技有限公司
Priority to CA3028518A priority Critical patent/CA3028518C/en
Priority to EP17886395.7A priority patent/EP3471052B1/en
Priority to JP2019504789A priority patent/JP6764995B2/ja
Priority to MYPI2019000014A priority patent/MY194491A/en
Priority to KR1020197003631A priority patent/KR102208773B1/ko
Priority to US16/310,875 priority patent/US10812833B2/en
Priority to AU2017386420A priority patent/AU2017386420B2/en
Priority to ES17886395T priority patent/ES2886637T3/es
Publication of WO2018120888A1 publication Critical patent/WO2018120888A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • the present application relates to the field of image processing technologies, and in particular, to a panorama compression method and apparatus.
  • panoramic video VR has become a hot spot for technology research and development and product content innovation. It is widely used in many fields such as virtual cinema, panoramic games, panoramic education, panoramic medical treatment, panoramic tourism, etc. It has broad prospects and great economic value.
  • Panoramic video usually requires ultra-high resolution panoramas above 4K to clearly display the partial view content viewed by the user in the player. Since the ultra-high resolution panorama above 4K has 3840x1920 pixels in Shanghai, this brings huge data volume challenges to the storage, compression, transmission, decoding and rendering of the panorama. And the panorama includes a full-angle image, however, when viewing, due to the limitations of the human eye, only the limited-view image content can be viewed. Generally, in a panoramic image, in a video content of a limited viewing angle seen by a human eye, the pixels of the display area occupy only 1/18 of all the pixels of the panoramic image.
  • the purpose of the embodiments of the present application is to provide a method and a device for compressing a panoramic image.
  • the non-uniform sampling and compression of the source panoramic image realizes the definition of a partial image viewed by the user's main viewing angle while ensuring a high compression ratio.
  • the specific technical solutions are as follows:
  • the embodiment of the present application discloses a panorama compression method, including:
  • the generating a second spherical model in the first spherical model according to the user's main perspective image includes:
  • a position of a center of the second spherical model within the first spherical model is determined by a primary perspective image of the user.
  • the first mapping relationship between the plane two-dimensional rectangular coordinates of the second panorama and the planar two-dimensional rectangular coordinates of the first panorama is performed, including:
  • the coordinates of the first spherical model are corresponding to the planar two-dimensional rectangular coordinates in the first panoramic image, and the first a first mapping relationship between the planar two-dimensional Cartesian coordinates of the two panoramas and the planar two-dimensional Cartesian coordinates of the first panorama.
  • the method before the establishing a second correspondence between the coordinates of the first spherical model and the coordinates of the second spherical model, the method further includes:
  • the transformation includes rotating the x-axis of the first spherical model such that the center of the second spherical model is on the rotated x-axis.
  • the embodiment of the present application discloses a panorama display method, including:
  • pixels corresponding to the two-dimensional rectangular coordinates of each of the 2D projection planes are sampled from the first panoramic image, and constitute a 2D projection plane that the user including the pixels can directly view.
  • the second mapping relationship between the planar two-dimensional rectangular coordinate of the 2D projection plane and the planar two-dimensional rectangular coordinate of the first panoramic image includes:
  • the coordinates of the second spherical model by the plane two-dimensional right angle coordinates of the 2D projection plane by the fourth correspondence corresponds to the coordinates of the second spherical model by the second correspondence
  • the coordinates of the first spherical model are corresponding to the planar two-dimensional rectangular coordinates in the first panoramic image, and the 2D projection is established A second mapping relationship between the planar two-dimensional rectangular coordinates of the plane and the planar two-dimensional rectangular coordinates of the first panorama.
  • the embodiment of the present application discloses a panorama compression device, including:
  • Obtaining a module configured to obtain a first spherical model formed by the first panoramic image to be compressed, where a plane two-dimensional rectangular coordinate of all pixels in the first panoramic image has a corresponding relationship with coordinates of the first spherical model;
  • a generating module configured to generate a second spherical model in the first spherical model according to a user's main perspective image, the second spherical model being included in the first spherical model, the second spherical model ball a heart is located between a center of the first spherical model and a primary perspective image of the user, a radius of the second spherical model is smaller than a radius of the first spherical model, and a primary perspective image of the user is the The user focuses on a part of the image in the first panorama;
  • mapping module configured to establish a first mapping relationship between a planar two-dimensional rectangular coordinate of the second panoramic image and a planar two-dimensional rectangular coordinate of the first panoramic image, where the second panoramic image is the second spherical model
  • An expanded panoramic view, the planar two-dimensional rectangular coordinate of the second panoramic image has a corresponding relationship with the coordinates of the second spherical model
  • a sampling module configured to sample, according to the first mapping relationship, pixels corresponding to two-dimensional rectangular coordinates of each plane in the second panoramic image from the first panoramic image to form a second panoramic image including pixels, Compression of the first panorama is achieved.
  • the generating module is specifically configured to:
  • a position of a center of the second spherical model within the first spherical model is determined by a primary perspective image of the user.
  • mapping module includes:
  • a first corresponding sub-module configured to establish a first correspondence between planar two-dimensional rectangular coordinates of all pixels in the first panoramic image and coordinates of the first spherical model
  • a second corresponding sub-module configured to establish a second correspondence between coordinates of the first spherical model and coordinates of the second spherical model
  • a third corresponding sub-module configured to establish a third correspondence between coordinates of the second spherical model and planar two-dimensional rectangular coordinates of the second panoramic image
  • a first mapping submodule configured to, by using the third correspondence, a plane two-dimensional rectangular coordinate of the second panorama as a coordinate of the second spherical model, and by using the second correspondence,
  • the coordinates of the second spherical model correspond to the coordinates of the first spherical model, and the coordinates of the first spherical model are corresponding to the planar two-dimensional in the first panoramic image by the first correspondence
  • the Cartesian coordinates establish a first mapping relationship between the planar two-dimensional Cartesian coordinates of the second panorama and the planar two-dimensional Cartesian coordinates of the first panorama.
  • the device before the second corresponding submodule, the device further includes:
  • the coordinate system conversion includes: rotating an x-axis of the first spherical model such that a center of the second spherical model is on a rotated x-axis.
  • An embodiment of the present application provides a panoramic display device, including:
  • Obtaining a module configured to obtain a first spherical model formed by the first panoramic image to be compressed, where a plane two-dimensional rectangular coordinate of all pixels in the first panoramic image has a corresponding relationship with coordinates of the first spherical model;
  • a generating module configured to generate a second spherical model in the first spherical model according to a user's main perspective image, the second spherical model being included in the first spherical model, the second spherical model ball a heart is located between a center of the first spherical model and a primary perspective image of the user, a radius of the second spherical model is smaller than a radius of the first spherical model, and a primary perspective image of the user is the The user focuses on a part of the image in the first panorama;
  • a mapping establishing module configured to establish a second mapping relationship between a planar two-dimensional rectangular coordinate of the 2D projection plane and a planar two-dimensional rectangular coordinate of the first panoramic image, where the 2D projection plane passes the second spherical model a generated projection plane, the plane two-dimensional rectangular coordinate of the 2D projection plane has a corresponding relationship with the coordinates of the second spherical model;
  • a sampling pixel module configured to sample, according to the second mapping relationship, pixels corresponding to two-dimensional rectangular coordinates of each plane in the 2D projection plane from the first panoramic image to form a pixel-containing pixel The 2D projection plane that the user can view directly.
  • the embodiment of the present application discloses an electronic device, including a processor, a communication interface, a memory, and a communication bus, wherein the processor, the communication interface, and the memory complete communication with each other through a communication bus;
  • a memory for storing a computer program
  • the panoramic image compression method provided by the embodiment of the present application is implemented when the processor is configured to execute a program stored in the memory.
  • the panorama compression method includes:
  • the embodiment of the present application discloses another electronic device, including a processor, a communication interface, a memory, and a communication bus, wherein the processor, the communication interface, and the memory complete communication with each other through the communication bus;
  • a memory for storing a computer program
  • the method for displaying a panorama provided by the embodiment of the present application is implemented when the processor is configured to execute a program stored in the memory.
  • the panorama display method includes:
  • the second spherical model is included in the first spherical model, and a center of the second spherical model is located between a center of the first spherical model and a main perspective image of the user, the second spherical surface
  • the radius of the model is smaller than the radius of the first spherical model, and the user's main perspective image is that the user focuses on a part of the image in the first panorama;
  • pixels corresponding to the two-dimensional rectangular coordinates of each of the 2D projection planes are sampled from the first panoramic image, and constitute a 2D projection plane that the user including the pixels can directly view.
  • the embodiment of the present application provides a computer readable storage medium, where the computer readable storage medium stores a computer program, and when the computer program is executed by the processor, the panoramic image compression method provided by the embodiment of the present application is implemented.
  • the panorama compression method includes:
  • the embodiment of the present application discloses a computer readable storage medium, and the computer readable storage medium
  • a computer program is stored in the genre, and the computer program is executed by the processor to implement the panoramic image display method provided by the embodiment of the present application.
  • the panorama display method includes:
  • pixels corresponding to the two-dimensional rectangular coordinates of each of the 2D projection planes are sampled from the first panoramic image, and constitute a 2D projection plane that the user including the pixels can directly view.
  • a panoramic image compression method and apparatus performs non-uniform sampling through a panoramic image to be compressed, and then compresses the panoramic image to be compressed into a non-uniform panoramic image, and is a partial image that is mainly viewed by the user. , has a higher sampling rate, thus ensuring the clarity of the user's viewing; for other image parts, a lower sampling rate is adopted, so that the overall compressed panorama is smaller, which is beneficial to the storage and transmission of the panorama. And decoding.
  • any of the products or methods of the present application does not necessarily require that all of the advantages described above be achieved at the same time.
  • FIG. 1 is a flowchart of a panorama compression method according to an embodiment of the present application
  • FIG. 5 is a schematic diagram of generating a second spherical model in a first spherical model according to an embodiment of the present application
  • FIG. 6 is a schematic diagram of a spherical center position of a second spherical model according to an embodiment of the present application.
  • FIG. 7 is a schematic diagram of a spherical model projected as a 2D projection plane according to an embodiment of the present application.
  • FIG. 8 is a schematic flowchart of a panorama compression method according to an embodiment of the present application.
  • FIG. 9 is a structural diagram of a panorama compression device according to an embodiment of the present application.
  • FIG. 1 is a flowchart of a method for compressing a panorama provided by an embodiment of the present application, including:
  • Step 101 Obtain a first spherical surface model formed by the first panoramic image to be compressed, and the planar two-dimensional rectangular coordinate of all the pixels in the first panoramic image has a corresponding relationship with the coordinates of the first spherical model.
  • a panorama is an image that can be recorded and rendered at full angles.
  • the most commonly used panorama is a panorama of the Equirectangular format.
  • the Equirectangular panorama which covers a 360-degree horizontal view and a 180-degree vertical view, creates a picture that surrounds the entire scene.
  • the implementation of the present application is described by using the Equirectangular panorama as an example.
  • the embodiments of the present application are not only applied to the Equirectangular panorama, but other various types of panoramas can be compressed by the method provided in the embodiment of the present application.
  • FIG. 2 is a schematic diagram of an Equirectangular panorama provided by an embodiment of the present application.
  • m is the height of the panorama and n is the width of the panorama.
  • Each coordinate in the panorama corresponds to one pixel.
  • the panorama can be transformed into a spherical model, which is equivalent to a panoramic image covered on a 360-degree spherical surface. Inside the spherical model, all images of the full-view can be seen.
  • the radius of the spherical model can be expressed by the formula 1:
  • R is the radius of the spherical model
  • n is the width of the panorama
  • ⁇ is the circumference
  • FIG. 3 is a spherical surface converted into an Equirectangular panoramic view according to an embodiment of the present application. model.
  • point r is any point on the surface of the spherical model
  • ⁇ represents the longitude in the coordinates of the spherical model
  • ⁇ represents the latitude in the coordinates of the spherical model.
  • FIG. 4 is a diagram of a range of values of ⁇ and ⁇ according to an embodiment of the present application, wherein a range of values of ⁇ is (- ⁇ , ⁇ ), and a range of values of ⁇ is
  • the coordinates of any point can be expressed in polar coordinates or three-dimensional rectangular coordinates.
  • the three-dimensional rectangular coordinates and spherical polar coordinates can be converted by the following formula two:
  • x 1 , y 1 , z 1 represent the three-dimensional rectangular coordinates of the points on the surface of the spherical model
  • ⁇ represents the longitude in the coordinates of the spherical model
  • ⁇ represents the latitude in the coordinates of the spherical model
  • ie the polar coordinates of the spherical model
  • R represents The radius of the spherical model.
  • the planar two-dimensional rectangular coordinates of all pixels in the panorama have a corresponding relationship with the coordinates of the spherical model.
  • the correspondence between the planar two-dimensional rectangular coordinates of the panoramic image and the coordinates of the spherical model is determined by the following formula three:
  • x, y are the plane two-dimensional rectangular coordinates of the pixels in the panorama
  • m is the height of the panorama
  • n is the width of the panorama
  • ⁇ is the longitude in the coordinates of the spherical model
  • ⁇ is the latitude in the coordinates of the spherical model.
  • ⁇ is the pi.
  • the formula represents the correspondence between the plane two-dimensional rectangular coordinates of the panoramic image and the coordinates of the spherical model. It is known that the planar two-dimensional rectangular coordinates of the panoramic image can obtain the coordinates of the corresponding spherical model. It is also known that the coordinates of the spherical model can also be The planar two-dimensional Cartesian coordinates of the corresponding panorama are obtained. So free conversion between the panorama and the spherical model can be achieved.
  • the coordinates of the spherical model may include polar coordinates, or may be converted, or may be three-dimensional rectangular coordinates.
  • the first panorama When the first panorama is used as a panorama to be compressed, the first panorama can be converted into the first spherical model by the above formula.
  • Step 102 Generate a second spherical model in the first spherical model according to the main perspective image of the user, where the second spherical model is included in the first spherical model, and the center of the second spherical model is located in the center of the first spherical model and Between the user's main view images, the radius of the second spherical model is smaller than the radius of the first spherical model, and the main view image is a part of the image in the first panorama that the user focuses on.
  • the image When the user views the panorama, there will be a part of the image that is mainly viewed.
  • the image When the image is compressed, as the user's main view image, it needs to be retained as much as possible, and the part of the image that the user does not focus on can be larger. Degree of compression. For example, if the panorama is a panorama of a basketball game, then the part that the user focuses on is the image related to the game on the field. This part is the user's main perspective image.
  • To compress the part of the image to ensure the clarity and The user experience needs to be compressed as little as possible, for example, the auditorium, the bench, etc. are part of the user's non-focused viewing, and there is no need to guarantee too high definition, so that there is a large compression ratio.
  • the user's main perspective image can be obtained in advance. After the first spherical model is obtained, it is also possible to predetermine which part of the sphere the user's main view image is on.
  • FIG. 5 is a schematic diagram of generating a second spherical model in a first spherical model according to an embodiment of the present application, wherein the second spherical model 502 is included in the first spherical model 501, and the user is known to view from the main perspective.
  • the image position is located in the upper semicircle of the first spherical model, that is, the user's main view image corresponds to the top portion of the first spherical model 501, so the center of the second spherical model 502 is located at the center of the first spherical model 501 and the first spherical model. Between the top of the 501.
  • Step 103 Establish a first mapping relationship between the planar two-dimensional rectangular coordinate of the second panoramic image and the planar two-dimensional rectangular coordinate of the first panoramic image, where the second panoramic image is a panoramic view of the second spherical model expansion, and the second panoramic view
  • the plane two-dimensional Cartesian coordinates of the graph have a corresponding relationship with the coordinates of the second spherical model.
  • the mutual conversion between the panoramic image and the spherical model can be realized, so after the second spherical model is generated, the second spherical model can also be converted into the second panoramic image, but at this time
  • the two panoramas are only obtained by coordinate transformation of the second spherical model, which does not contain specific pixel values, and only has the coordinates of the pixels.
  • the second panorama transformed into the second spherical image may be a blank panorama without pixels, or a virtual logical panorama, and only need to establish a second planar logic plane 2
  • the correspondence between the coordinates of the right-angled coordinates and the coordinates of the second spherical model may be used.
  • the second spherical model After the second spherical model is generated in the first spherical model, it can be determined by the geometric relationship.
  • the mapping relationship between the coordinates of the first spherical model and the coordinates of the second spherical model is determined, that is, a point of the coordinates of the second spherical model, which necessarily corresponds to a point of the coordinates of the first spherical model.
  • the planar two-dimensional rectangular coordinates and the first panoramic image of the second panoramic image can be established.
  • Step 104 According to the first mapping relationship, sample the pixels corresponding to the two-dimensional rectangular coordinates of each plane in the second panoramic image from the first panoramic image, and form a second panoramic image including the pixels to implement compression of the first panoramic image. .
  • the corresponding target coordinates in the first panorama are found according to the coordinates of each pixel in the second panorama, and the pixel values of the pixels corresponding to the target coordinates in the first panorama are performed.
  • the coordinate points of each pixel of the second panorama are sampled once, and a second panorama of pixel values having pixels is constructed.
  • the second panoramic image is smaller than the first panoramic image, that is, the total pixels of the second panoramic image are smaller than the total pixels of the first panoramic image, achieving the first The compression of the panorama.
  • the center of the second spherical model is close to the user's main perspective image.
  • the second spherical model 502 has two regions, Region 1 and Region 2.
  • the area of the area 1 and the area 2 on the second spherical model 502 is the same, but there is a significant difference in the area corresponding to the first spherical model 501, the area 1 corresponds to a smaller area, and the area 2 corresponds to a larger area.
  • the regions 1 and 2 have the same area on the second panorama, that is, have the same number of pixels.
  • the sampling on the first partial panorama corresponding to the area 1 is more dense, and the sampling on the partial first panorama corresponding to the area 2 is relatively sparse.
  • the corresponding part of the area 1 is the user's main view image, thereby ensuring that the user's main view image compression rate is lower, and the compression ratio of other parts is higher, achieving non-uniform compression.
  • the second spherical model is generated in the first spherical model according to the user's main perspective image, including:
  • the radius of the second spherical model is determined according to the preset resolution of the second panorama.
  • the resolution of the compressed second panorama may be obtained in advance, or the resolution of the second panorama is the target resolution after compression.
  • the resolution can be expressed in pixels, such as 1920x960 and so on.
  • the position of the center of the second spherical model in the first spherical model is determined by the user's main perspective image.
  • the position of the center of the second spherical model within the first spherical model can be determined based on the different needs of the user viewing the primary perspective image. For example, when the user does not close the image other than the main view image, the center of the second spherical model can be made closer to the user's main view image. When the user still needs to view some other images, the center of the second spherical model can be biased toward other images. If the user wants to view the overall image, the ball of the second spherical model can be closer to the ball of the first spherical model. heart.
  • the radius of the second spherical model is preset by the preset resolution of the second panorama, so that the generation of the second spherical model is easier, and the image compression can be accurately achieved. Compressed target resolution.
  • the spherical center position of the second spherical model can be flexibly adjusted according to different needs of the user, so that various non-uniform compression results are obtained to meet the needs of different users.
  • establishing a first mapping relationship between the planar two-dimensional rectangular coordinate of the second panoramic image and the planar two-dimensional rectangular coordinate of the first panoramic image including:
  • a first correspondence relationship between the plane two-dimensional Cartesian coordinates of all the pixels in the first panorama and the coordinates of the first spherical model is established.
  • a first correspondence relationship between the plane two-dimensional Cartesian coordinates of all the pixels in the first panorama and the coordinates of the first spherical model can be obtained.
  • the coordinates of each pixel in the first panorama may be corresponding coordinates obtained in the coordinates of the first spherical model.
  • the second step is to establish a second pair between the coordinates of the first spherical model and the coordinates of the second spherical model. Should be related.
  • Equation 3 when Equation 3 is used to convert the two-dimensional Cartesian coordinates of the panorama to the coordinates of the spherical model, when the two-dimensional Cartesian coordinates of the panorama are When the ⁇ obtained by the coordinate x conversion is a positive value, When the ⁇ obtained by the coordinate x conversion is a negative value, the same reason, when When ⁇ is converted by the coordinate y, the positive value is ⁇ . At the time, ⁇ obtained by the coordinate y conversion is a negative value.
  • x, y are the plane two-dimensional rectangular coordinates of the pixels in the panorama
  • m is the height of the panorama
  • n is the width of the panorama
  • ⁇ is the longitude in the coordinates of the spherical model
  • ⁇ is the latitude in the coordinates of the spherical model.
  • the x-axis and y-axis of the three-dimensional Cartesian coordinate system of the spherical model can be determined, that is, the x-axis determines the positive and negative angles of ⁇ , and the y-axis determines the positive and negative angles of ⁇ .
  • the z-axis of the three-dimensional Cartesian coordinate system is perpendicular to the x-axis and the y-axis, and can be determined by the x-axis and the y-axis.
  • FIG. 6 is a schematic diagram of the spherical center position of the second spherical model.
  • the center of the second spherical model 602 in FIG. 6 is located on the x-axis of the first spherical model 601 three-dimensional orthogonal coordinate system, and the position of the spherical center of the second spherical model 602 in the three-dimensional orthogonal coordinate system of the first spherical model 601 is (t, 0, 0).
  • a coordinate point p on the first spherical model 601 using a geometric method, a straight line equation of a straight line connecting the point p to the center of the first spherical model 601 and the point p to the center of the second spherical model 602
  • the straight line equation can be:
  • ⁇ represents the longitude in the coordinates of the first spherical model 601, in the formula That is ⁇ .
  • ⁇ represents the latitude in the coordinates of the first spherical model 601
  • ⁇ ' represents the longitude in the coordinates of the second spherical model 602
  • ⁇ ' represents the latitude in the coordinates of the second spherical model 602
  • R represents the radius of the first spherical model 601.
  • t represents the position of the center o of the second spherical model 602 on the x-axis of the first spherical model 601.
  • Equation 4 Formula 4 between the second correspondence, Equation 4 is:
  • ⁇ represents the longitude in the coordinates of the first spherical model 601
  • ⁇ represents the latitude in the coordinates of the first spherical model 601
  • ⁇ ' represents the longitude in the coordinates of the second spherical model 602
  • ⁇ ' represents the second
  • R represents the radius of the first spherical model 601
  • t represents the position of the spherical center o of the second spherical model 602 on the x-axis of the first spherical model 601.
  • the above formula 4 is based on the geometric relationship between the first spherical model and the second spherical model, and the formula derived by the geometric method is not unique. Other geometric methods can also be used to derive other formulas, which can also reflect the correspondence between the coordinates of the first spherical model and the coordinates of the second spherical model.
  • the embodiment of the present application is completed by using a formula that can reflect the correspondence between the coordinates of the first spherical model and the coordinates of the second spherical model, and belongs to the protection scope of the embodiment of the present application.
  • a third correspondence between the coordinates of the second spherical model and the planar two-dimensional rectangular coordinates of the second panoramic image is established.
  • Equation 3 a third correspondence between the coordinates of the second spherical model and the planar two-dimensional rectangular coordinates of the second panorama can be established.
  • the coordinates of each pixel of the second panorama to be filled may obtain corresponding coordinates in the coordinates of the second spherical model.
  • the plane two-dimensional rectangular coordinate of the second panorama is corresponding to the coordinates of the second spherical model through the third correspondence, and the coordinates of the second spherical model are corresponding to the first spherical model by the second correspondence And the coordinates of the first spherical model are corresponding to the planar two-dimensional rectangular coordinates in the first panoramic image by the first correspondence, and the planar two-dimensional rectangular coordinates of the second panoramic image and the plane of the first panoramic image are established.
  • the plane two-dimensional Cartesian coordinates of the second panorama may correspond to the coordinates of the second spherical model, and then the coordinates of the second spherical model correspond to the coordinates of the first spherical model, and finally correspond to the first
  • the plane's two-dimensional rectangular coordinates of the panorama establish a first mapping relationship.
  • the first mapping relationship between the plane two-dimensional rectangular coordinates of the second panoramic image and the planar two-dimensional rectangular coordinate of the first panoramic image is achieved by using Equation 3 and Equation 4, so that the coordinates are matched. More accurate, it is easier to implement in computers and other devices, improving the efficiency of coordinate correspondence, and thus improving compression efficiency.
  • the method may further include:
  • the three-dimensional rectangular coordinate system of the first spherical model is converted into a coordinate system, wherein the coordinate system conversion comprises: rotating the first spherical surface
  • the x-axis of the model is such that the center of the second spherical model is on the rotated x-axis.
  • the spherical center position of the second spherical model is determined according to the user's main perspective image, so it may appear at any position when the center of the second spherical model is not on the x-axis of the three-dimensional Cartesian coordinate system of the first spherical model. Then, Equation 4 cannot be used to establish a second correspondence between the coordinates of the first spherical model and the coordinates of the second spherical model. Therefore, it is necessary to perform the rotation of the three-dimensional Cartesian coordinate system of the first spherical model by using Equation 5 below, so that the center of the second spherical model is located on the rotated x-axis.
  • x, y, z represent the three-dimensional rectangular coordinates in the first spherical model
  • x′′, y′′, z′′ represents the three-dimensional rectangular coordinates in the first spherical model rotated by the coordinate system
  • ⁇ 0 represents the second spherical model
  • ⁇ 0 represents the globularity of the center of the second spherical model, in the coordinates of the first spherical model.
  • the polar coordinates of the first spherical model need to be converted into the three-dimensional rectangular coordinates x, y, z in the first spherical model by using Equation 2, and the three-dimensional Cartesian coordinates in the first spherical model obtained by the formula five transformation.
  • the inverse of the formula 2 can also convert the three-dimensional rectangular coordinates in the first spherical model into the polar coordinates of the first spherical model.
  • the final result can be directly substituted into the formula four. Calculate to establish the coordinates of the first spherical model and the second The second correspondence between the coordinates of the spherical model.
  • the method further includes:
  • a 2D projection plane that the user can directly view is generated, and a fourth correspondence relationship between the coordinates of the second spherical model and the planar two-dimensional rectangular coordinates of the 2D projection plane is established.
  • FIG. 7 is a schematic diagram of a spherical model projected as a 2D projection plane.
  • the panoramic image can be considered as the display of the spherical model coordinates, and when rendered onto the screen or HMD (Head Mount Display), the requirements are consistent with the monocular imaging principle, that is, the image finally displayed on the screen/HMD.
  • HMD Head Mount Display
  • An undistorted perspective 2D projection plane that can be viewed directly by the user.
  • Equation 6 the fourth correspondence between the coordinates of the second spherical model 701 and the planar two-dimensional rectangular coordinates of the 2D projection plane 702 can be established by using Equation 6, which is:
  • ⁇ ' represents the longitude in the coordinates of the second spherical model 701
  • ⁇ ' represents the latitude in the coordinates of the second spherical model 701
  • x' and y' represent the planar two-dimensional rectangular coordinates of the 2D projection plane 702
  • r denotes The radius of the two-spherical model.
  • the planar two-dimensional orthogonal coordinate of the 2D projection plane is corresponding to the coordinates of the second spherical model, and the coordinates of the second spherical model are corresponding to the first spherical model by the second correspondence.
  • Coordinates, and by the first correspondence the coordinates of the first spherical model are corresponding to the plane two-dimensional rectangular coordinates in the first panoramic image, and the planar two-dimensional rectangular coordinates of the 2D projection plane and the planar two-dimensional of the first panoramic image are established.
  • the plane two-dimensional Cartesian coordinates of the 2D projection plane can correspond to the coordinates of the second spherical model, and then the coordinates of the second spherical model correspond to the coordinates of the first spherical model, and finally correspond to the plane of the first panoramic image.
  • Two-dimensional Cartesian coordinates establish a second mapping relationship.
  • the pixels corresponding to the two-dimensional rectangular coordinates of each plane in the 2D projection plane are sampled from the first panoramic image, and constitute a 2D projection that the user including the pixel can directly view. Shadow plane.
  • the corresponding coordinates in the first panorama are found according to each coordinate in the 2D projection plane, and the pixels corresponding to the coordinates are sampled and filled into the 2D projection plane.
  • the coordinate points of each pixel of the 2D projection plane are sampled once, which constitutes a 2D projection plane with pixels and which the user can directly view.
  • the fourth correspondence between the coordinates of the second spherical model and the coordinates of the 2D projection plane that the user can directly view can be directly established, thereby forming the second mapping.
  • the 2D projection plane may sample pixels from the first panorama according to the second mapping relationship to generate a 2D projection plane containing the pixels. In this way, while the first panorama is compressed, a 2D projection plane that the user can directly view can be generated, and real-time compression and display can be realized, which expands the scope of application of the embodiment of the present application.
  • the above first step to the third step provide a panorama display method
  • the panorama display method includes the following steps 1 to 4:
  • Step 1 obtaining a first spherical surface model formed by the first panoramic image to be compressed, and a plane two-dimensional rectangular coordinate of all pixels in the first panoramic image has a corresponding relationship with coordinates of the first spherical surface model;
  • Step 2 generating a second spherical model in the first spherical model according to the user's main perspective image, the second spherical model being included in the first spherical model, where the center of the second spherical model is located Between the center of the first spherical model and the main view image of the user, the radius of the second spherical model is smaller than the radius of the first spherical model, and the user's main perspective image is the user focus Viewing a portion of the image in the first panorama;
  • Step 3 establishing a second mapping relationship between the planar two-dimensional rectangular coordinate of the 2D projection plane and the planar two-dimensional rectangular coordinate of the first panoramic image, where the 2D projection plane is a projection generated by the second spherical model a plane, a plane two-dimensional rectangular coordinate of the 2D projection plane has a corresponding relationship with coordinates of the second spherical model;
  • Step 4 According to the second mapping relationship, sample pixels corresponding to two-dimensional rectangular coordinates of each plane in the 2D projection plane from the first panoramic image, and form a 2D that the user with pixels can directly view. Projection plane.
  • the non-uniform sampling is performed on the panoramic image to be compressed, and the panoramic image to be compressed is formed into a non-uniform 2D projection plane that can be directly viewed, and is compressed for the main part of the user.
  • Image with a high sampling rate, thus ensuring the user view The clarity of the look; for other image parts, a lower sampling rate is used, resulting in a smaller overall 2D projection plan. Therefore, the present embodiment can provide a relatively clear image display while making the image of the displayed 2D projection plane a compressed image.
  • the second spherical model is generated in the first spherical model according to the user's main perspective image, including:
  • the radius of the second spherical model is determined according to the preset resolution of the second panorama, and the position of the center of the second spherical model in the first spherical model is determined by the user's main perspective image.
  • the radius of the second spherical model is preset by the preset resolution of the second panorama, so that the generation of the second spherical model is easier, and the compression can be accurately achieved when performing image compression.
  • Target resolution Through the user's main perspective image, the spherical center position of the second spherical model can be flexibly adjusted according to different needs of the user, so that various non-uniform compression results are obtained to meet the needs of different users.
  • establishing a second mapping relationship between the planar two-dimensional rectangular coordinate of the 2D projection plane and the planar two-dimensional rectangular coordinate of the first panoramic image may include :
  • the coordinates of the first spherical model are the planar two-dimensional rectangular coordinates in the first panoramic image, and the planar two-dimensional rectangular coordinates of the 2D projection plane and the planar two-dimensional of the first panoramic image are established.
  • the fourth correspondence relationship can be obtained by using the formula 6, that is, the formula 2, the formula 4 and the formula 6 are used to realize the plane 2D rectangular coordinate of the 2D projection plane and the plane 2 of the first panorama.
  • the first mapping relationship between the right-angle coordinates of the dimension makes the correspondence of the coordinates more accurate Indeed, it is easier to implement in a computer and the like, and the efficiency of coordinate correspondence is improved, thereby improving the compression efficiency.
  • the method may further include:
  • the three-dimensional orthogonal coordinate system of the first spherical model is coordinate-converted.
  • the coordinate system transformation includes: rotating the x-axis of the first spherical model such that the center of the second spherical model is on the rotated x-axis.
  • the coordinate system is converted so that the spherical center of the second spherical model is located after the rotated x On the axis, it is more convenient to establish a second correspondence between the coordinates of the first spherical model and the coordinates of the second spherical model, thereby reducing processing complexity.
  • FIG. 8 is a schematic flowchart of a panorama compression method according to an embodiment of the present disclosure, including:
  • the first panorama 801 is obtained.
  • the planar two-dimensional rectangular coordinates corresponding to all the pixels in the first panoramic image 801 are converted into the coordinates of the spherical model to form a first spherical model 802, and the planar two-dimensional rectangular coordinates of the first panoramic image 801 are established.
  • a first correspondence relationship with the coordinates of the first spherical model 802, and the radius of the first spherical model 802 can be determined by Formula One
  • the radius of the second spherical model 803 can be obtained according to the formula 1.
  • the spherical center position of the second spherical model 803 is determined according to the preset user's main perspective image and the radius of the second spherical model.
  • the three-dimensional orthogonal coordinate system of the first spherical model 802 is converted into a coordinate system, and the x-axis of the first spherical model 802 is rotated, so that the center of the second spherical model 803 is Over the x-axis after rotation.
  • the coordinates of the second spherical model 803 are converted into plane rectangular coordinates, forming a second panoramic image 804 that does not contain pixel values, and establishing a planar two-dimensional rectangular coordinate of the second panoramic image 804 and the second The third correspondence of the coordinates of the spherical model 803.
  • the coordinates of each pixel in the second panorama 804 may correspond to the pixels in the first panorama 801 through the first mapping relationship formed by the third correspondence, the second correspondence, and the first correspondence. coordinate.
  • the pixels corresponding to the coordinates of each pixel in the second panorama 804 are sampled in the first panorama 801 to form a second panorama 804 containing pixels.
  • the compression of the first panorama 801 is achieved.
  • FIG. 9 is a structural diagram of a panorama compression device according to an embodiment of the present disclosure, including:
  • the obtaining module 901 is configured to obtain a first spherical model formed by the first panoramic image to be compressed, where a plane two-dimensional rectangular coordinate of all pixels in the first panoramic image has a corresponding relationship with a coordinate of the first spherical model;
  • a generating module 902 configured to generate a second spherical model in the first spherical model according to the main perspective image of the user, where the second spherical model is included in the first spherical model, and the spherical center of the second spherical model is located in the first spherical model Between the center of the sphere and the user's main view image, the radius of the second spherical model is smaller than the radius of the first spherical model, and the user's main view image is the user's focus on viewing part of the image in the first panorama;
  • the mapping module 903 is configured to establish a first mapping relationship between the planar two-dimensional rectangular coordinate of the second panoramic image and the planar two-dimensional rectangular coordinate of the first panoramic image, where the second panoramic image is a panoramic image of the second spherical model expansion.
  • the plane two-dimensional rectangular coordinates of the second panorama have a corresponding relationship with the coordinates of the second spherical model;
  • the sampling module 904 is configured to sample, according to the first mapping relationship, a pixel corresponding to the two-dimensional rectangular coordinate of each plane in the second panoramic image from the first panoramic image to form a second panoramic image including the pixel, to implement the first panoramic view. Compression of the graph.
  • the second panoramic image after generating an asymmetric second spherical model close to the user's main perspective image in the first spherical model and converting the second spherical model into the second panoramic image, according to the second panoramic image
  • the coordinates are sampled in the first panorama, thereby achieving asymmetric compression of the first panorama, and adopting a higher sampling rate for the user's main view image, ensuring the clarity of the user's main view image, and other
  • the image uses a higher sampling rate, causing the first panorama to be compressed into A smaller second panorama facilitates the storage, transmission and decoding of the panorama file.
  • the device in the embodiment of the present application is a device applying the above-described panorama compression method, and all embodiments of the above-described panorama compression method are applicable to the device, and both can achieve the same or similar beneficial effects.
  • the generating module 902 is specifically configured to:
  • the position of the center of the second spherical model within the first spherical model is determined by the user's primary perspective image.
  • the mapping module 903 includes:
  • a first corresponding sub-module configured to establish a first correspondence between a plane two-dimensional rectangular coordinate of all pixels in the first panorama and coordinates of the first spherical model
  • a second corresponding sub-module configured to establish a second correspondence between coordinates of the first spherical model and coordinates of the second spherical model
  • a third corresponding sub-module configured to establish a third correspondence between coordinates of the second spherical model and planar two-dimensional rectangular coordinates of the second panoramic image
  • a first mapping sub-module configured to, by using a third correspondence, a plane two-dimensional rectangular coordinate of the second panoramic image as a coordinate of the second spherical model, and a second corresponding relationship, the coordinates of the second spherical model are corresponding to The coordinates of the first spherical model, and the coordinates of the first spherical model are corresponding to the planar two-dimensional rectangular coordinates in the first panoramic image by the first correspondence, and the planar two-dimensional rectangular coordinates of the second panoramic image are established and the first The first mapping relationship between the planar two-dimensional Cartesian coordinates of the panorama.
  • the device before the second corresponding sub-module, the device further includes:
  • the method includes rotating the x-axis of the first spherical model such that the center of the second spherical model is on the rotated x-axis.
  • the embodiment of the present application further provides a panorama display device, including:
  • Obtaining a module configured to obtain a first spherical model formed by the first panoramic image to be compressed, where a plane two-dimensional rectangular coordinate of all pixels in the first panoramic image has a corresponding relationship with coordinates of the first spherical model;
  • a generating module configured to generate a second spherical model in the first spherical model according to a user's main perspective image, the second spherical model being included in the first spherical model, the second spherical model ball a heart is located between a center of the first spherical model and a primary perspective image of the user, a radius of the second spherical model is smaller than a radius of the first spherical model, and a primary perspective image of the user is the The user focuses on a part of the image in the first panorama;
  • a mapping establishing module configured to establish a second mapping relationship between a planar two-dimensional rectangular coordinate of the 2D projection plane and a planar two-dimensional rectangular coordinate of the first panoramic image, where the 2D projection plane passes the second spherical model a generated projection plane, the plane two-dimensional rectangular coordinate of the 2D projection plane has a corresponding relationship with the coordinates of the second spherical model;
  • a sampling pixel module configured to sample, according to the second mapping relationship, pixels corresponding to two-dimensional rectangular coordinates of each plane in the 2D projection plane from the first panoramic image, to form a user that directly includes pixels Watch the 2D projection plane.
  • the non-uniform sampling can be performed on the panoramic image to be compressed, and then the panoramic image to be compressed is formed into a non-uniform 2D projection plane that can be directly viewed, and is mainly viewed by the user.
  • Some images have a higher sampling rate, which ensures the clarity of the user's viewing; for other image parts, a lower sampling rate is used. Therefore, the present embodiment can provide a relatively clear image display while making the image of the displayed 2D projection plane a compressed image.
  • the mapping establishing module may be specifically configured to:
  • the coordinates of the second spherical model by the second two-dimensional orthogonal coordinate of the 2D projection plane are corresponding to the coordinates of the first spherical model by the second correspondence, and passing the fourth correspondence
  • the first correspondence relationship the coordinates of the first spherical model are corresponding to the plane two-dimensional rectangular coordinates in the first panoramic image, and the planar two-dimensional rectangular coordinates of the 2D projection plane are established
  • a second mapping relationship between the planar two-dimensional rectangular coordinates of a panorama are established.
  • the foregoing device embodiment is obtained based on the method embodiment, and has the same technical effect as the method, the technical effects of the device embodiment are not described herein again.
  • the description is relatively simple, and the relevant parts can be referred to the description of the method embodiment.
  • the embodiment of the present application provides an electronic device, including a processor, a communication interface, a memory, and a communication bus, wherein the processor, the communication interface, and the memory complete communication with each other through a communication bus;
  • a memory for storing a computer program
  • the panoramic image compression method provided by the embodiment of the present application is implemented when the processor is configured to execute a program stored in the memory.
  • the panorama compression method includes:
  • the communication bus mentioned in the above electronic device may be a Peripheral Component Interconnect (PCI) bus or an Extended Industry Standard Architecture (EISA) bus.
  • PCI Peripheral Component Interconnect
  • EISA Extended Industry Standard Architecture
  • the communication bus can be divided into an address bus, a data bus, a control bus, and the like. For ease of representation, only one thick line is shown in the figure, but it does not mean that there is only one bus or one type of bus.
  • the communication interface is used for communication between the above electronic device and other devices.
  • the memory may include a random access memory (RAM), and may also include a non-volatile memory (NVM), such as at least one disk storage.
  • RAM random access memory
  • NVM non-volatile memory
  • the memory may also be at least one storage device located away from the aforementioned processor.
  • the processor may be a general-purpose processor, including a central processing unit (CPU), a network processor (NP), etc., or a digital signal processing (DSP), an application specific integrated circuit. (Application Specific Integrated Circuit, ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic device, discrete gate or transistor logic device, discrete hardware component.
  • CPU central processing unit
  • NP network processor
  • DSP digital signal processing
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the embodiment of the present invention and the method embodiment shown in FIG. 1 are based on the same inventive concept.
  • the specific embodiment of the present embodiment can adopt the content of the method embodiment shown in FIG.
  • the embodiment of the present application can perform non-uniform sampling by using the panoramic image to be compressed, and then compress the panoramic image to be compressed into a non-uniform panoramic image, which has a higher sampling rate for a part of the image that the user mainly views, thereby ensuring a high sampling rate.
  • the resolution of the user's viewing; for other image parts, a lower sampling rate is adopted, so that the overall compressed panorama is smaller, which is advantageous for the storage, transmission and decoding of the panorama.
  • the embodiment of the present application provides another electronic device, including a processor, a communication interface, a memory, and a communication bus, wherein the processor, the communication interface, and the memory complete communication with each other through a communication bus;
  • a memory for storing a computer program
  • the method for displaying a panorama provided by the embodiment of the present application is implemented when the processor is configured to execute a program stored in the memory.
  • the panorama display method includes:
  • the second spherical model is included in the first spherical model, and a center of the second spherical model is located in the first spherical model between the center of the sphere of the spherical model and the image of the user's primary perspective, the second spherical model
  • the radius of the first spherical image is smaller than the radius of the first spherical model, and the user's main perspective image is that the user focuses on a part of the image in the first panoramic image;
  • pixels corresponding to the two-dimensional rectangular coordinates of each of the 2D projection planes are sampled from the first panoramic image, and constitute a 2D projection plane that the user including the pixels can directly view.
  • the non-uniform sampling can be performed on the panoramic image to be compressed, and then the panoramic image to be compressed is formed into a non-uniform 2D projection plane that can be directly viewed, and is mainly viewed by the user.
  • Some images have a higher sampling rate, which ensures the clarity of the user's viewing; for other image parts, a lower sampling rate is used. Therefore, the present embodiment can provide a relatively clear image display while making the image of the displayed 2D projection plane a compressed image.
  • the embodiment of the present application provides a computer readable storage medium, where the computer readable storage medium stores a computer program, and when the computer program is executed by the processor, the panoramic image compression method provided by the embodiment of the present application is implemented.
  • the panorama compression method includes:
  • the embodiment of the present application can perform non-uniform sampling by using the panoramic image to be compressed, and then compress the panoramic image to be compressed into a non-uniform panoramic image, which has a higher sampling rate for a part of the image that the user mainly views, thereby ensuring a high sampling rate.
  • the resolution of the user's viewing; for other image parts, a lower sampling rate is adopted, so that the overall compressed panorama is smaller, which is advantageous for the storage, transmission and decoding of the panorama.
  • the embodiment of the present application provides a computer readable storage medium, where the computer readable storage medium stores a computer program, and when the computer program is executed by the processor, the panoramic image display method provided by the embodiment of the present application is implemented.
  • the panorama display method includes:
  • pixels corresponding to the two-dimensional rectangular coordinates of each of the 2D projection planes are sampled from the first panoramic image, and constitute a 2D projection plane that the user including the pixels can directly view.
  • the non-uniform sampling can be performed on the panoramic image to be compressed, and then the panoramic image to be compressed is formed into a non-uniform 2D projection plane that can be directly viewed, and is mainly viewed by the user.
  • Some images have a higher sampling rate, which ensures the clarity of the user's viewing; for other image parts, a lower sampling rate is used. Therefore, the present embodiment can provide a relatively clear image display while making the image of the displayed 2D projection plane The compressed image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请实施例提供了一种全景图压缩方法及装置，所述方法包括，获得待压缩的第一全景图形成的第一球面模型；根据用户的主视角图像，在第一球面模型内生成第二球面模型；建立第二全景图的平面二维直角坐标与第一全景图的平面二维直角坐标之间的第一映射关系；根据第一映射关系，从第一全景图中，采样第二全景图中每一个平面二维直角坐标对应的像素，构成含有像素的第二全景图，实现对第一全景图的压缩；该方法实现了对第一全景图的非对称压缩，对用户主视角图像采用了较高的采样率，保证了用户主视角图像的清晰度，对其他图像采用了较高的采样率，使得第一全景图压缩成了较小的第二全景图，有利于全景图的储存、传输和解码。

Description

一种全景图压缩方法及装置
本申请要求于2016年12月29日提交中国专利局、申请号为201611248836.9、发明名称为“一种全景图压缩方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像处理技术领域，特别是涉及一种全景图压缩方法及装置。
背景技术
近年来，随着VR(Virtual Reality，虚拟现实)的高速发展，各种应用于VR的硬件和软件等层出不穷。其中，全景视频VR成为技术研发和产品内容创新的热点，广泛应用于虚拟影院，全景游戏，全景教育，全景医疗，全景旅游等很多领域，有着广阔的前景和巨大的经济价值。
全景视频通常要求在4K以上的超高分辨率拍摄全景图，才能在播放器中清晰地显示出用户观看的局部视角内容。由于4K以上超高分辨率全景图具有3840x1920以上海量像素，这给全景图的存储，压缩，传输，解码和渲染带来大数据量的挑战。并且全景图包括了全角度的影像，然而用户在观看时，由于人眼的限制，只能观看到有限视角的图像内容。一般来说，全景图像中，人眼看到的有限视角的视频内容中，显示区域的像素只占全景图像所有像素的1/18。
目前现有技术中，在对全景图进行压缩时，若压缩率较高，会造成用户观看全景图时图像不清晰，但压缩率不高时，又会使得全景图过大，不利于存储、传输和解码。总之，无法实现压缩全景图的同时保证用户观看时的清晰度。
发明内容
本申请实施例的目的在于提供一种全景图压缩方法及装置，通过对源全景图非均匀的采样及压缩，实现用户主视角观看的部分图像的清晰度，同时保证较高的压缩率。具体技术方案如下：
本申请实施例公开了一种全景图压缩方法，包括：
获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型的半径小于所述第一球面模型的半径，所述用户的主视角图像为所述用户重点观看所述第一全景图中的部分图像；
建立第二全景图的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第一映射关系，所述第二全景图为所述第二球面模型展开的全景图，所述第二全景图的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
根据所述第一映射关系，从所述第一全景图中，采样所述第二全景图中每一个平面二维直角坐标对应的像素，构成含有像素的第二全景图，实现对所述第一全景图的压缩。
可选的，所述根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，包括：
根据所述第二全景图的预设分辨率，确定所述第二球面模型的半径；
通过所述用户的主视角图像，确定所述第二球面模型的球心在所述第一球面模型内的位置。
可选的，所述建立第二全景图的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第一映射关系，包括：
建立所述第一全景图中所有像素的平面二维直角坐标与第一球面模型的坐标之间的第一对应关系；
建立所述第一球面模型的坐标与所述第二球面模型的坐标之间的第二对应关系；
建立所述第二球面模型的坐标与第二全景图的平面二维直角坐标之间的第三对应关系；
通过所述第三对应关系，将所述第二全景图的平面二维直角坐标对应为所述第二球面模型的坐标，以及通过所述第二对应关系，将所述第二球面模型的坐标对应为所述第一球面模型的坐标，以及通过所述第一对应关系，将所述第一球面模型的坐标对应为所述第一全景图中的平面二维直角坐标，建立起所述第二全景图的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第一映射关系。
可选的，在所述建立所述第一球面模型的坐标与所述第二球面模型的坐标之间的第二对应关系之前，所述方法还包括：
当所述第二球面模型的球心不在所述第一球面模型的三维直角坐标系的x轴上时，将所述第一球面模型的三维直角坐标系进行坐标系转换，其中，所述坐标系转换包括：旋转所述第一球面模型的x轴，使所述第二球面模型的球心在经过旋转后的x轴上。
本申请实施例公开了一种全景图显示方法，包括：
获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型的半径小于所述第一球面模型的半径，所述用户的主视角图像为所述用户重点观看所述第一全景图中的部分图像；
建立2D投影平面的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第二映射关系，所述2D投影平面为通过所述第二球面模型生成的投影平面，所述2D投影平面的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
根据所述第二映射关系，从所述第一全景图中，采样所述2D投影平面中每一个平面二维直角坐标对应的像素，构成含有像素的所述用户能够直接观看的2D投影平面。
可选的，所述建立2D投影平面的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第二映射关系，包括：
建立所述第一全景图中所有像素的平面二维直角坐标与第一球面模型的坐标之间的第一对应关系；
建立所述第一球面模型的坐标与所述第二球面模型的坐标之间的第二对应关系；
建立所述第二球面模型的坐标与所述2D投影平面的平面二维直角坐标之 间的第四对应关系；
通过所述第四对应关系，将所述2D投影平面的平面二维直角坐标对应为所述第二球面模型的坐标，以及通过所述第二对应关系，将所述第二球面模型的坐标对应为所述第一球面模型的坐标，以及通过所述第一对应关系，将所述第一球面模型的坐标对应为所述第一全景图中的平面二维直角坐标，建立起所述2D投影平面的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第二映射关系。
本申请实施例公开了一种全景图压缩装置，包括：
获取模块，用于获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
生成模块，用于根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型的半径小于所述第一球面模型的半径，所述用户的主视角图像为所述用户重点观看所述第一全景图中的部分图像；
映射模块，用于建立第二全景图的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第一映射关系，所述第二全景图为所述第二球面模型展开的全景图，所述第二全景图的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
采样模块，用于根据所述第一映射关系，从所述第一全景图中，采样所述第二全景图中每一个平面二维直角坐标对应的像素，构成含有像素的第二全景图，实现对所述第一全景图的压缩。
可选的，所述生成模块，具体用于：
根据所述第二全景图的预设分辨率，确定所述第二球面模型的半径；
通过所述用户的主视角图像，确定所述第二球面模型的球心在所述第一球面模型内的位置。
可选的，所述映射模块，包括：
第一对应子模块，用于建立所述第一全景图中所有像素的平面二维直角坐标与第一球面模型的坐标之间的第一对应关系；
第二对应子模块，用于建立所述第一球面模型的坐标与所述第二球面模型的坐标之间的第二对应关系；
第三对应子模块，用于建立所述第二球面模型的坐标与第二全景图的平面二维直角坐标之间的第三对应关系；
第一映射子模块，用于通过所述第三对应关系，将所述第二全景图的平面二维直角坐标对应为所述第二球面模型的坐标，以及通过所述第二对应关系，将所述第二球面模型的坐标对应为所述第一球面模型的坐标，以及通过所述第一对应关系，将所述第一球面模型的坐标对应为所述第一全景图中的平面二维直角坐标，建立起所述第二全景图的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第一映射关系。
可选的，在所述第二对应子模块之前，所述装置还包括：
选择子模块，用于当所述第二球面模型的球心不在所述第一球面模型的三维直角坐标系的x轴上时，将所述第一球面模型的三维直角坐标系进行坐标系转换，其中，所述坐标系转换包括：旋转所述第一球面模型的x轴，使所述第二球面模型的球心在经过旋转后的x轴上。
本申请实施例提供了一种全景图显示装置，包括：
获取模块，用于获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
生成模块，用于根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型的半径小于所述第一球面模型的半径，所述用户的主视角图像为所述用户重点观看所述第一全景图中的部分图像；
映射建立模块，用于建立2D投影平面的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第二映射关系，所述2D投影平面为通过所述第二球面模型生成的投影平面，所述2D投影平面的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
采样像素模块，用于根据所述第二映射关系，从所述第一全景图中，采样所述2D投影平面中每一个平面二维直角坐标对应的像素，构成含有像素的 所述用户能够直接观看的2D投影平面。
本申请实施例公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现本申请实施例提供的全景图压缩方法。该全景图压缩方法包括：
获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型的半径小于所述第一球面模型的半径，所述主视角图像为所述用户重点观看所述第一全景图中的部分图像；
建立第二全景图的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第一映射关系，所述第二全景图为所述第二球面模型展开的全景图，所述第二全景图的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
根据所述第一映射关系，从所述第一全景图中，采样所述第二全景图中每一个平面二维直角坐标对应的像素，构成含有像素的第二全景图，实现对所述第一全景图的压缩。
本申请实施例公开了另一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现本申请实施例提供的全景图显示方法。该全景图显示方法包括：
获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所 述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型的半径小于所述第一球面模型的半径，所述用户的主视角图像为所述用户重点观看所述第一全景图中的部分图像；
建立2D投影平面的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第二映射关系，所述2D投影平面为通过所述第二球面模型生成的投影平面，所述2D投影平面的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
根据所述第二映射关系，从所述第一全景图中，采样所述2D投影平面中每一个平面二维直角坐标对应的像素，构成含有像素的所述用户能够直接观看的2D投影平面。
本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的全景图压缩方法。该全景图压缩方法包括：
获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型的半径小于所述第一球面模型的半径，所述主视角图像为所述用户重点观看所述第一全景图中的部分图像；
建立第二全景图的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第一映射关系，所述第二全景图为所述第二球面模型展开的全景图，所述第二全景图的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
根据所述第一映射关系，从所述第一全景图中，采样所述第二全景图中每一个平面二维直角坐标对应的像素，构成含有像素的第二全景图，实现对所述第一全景图的压缩。
本申请实施例公开了一种计算机可读存储介质，所述计算机可读存储介 质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的全景图显示方法。该全景图显示方法包括：
获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型的半径小于所述第一球面模型的半径，所述用户的主视角图像为所述用户重点观看所述第一全景图中的部分图像；
建立2D投影平面的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第二映射关系，所述2D投影平面为通过所述第二球面模型生成的投影平面，所述2D投影平面的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
根据所述第二映射关系，从所述第一全景图中，采样所述2D投影平面中每一个平面二维直角坐标对应的像素，构成含有像素的所述用户能够直接观看的2D投影平面。
本申请实施例提供的一种全景图压缩方法及装置，通过对待压缩的全景图，进行非均匀的采样，进而将待压缩的全景图压缩成非均匀的全景图，对于用户主要观看的部分图像，有较高的采样率，从而保证了用户观看的清晰度；对于其他的图像部分，采用了较低的采样率，从而使得整体压缩后的全景图较小，有利于全景图的储存、传输和解码。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的全景图压缩方法的流程图；
图2为本申请实施例提供的Equirectangular全景图的示意图；
图3为本申请实施例提供的Equirectangular全景图转换成的球面模型；
图4为本申请实施例提供的λ和φ的取值范围图；
图5为本申请实施例提供的在第一球面模型内生成第二球面模型的示意图；
图6为本申请实施例提供的第二球面模型的球心位置示意图；
图7为本申请实施例提供的球面模型投影为2D投影平面示意图；
图8为本申请实施例提供的全景图压缩方法流程示意图；
图9为本申请实施例提供的全景图压缩装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1为本申请实施例提供的全景图压缩方法的流程图，包括：
步骤101，获得待压缩的第一全景图形成的第一球面模型，第一全景图中所有像素的平面二维直角坐标与第一球面模型的坐标具有对应关系。
全景图是指可以记录并呈现全角度视角的影像图。在VR领域中，最为常用的全景图为Equirectangular(等距长方形投影)格式的全景图。Equirectangular全景图，能够涵盖360度的水平视角和180度的垂直视角，从而形成了一张环绕一周全部景象的图片。本申请实施列使用Equirectangular全景图作为一个实例进行介绍，但本申请实施例不仅应用于Equirectangular全景图，其他各种类型的全景图都可以通过本申请实施例提供的方法进行压缩。
参见图2，图2为本申请实施例提供的Equirectangular全景图的示意图。其中，m为全景图的高，n为全景图的宽。全景图中的每一个坐标对应一个像素。
全景图可以转化为球面模型，相当于全景图覆盖在一个360度完整的球面上，在球面模型内部就可以看到全视角的所有影像，该球面模型的半径可以用公式一表示：
Figure PCTCN2017099694-appb-000001
其中R为球面模型的半径，n为全景图的宽，π为圆周率。
参见图3，图3为本申请实施例提供的Equirectangular全景图转换成的球面 模型。其中，点r为球面模型表面的任一点，λ表示球面模型的坐标中的经度，φ表示球面模型的坐标中的纬度。
参见图4，图4为本申请实施例提供的λ和φ的取值范围图，其中，λ的取值范围为(-π，π)，φ的取值范围为
Figure PCTCN2017099694-appb-000002
在球面模型表面上，任意一个点的坐标可以使用极坐标，也可以使用三维直角坐标来表示，三维直角坐标与球面极坐标可以用以下公式二进行转换：
x1＝Rcosλcosφ；
y1＝Rsinλcosφ；
z1＝Rsinφ；                    (二)
其中，x1，y1，z1表示球面模型表面上点的三维直角坐标，λ表示球面模型的坐标中的经度，φ表示球面模型的坐标中的纬度，即球面模型的极坐标，R表示球面模型的半径。在使用上述公式时，公式中不乘以球面模型半径R时，则可以表示在单位圆构成的球面模型中的三维直角坐标位置，乘以球面模型半径R时，则可以表示以全景图实际大小建立的球面模型中的三维直角坐标位置。
全景图转化为球面模型时，全景图中所有像素的平面二维直角坐标与球面模型的坐标具有对应关系。具体的，全景图的平面二维直角坐标与球面模型的坐标之间的对应关系，由下面的公式三确定：
Figure PCTCN2017099694-appb-000003
Figure PCTCN2017099694-appb-000004
其中，x，y为全景图中像素的平面二维直角坐标，m为全景图的高，n为全景图的宽，λ表示球面模型的坐标中的经度，φ表示球面模型的坐标中的纬度，π为圆周率。
该公式表示全景图的平面二维直角坐标与球面模型的坐标之间的对应关系，已知全景图的平面二维直角坐标可以得到对应的球面模型的坐标，同样已知球面模型的坐标也可以得到对应的全景图的平面二维直角坐标。所以可以实现全景图与球面模型之间的自由转换。其中，球面模型的坐标可以包括极坐标，或者经过转换，也可以为三维直角坐标。
第一全景图作为待压缩的全景图时，可以通过上述公式，将第一全景图转换为第一球面模型。
步骤102，根据用户的主视角图像，在第一球面模型内生成第二球面模型，第二球面模型包含在第一球面模型中，第二球面模型的球心位于第一球面模型的球心和用户的主视角图像之间，第二球面模型的半径小于第一球面模型的半径，主视角图像为用户重点观看第一全景图中的部分图像。
用户在观看全景图时，都会有重点观看的图像部分，该部分图像在进行压缩时，作为用户的主视角图像，需要尽可能多地保留，而用户非重点观看的图像部分，可以进行较大程度的压缩。例如，全景图为一场篮球比赛的全景图，那么用户重点关看的部分就是赛场上与比赛有关的图像，该部分就是用户的主视角图像，对该部分图像进行压缩时为了保证清晰度和用户体验，需要尽可能少压缩，而例如观众席，替补席等等是用户非重点观看的部分，可以不需要保证太高的清晰度，因此可以有较大的压缩率。
所以针对第一全景图，可以预先获得用户的主视角图像。当得到了第一球面模型之后，也可以预先确定用户主视角图像在球面的哪个部分。
参见图5，图5为本申请实施例提供的在第一球面模型内生成第二球面模型的示意图，其中第二球面模型502包含在第一球面模型501中，已知用户以主视角观看的图像位置位于第一球面模型的上半圆，即用户的主视角图像对应第一球面模型501的顶部部分，所以第二球面模型502的球心位于第一球面模型501的球心和第一球面模型501的顶部之间。
步骤103，建立第二全景图的平面二维直角坐标与第一全景图的平面二维直角坐标之间的第一映射关系，第二全景图为第二球面模型展开的全景图，第二全景图的平面二维直角坐标与第二球面模型的坐标具有对应关系。
根据步骤101中的公式三，可以实现全景图和球面模型之间的相互转换，所以当生成了第二球面模型之后，也可以将第二球面模型转化为第二全景图，但此时的第二全景图只是由第二球面模型进行坐标转换而得到，其中并不含有具体的像素值，只具有像素的坐标。第二球面模型转化为的第二全景图，可以是一张不含有像素的空白全景图，也可以是一张虚拟的逻辑上的全景图，只需要建立起第二全景图逻辑上的平面二维直角坐标与第二球面模型的坐标之间的对应关系即可。
在第一球面模型中生成了第二球面模型之后，可以通过几何关系，来确 定出第一球面模型的坐标与第二球面模型的坐标之间的映射投影关系，即第二球面模型的坐标的一个点，必然对应第一球面模型的坐标的一个点。
通过第二球面模型的坐标与第一球面模型的坐标的映射投影关系，以及全景图和球面模型之间的相互转换关系，能够建立起第二全景图的平面二维直角坐标与第一全景图的平面二维直角坐标之间的第一映射关系。第二全景图的每一个坐标点，都可以得到与之对应的第一全景图的坐标点。
步骤104，根据第一映射关系，从第一全景图中，采样第二全景图中每一个平面二维直角坐标对应的像素，构成含有像素的第二全景图，实现对第一全景图的压缩。
建立第一映射关系后，就可以根据第二全景图中每一个像素的坐标，找到第一全景图中相对应的目标坐标，并将第一全景图中该目标坐标对应的像素的像素值进行采样，填充到第二全景图中。第二全景图每一个像素的坐标点都进行一次采样，就构成了具有像素的像素值第二全景图。
由于第二球面模型的半径小于第一球面模型的半径，所以第二全景图小于第一全景图，也就是第二全景图的总像素少于第一全景图的总像素，实现了对第一全景图的压缩。
第二球面模型的球心靠近用户的主视角图像，参见图5，在图5中第二球面模型502有两个区域，区域1和区域2。区域1和区域2在第二球面模型502上的面积是相同的，但对应第一球面模型501的面积明显存在差别，区域1对应较小的面积，而区域2对应较大的面积。当第二球面模型转化为第二全景图时，区域1和区域2在第二全景图上具有相同的面积，即具有同样的像素数量。但在进行采样时，在区域1对应的部分第一全景图上的采样就更加密集，而区域2对应的部分第一全景图上的采样就会相对稀疏。并且区域1对应的部分是用户的主视角图像，从而保证了用户的主视角图像压缩率较低，而其他部分的压缩率较高，实现了非均匀的压缩。
当然，在本申请实施例中，如果第二球面模型502的球心与第一球面模型501的球心重合，则可以实现对第一球面全景图的均匀压缩。
在本申请实施列中，通过在第一球面模型中生成一个非对称的靠近用户主视角图像的第二球面模型，并将第二球面模型转化成第二全景图后，根据第二全景图的坐标在第一全景图中进行像素的采样，从而实现了对第一全景图的非对称压缩，对用户的主视角图像采用了较高的采样率，保证了用户主 视角图像的清晰度，对其他图像采用了较高的采样率，使得第一全景图压缩成了较小的第二全景图，有利于全景图文件的储存、传输和解码。
可选的，本申请实施例提供的全景图压缩方法中，根据用户的主视角图像，在第一球面模型内生成第二球面模型，包括：
第一步，根据第二全景图的预设分辨率，确定第二球面模型的半径。
现实中很多情况时，都可以预先得到压缩后的第二全景图的分辨率，或者说是第二全景图的分辨率是压缩后的目标分辨率。分辨率可以用像素来表示，例如1920x960等。这样的分辨率可以作为第二全景图的宽和高，即n′＝1920，m′＝960，其中n′为第二全景图的宽，m′第二全景图的高，从而可以根据公式一得到第二全景模型的半径R＝n′/(2π)。
第二步，通过用户的主视角图像，确定第二球面模型的球心在第一球面模型内的位置。
根据用户观看主视角图像的不同需要，可以确定第二球面模型的球心在第一球面模型内的位置。例如，当用户不关看主视角图像以外的其他图像时，可以使第二球面模型的球心更加靠近用户的主视角图像。而当用户还有观看一些其他图像的需求时，则可以将第二球面模型的球心偏向其他图像，如果用户想观看整体图像，可以将第二球面模型的球心靠近第一球面模型的球心。
在本申请实施列中，通过第二全景图的预设分辨率，预先设定好第二球面模型的半径，使得第二球面模型的生成更加容易，并且可以在进行图像压缩时，准确达到需要压缩的目标分辨率。通过用户的主视角图像，可以根据用户的不同需求灵活调整第二球面模型的球心位置，使得得到各种不同的非均匀压缩结果，满足不同用户的需求。
可选的，本申请实施例提供的全景图压缩方法中，建立第二全景图的平面二维直角坐标与第一全景图的平面二维直角坐标之间的第一映射关系，包括：
第一步，建立第一全景图中所有像素的平面二维直角坐标与第一球面模型的坐标之间的第一对应关系。
根据公式三，可以得到第一全景图中所有像素的平面二维直角坐标与第一球面模型的坐标之间的第一对应关系。第一全景图中的每一个像素的坐标可以在第一球面模型的坐标中得到对应的坐标。
第二步，建立第一球面模型的坐标与第二球面模型的坐标之间的第二对 应关系。
当通过公式三将全景图转换为球面模型时，可以在球面模型中建立起三维直角坐标系。
具体的，当应用公式三将全景图的二维直角坐标转换为球面模型的坐标时，当全景图的二维直角坐标的
Figure PCTCN2017099694-appb-000005
时，通过坐标x转换得到的φ为正值，
Figure PCTCN2017099694-appb-000006
时，通过坐标x转换得到的φ为负值，同理，当
Figure PCTCN2017099694-appb-000007
时，通过坐标y转换得到的λ为正值，
Figure PCTCN2017099694-appb-000008
时，通过坐标y转换得到的λ为负值。其中，x，y为全景图中像素的平面二维直角坐标，m为全景图的高，n为全景图的宽，λ表示球面模型的坐标中的经度，φ表示球面模型的坐标中的纬度。根据λ和φ的正负，可以确定出球面模型三维直角坐标系的x轴和y轴，即x轴确定φ的正负角度，y轴确定λ的正负角度。球面模型三维直角坐标系的z轴与x轴和y轴相互垂直，可以通过x轴和y轴来确定。
参见图6，图6为第二球面模型的球心位置示意图。
图6中第二球面模型602的球心位于第一球面模型601三维直角坐标系的x轴上，且第二球面模型602的球心在第一球面模型601的三维直角坐标系中的位置为(t,0,0)。
第一球面模型601上一个坐标点p，利用几何学方法，可以对点p到第一球面模型601球心O的直线，和点p到第二球面模型602球心o的直线联立直线方程，例如直线方程可以为：
Figure PCTCN2017099694-appb-000009
其中，λ表示第一球面模型601的坐标中的经度，公式中的
Figure PCTCN2017099694-appb-000010
即为φ。φ表示第一球面模型601的坐标中的纬度，λ′表示第二球面模型602的坐标中的经度，φ′表示第二球面模型602的坐标中的纬度，R表示第一球面模型601的半径，t表示第二球面模型602的球心o在第一球面模型601的x轴上的位置。
解上述直线方程，可以得到当第二球面模型602的球心o位于第一球面模型601三维直角坐标系的x轴上时，建立表示第一球面模型601的坐标与第二球面模型602的坐标之间第二对应关系的公式四，公式四为：
Figure PCTCN2017099694-appb-000011
Figure PCTCN2017099694-appb-000012
其中，
Figure PCTCN2017099694-appb-000013
上述公式四中，λ表示第一球面模型601的坐标中的经度，φ表示第一球面模型601的坐标中的纬度，λ′表示第二球面模型602的坐标中的经度，φ′表示第二球面模型602的坐标中的纬度，R表示第一球面模型601的半径，t表示第二球面模型602的球心o在第一球面模型601的x轴上的位置。
以上公式四是根据第一球面模型和第二球面模型的几何关系，利用几何学方法推导出的公式，并不是唯一的。利用其它几何方法，也可以推导出其它的公式，同样可以反映出第一球面模型的坐标和第二球面模型的坐标间的对应关系。只要是利用能够反映第一球面模型的坐标和第二球面模型的坐标间的对应关系的公式完成本申请实施例，都属于本申请实施例的保护范围。
第三步，建立第二球面模型的坐标与第二全景图的平面二维直角坐标之间的第三对应关系。
同样应用公式三，可以建立第二球面模型的坐标与第二全景图的平面二维直角坐标之间的第三对应关系。第二全景图的待填充的每一个像素的坐标都可以在第二球面模型的坐标中得到对应的坐标。
第四步，通过第三对应关系，将第二全景图的平面二维直角坐标对应为第二球面模型的坐标，以及通过第二对应关系，将第二球面模型的坐标对应为第一球面模型的坐标，以及通过第一对应关系，将第一球面模型的坐标对应为第一全景图中的平面二维直角坐标，建立起第二全景图的平面二维直角坐标与第一全景图的平面二维直角坐标之间的第一映射关系。
通过应用公式三和公式四，第二全景图的平面二维直角坐标可以对应到第二球面模型的坐标，再通过第二球面模型的坐标对应到第一球面模型的坐标，最后对应到第一全景图的平面二维直角坐标，建立起第一映射关系。
在本申请实施例中，通过公式三和公式四，实现了建立第二全景图的平面二维直角坐标与第一全景图的平面二维直角坐标之间的第一映射关系，使得坐标的对应更加准确，在计算机等设备中更容易实现，提高了坐标对应的效率，进而提高了压缩效率。
可选的，本申请实施例提供的全景图压缩方法中，在建立第一球面模型的坐标与第二球面模型的坐标之间的第二对应关系之前，该方法还可以包括：
当第二球面模型的球心不在第一球面模型的三维直角坐标系的x轴上时，将第一球面模型的三维直角坐标系进行坐标系转换，其中，坐标系转换包括：旋转第一球面模型的x轴，使第二球面模型的球心在经过旋转后的x轴上。
第二球面模型的球心位置是根据用户的主视角图像来确定的，所以可能出现在任何位置，当第二球面模型的球心不在第一球面模型的三维直角坐标系的x轴上时，则不能利用公式四建立第一球面模型的坐标和第二球面模型的坐标之间的第二对应关系。所以，需要利用下面的公式五，进行第一球面模型三维直角坐标系的旋转，使第二球面模型的球心位于经过旋转后的x轴上。
设第二球面模型的球心在第一球面模型中的位置用第一球面模型的极坐标表示为(t，λ0，φ0)，则公式五为：
Figure PCTCN2017099694-appb-000014
其中，x，y，z表示第一球面模型中的三维直角坐标，x″，y″，z″表示经过坐标系旋转后的第一球面模型中的三维直角坐标，λ0表示第二球面模型的球心在第一球面模型的坐标中的经度，φ0表示第二球面模型的球心，在第一球面模型的坐标中的纬度。
利用公式五之前，需要利用公式二将第一球面模型的极坐标转化成第一球面模型中的三维直角坐标x，y，z，经过公式五转换后得到的第一球面模型中的三维直角坐标为x″，y″，z″，同样根据公式二的逆运算可以将第一球面模型中的三维直角坐标转换成为第一球面模型的极坐标。这样最终得到的结果就可以直接代入公式四进行计算，从而建立起第一球面模型的坐标和第二 球面模型的坐标之间的第二对应关系。
可选的，本申请实施例提供的全景图压缩方法中，建立第一球面模型的坐标与第二球面模型的坐标之间的第二对应关系之后，方法还包括：
第一步，通过第二球面模型，生成用户能够直接观看的2D投影平面，并建立第二球面模型的坐标与2D投影平面的平面二维直角坐标之间的第四对应关系。
参见图7，图7为球面模型投影为2D投影平面示意图。
全景图像可以认为是球面模型坐标的显示，而当渲染到屏幕或者HMD(Head Mount Display，头戴式可视设备)上时，要求都符合单眼成像原理，即最后展示在屏幕/HMD上的图像为用户直接可以观看的无畸变的透视2D投影平面。
图7中，第二球面模型701的坐标与2D投影平面702的平面二维直角坐标之间的第四对应关系，可以利用公式六来建立，公式六为：
Figure PCTCN2017099694-appb-000015
Figure PCTCN2017099694-appb-000016
其中，λ′表示第二球面模型701的坐标中的经度，φ′表示第二球面模型701的坐标中的纬度，x′和y′表示2D投影平面702的平面二维直角坐标，r表示第二球面模型的半径。
第二步，通过第四对应关系，将2D投影平面的平面二维直角坐标对应为第二球面模型的坐标，以及通过第二对应关系，将第二球面模型的坐标对应为第一球面模型的坐标，以及通过第一对应关系，将第一球面模型的坐标对应为第一全景图中的平面二维直角坐标，建立起2D投影平面的平面二维直角坐标与第一全景图的平面二维直角坐标之间的第二映射关系。
通过应用公式六，2D投影平面的平面二维直角坐标可以对应到第二球面模型的坐标，再通过第二球面模型的坐标对应到第一球面模型的坐标，最后对应到第一全景图的平面二维直角坐标，建立起第二映射关系。
第三步，根据第二映射关系，从第一全景图中，采样2D投影平面中每一个平面二维直角坐标对应的像素，构成包含像素的用户能够直接观看的2D投 影平面。
建立第二映射关系后，就可以根据2D投影平面中每一个坐标，找到第一全景图中相对应的坐标，并将该坐标对应的像素进行采样，填充到2D投影平面中。针对2D投影平面每一个像素的坐标点都进行一次采样，就构成了具有像素的且用户可以直接进行观看的2D投影平面。
在本申请实施例中，当生成了第二球面模型后，可以直接建立起第二球面模型的坐标与用户可以直接观看的2D投影平面的坐标之间的第四对应关系，进而构成第二映射关系，2D投影平面可以根据第二映射关系，从第一全景图中采样像素，生成含有像素的2D投影平面。这样在对第一全景图进行压缩的同时，能够生成用户可以直接观看的2D投影平面，可以实现实时的压缩和显示，拓展了本申请实施例的使用范围。
也就是说，上述第一步～第三步提供了一种全景图显示方法，该全景图显示方法包括以下步骤1～步骤4：
步骤1：获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
步骤2：根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型的半径小于所述第一球面模型的半径，所述用户的主视角图像为所述用户重点观看所述第一全景图中的部分图像；
步骤3：建立2D投影平面的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第二映射关系，所述2D投影平面为通过所述第二球面模型生成的投影平面，所述2D投影平面的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
步骤4：根据所述第二映射关系，从所述第一全景图中，采样所述2D投影平面中每一个平面二维直角坐标对应的像素，构成含有像素的所述用户能够直接观看的2D投影平面。
由上述内容可见，本实施例通过对待压缩的全景图，进行非均匀的采样，进而将待压缩的全景图形成能够直接观看的非均匀的2D投影平面的同时进行压缩，对于用户主要观看的部分图像，有较高的采样率，从而保证了用户观 看的清晰度；对于其他的图像部分，采用了较低的采样率，从而使得整体2D投影平面图较小。因此，本实施例可以提供比较清晰的图像显示，同时使所显示的2D投影平面的图像是经过压缩后的图像。
可选的，在本申请实施例提供的全景图显示方法中，根据用户的主视角图像，在第一球面模型内生成第二球面模型，包括：
根据第二全景图的预设分辨率，确定第二球面模型的半径，通过用户的主视角图像，确定第二球面模型的球心在第一球面模型内的位置。
在本实施列中，通过第二全景图的预设分辨率，预先设定好第二球面模型的半径，使得第二球面模型的生成更加容易，并且可以在进行图像压缩时，准确达到需要压缩的目标分辨率。通过用户的主视角图像，可以根据用户的不同需求灵活调整第二球面模型的球心位置，使得得到各种不同的非均匀压缩结果，满足不同用户的需求。
可选的，在本申请实施例提供的全景图显示方法中，建立2D投影平面的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第二映射关系，可以包括：
建立第一全景图中所有像素的平面二维直角坐标与第一球面模型的坐标之间的第一对应关系；
建立第一球面模型的坐标与第二球面模型的坐标之间的第二对应关系；
建立第二球面模型的坐标与2D投影平面的平面二维直角坐标之间的第四对应关系；
通过第四对应关系，将2D投影平面的平面二维直角坐标对应为所述第二球面模型的坐标，以及通过第二对应关系，将第二球面模型的坐标对应为第一球面模型的坐标，以及通过第一对应关系，将第一球面模型的坐标对应为第一全景图中的平面二维直角坐标，建立起2D投影平面的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第二映射关系。
在本申请实施例中，可以通过公式六得到第四对应关系，也就是说通过公式三、公式四和公式六，实现了建立2D投影平面的平面二维直角坐标与第一全景图的平面二维直角坐标之间的第一映射关系，使得坐标的对应更加准 确，在计算机等设备中更容易实现，提高了坐标对应的效率，进而提高了压缩效率。
可选的，在本申请实施例提供的全景图显示方法中，在建立第一球面模型的坐标与第二球面模型的坐标之间的第二对应关系之前，该方法还可以包括：
当第二球面模型的球心不在第一球面模型的三维直角坐标系的x轴上时，将第一球面模型的三维直角坐标系进行坐标系转换。其中，坐标系转换包括：旋转第一球面模型的x轴，使第二球面模型的球心在经过旋转后的x轴上。
在本申请实施例中，当第二球面模型的球心不在第一球面模型的三维直角坐标系的x轴上时，经过坐标系转换，使第二球面模型的球心位于经过旋转后的x轴上，能够更便于建立第一球面模型的坐标与第二球面模型的坐标之间的第二对应关系，降低处理复杂度。
参见图8，图8为本申请实施例提供的全景图压缩方法流程示意图，包括：
第一步，获得第一全景图801，第一全景图的分辨率为3840x1920，则第一全景图的宽n＝3840，高m＝1920。
第二步，根据公式三，将第一全景图801中所有像素对应的平面二维直角坐标转换为球面模型的坐标，形成第一球面模型802，建立第一全景图801的平面二维直角坐标与第一球面模型802的坐标的第一对应关系，并可以通过公式一确定第一球面模型802的半径
Figure PCTCN2017099694-appb-000017
第三步，需要将第一全景图压缩为1920x960的全景图，即压缩后得到的第二全景图804的分辨率为1920x960，即第二全景图的宽n′＝1920，高m′＝960，进而可以根据公式一得到第二球面模型803的半径
Figure PCTCN2017099694-appb-000018
第四步，根据预设的用户的主视角图像，以及第二球面模型的半径，确定第二球面模型803的球心位置。
第五步，使用公式二和公式五，将第一球面模型802的三维直角坐标系进行坐标系转换，旋转第一球面模型802的x轴，使第二球面模型803的球心在经 过旋转后的x轴上。
第六步，使用公式四，建立第一球面模型802的坐标和第二球面模型803的坐标的第二对应关系。
第七步，使用公式二，将第二球面模型803的坐标转换为平面直角坐标，形成不含有像素值的第二全景图804，并建立第二全景图804的平面二维直角坐标与第二球面模型803的坐标的第三对应关系。
第八步，通过第三对应关系、第二对应关系以及第一对应关系所构成的第一映射关系，第二全景图804中每一个像素的坐标都可以对应到第一全景图801中像素的坐标。
在第一全景图801中采样第二全景图804中每一个像素的坐标对应的像素，构成含有像素的第二全景图804。实现了对第一全景图801的压缩。
参见图9，图9为本申请实施例提供的全景图压缩装置的结构图，包括：
获取模块901，用于获得待压缩的第一全景图形成的第一球面模型，第一全景图中所有像素的平面二维直角坐标与第一球面模型的坐标具有对应关系；
生成模块902，用于根据用户的主视角图像，在第一球面模型内生成第二球面模型，第二球面模型包含在第一球面模型中，第二球面模型的球心位于第一球面模型的球心和用户的主视角图像之间，第二球面模型的半径小于第一球面模型的半径，用户的主视角图像为用户重点观看第一全景图中的部分图像；
映射模块903，用于建立第二全景图的平面二维直角坐标与第一全景图的平面二维直角坐标之间的第一映射关系，第二全景图为第二球面模型展开的全景图，第二全景图的平面二维直角坐标与第二球面模型的坐标具有对应关系；
采样模块904，用于根据第一映射关系，从第一全景图中，采样第二全景图中每一个平面二维直角坐标对应的像素，构成含有像素的第二全景图，实现对第一全景图的压缩。
在本申请实施列中，通过在第一球面模型中生成一个非对称的靠近用户主视角图像的第二球面模型，并将第二球面模型转化成第二全景图后，根据第二全景图的坐标在第一全景图中进行像素的采样，从而实现了对第一全景图的非对称压缩，对用户主视角图像采用了较高的采样率，保证了用户主视角图像的清晰度，对其他图像采用了较高的采样率，使得第一全景图压缩成 了较小的第二全景图，有利于全景图文件的储存、传输和解码。
本申请实施例的装置是应用上述全景图压缩方法的装置，则上述全景图压缩方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
可选的，本申请实施例提供的全景图压缩装置中，生成模块902，具体用于：
根据第二全景图的预设分辨率，确定第二球面模型的半径；
通过用户的主视角图像，确定第二球面模型的球心在第一球面模型内的位置。
可选的，本申请实施例提供的全景图压缩装置中，映射模块903，包括：
第一对应子模块，用于建立第一全景图中所有像素的平面二维直角坐标与第一球面模型的坐标之间的第一对应关系；
第二对应子模块，用于建立第一球面模型的坐标与第二球面模型的坐标之间的第二对应关系；
第三对应子模块，用于建立第二球面模型的坐标与第二全景图的平面二维直角坐标之间的第三对应关系；
第一映射子模块，用于通过第三对应关系，将第二全景图的平面二维直角坐标对应为第二球面模型的坐标，以及通过第二对应关系，将第二球面模型的坐标对应为第一球面模型的坐标，以及通过第一对应关系，将第一球面模型的坐标对应为第一全景图中的平面二维直角坐标，建立起第二全景图的平面二维直角坐标与第一全景图的平面二维直角坐标之间的第一映射关系。
可选的，本申请实施例提供的全景图压缩装置中，在第二对应子模块之前，该装置还包括：
选择子模块，用于当第二球面模型的球心不在第一球面模型的三维直角坐标系的x轴上时，将第一球面模型的三维直角坐标系进行坐标系转换，其中，坐标系转换包括：旋转第一球面模型的x轴，使第二球面模型的球心在经过旋转后的x轴上。
本申请实施例还提供一种全景图显示装置，包括：
获取模块，用于获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
生成模块，用于根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型的半径小于所述第一球面模型的半径，所述用户的主视角图像为所述用户重点观看所述第一全景图中的部分图像；
映射建立模块，用于建立2D投影平面的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第二映射关系，所述2D投影平面为通过所述第二球面模型生成的投影平面，所述2D投影平面的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
采样像素模块，用于根据所述第二映射关系，从所述第一全景图中，采样所述2D投影平面中每一个平面二维直角坐标对应的像素，构成含有像素的所述用户能够直接观看的2D投影平面。
由上述内容可见，本实施例可以通过对待压缩的全景图，进行非均匀的采样，进而将待压缩的全景图形成能够直接观看的非均匀的2D投影平面的同时进行压缩，对于用户主要观看的部分图像，有较高的采样率，从而保证了用户观看的清晰度；对于其他的图像部分，采用了较低的采样率。因此，本实施例可以提供比较清晰的图像显示，同时使所显示的2D投影平面的图像是经过压缩后的图像。
可选的，在本实施例提供的全景图显示装置中，映射建立模块，具体可以用于：
建立所述第一全景图中所有像素的平面二维直角坐标与第一球面模型的坐标之间的第一对应关系；
建立所述第一球面模型的坐标与所述第二球面模型的坐标之间的第二对应关系；
建立第二球面模型的坐标与2D投影平面的平面二维直角坐标之间的第四对应关系；
通过第四对应关系，将2D投影平面的平面二维直角坐标对应为第二球面模型的坐标，以及通过第二对应关系，将第二球面模型的坐标对应为第一球面模型的坐标，以及通过第一对应关系，将第一球面模型的坐标对应为第一全景图中的平面二维直角坐标，建立起2D投影平面的平面二维直角坐标与第 一全景图的平面二维直角坐标之间的第二映射关系。
由于上述装置实施例是基于方法实施例得到的，与该方法具有相同的技术效果，因此装置实施例的技术效果在此不再赘述。对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
本申请实施例提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现本申请实施例提供的全景图压缩方法。该全景图压缩方法包括：
获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型的半径小于所述第一球面模型的半径，所述主视角图像为所述用户重点观看所述第一全景图中的部分图像；
建立第二全景图的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第一映射关系，所述第二全景图为所述第二球面模型展开的全景图，所述第二全景图的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
根据所述第一映射关系，从所述第一全景图中，采样所述第二全景图中每一个平面二维直角坐标对应的像素，构成含有像素的第二全景图，实现对所述第一全景图的压缩。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本实施例与图1所示方法实施例是基于同一发明构思得到的实施例，本实施例的具体实施方式均可以采用图1所示方法实施例中的内容。
本申请实施例可以通过对待压缩的全景图，进行非均匀的采样，进而将待压缩的全景图压缩成非均匀的全景图，对于用户主要观看的部分图像，有较高的采样率，从而保证了用户观看的清晰度；对于其他的图像部分，采用了较低的采样率，从而使得整体压缩后的全景图较小，有利于全景图的储存、传输和解码。
本申请实施例提供另一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现本申请实施例提供的全景图显示方法。该全景图显示方法包括：
获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型 的半径小于所述第一球面模型的半径，所述用户的主视角图像为所述用户重点观看所述第一全景图中的部分图像；
建立2D投影平面的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第二映射关系，所述2D投影平面为通过所述第二球面模型生成的投影平面，所述2D投影平面的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
根据所述第二映射关系，从所述第一全景图中，采样所述2D投影平面中每一个平面二维直角坐标对应的像素，构成含有像素的所述用户能够直接观看的2D投影平面。
由上述内容可见，本实施例可以通过对待压缩的全景图，进行非均匀的采样，进而将待压缩的全景图形成能够直接观看的非均匀的2D投影平面的同时进行压缩，对于用户主要观看的部分图像，有较高的采样率，从而保证了用户观看的清晰度；对于其他的图像部分，采用了较低的采样率。因此，本实施例可以提供比较清晰的图像显示，同时使所显示的2D投影平面的图像是经过压缩后的图像。
本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的全景图压缩方法。该全景图压缩方法包括：
获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型的半径小于所述第一球面模型的半径，所述主视角图像为所述用户重点观看所述第一全景图中的部分图像；
建立第二全景图的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第一映射关系，所述第二全景图为所述第二球面模型展开的全景图，所述第二全景图的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
根据所述第一映射关系，从所述第一全景图中，采样所述第二全景图中每一个平面二维直角坐标对应的像素，构成含有像素的第二全景图，实现对所述第一全景图的压缩。
本申请实施例可以通过对待压缩的全景图，进行非均匀的采样，进而将待压缩的全景图压缩成非均匀的全景图，对于用户主要观看的部分图像，有较高的采样率，从而保证了用户观看的清晰度；对于其他的图像部分，采用了较低的采样率，从而使得整体压缩后的全景图较小，有利于全景图的储存、传输和解码。
本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的全景图显示方法。该全景图显示方法包括：
获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型的半径小于所述第一球面模型的半径，所述用户的主视角图像为所述用户重点观看所述第一全景图中的部分图像；
建立2D投影平面的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第二映射关系，所述2D投影平面为通过所述第二球面模型生成的投影平面，所述2D投影平面的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
根据所述第二映射关系，从所述第一全景图中，采样所述2D投影平面中每一个平面二维直角坐标对应的像素，构成含有像素的所述用户能够直接观看的2D投影平面。
由上述内容可见，本实施例可以通过对待压缩的全景图，进行非均匀的采样，进而将待压缩的全景图形成能够直接观看的非均匀的2D投影平面的同时进行压缩，对于用户主要观看的部分图像，有较高的采样率，从而保证了用户观看的清晰度；对于其他的图像部分，采用了较低的采样率。因此，本实施例可以提供比较清晰的图像显示，同时使所显示的2D投影平面的图像是 经过压缩后的图像。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (15)

  1. 一种全景图压缩方法，其特征在于，包括：
    获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
    根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型的半径小于所述第一球面模型的半径，所述用户的主视角图像为所述用户重点观看所述第一全景图中的部分图像；
    建立第二全景图的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第一映射关系，所述第二全景图为所述第二球面模型展开的全景图，所述第二全景图的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
    根据所述第一映射关系，从所述第一全景图中，采样所述第二全景图中每一个平面二维直角坐标对应的像素，构成含有像素的第二全景图，实现对所述第一全景图的压缩。
  2. 根据权利要求1所述的方法，其特征在于，所述根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，包括：
    根据所述第二全景图的预设分辨率，确定所述第二球面模型的半径；
    通过所述用户的主视角图像，确定所述第二球面模型的球心在所述第一球面模型内的位置。
  3. 根据权利要求1所述的方法，其特征在于，所述建立第二全景图的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第一映射关系，包括：
    建立所述第一全景图中所有像素的平面二维直角坐标与第一球面模型的坐标之间的第一对应关系；
    建立所述第一球面模型的坐标与所述第二球面模型的坐标之间的第二对 应关系；
    建立所述第二球面模型的坐标与第二全景图的平面二维直角坐标之间的第三对应关系；
    通过所述第三对应关系，将所述第二全景图的平面二维直角坐标对应为所述第二球面模型的坐标，以及通过所述第二对应关系，将所述第二球面模型的坐标对应为所述第一球面模型的坐标，以及通过所述第一对应关系，将所述第一球面模型的坐标对应为所述第一全景图中的平面二维直角坐标，建立起所述第二全景图的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第一映射关系。
  4. 根据权利要求3所述的方法，其特征在于，在所述建立所述第一球面模型的坐标与所述第二球面模型的坐标之间的第二对应关系之前，所述方法还包括：
    当所述第二球面模型的球心不在所述第一球面模型的三维直角坐标系的x轴上时，将所述第一球面模型的三维直角坐标系进行坐标系转换，其中，所述坐标系转换包括：旋转所述第一球面模型的x轴，使所述第二球面模型的球心在经过旋转后的x轴上。
  5. 一种全景图显示方法，其特征在于，包括：
    获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
    根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型的半径小于所述第一球面模型的半径，所述用户的主视角图像为所述用户重点观看所述第一全景图中的部分图像；
    建立2D投影平面的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第二映射关系，所述2D投影平面为通过所述第二球面模型生成的投影平面，所述2D投影平面的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
    根据所述第二映射关系，从所述第一全景图中，采样所述2D投影平面中每一个平面二维直角坐标对应的像素，构成含有像素的所述用户能够直接观看的2D投影平面。
  6. 根据权利要求5所述的方法，其特征在于，所述建立2D投影平面的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第二映射关系，包括：
    建立所述第一全景图中所有像素的平面二维直角坐标与第一球面模型的坐标之间的第一对应关系；
    建立所述第一球面模型的坐标与所述第二球面模型的坐标之间的第二对应关系；
    建立所述第二球面模型的坐标与所述2D投影平面的平面二维直角坐标之间的第四对应关系；
    通过所述第四对应关系，将所述2D投影平面的平面二维直角坐标对应为所述第二球面模型的坐标，以及通过所述第二对应关系，将所述第二球面模型的坐标对应为所述第一球面模型的坐标，以及通过所述第一对应关系，将所述第一球面模型的坐标对应为所述第一全景图中的平面二维直角坐标，建立起所述2D投影平面的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第二映射关系。
  7. 一种全景图压缩装置，其特征在于，包括：
    获取模块，用于获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
    生成模块，用于根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型的半径小于所述第一球面模型的半径，所述用户的主视角图像为所述用户重点观看所述第一全景图中的部分图像；
    映射模块，用于建立第二全景图的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第一映射关系，所述第二全景图为所述第二球面模型展开的全景图，所述第二全景图的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
    采样模块，用于根据所述第一映射关系，从所述第一全景图中，采样所述第二全景图中每一个平面二维直角坐标对应的像素，构成含有像素的第二全景图，实现对所述第一全景图的压缩。
  8. 根据权利要求7所述的装置，其特征在于，所述生成模块，具体用于：
    根据所述第二全景图的预设分辨率，确定所述第二球面模型的半径；
    通过所述用户的主视角图像，确定所述第二球面模型的球心在所述第一球面模型内的位置。
  9. 根据权利要求7所述的装置，其特征在于，所述映射模块，包括：
    第一对应子模块，用于建立所述第一全景图中所有像素的平面二维直角坐标与第一球面模型的坐标之间的第一对应关系；
    第二对应子模块，用于建立所述第一球面模型的坐标与所述第二球面模型的坐标之间的第二对应关系；
    第三对应子模块，用于建立所述第二球面模型的坐标与第二全景图的平面二维直角坐标之间的第三对应关系；
    第一映射子模块，用于通过所述第三对应关系，将所述第二全景图的平面二维直角坐标对应为所述第二球面模型的坐标，以及通过所述第二对应关系，将所述第二球面模型的坐标对应为所述第一球面模型的坐标，以及通过所述第一对应关系，将所述第一球面模型的坐标对应为所述第一全景图中的平面二维直角坐标，建立起所述第二全景图的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第一映射关系。
  10. 根据权利要求9所述的装置，其特征在于，在所述第二对应子模块之前，所述装置还包括：
    选择子模块，用于当所述第二球面模型的球心不在所述第一球面模型的 三维直角坐标系的x轴上时，将所述第一球面模型的三维直角坐标系进行坐标系转换，其中，所述坐标系转换包括：旋转所述第一球面模型的x轴，使所述第二球面模型的球心在经过旋转后的x轴上。
  11. 一种全景图显示装置，其特征在于，包括：
    获取模块，用于获得待压缩的第一全景图形成的第一球面模型，所述第一全景图中所有像素的平面二维直角坐标与所述第一球面模型的坐标具有对应关系；
    生成模块，用于根据用户的主视角图像，在所述第一球面模型内生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位于所述第一球面模型的球心和所述用户的主视角图像之间，所述第二球面模型的半径小于所述第一球面模型的半径，所述用户的主视角图像为所述用户重点观看所述第一全景图中的部分图像；
    映射建立模块，用于建立2D投影平面的平面二维直角坐标与所述第一全景图的平面二维直角坐标之间的第二映射关系，所述2D投影平面为通过所述第二球面模型生成的投影平面，所述2D投影平面的平面二维直角坐标与所述第二球面模型的坐标具有对应关系；
    采样像素模块，用于根据所述第二映射关系，从所述第一全景图中，采样所述2D投影平面中每一个平面二维直角坐标对应的像素，构成含有像素的所述用户能够直接观看的2D投影平面。
  12. 一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
    存储器，用于存放计算机程序；
    处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。
  13. 一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
    存储器，用于存放计算机程序；
    处理器，用于执行存储器上所存放的程序时，实现权利要求5-6任一所述 的方法步骤。
  14. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
  15. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求5-6任一所述的方法步骤。
PCT/CN2017/099694 2016-12-29 2017-08-30 一种全景图压缩方法及装置 WO2018120888A1 (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CA3028518A CA3028518C (en) 2016-12-29 2017-08-30 Panoramic image compression method and apparatus
EP17886395.7A EP3471052B1 (en) 2016-12-29 2017-08-30 Panoramic image compression method and apparatus
JP2019504789A JP6764995B2 (ja) 2016-12-29 2017-08-30 パノラマ画像圧縮方法および装置
MYPI2019000014A MY194491A (en) 2016-12-29 2017-08-30 Panoramic image compression method and apparatus
KR1020197003631A KR102208773B1 (ko) 2016-12-29 2017-08-30 파노라마 영상 압축 방법 및 장치
US16/310,875 US10812833B2 (en) 2016-12-29 2017-08-30 Panoramic image compression method and apparatus
AU2017386420A AU2017386420B2 (en) 2016-12-29 2017-08-30 Panoramic image compression method and apparatus
ES17886395T ES2886637T3 (es) 2016-12-29 2017-08-30 Método y aparato de compresión de imagen panorámica

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611248836.9A CN106651764B (zh) 2016-12-29 2016-12-29 一种全景图压缩方法及装置
CN201611248836.9 2016-12-29

Publications (1)

Publication Number Publication Date
WO2018120888A1 true WO2018120888A1 (zh) 2018-07-05

Family

ID=58836039

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/099694 WO2018120888A1 (zh) 2016-12-29 2017-08-30 一种全景图压缩方法及装置

Country Status (11)

Country Link
US (1) US10812833B2 (zh)
EP (1) EP3471052B1 (zh)
JP (1) JP6764995B2 (zh)
KR (1) KR102208773B1 (zh)
CN (1) CN106651764B (zh)
AU (1) AU2017386420B2 (zh)
CA (1) CA3028518C (zh)
ES (1) ES2886637T3 (zh)
MY (1) MY194491A (zh)
TW (1) TWI619091B (zh)
WO (1) WO2018120888A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110618973A (zh) * 2019-09-09 2019-12-27 大唐网络有限公司 图像的存储方法和装置
CN110914871A (zh) * 2018-07-27 2020-03-24 深圳市大疆创新科技有限公司 获取三维场景的方法与装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651764B (zh) * 2016-12-29 2019-10-15 北京奇艺世纪科技有限公司 一种全景图压缩方法及装置
CN107124590A (zh) * 2017-05-24 2017-09-01 深圳市酷开网络科技有限公司 基于声源定向的全景视频压缩方法、存储介质及摄像机
CN107577338A (zh) * 2017-07-25 2018-01-12 北京小鸟看看科技有限公司 一种全景图像的投射方法、装置及头戴显示设备
CN109427087A (zh) * 2017-08-22 2019-03-05 优酷网络技术（北京）有限公司 图像处理方法和装置
WO2019037558A1 (zh) 2017-08-22 2019-02-28 优酷网络技术（北京）有限公司 图像处理方法和装置
CN107622474B (zh) * 2017-09-26 2021-03-30 北京大学深圳研究生院 基于主视点的全景视频映射方法
CN108122283B (zh) * 2017-12-20 2021-05-11 成都索贝数码科技股份有限公司 一种利用坐标变换编辑vr影像的方法
CN110910306B (zh) * 2019-11-28 2022-06-21 深圳市信义科技有限公司 一种将全景地图中球面坐标转换为直线段的方法
CN115134604A (zh) * 2021-03-26 2022-09-30 影石创新科技股份有限公司 全景视频压缩方法、装置、计算机设备和存储介质
CN114693691B (zh) * 2022-03-23 2023-05-02 成都智元汇信息技术股份有限公司 一种双源双视角基于坐标映射的切图方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005055607A1 (en) * 2003-12-08 2005-06-16 Electronics And Telecommunications Research Institute System and method for encoding and decoding an image using bitstream map and recording medium thereof
KR20050091278A (ko) * 2004-03-11 2005-09-15 정순기 파노라마 영상의 스트리밍 방법
US20130243351A1 (en) * 2012-03-19 2013-09-19 Adobe Systems Incorporated Methods and Apparatus for Interfacing Panoramic Image Stitching with Post-Processors
CN105631809A (zh) * 2015-12-31 2016-06-01 北京理工大学 一种非均匀分辨率球面全景图生成方法
CN105915907A (zh) * 2016-06-07 2016-08-31 北京圣威特科技有限公司 全景图的压缩和解压方法、装置及系统
CN105933707A (zh) * 2016-06-30 2016-09-07 北京奇艺世纪科技有限公司 一种全景视频的压缩方法及装置
CN106651764A (zh) * 2016-12-29 2017-05-10 北京奇艺世纪科技有限公司 一种全景图压缩方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961983B2 (en) * 2007-07-18 2011-06-14 Microsoft Corporation Generating gigapixel images
CN101271187B (zh) * 2008-03-20 2012-04-25 汤一平 无死角的双目立体全方位视觉传感装置
CN101706967B (zh) 2009-11-18 2011-10-05 电子科技大学 一种真实感云层的综合模拟方法
JP2011217300A (ja) * 2010-04-02 2011-10-27 Masamichi Tokuzawa ３６０度ライブ・パノラマ配信システム
ES2675802T3 (es) * 2011-02-18 2018-07-12 Alcatel Lucent Procedimiento y aparato para transmitir y recibir un flujo de video panorámico
CN102508398B (zh) * 2011-11-09 2015-03-25 东莞市环宇文化科技有限公司 用计算机对平面待显示图进行球幕投影化处理的方法
CN104350745B (zh) 2012-07-04 2018-12-11 英特尔公司 基于全景的3d视频译码
JP6044328B2 (ja) 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
US9973692B2 (en) * 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
JP2015149600A (ja) * 2014-02-06 2015-08-20 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR102206244B1 (ko) * 2014-08-27 2021-01-22 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
CN104244019B (zh) 2014-09-18 2018-01-19 孙轩 一种全景视频影像室内分屏显示方法及显示系统
US9984436B1 (en) * 2016-03-04 2018-05-29 Scott Zhihao Chen Method and system for real-time equirectangular projection
CN105913379A (zh) * 2016-04-29 2016-08-31 乐视控股（北京）有限公司 虚拟现实终端及其图片的显示方法和装置
CN106023070B (zh) * 2016-06-14 2017-10-03 北京岚锋创视网络科技有限公司 实时全景拼接方法和装置
KR102560029B1 (ko) * 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치
CN107146274B (zh) * 2017-05-05 2021-06-22 上海兆芯集成电路有限公司 图像数据处理系统、纹理贴图压缩和产生全景视频的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005055607A1 (en) * 2003-12-08 2005-06-16 Electronics And Telecommunications Research Institute System and method for encoding and decoding an image using bitstream map and recording medium thereof
KR20050091278A (ko) * 2004-03-11 2005-09-15 정순기 파노라마 영상의 스트리밍 방법
US20130243351A1 (en) * 2012-03-19 2013-09-19 Adobe Systems Incorporated Methods and Apparatus for Interfacing Panoramic Image Stitching with Post-Processors
CN105631809A (zh) * 2015-12-31 2016-06-01 北京理工大学 一种非均匀分辨率球面全景图生成方法
CN105915907A (zh) * 2016-06-07 2016-08-31 北京圣威特科技有限公司 全景图的压缩和解压方法、装置及系统
CN105933707A (zh) * 2016-06-30 2016-09-07 北京奇艺世纪科技有限公司 一种全景视频的压缩方法及装置
CN106651764A (zh) * 2016-12-29 2017-05-10 北京奇艺世纪科技有限公司 一种全景图压缩方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GHAZNAVI YOUVALARI, RAMIN ET AL.: "Analysis of Regional Down-Sampling Methods for Coding of Omnidirectional Video", 2016 PICTURE CODING SYMPOSIUM (PCS, 7 December 2016 (2016-12-07), XP033086911 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110914871A (zh) * 2018-07-27 2020-03-24 深圳市大疆创新科技有限公司 获取三维场景的方法与装置
CN110618973A (zh) * 2019-09-09 2019-12-27 大唐网络有限公司 图像的存储方法和装置

Also Published As

Publication number Publication date
EP3471052B1 (en) 2021-06-09
JP2019532531A (ja) 2019-11-07
ES2886637T3 (es) 2021-12-20
CN106651764A (zh) 2017-05-10
US10812833B2 (en) 2020-10-20
AU2017386420A1 (en) 2019-01-24
CA3028518C (en) 2021-04-06
US20200177925A1 (en) 2020-06-04
EP3471052A4 (en) 2019-06-19
KR20190039118A (ko) 2019-04-10
TWI619091B (zh) 2018-03-21
AU2017386420B2 (en) 2020-04-23
TW201824175A (zh) 2018-07-01
CN106651764B (zh) 2019-10-15
CA3028518A1 (en) 2018-07-05
MY194491A (en) 2022-11-30
KR102208773B1 (ko) 2021-01-29
JP6764995B2 (ja) 2020-10-07
EP3471052A1 (en) 2019-04-17

Similar Documents

Publication Publication Date Title
WO2018120888A1 (zh) 一种全景图压缩方法及装置
Zakharchenko et al. Quality metric for spherical panoramic video
US10595004B2 (en) Electronic device for generating 360-degree three-dimensional image and method therefor
TWI637355B (zh) 紋理貼圖之壓縮方法及其相關圖像資料處理系統與產生３６０度全景視頻之方法
WO2018077071A1 (zh) 一种全景图像的生成方法及装置
WO2021208486A1 (zh) 一种相机坐标变换方法、终端以及存储介质
TWI635461B (zh) 投影圖構建方法及裝置
CN105809729B (zh) 一种虚拟场景的球形全景渲染方法
KR20180107271A (ko) 전방향 미디어 텍스처 매핑 메타데이터를 생성하는 방법 및 장치
WO2020151268A1 (zh) 一种3d小行星动态图的生成方法及便携式终端
WO2018040860A1 (zh) 一种全景视频的压缩方法及装置
US11922568B2 (en) Finite aperture omni-directional stereo light transport
WO2022141781A1 (zh) 一种播放全景视频的方法、系统、存储介质及播放设备
WO2019042028A1 (zh) 全视向的球体光场渲染方法
Fan et al. Pixels and Panoramas: An Enhanced Cubic Mapping Scheme for Video\/Image-Based Virtual-Reality Scenes
WO2023125353A1 (zh) 全景视频的传输方法、装置及存储介质
TWI696979B (zh) 圖像處理方法和裝置及全景視頻圖像的處理方法和系統
Abbas et al. A novel projection for omni-directional video
Fachada et al. Xslit cameras for free navigation with depth image-based rendering
Jin et al. An efficient spherical video sampling scheme based on Cube model
Peng et al. Distortion Reduction for Off-Center Perspective Projection of Panoramas
CN114612621A (zh) 基于三维倾斜模型的全景图生成方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17886395

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3028518

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2017386420

Country of ref document: AU

Date of ref document: 20170830

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019504789

Country of ref document: JP

Kind code of ref document: A

Ref document number: 2017886395

Country of ref document: EP

Effective date: 20190110

ENP Entry into the national phase

Ref document number: 20197003631

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE