TWI619091B - 全景圖壓縮方法及裝置 - Google Patents

全景圖壓縮方法及裝置 Download PDF

Info

Publication number
TWI619091B
TWI619091B TW106134203A TW106134203A TWI619091B TW I619091 B TWI619091 B TW I619091B TW 106134203 A TW106134203 A TW 106134203A TW 106134203 A TW106134203 A TW 106134203A TW I619091 B TWI619091 B TW I619091B
Authority
TW
Taiwan
Prior art keywords
coordinates
spherical model
panorama
spherical
model
Prior art date
Application number
TW106134203A
Other languages
English (en)
Other versions
TW201824175A (zh
Inventor
Jia Dan Zhu
Tao Wang
Original Assignee
Beijing Qiyi Century Science & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qiyi Century Science & Technology Co Ltd filed Critical Beijing Qiyi Century Science & Technology Co Ltd
Application granted granted Critical
Publication of TWI619091B publication Critical patent/TWI619091B/zh
Publication of TW201824175A publication Critical patent/TW201824175A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一種全景圖壓縮方法及裝置，包括獲得待壓縮的第一全景圖形成的第一球面模型；根據用戶的主視角影像，在第一球面模型內生成第二球面模型；建立第二全景圖的平面二維直角坐標與第一全景圖的平面二維直角坐標之間的第一映射關係；根據第一映射關係，從第一全景圖中，採樣第二全景圖中每一個平面二維直角坐標對應的像素點，構成含有像素的第二全景圖，實現對第一全景圖的壓縮；該方法對用戶主視角圖像影像採用了較高的採樣率，對其他影像採用了較高的採樣率，使得第一全景圖壓縮成了較小的第二全景圖，有利於全景圖的儲存、傳輸和解碼。

Description

全景圖壓縮方法及裝置
本發明關於影像處理技術領域，特別是關於一種全景圖壓縮方法及裝置。
近年來，隨著VR(Virtual Reality，虛擬實境)的高速發展，各種應用於VR的硬體和軟體等層出不窮，其中，全景視頻VR成為技術研發和產品內容創新的熱點，廣泛應用於虛擬影院、全景遊戲、全景教育、全景醫療、全景旅遊等很多領域，有著廣闊的前景和巨大的經濟價值。
全景視頻通常要求在4K以上的超高分辨率拍攝全景圖，才能在播放器中清晰的顯示出用戶觀看的局部視角內容。由於4K以上超高分辨率全景圖具有3840x1920以上海量像素，這給全景圖的儲存、壓縮、傳輸、解碼、和渲染視頻帶來大數據量的挑戰。並且全景圖的包括了全角度的影像，然而用戶在觀看時，由於人眼的限制，只能觀看到有限視角的影像內容。一般來說，全景影像中，人眼看到的有限視角的視頻內容中的顯示區域的像素只占全景影像所有像素的1/18。
目前現有技術中，在對全景圖進行壓縮時，若壓縮率較高，會造成用戶觀看全景圖時影像不清晰，但壓縮率不高時，又會使得全景圖過大，不利於儲存、傳輸和解碼。 總之，無法實現壓縮全景圖的同時保證用戶觀看時的清晰度。
本發明實施例的目的在於提供一種全景圖壓縮方法及裝置，通過對源全景圖非均勻的採樣及壓縮，實現用戶主視角觀看的部分影像的清晰度，同時保證較高的壓縮率。具體技術方案如下。
本發明實施例揭露一種全景圖壓縮方法，包括：獲得待壓縮的第一全景圖形成的第一球面模型，所述第一全景圖中所有像素的平面二維直角坐標與所述第一球面模型的坐標具有對應關係；根據用戶的主視角影像，在所述第一球面模型內生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位於所述第一球面模型的球心和所述用戶的主視角影像之間，所述第二球面模型的半徑小於所述第一球面模型的半徑，所述主視角影像為所述用戶重點觀看所述第一全景圖中的部分影像；建立第二全景圖的平面二維直角坐標與所述第一全景圖的平面二維直角坐標之間的第一映射關係，所述第二全景圖為所述第二球面模型展開的全景圖，所述第二全景圖的平面二維直角坐標與所述第二球面模型的坐標具有對應關係；根據所述第一映射關係，從所述第一全景圖中，採樣所述第二全景圖中每一個平面二維直角坐標對應的像素點，構成含有像素的第二全景圖，實現對所述第一全景圖的壓縮。
可選的，所述根據用戶的主視角影像，在所述第一球面模型內生成第二球面模型包括：根據所述第二全景圖的預設分辨率，確定所述第二球面模型的半徑；通過所述用戶主視角影像，確定所述第二球面模型的球心在所述第一球面模型內的位置。
可選的，所述建立第二全景圖的平面二維直角坐標與所述第一全景圖的平面二維直角坐標之間的第一映射關係包括：建立所述第一全景圖中所有像素的平面二維直角坐標與第一球面模型的坐標之間的第一對應關係；建立所述第一球面模型的坐標與所述第二球面模型的坐標之間的第二對應關係；建立所述第二球面模型的坐標與第二全景圖的平面二維直角坐標之間的第三對應關係；通過所述第三對應關係，將所述第二全景圖的平面二維直角坐標對應為所述第二球面模型的坐標，以及通過所述第二對應關係，將所述第二球面模型的坐標對應為所述第一球面模型的坐標，以及通過所述第一對應關係，將所述第一球面模型的坐標對應為所述第一全景圖中的平面二維直角坐標，建立起所述第二全景圖的平面二維直角坐標與所述第一全景圖的平面二維直角坐標之間的第一映射關係。
可選的，所述建立所述第一球面模型的坐標與所述第二球面模型的坐標之間的第二對應關係包括：當所述第二球面模型的球心不在所述第一球面模型的三維直角坐標系的x軸上時，將所述第一球面模型的三維直角坐標系進行坐標系轉換，其中，所述坐標系轉換包括：旋轉所述第一 球面模型的x軸，使所述第二球面模型的球心在經過旋轉後的x軸上。
可選的，所述建立所述第一球面模型的坐標與所述第二球面模型的坐標之間的第二對應關係之後，所述方法還包括：通過所述第二球面模型，生成所述用戶能夠直接觀看的二維投影平面，並建立所述第二球面模型的坐標與所述二維投影平面的二維直角坐標之間的第四對應關係；通過所述第四對應關係，將所述二維投影平面的二維直角坐標對應為所述第二球面模型的坐標，以及通過所述第二對應關係，將所述第二球面模型的坐標對應為所述第一球面模型的坐標，以及通過所述第一對應關係，將所述第一球面模型的坐標對應為所述第一全景圖中的平面二維直角坐標，建立起所述二維投影平面的二維直角坐標與所述第一全景圖的平面二維直角坐標之間的第二映射關係；根據所述第二映射關係，從所述第一全景圖中，採樣所述二維投影平面中每一個平面二維直角坐標對應的像素點，構成包含像素的所述用戶能夠直接觀看的二維投影平面。
本發明實施例揭露一種全景圖壓縮裝置，包括：獲取模組，用於獲得待壓縮的第一全景圖形成的第一球面模型，所述第一全景圖中所有像素的平面二維直角坐標與所述第一球面模型的坐標具有對應關係；生成模組，用於根據用戶的主視角影像，在所述第一球面模型內生成第二球面模型，所述第二球面模型包含在所述第一球面模型中，所述第二球面模型的球心位於所述第一球面模型的球心和 所述用戶的主視角影像之間，所述第二球面模型的半徑小於所述第一球面模型的半徑，所述主視角影像為所述用戶重點觀看所述第一全景圖中的部分影像；映射模組，用於建立第二全景圖的平面二維直角坐標與所述第一全景圖的平面二維直角坐標之間的第一映射關係，所述第二全景圖為所述第二球面模型展開的全景圖，所述第二全景圖的平面二維直角坐標與所述第二球面模型的坐標具有對應關係；採樣模組，用於根據所述第一映射關係，從所述第一全景圖中，採樣所述第二全景圖中每一個平面二維直角坐標對應的像素點，構成含有像素的第二全景圖，實現對所述第一全景圖的壓縮。
可選的，所述生成模組具體用於：根據所述第二全景圖的預設分辨率，確定所述第二球面模型的半徑；通過所述用戶主視角影像，確定所述第二球面模型的球心在所述第一球面模型內的位置。
可選的，所述映射模組包括：第一對應子模組，用於建立所述第一全景圖中所有像素的平面二維直角坐標與第一球面模型的坐標之間的第一對應關係；第二對應子模組，用於建立所述第一球面模型的坐標與所述第二球面模型的坐標之間的第二對應關係；第三對應子模組，用於建立所述第二球面模型的坐標與第二全景圖的平面二維直角坐標之間的第三對應關係；第一映射子模組，用於通過所述第三對應關係，將所述第二全景圖的平面二維直角坐標對應為所述第二球面模型的坐標，以及通過所述第二對應 關係，將所述第二球面模型的坐標對應為所述第一球面模型的坐標，以及通過所述第一對應關係，將所述第一球面模型的坐標對應為所述第一全景圖中的平面二維直角坐標，建立起所述第二全景圖的平面二維直角坐標與所述第一全景圖的平面二維直角坐標之間的第一映射關係。
可選的，所述第二對應子模組具體用於：當所述第二球面模型的球心不在所述第一球面模型的三維直角坐標系的x軸上時，將所述第一球面模型的三維直角坐標系進行坐標系轉換，其中，所述坐標系轉換包括：旋轉所述第一球面模型的x軸，使所述第二球面模型的球心在經過旋轉後的x軸上。
可選的，所述裝置還包括投影模組，所述投影模組用於：通過所述第二球面模型，生成所述用戶能夠直接觀看的二維投影平面，並建立所述第二球面模型的坐標與所述二維投影平面的二維直角坐標之間的第四對應關係；通過所述第四對應關係，將所述二維投影平面的二維直角坐標對應為所述第二球面模型的坐標，以及通過所述第二對應關係，將所述第二球面模型的坐標對應為所述第一球面模型的坐標，以及通過所述第一對應關係，將所述第一球面模型的坐標對應為所述第一全景圖中的平面二維直角坐標，建立起所述二維投影平面的二維直角坐標與所述第一全景圖的平面二維直角坐標之間的第二映射關係；根據所述第二映射關係，從所述第一全景圖中，採樣所述二維投影平面中每一個平面二維直角坐標對應的像素點，構成包 含像素的所述用戶能夠直接觀看的二維投影平面。
本發明實施例提供的一種全景圖壓縮方法及裝置，通過對待壓縮的全景圖，進行非均勻的採樣，進而將待壓縮的全景圖壓縮成非均勻的全景圖，對於用戶主要觀看的部分影像，有較高的採樣率，從而保證了用戶觀看的清晰度；對於其他的影像部分，採用了較低的採樣率，從而使得整體壓縮後的全景圖較小，有利於全景圖的儲存、傳輸和解碼。當然，實施本發明的任一產品或方法必不一定需要同時達到以上所述的所有優點。
101~104‧‧‧步驟
501、601、802‧‧‧第一球面模型
502、602、701、803‧‧‧第二球面模型
702‧‧‧二維投影平面
801‧‧‧第一全景圖
804‧‧‧第二全景圖
901‧‧‧獲取模組
902‧‧‧生成模組
903‧‧‧映射模組
904‧‧‧採樣模組
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些圖式獲得其他的圖式。
圖1為本發明實施例提供的全景圖壓縮方法的流程圖。
圖2為本發明實施例提供的等距長方形投影(Equirectangular)全景圖的示意圖； 圖3為本發明實施例提供的Equirectangular全景圖轉換成的球面模型。
圖4為本發明實施例提供的λ和Φ的取值範圍圖。
圖5為本發明實施例提供的在第一球面模型內生成第 二球面模型的示意圖。
圖6為本發明實施例提供的第二球面模型的圓心位置示意圖。
圖7為本發明實施例提供的球面模型投影為二維投影平面示意圖。
圖8為本發明實施例提供的全景圖壓縮方法流程示意圖。
圖9為本發明實施例提供的全景圖壓縮裝置的結構圖。
下面將結合本發明實施例中的圖式，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
參見圖1，圖1為本發明實施例提供的全景圖壓縮方法的流程圖，包括以下步驟。
步驟101，獲得待壓縮的第一全景圖形成的第一球面模型，第一全景圖中所有像素的平面二維直角坐標與第一球面模型的坐標具有對應關係。
全景圖是指可以記錄並呈現全角度視角的影像圖。在VR領域中，最為常用的全景圖為Equirectangular(等距長方形投影)格式的全景圖。Equirectangular全景圖，能夠涵蓋 360度的水平視角和180度的垂直視角，從而形成了一張環繞一周全部景象的圖片。本發明實施列使用Equirectangular全景圖作為一個實例進行介紹，但本發明實施例不僅應用於Equirectangular全景圖，其他各種類型的全景圖都可以通過本發明實施例提供的方法進行壓縮。
參見圖2，圖2為本發明實施例提供的Equirectangular全景圖的示意圖。其中，m為全景圖的高，n為全景圖的寬。全景圖中的每一個坐標對應一個像素。
全景圖可以轉化為球面模型，相當於全景圖覆蓋在一個360度完整的球面上，在球面模型內部就可以看到全視角的所有影像，該球面模型的半徑可以用公式一表示：
其中R為球面模型半徑，n為全景圖的寬，π為圓周率。
參見圖3，圖3為本發明實施例提供的Equirectangular全景圖轉換成的球面模型。其中，點r為球面模型表面的任一點，λ表示球面模型的坐標中的經度，Φ表示球面模型的坐標中的緯度。
參見圖4，圖4為本發明實施例提供的λ和Φ的取值範圍圖，其中，λ的取值範圍為(-π，π)，Φ的取值範圍為 (，)。
在球面模型表面上，任意一個點的坐標可以使用極坐標。也可以使用三維直角坐標來表示，三維坐標與球面極坐標可以用以下公式二進行轉換： x1=RcosλcosΦ；y1=RsinλcosΦ；z1=RsinΦ；其中，x1，y1，z1表示球面模型表面上點的三維直角坐標，λ表示球面模型的坐標中的經度，Φ表示球面模型的坐標中的緯度，即球面模型的極坐，R表示球面模型半徑。在使用上述公式時，公式中不乘以球面模型半徑R時，則可以表示在單位圓構成的球面模型中的三維直角坐標位置，乘以球面模型半徑R時，則可以表示以全景圖實際大小建立的球面模型中的三維直角坐標位置。
全景圖轉化為球面模型時，全景圖中所有像素的平面二維直角坐標與球面模型的坐標具有對應關係，具體的，全景圖的二維直角坐標與球面模型的球面坐標之間的對應關係，由下面的公式三確定：
其中，x，y為全景圖中像素的平面二維直角坐標，m為全景圖的高，n為全景圖的寬，λ表示球面模型的坐標中的經度，Φ表示球面模型的坐標中的緯度，π為圓周率。
該公式表示全景圖的二維直角坐標與球面模型的球面坐標之間的對應關係，已知全景圖的二維直角坐標可以得到對應的球面模型的坐標，同樣已知球面模型的坐標也可以得到對應的全景圖的二維直角坐標。所以可以實現全景 圖與球面模型之間的自由轉換。其中，球面模型的坐標可以包括極坐標，或者經過轉換，也可以為三維直角坐標。
第一全景圖作為待壓縮的全景圖時，可以通過上述公式，將第一全景圖轉換為第一球面模型。
步驟102，根據用戶的主視角影像，在第一球面模型內生成第二球面模型，第二球面模型包含在第一球面模型中，第二球面模型的球心位於第一球面模型的球心和用戶的主視角影像之間，第二球面模型的半徑小於第一球面模型的半徑，主視角影像為用戶重點觀看第一全景圖中的部分影像。
用戶在觀看全景圖時，都會有重點觀看的影像部分，該部分影像在進行壓縮時，作為用戶的主視角影像，需要盡可能多的保留，而用戶非重點觀看的影像部分，可以進行較大程度的壓縮，例如，全景圖為一場籃球比賽的全景圖，那麼用戶重點關注的部分就是賽場上與比賽有關的影像，該部分就是用戶主視角影像，該部分影像在進行壓縮時為了保證清晰度和用戶體驗，需要盡可能少壓縮，而例如觀眾席，替補席等等是用戶非重點觀看的部分，可以不需要保證太高的清晰度，可以有較大的壓縮率。
所以針對第一全景圖，可以預先知道用戶的主視角影像。當得到了第一球面模型之後，也可以預先知道用戶主視角影像的影像在球面的那個部分。
參見圖5，圖5為本發明實施例提供的在第一球面模型內生成第二球面模型的示意圖，其中第二球面模型502包含 在第一球面模型501中，已知用戶主視角觀看的影像位置位於第一球面模型的上半圓，即用戶主視角影像對應第一球面模型501的頂部部分，所以第二球面模型502的球心位於第一球面模型501的球心和第一球面模型501的頂部之間。
步驟103，建立第二全景圖的平面二維直角坐標與第一全景圖的平面二維直角坐標之間的第一映射關係，第二全景圖為第二球面模型展開的全景圖，第二全景圖的平面二維直角坐標與第二球面模型的坐標具有對應關係。
根據步驟101中的公式三，可以實現全景圖和球面模型之間的相互轉換，所以當生成了第二球面模型之後，也可以將第二球面模型轉化為第二全景圖，但此時的第二全景圖只是由第二球面模型進行坐標轉換而得到，其中並不含有具體的像素，只具有像素的坐標。第二球面模型轉化為的第二全景圖，可以是一張不含有像素的空白全景圖，也可以是一張虛擬的邏輯上的全景圖，只需要建立起第二全景圖邏輯上的平面二維直角坐標與第二球面模型的坐標之間的對應關係即可。
在第一球面模型中生成了第二球面模型之後，可以通過幾何關係，來確定出第一球面模型的坐標與第二球面模型的坐標之間的映射投影關係，即第二球面模型的坐標的一個點，必然對應第一球面模型的坐標的一個點。
通過第二球面模型的坐標與第一球面模型的坐標的映射投影關係，以及全景圖和球面模型之間的相互轉換關係，能夠建立起第二全景圖的平面二維直角坐標與第一全 景圖的平面二維直角坐標之間的第一映射關係。第二全景圖的每一個坐標點，都可以得到與之對應的第一全景圖的坐標點。
步驟104，根據第一映射關係，從第一全景圖中，採樣第二全景圖中每一個平面二維直角坐標對應的像素點，構成含有像素的第二全景圖，實現對第一全景圖的壓縮。
建立第一映射關係後，就可以根據第二全景圖中每一個坐標，找到第一全景圖中相對應的坐標，並將該坐標對應的像素進行採樣，填充到第二全景圖中。第二全景圖每一個坐標點都進行一次採樣，就構成了具有像素的第二全景圖。
由於第二球面模型半徑小於第一球面模型，所以第二全景圖小於第一全景圖，也就是第二全景圖的總像素少於第一全景圖的總像素，實現了對第一全景圖的壓縮。
第二球面模型的球心靠近用戶主視角影像，參見圖5，在圖5中第二球面模型502有兩個區域，區域1和區域2。區域1和區域2在第二球面模型502上的面積是相同的，但對應第一球面模型501的面積明顯存在差別，區域1對應較小的面積，而區域2對應加大的面積。當第二球面模型轉化為第二全景圖時，區域1和區域2在第二全景圖上與具有相同的面積，即具有同樣的像素數量。但在進行採樣時，在區域1對應的部分第一全景圖上的採樣就更加密集，而區域2對應的部分第一全景圖上的採樣就會相對稀疏。並且區域1對應的部分是用戶主視角影像，從而保證了用戶主視角影像壓 縮率較低，而其他部分的壓縮率較高，實現了非均勻的壓縮。
當然，在本發明實施例中，如果第二球面模型502的球心與第一球面模型501的球心重合，則可以實現對第一球面全景圖的均勻壓縮。
在本發明實施列中，通過在第一球面模型中生成一個非對稱的靠近用戶主視角影像的第二球面模型，並將第二球面模型轉化成第二全景圖後，根據第二全景圖的坐標在第一全景圖中進行像素的採樣，從而實現了對第一全景圖的非對稱壓縮，對用戶主視角影像採用了較高的採樣率，保證了用戶主視角影像的清晰度，對其他影像採用了較高的採樣率，使得第一全景圖壓縮成了較小的第二全景圖，有利於全景圖文件的儲存、傳輸和解碼。
可選的，本發明實施例提供的全景圖壓縮方法中，根據用戶的主視角影像，在第一球面模型內生成第二球面模型包括以下步驟。
第一步，根據第二全景圖的預設分辨率，確定第二球面模型的半徑。
實境中很多情況時，都可以預先得到壓縮後的第二全景圖的分辨率，或者說是第二全景圖的分辨率是壓縮後的目標分辨率。分辨率可以用像素來表示，例如1920x960等。這樣的分辨率可以作為第二全景圖的寬和高，亦即n'=1920，m'=960，其中n'為第二全景圖的寬，m'第二全景圖的高，從而可以根據公式一得到第二全面模型的半徑。
第二步，通過用戶主視角影像，確定第二球面模型的球心在第一球面模型內的位置。
根據用戶觀看主視角影像的不同需要，可以確定第二球面模型的球心在第一球面模型內的位置。例如，當用戶不關心主視角影像以外的其他影像時，可以使第二球面模型的球心更加靠近用戶主視角影像。而當用戶還有觀看一些其他影像的需求時，則可以將第二球面模型的球心偏向其他影像，如果用戶想觀看整體影像時，可以將第二球面模型的球心靠近第一球面模型的球心。
在本發明實施列中，通過第二全景圖的預設分辨率，預先設定好第二球面模型的半徑，使得第二球面模型的生成更加容易，並且可以在進行影像壓縮時，準確達到需要壓縮的目標分辨率。通過用戶主視角影像，可以根據用戶的不同需求靈活調整第二球面模型的球心位置，使得得到各種不同的非均勻壓縮結果，滿足不同用戶的不同需求。
可選的，本發明實施例提供的全景圖壓縮方法中，建立第二全景圖的平面二維直角坐標與第一全景圖的平面二維直角坐標之間的第一映射關係包括以下步驟。
第一步，建立第一全景圖中所有像素的平面二維直角坐標與第一球面模型的坐標之間的第一對應關係。
根據公式三，可以得到第一全景圖中所有像素的平面二維直角坐標與第一球面模型的坐標之間的第一對應關係。第一全景圖中的每一個像素的坐標可以在第一球面模型的坐標得到對應的坐標。
第二步，建立第一球面模型的坐標與第二球面模型的坐標之間的第二對應關係。
當通過公式三將全景圖轉換為球面模型時，球面模型會自動建立起三維直角坐標系。
具體的，當應用公式三進行全景圖的二維直角坐標轉 換球面模型的坐標時，當全景圖的二維直角坐標的x>時，通過坐標x轉換得到的Φ為正值，x<時，通過坐標x轉換得到的Φ為負值，同理，當y>時，通過坐標y轉換得到的λ為正值，y<時，通過坐標y轉換得到的λ為負值。其中，x，y為全景圖中像素的平面二維直角坐標，m為全景圖的高，n為全景圖的寬，λ表示球面模型的坐標中的經度，Φ表示球面模型的坐標中的緯度。根據λ和Φ的正負，可以確定出球面模型三維直角坐標系的x軸和y軸，即x軸確定Φ的正負角度，y軸確定λ的正負角度。球面模型三維直角坐標系的z軸與x軸和y軸相互垂直，可以通過x軸和y軸來確定。
參見圖6，圖6為第二球面模型的圓心位置示意圖。
圖6中第二球面模型602的圓心位於第一球面模型601三維直角坐標系的x軸上，且第二球面模型602的圓心在第一球面模型601的三維直角坐標系中的位置為(t,0,0)。
第一球面模型601上一個坐標點p，利用幾何學方法，可以對點p到第一球面模型601圓心O的直線，和點p到第二球面模型602圓心o的直線聯立直線方程，例如直線方程可以為：
其中，λ表示第一球面模型601的坐標中的經度，Φ表示第一球面模型601的坐標中的緯度，λ'表示第二球面模型602的坐標中的經度，Φ'表示第二球面模型602的坐標中的緯度，R表示第一球面模型601的半徑，t表示第二球面模型602的圓心o在第一球面模型601的x軸上的位置。
解上述直線方程，可以得到當第二球面模型602的圓心o位於第一球面模型601三維直角坐標系的x軸上時，用來建立第一球面模型601的坐標與第二球面模型602的坐標之間第二對應關係的公式四，公式四為：
sinλ=cotΦ'tanφsinλ'
其中， a=tan2λ'，，
上述公式四中，λ表示第一球面模型601的坐標中的經度，Φ表示第一球面模型601的坐標中的緯度，λ'表示第二球面模型602的坐標中的經度，Φ'表示第二球面模型602的坐標中的緯度，R表示第一球面模型601的半徑，t表示第二球面模型602的圓心o在第一球面模型601的x軸上的位置。
以上公式四是根據第一球面模型和第二球面模型的幾何關係，利用幾何學方法推到出的公式，並不是唯一的。利用其它幾何方法，也可以推到出其它的公式，同樣可以發映出第一球面模型的坐標和第二球面模型的坐標間的對 應關係。只要是利用能夠反映第一球面模型的坐標和第二球面模型的坐標間的對應關係的公式完成本發明實施例，都屬於本發明實施例的保護範圍。
第三步，建立第二球面模型的坐標與第二全景圖的平面二維直角坐標之間的第三對應關係。
同樣應用公式三，可以建立第二球面模型的坐標與第二全景圖的平面二維直角坐標之間的第三對應關係。第二全景圖的待填充的每一個像素的坐標都可以在第二球面模型的坐標中得到對應的坐標。
第四步，通過第三對應關係，將第二全景圖的平面二維直角坐標對應為第二球面模型的坐標，以及通過第二對應關係，第二球面模型的坐標對應為第一球面模型的坐標，以及通過第一對應關係，將第一球面模型的坐標對應為第一全景圖中的平面二維直角坐標，建立起第二全景圖的平面二維直角坐標與第一全景圖的平面二維直角坐標之間的第一映射關係。
通過應用公式三和公式四，第二全景圖的平面二維直角坐標可以對應到第二球面模型的坐標，再通過第二球面模型的坐標對應到第一球面模型的坐標，最後對應到第一全景圖的平面二維直角坐標，建立起第一映射關係。
在本發明實施例中，通過公式三和公式四，實現了建立第二全景圖的平面二維直角坐標與第一全景圖的平面二維直角坐標之間的第一映射關係。使得坐標的對應更加準確，在計算機等設備中更容易實現。提高了坐標對應的效 率，進而提高了壓縮效率。
可選的，本發明實施例提供的全景圖壓縮方法中，建立第一球面模型的坐標與第二球面模型的坐標之間的第二對應關係包括：當第二球面模型的球心不在第一球面模型的三維直角坐標系的x軸上時，將第一球面模型的三維直角坐標系進行坐標系轉換，其中，坐標系轉換包括：旋轉第一球面模型的x軸，使第二球面模型的球心在經過旋轉後的x軸上。
第二球面的球心位置根據用戶的主視角影像來確定，所以可能出現在任何位置，當第二球面的球心不在第一球面模型的三維直角坐標系的x軸上時，則不能利用公式四建立，第一球面模型的坐標和第二球面模型的坐標之間的第二對應關係。所以，需要利用下面的公式五，進行第一球面模型三維直角坐標系的旋轉，使第二球面模型的球心位於經過旋轉後的x軸上。
設第二球面模型的圓心位置在第一球面模型中的位置用第一球面模型的極坐標表示為(t，λ0，Φ0)，則公式五為：
其中，x，y，z表示第一球面模型中的三維直角坐標，x"，y"，z"表示經過坐標系旋轉的第一球面模型中的三維直角坐標，λ0表示第二球面模型的球心，在第一球面模型的坐標中的經度，Φ0表示第二球面模型的球心，在第一球面模型的坐標中的緯度。
利用公式五之前時，需要利用公式二將第一球面模型的極坐標轉化成第一球面模型中的三維直角坐標x，y，z，經過轉換後得到的第一球面模型中的三維直角坐標x"，y"，z"，同樣根據公式二的逆運算可以轉換成為第一球面模型的極坐標。這樣最終得到的結果就可以直接帶入公式四進行計算，從而建立起第一球面模型的坐標和第二球面模型的坐標之間的第二對應關係
可選的，本發明實施例提供的全景圖壓縮方法中，建立第一球面模型的坐標與第二球面模型的坐標之間的第二對應關係之後，方法還包括以下步驟。
第一步，通過第二球面模型，生成用戶能夠直接觀看的二維投影平面，並建立第二球面模型的坐標與二維投影平面的二維直角坐標之間的第四對應關係。
參見圖7，圖7為球面模型投影為二維投影平面示意圖。
全景影像可以認為是球面模型坐標的顯示，而當渲染到屏幕或者HMD(Head Mount Display，頭戴式可視設備)上時，要求都符合單眼成像原理，即最後展示在屏幕/HMD上的影像為用戶直接可以觀看的無畸變的透視二維投影平面。
圖7中，第二球面模型701的坐標與二維投影平面702的二維直角坐標之間的第四對應關係，可以利用公式六來建立，公式六為：
其中，λ'表示第二球面模型701的坐標中的經度，Φ'表示第二球面模型701的坐標中的緯度，x'和y'表示二維投影平面702的二維直角坐標，r表示第二球面模型的半徑。
第二步，通過第四對應關係，將二維投影平面的二維直角坐標對應為第二球面模型的坐標，以及通過第二對應關係，第二球面模型的坐標對應為第一球面模型的坐標，以及通過第一對應關係，將第一球面模型的坐標對應為第一全景圖中的平面二維直角坐標，建立起二維投影平面的二維直角坐標與第一全景圖的平面二維直角坐標之間的第二映射關係。
通過應用公式六，二維投影平面的平面二維直角坐標可以對應到第二球面模型的坐標，再通過第二球面模型的坐標對應到第一球面模型的坐標，最後對應到第一全景圖的平面二維直角坐標，建立起第二映射關係。
第三步，根據第二映射關係，從第一全景圖中，採樣二維投影平面中每一個平面二維直角坐標對應的像素點，構成包含像素的用戶能夠直接觀看的二維投影平面。
建立第二映射關係後，就可以根據二維投影平面中每一個坐標，找到第一全景圖中相對應的坐標，並將該坐標對應的像素進行採樣，填充到二維投影平面中。二維投影平面每一個坐標點都進行一次採樣，就構成了具有像素的 且用戶可以之間進行觀看的二維投影平面。
在本發明實施例中，當生成了第二球面模型後，可以直接建立起第二球面模型的坐標與用戶可以直接觀看的二維投影平面的坐標之間的第四對應關係，進而構成第二映射關係，二維投影平面可以根據第二映射關係，從第一全景圖中採樣像素，生成還有像素的二維投影平面。這樣可以實現了對第一全景圖壓縮的同時，可以直接生成用戶可以直接觀看的二維投影平面。可以實現實時的壓縮和顯示，拓展了本發明實施例的使用範圍。
參見圖8，圖8為本發明實施例提供的全景圖壓縮方法流程示意圖。
第一步，獲得第一全景圖801，第一全景圖的分辨率為3840x1920，則第一全景圖的寬n=3840，高m=1920。
第二步，根據公式三，將第一全景圖801中所有像素對應的平面直角坐標轉換為球面模型的坐標，形成第一球面模型802，建立第一全景圖801的平面直角坐標與第一球面模型802的坐標的第一對應關係，並可以通過公式一確定第 一球面模型802的半徑。
第三步，需要將第一全景圖壓縮為1920x960的全景圖，即壓縮後得到的第二全景圖804的分辨率為1920x960，即第二全景圖的寬n'=1920，高m'=960，進而可以根據公式一得到第二球面模型803的半徑。
第四步，根據預設的用戶主視角影像，以及第二球面模型的半徑，確定第二球面模型803的球心位置。
第五步，使用公式二和公式五，將第一球面模型802的三維直角坐標系進行坐標系轉換，旋轉第一球面模型802的x軸，使第二球面模型803的球心在經過旋轉後的x軸上。
第六步，使用公式四，建立第一球面模型802的坐標和第二球面模型803的坐標的第二對應關係。
第七步，使用公式二，將第二球面模型803的坐標轉換為平面直角坐標，形成不含有像素的第二全景圖804，並建立第二全景圖804的平面直角坐標與第二球面模型803的坐標的第三對應關係。
第八步，通過第三對應關係、第二對應關係以及第一對應關係所構成的第一映射關係，第二全景圖804中的每一個像素的坐標都可以對應到第一全景圖801中像素的坐標。
在第一全景圖801中採樣第二全景圖804中每一個像素的坐標對應的像素，構成含有像素的第二全景圖804。實現了對第一全景圖801的壓縮。
參見圖9，圖9為本發明實施例提供的全景圖壓縮裝置的結構圖，包括以下模組。
獲取模組901，用於獲得待壓縮的第一全景圖形成的第一球面模型，第一全景圖中所有像素的平面二維直角坐標與第一球面模型的坐標具有對應關係。
生成模組902，用於根據用戶的主視角影像，在第一球面模型內生成第二球面模型，第二球面模型包含在第一球面模型中，第二球面模型的球心位於第一球面模型的球心和用戶的主視角影像之間，第二球面模型的半徑小於第一 球面模型的半徑，主視角影像為用戶重點觀看第一全景圖中的部分影像。
映射模組903，用於建立第二全景圖的平面二維直角坐標與第一全景圖的平面二維直角坐標之間的第一映射關係，第二全景圖為第二球面模型展開的全景圖，第二全景圖的平面二維直角坐標與第二球面模型的坐標具有對應關係。
採樣模組904，用於根據第一映射關係，從第一全景圖中，採樣第二全景圖中每一個平面二維直角坐標對應的像素點，構成含有像素的第二全景圖，實現對第一全景圖的壓縮。
在本發明實施列中，通過在第一球面模型中生成一個非對稱的靠近用戶主視角影像的第二球面模型，並將第二球面模型轉化成第二全景圖後，根據第二全景圖的坐標在第一全景圖中進行像素的採樣，從而實現了對第一全景圖的非對稱壓縮，對用戶主視角影像採用了較高的採樣率，保證了用戶主視角影像的清晰度，對其他影像採用了較高的採樣率，使得第一全景圖壓縮成了較小的第二全景圖，有利於全景圖文件的儲存、傳輸和解碼。
本發明實施例的裝置是應用上述全景圖壓縮方法的裝置，則上述全景圖壓縮方法的所有實施例均適用於該裝置，且均能達到相同或相似的有益效果。
可選的，本發明實施例提供的全景圖壓縮裝置中，生成模組902具體用於：根據第二全景圖的預設分辨率，確定 第二球面模型的半徑；通過用戶主視角影像，確定第二球面模型的球心在第一球面模型內的位置。
可選的，本發明實施例提供的全景圖壓縮裝置中，映射模組903包括以下子模組。
第一對應子模組，用於建立第一全景圖中所有像素的平面二維直角坐標與第一球面模型的坐標之間的第一對應關係。
第二對應子模組，用於建立第一球面模型的坐標與第二球面模型的坐標之間的第二對應關係。
第三對應子模組，用於建立第二球面模型的坐標與第二全景圖的平面二維直角坐標之間的第三對應關係。
第一映射子模組，用於通過第三對應關係，將第二全景圖的平面二維直角坐標對應為第二球面模型的坐標，以及通過第二對應關係，第二球面模型的坐標對應為第一球面模型的坐標，以及通過第一對應關係，將第一球面模型的坐標對應為第一全景圖中的平面二維直角坐標，建立起第二全景圖的平面二維直角坐標與第一全景圖的平面二維直角坐標之間的第一映射關係。
可選的，本發明實施例提供的全景圖壓縮裝置中，第二對應子模組具體用於：當第二球面模型的球心不在第一球面模型的三維直角坐標系的x軸上時，將第一球面模型的三維直角坐標系進行坐標系轉換，其中，坐標系轉換包括：旋轉第一球面模型的x軸，使第二球面模型的球心在經過旋轉後的x軸上。
可選的，本發明實施例提供的全景圖壓縮裝置中，裝置還包括投影模組，投影模組用於：通過第二球面模型，生成用戶能夠直接觀看的二維投影平面，並建立第二球面模型的坐標與二維投影平面的二維直角坐標之間的第四對應關係；通過第四對應關係，將二維投影平面的二維直角坐標對應為第二球面模型的坐標，以及通過第二對應關係，第二球面模型的坐標對應為第一球面模型的坐標，以及通過第一對應關係，將第一球面模型的坐標對應為第一全景圖中的平面二維直角坐標，建立起二維投影平面的二維直角坐標與第一全景圖的平面二維直角坐標之間的第二映射關係；根據第二映射關係，從第一全景圖中，採樣二維投影平面中每一個平面二維直角坐標對應的像素點，構成包含像素的用戶能夠直接觀看的二維投影平面。
需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個......”限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
本說明書中的各個實施例均採用相關的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於系統實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。
以上所述僅為本發明的較佳實施例而已，並非用於限定本發明的保護範圍。凡在本發明的精神和原則之內所作的任何修改、等同替換、改進等，均包含在本發明的保護範圍內。
101~104‧‧‧步驟

Claims (10)

  1. 一種全景圖壓縮方法，包括以下步驟：獲得待壓縮的第一全景圖形成的第一球面模型，該第一全景圖中所有像素的平面二維直角坐標與該第一球面模型的坐標具有對應關係；根據用戶的主視角影像，在該第一球面模型內生成第二球面模型，該第二球面模型包含在該第一球面模型中，該第二球面模型的球心位於該第一球面模型的球心和該用戶的主視角影像之間，該第二球面模型的半徑小於該第一球面模型的半徑，該主視角影像為該用戶重點觀看該第一全景圖中的部分影像；建立第二全景圖的平面二維直角坐標與該第一全景圖的平面二維直角坐標之間的第一映射關係，該第二全景圖為該第二球面模型展開的全景圖，該第二全景圖的平面二維直角坐標與該第二球面模型的坐標具有對應關係；根據該第一映射關係，從該第一全景圖中，採樣該第二全景圖中每一個平面二維直角坐標對應的像素點，構成含有像素的第二全景圖，實現對該第一全景圖的壓縮。
  2. 如請求項1所記載之全景圖壓縮方法，其中，該根據用戶的主視角影像，在該第一球面模型內生成第二球面模型包括以下步驟：根據該第二全景圖的預設分辨率，確定該第二球 面模型的半徑；通過該用戶主視角影像，確定該第二球面模型的球心在該第一球面模型內的位置。
  3. 如請求項1所記載之全景圖壓縮方法，其中，該建立第二全景圖的平面二維直角坐標與該第一全景圖的平面二維直角坐標之間的第一映射關係包括以下步驟：建立該第一全景圖中所有像素的平面二維直角坐標與第一球面模型的坐標之間的第一對應關係；建立該第一球面模型的坐標與該第二球面模型的坐標之間的第二對應關係；建立該第二球面模型的坐標與第二全景圖的平面二維直角坐標之間的第三對應關係；通過該第三對應關係，將該第二全景圖的平面二維直角坐標對應為該第二球面模型的坐標，以及通過該第二對應關係，將該第二球面模型的坐標對應為該第一球面模型的坐標，以及通過該第一對應關係，將該第一球面模型的坐標對應為該第一全景圖中的平面二維直角坐標，建立起該第二全景圖的平面二維直角坐標與該第一全景圖的平面二維直角坐標之間的第一映射關係。
  4. 如請求項3所記載之全景圖壓縮方法，其中，該建立該第一球面模型的坐標與該第二球面模型的坐標之間的第二對應關係包括以下步驟： 當該第二球面模型的球心不在該第一球面模型的三維直角坐標系的x軸上時，將該第一球面模型的三維直角坐標系進行坐標系轉換，其中，該坐標系轉換包括：旋轉該第一球面模型的x軸，使該第二球面模型的球心在經過旋轉後的x軸上。
  5. 如請求項3或4所記載之全景圖壓縮方法，其中，該建立該第一球面模型的坐標與該第二球面模型的坐標之間的第二對應關係之後，該全景圖壓縮方法還包括以下步驟：通過該第二球面模型，生成該用戶能夠直接觀看的二維投影平面，並建立該第二球面模型的坐標與該二維投影平面的二維直角坐標之間的第四對應關係；通過該第四對應關係，將該二維投影平面的二維直角坐標對應為該第二球面模型的坐標，以及通過該第二對應關係，將該第二球面模型的坐標對應為該第一球面模型的坐標，以及通過該第一對應關係，將該第一球面模型的坐標對應為該第一全景圖中的平面二維直角坐標，建立起該二維投影平面的二維直角坐標與該第一全景圖的平面二維直角坐標之間的第二映射關係；根據該第二映射關係，從該第一全景圖中，採樣該二維投影平面中每一個平面二維直角坐標對應的像素點，構成包含像素的該用戶能夠直接觀看的二維投影平面。
  6. 一種全景圖壓縮裝置，包括：獲取模組，用於獲得待壓縮的第一全景圖形成的第一球面模型，該第一全景圖中所有像素的平面二維直角坐標與該第一球面模型的坐標具有對應關係；生成模組，用於根據用戶的主視角影像，在該第一球面模型內生成第二球面模型，該第二球面模型包含在該第一球面模型中，該第二球面模型的球心位於該第一球面模型的球心和該用戶的主視角影像之間，該第二球面模型的半徑小於該第一球面模型的半徑，該主視角影像為該用戶重點觀看該第一全景圖中的部分影像；映射模組，用於建立第二全景圖的平面二維直角坐標與該第一全景圖的平面二維直角坐標之間的第一映射關係，該第二全景圖為該第二球面模型展開的全景圖，該第二全景圖的平面二維直角坐標與該第二球面模型的坐標具有對應關係；採樣模組，用於根據該第一映射關係，從該第一全景圖中，採樣該第二全景圖中每一個平面二維直角坐標對應的像素點構成含有像素的第二全景圖，實現對該第一全景圖的壓縮。
  7. 如請求項6所記載之全景圖壓縮裝置，其中，該生成模組具體用於：根據該第二全景圖的預設分辨率，確定該第二球面模型的半徑； 通過該用戶主視角影像，確定該第二球面模型的球心在該第一球面模型內的位置。
  8. 如請求項6所記載之全景圖壓縮裝置，其中，該映射模組包括：第一對應子模組，用於建立該第一全景圖中所有像素的平面二維直角坐標與第一球面模型的坐標之間的第一對應關係；第二對應子模組，用於建立該第一球面模型的坐標與該第二球面模型的坐標之間的第二對應關係；第三對應子模組，用於建立該第二球面模型的坐標與第二全景圖的平面二維直角坐標之間的第三對應關係；第一映射子模組，用於通過該第三對應關係，將該第二全景圖的平面二維直角坐標對應為該第二球面模型的坐標，以及通過該第二對應關係，將該第二球面模型的坐標對應為該第一球面模型的坐標，以及通過該第一對應關係，將該第一球面模型的坐標對應為該第一全景圖中的平面二維直角坐標，建立起該第二全景圖的平面二維直角坐標與該第一全景圖的平面二維直角坐標之間的第一映射關係。
  9. 如請求項8所記載之全景圖壓縮裝置，其中，該第二對應子模組具體用於，當該第二球面模型的球心不在該第一球面模型的三維直角坐標系的x軸上時，將該第一球面模型的 三維直角坐標系進行坐標系轉換，其中，該坐標系轉換包括：旋轉該第一球面模型的x軸，使該第二球面模型的球心在經過旋轉後的x軸上。
  10. 如請求項8或9所記載之全景圖壓縮裝置，其中，該全景圖壓縮裝置還包括投影模組，該投影模組用於：通過該第二球面模型，生成該用戶能夠直接觀看的二維投影平面，並建立該第二球面模型的坐標與該二維投影平面的二維直角坐標之間的第四對應關係；通過該第四對應關係，將該二維投影平面的二維直角坐標對應為該第二球面模型的坐標，以及通過該第二對應關係，將該第二球面模型的坐標對應為該第一球面模型的坐標，以及通過該第一對應關係，將該第一球面模型的坐標對應為該第一全景圖中的平面二維直角坐標，建立起該二維投影平面的二維直角坐標與該第一全景圖的平面二維直角坐標之間的第二映射關係；根據該第二映射關係，從該第一全景圖中，採樣該二維投影平面中每一個平面二維直角坐標對應的像素點，構成包含像素的該用戶能夠直接觀看的二維投影平面。
TW106134203A 2016-12-29 2017-10-03 全景圖壓縮方法及裝置 TWI619091B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611248836.9A CN106651764B (zh) 2016-12-29 2016-12-29 一种全景图压缩方法及装置
??201611248836.9 2016-12-29

Publications (2)

Publication Number Publication Date
TWI619091B true TWI619091B (zh) 2018-03-21
TW201824175A TW201824175A (zh) 2018-07-01

Family

ID=58836039

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106134203A TWI619091B (zh) 2016-12-29 2017-10-03 全景圖壓縮方法及裝置

Country Status (11)

Country Link
US (1) US10812833B2 (zh)
EP (1) EP3471052B1 (zh)
JP (1) JP6764995B2 (zh)
KR (1) KR102208773B1 (zh)
CN (1) CN106651764B (zh)
AU (1) AU2017386420B2 (zh)
CA (1) CA3028518C (zh)
ES (1) ES2886637T3 (zh)
MY (1) MY194491A (zh)
TW (1) TWI619091B (zh)
WO (1) WO2018120888A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693691A (zh) * 2022-03-23 2022-07-01 成都智元汇信息技术股份有限公司 一种双源双视角基于坐标映射的切图方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651764B (zh) 2016-12-29 2019-10-15 北京奇艺世纪科技有限公司 一种全景图压缩方法及装置
CN107124590A (zh) * 2017-05-24 2017-09-01 深圳市酷开网络科技有限公司 基于声源定向的全景视频压缩方法、存储介质及摄像机
CN107577338A (zh) * 2017-07-25 2018-01-12 北京小鸟看看科技有限公司 一种全景图像的投射方法、装置及头戴显示设备
CN109427087A (zh) * 2017-08-22 2019-03-05 优酷网络技术（北京）有限公司 图像处理方法和装置
WO2019037558A1 (zh) 2017-08-22 2019-02-28 优酷网络技术（北京）有限公司 图像处理方法和装置
CN107622474B (zh) * 2017-09-26 2021-03-30 北京大学深圳研究生院 基于主视点的全景视频映射方法
CN108122283B (zh) * 2017-12-20 2021-05-11 成都索贝数码科技股份有限公司 一种利用坐标变换编辑vr影像的方法
CN110914871A (zh) * 2018-07-27 2020-03-24 深圳市大疆创新科技有限公司 获取三维场景的方法与装置
CN110618973A (zh) * 2019-09-09 2019-12-27 大唐网络有限公司 图像的存储方法和装置
CN110910306B (zh) * 2019-11-28 2022-06-21 深圳市信义科技有限公司 一种将全景地图中球面坐标转换为直线段的方法
CN115134604A (zh) * 2021-03-26 2022-09-30 影石创新科技股份有限公司 全景视频压缩方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706967A (zh) * 2009-11-18 2010-05-12 电子科技大学 一种真实感云层的综合模拟方法
CN104244019A (zh) * 2014-09-18 2014-12-24 孙轩 一种全景视频影像室内分屏显示方法及显示系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7613344B2 (en) 2003-12-08 2009-11-03 Electronics And Telecommunications Research Institute System and method for encoding and decoding an image using bitstream map and recording medium thereof
KR100613752B1 (ko) * 2004-03-11 2006-08-22 경북대학교 산학협력단 파노라마 영상의 스트리밍 방법
US7961983B2 (en) * 2007-07-18 2011-06-14 Microsoft Corporation Generating gigapixel images
CN101271187B (zh) * 2008-03-20 2012-04-25 汤一平 无死角的双目立体全方位视觉传感装置
JP2011217300A (ja) * 2010-04-02 2011-10-27 Masamichi Tokuzawa ３６０度ライブ・パノラマ配信システム
ES2675802T3 (es) * 2011-02-18 2018-07-12 Alcatel Lucent Procedimiento y aparato para transmitir y recibir un flujo de video panorámico
CN102508398B (zh) * 2011-11-09 2015-03-25 东莞市环宇文化科技有限公司 用计算机对平面待显示图进行球幕投影化处理的方法
US9135678B2 (en) * 2012-03-19 2015-09-15 Adobe Systems Incorporated Methods and apparatus for interfacing panoramic image stitching with post-processors
KR101698657B1 (ko) * 2012-07-04 2017-01-20 인텔 코포레이션 파노라마 기반 3d 비디오 코딩
JP6044328B2 (ja) * 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
US9973692B2 (en) * 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
JP2015149600A (ja) * 2014-02-06 2015-08-20 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR102206244B1 (ko) * 2014-08-27 2021-01-22 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
CN105631809B (zh) * 2015-12-31 2018-11-06 北京理工大学 一种非均匀分辨率球面全景图生成方法
US9984436B1 (en) * 2016-03-04 2018-05-29 Scott Zhihao Chen Method and system for real-time equirectangular projection
CN105913379A (zh) * 2016-04-29 2016-08-31 乐视控股（北京）有限公司 虚拟现实终端及其图片的显示方法和装置
CN105915907B (zh) * 2016-06-07 2019-07-26 北京圣威特科技有限公司 全景图的压缩方法、装置及系统
CN106023070B (zh) * 2016-06-14 2017-10-03 北京岚锋创视网络科技有限公司 实时全景拼接方法和装置
CN105933707B (zh) 2016-06-30 2019-02-22 北京奇艺世纪科技有限公司 一种全景视频的压缩方法及装置
KR102560029B1 (ko) * 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치
CN106651764B (zh) 2016-12-29 2019-10-15 北京奇艺世纪科技有限公司 一种全景图压缩方法及装置
CN107146274B (zh) * 2017-05-05 2021-06-22 上海兆芯集成电路有限公司 图像数据处理系统、纹理贴图压缩和产生全景视频的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706967A (zh) * 2009-11-18 2010-05-12 电子科技大学 一种真实感云层的综合模拟方法
CN104244019A (zh) * 2014-09-18 2014-12-24 孙轩 一种全景视频影像室内分屏显示方法及显示系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693691A (zh) * 2022-03-23 2022-07-01 成都智元汇信息技术股份有限公司 一种双源双视角基于坐标映射的切图方法

Also Published As

Publication number Publication date
AU2017386420B2 (en) 2020-04-23
CN106651764A (zh) 2017-05-10
EP3471052A4 (en) 2019-06-19
MY194491A (en) 2022-11-30
CN106651764B (zh) 2019-10-15
CA3028518C (en) 2021-04-06
KR20190039118A (ko) 2019-04-10
KR102208773B1 (ko) 2021-01-29
JP2019532531A (ja) 2019-11-07
TW201824175A (zh) 2018-07-01
WO2018120888A1 (zh) 2018-07-05
EP3471052A1 (en) 2019-04-17
US10812833B2 (en) 2020-10-20
JP6764995B2 (ja) 2020-10-07
US20200177925A1 (en) 2020-06-04
CA3028518A1 (en) 2018-07-05
EP3471052B1 (en) 2021-06-09
AU2017386420A1 (en) 2019-01-24
ES2886637T3 (es) 2021-12-20

Similar Documents

Publication Publication Date Title
TWI619091B (zh) 全景圖壓縮方法及裝置
Zakharchenko et al. Quality metric for spherical panoramic video
US10855909B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
CN107079141B (zh) 用于三维视频的图像拼接
CN104246795B (zh) 用于超广角透镜图像的自适应透视修正的方法和系统
CN105809729B (zh) 一种虚拟场景的球形全景渲染方法
TW200844901A (en) Banana codec
TWI635461B (zh) 投影圖構建方法及裝置
WO2020151268A1 (zh) 一种3d小行星动态图的生成方法及便携式终端
TW201828258A (zh) 場景的渲染方法和裝置
Lin et al. A low-cost portable polycamera for stereoscopic 360 imaging
CN109791704A (zh) 用于自由运行fvv应用的基于多层uv映射的纹理渲染
CN108205822B (zh) 贴图方法及装置
CN114549289A (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN108769648A (zh) 一种基于720度全景vr的3d场景呈现方法
da Silveira et al. Omnidirectional visual computing: Foundations, challenges, and applications
WO2019042028A1 (zh) 全视向的球体光场渲染方法
CN109961395B (zh) 深度图像的生成及显示方法、装置、系统、可读介质
CN116739885A (zh) 一种全景图像的数据存储方法
Abbas et al. A novel projection for omni-directional video
WO2022116194A1 (zh) 一种全景呈现方法及其装置
CN111161426A (zh) 基于全景图像的三维显示方法和系统
CN112465696B (zh) 一种全景呈现方法及其装置
Ramachandrappa Panoramic 360◦ videos in virtual reality using two lenses and a mobile phone
Sacht et al. Complex Plane Transformations for Manipulation and Visualization of Panoramas.