TW201824176A - 投影圖構建方法及裝置 - Google Patents

投影圖構建方法及裝置 Download PDF

Info

Publication number
TW201824176A
TW201824176A TW106134207A TW106134207A TW201824176A TW 201824176 A TW201824176 A TW 201824176A TW 106134207 A TW106134207 A TW 106134207A TW 106134207 A TW106134207 A TW 106134207A TW 201824176 A TW201824176 A TW 201824176A
Authority
TW
Taiwan
Prior art keywords
projection
pixel
panoramic image
image
equal
Prior art date
Application number
TW106134207A
Other languages
English (en)
Other versions
TWI635461B (zh
Inventor
諸加丹
王濤
劉鴻彬
Original Assignee
北京奇藝世紀科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京奇藝世紀科技有限公司 filed Critical 北京奇藝世紀科技有限公司
Publication of TW201824176A publication Critical patent/TW201824176A/zh
Application granted granted Critical
Publication of TWI635461B publication Critical patent/TWI635461B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申請提供了一種投影圖構建方法及裝置，投影圖構建方法包括：採用柱面等面積投影模型對等距矩形投影(equirectangular)全景影像進行投影，得到柱面等面積投影圖；獲取柱面等面積投影圖中各個像素點的二維坐標；得到柱面等面積投影圖中各個像素點在等距矩形投影全景影像中的二維坐標；利用等距矩形投影全景影像中每個像素點的顏色資訊和柱面等面積投影圖中各個像素點在等距矩形投影全景影像中的二維坐標，對柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖。在本申請中，通過以上方式能夠降低全景影像或視頻的分辨率和碼率。

Description

投影圖構建方法及裝置
本申請關於影像處理領域，特別關於一種投影圖構建方法及裝置。
近年來，隨著Google jump、OZO、eyesir、teche、極圖等全景相機拍攝和oculus VR、Samsung Gear VR、HTC vive等先進VR顯示設備的推出，全景視頻成為技術研發和產品內容創新的熱點，廣泛應用於虛擬影院、全景遊戲、全景教育、全景醫療、全景旅遊等眾多領域。
全景視頻通常要求在4K以上的超高分辨率拍攝，才能在播放器中清晰的顯示出用戶觀看的局部視角內容。其中，由於4K以上超高分辨率視頻具有3840×1920以上海量像素，因此給全景視頻的儲存、壓縮、傳輸、解碼、和渲染帶來了大資料量的挑戰。面對大資料量的挑戰，如何減少全景視頻的分辨率和碼率，成為全景視頻必須解決的緊要問題之一。
為解決上述技術問題，本申請實施例提供一種投影圖構建方法及裝置，以達到降低全景影像或視頻的分辨率和碼率的目的，技術方案如下。
一種投影圖構建方法，包括：採用柱面等面積投影模 型對等距矩形投影(equirectangular)全景影像進行投影，得到柱面等面積投影圖；獲取所述柱面等面積投影圖中各個像素點的二維坐標；對獲取到的柱面等面積投影圖中各個像素點的二維坐標進行坐標系轉換，得到所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標；利用所述equirectangular全景影像中每個像素點的顏色資訊和所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標，對所述柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖。
較佳的，所述對獲取到的柱面等面積投影圖中各個像素點的二維坐標進行坐標系轉換，得到所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標，包括：利用公式，對獲取到的柱面等面積投影圖中各個像素點的二維坐標進行坐標系轉換，得到所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標；其中，x是像素點在所述equirectangular全景影像中的二維橫坐標，y是像素點在所述equirectangular全景影像中的二維縱坐標，u為像素點在柱面等面積投影圖中的橫坐標，v為像素點在柱面等面積投影圖中的縱坐標，m、n 分別為所述equirectangular全景影像的高和寬，π為圓周率。
較佳的，利用所述equirectangular全景影像中每個像素點的顏色資訊和所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標，對所述柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖包括：利用所述equirectangular全景影像中每個像素點的顏色資訊和所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標，採用雙線性插值算法，對所述柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖。
較佳的，利用所述equirectangular全景影像中每個像素點的顏色資訊和所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標，對所述柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖包括：利用所述equirectangular全景影像中每個像素點的顏色資訊和所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標，採用樣板條插值算法，對所述柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的 全景圖。
一種投影圖構建裝置，包括：投影模組，用於採用柱面等面積投影模型對equirectangular全景影像進行投影，得到柱面等面積投影圖；第一獲取模組，用於獲取所述柱面等面積投影圖中各個像素點的二維坐標；轉換模組，用於對獲取到的柱面等面積投影圖中各個像素點的二維坐標進行坐標系轉換，得到所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標；第一生成模組，用於利用所述equirectangular全景影像中每個像素點的顏色資訊和所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標，對所述柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖。
較佳的，所述轉換模組包括：轉換單元，用於利用公式，對獲取到的柱面等面積投影圖中各個像素點的二維坐標進行坐標系轉換，得到所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標；其中，x是像素點在所述equirectangular全景影像中的二維橫坐標，y是像素點在所述equirectangular全景影像中的二維 縱坐標，u為像素點在柱面等面積投影圖中的橫坐標，v為像素點在柱面等面積投影圖中的縱坐標，m、n分別為所述equirectangular全景影像的高和寬，π為圓周率。
較佳的，所述第一生成模組包括：第一生成單元，用於利用所述equirectangular全景影像中每個像素點的顏色資訊和所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標，採用雙線性插值算法，對所述柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖。
較佳的，所述第一生成模組包括：第二生成單元，用於利用所述equirectangular全景影像中每個像素點的顏色資訊和所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標，採用樣板條插值算法，對所述柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖。
與現有技術相比，本申請的有益效果如下述。
在本申請中，equirectangular全景影像作為目前全景影像或視頻的儲存格式，因其相同的紋理在極點附近所占的面積大於其在赤道附近的面積，導致全景影像或視頻的分辨率高，碼率較大，為了降低全景影像或視頻的分辨率和碼率，不再將equirectangular全景影像作為全景影像或 視頻的儲存格式，而是將柱面等面積投影變換後的全景圖作為全景影像或視頻的儲存格式。
將柱面等面積投影變換後的全景圖作為全景影像或視頻的儲存格式，能夠降低全景影像或視頻的分辨率和碼率的原因在於：採用柱面等面積投影模型對equirectangular全景影像進行投影，首先保證赤道附近的紋理不產生形變，或者形變很小，保證全景影像或視頻的清晰度，投影得到的柱面等面積投影圖相比於equirectangular全景影像，兩極處的紋理在y軸方向被進一步壓縮，保證兩極處的紋理和赤道附近的紋理的面積一樣，降低像素插值後得到的柱面等面積投影變換後的全景圖，從而降低全景影像或視頻的分辨率和碼率。
S11~S14‧‧‧步驟
51‧‧‧投影模組
52‧‧‧第一獲取模組
53‧‧‧轉換模組
54‧‧‧第一生成模組
為了更清楚地說明本申請實施例中的技術方案，下面將對實施例描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是本申請的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些圖式獲得其他的圖式。
圖1是本申請提供的投影圖構建方法的一種流程圖。
圖2是本申請提供的equirectangular全景影像的一種示意圖。
圖3是本申請提供的柱面等面積投影圖的一種示意圖。
圖4(a)是equirectangular全景影像的坐標系，圖4(b)是用經緯度表示的球面全景圖的球面坐標系。
圖5是本申請提供的投影圖構建裝置的一種邏輯結構示意圖。
下面將結合本申請實施例中的圖式，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。
實施例一
請參見圖1，其示出了本申請提供的投影圖構建方法的一種流程圖，可以包括以下步驟。
步驟S11：採用柱面等面積投影模型對equirectangular全景影像進行投影，得到柱面等面積投影圖。
equirectangular全景影像為球面全景圖(即全景影像或視頻)的儲存格式。其中，equirectangular全景影像與球 面全景圖的對應關係為：。(λ,φ)為球面全景圖的球面坐標，(x,y)為equirectangular全景影像的影像坐標。
其中，equirectangular在本實施例中的中文表示為等距矩形投影。
球面全景圖轉由equirectangular全景影像格式儲存時，得到的equirectangular全景影像請參見圖2。如圖2所示，equirectangular全景影像的變形規律為兩極處的圓形水平拉伸成了橢圓，即equirectangular的採樣導致了極點附近的紋理被水平拉伸，即同樣的紋理，極點附近所占的面積大於該紋理在赤道附近的面積。如圖2所示的equireetangular全景影像的變形規律，導致球面全景圖(即全景影像或視頻)的分辨率高，碼率較大。
為了減小和修正極點處的形變，從而降低球面全景圖(即全景影像或視頻)的分辨率和碼率，本申請採用柱面等面積投影模型對equirectangular全景影像進行投影。
其中，採用柱面等面積投影模型對equirectangular全景影像進行投影，可以降低球面全景圖(即全景影像或視頻)的分辨率和碼率的原理如下。
採用柱面等面積投影模型對equirectangular全景影 像進行投影，得到的柱面等面積投影圖請參見圖3。如圖3所示，柱面等面積投影圖的變形規律為equirectangular全景影像中的兩極處圓形在y軸方向被進一步壓縮。柱面等面積投影圖的變形規律保證了球面全景圖中二維採樣(球面弧度採樣)的均勻性，使兩極處的圓形的面積和赤道中心的圓的面積一樣，從而降低了球面全景圖(即全景影像或視頻)的分辨率和碼率。
其中，採用柱面等面積投影模型對equirectangular全景影像進行投影，兩極處的紋理在y軸方向被進一步壓縮，雖然導致了極點附近的清晰度有所下降，但是在絕大多數情況下，全景視頻或影像的觀看熱點都在赤道附近，因此很多應用下對觀看效果的影響不大。
採用柱面等面積投影模型對equirectangular全景影像進行投影具體為：採用柱面等面積投影公式，對equirectangular全景影像進行投影。
公式中的x為柱面等面積投影圖的橫坐標，y為等面積投影圖的縱坐標，λ為球面全景圖中的球面橫坐標，φ為球面全景圖中的球面縱坐標，φ 0為輸入參 數，用於指定柱面等面積投影影像的寬高比。
由於可以通過設定φ 0的大小，來改變柱面等面積投影影像的寬高比，因此可以自定義柱面等面積投影影像的大小。
步驟S12：獲取所述柱面等面積投影圖中各個像素點的二維坐標。
在得到柱面等面積投影圖之後，需要對柱面等面積投影圖進行像素填充，以得到完整的柱面等面積投影變換後的全景圖，而對柱面等面積投影圖進行像素填充首先需要將柱面等面積投影圖的坐標系轉換為equirectangular全景影像的坐標系，從而在原始球面全景圖中找到柱面等面積投影圖中每個坐標對應的像素值，具體執行過程則為步驟S12至步驟S14。
步驟S13：對獲取到的柱面等面積投影圖中各個像素點的二維坐標進行坐標系轉換，得到所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標。
步驟S14：利用所述equirectangular全景影像中每個像素點的顏色資訊和所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標，對所述柱面等面積投影圖進行像素插值，生成柱面等 面積投影變換後的全景圖。
在本申請中，equirectangular全景影像作為目前全景影像或視頻的儲存格式，因其相同的紋理在極點附近所占的面積大於其在赤道附近的面積，導致全景影像或視頻的分辨率高，碼率較大，為了降低全景影像或視頻的分辨率和碼率，不再將equirectangular全景影像作為全景影像或視頻的儲存格式，而是將柱面等面積投影變換後的全景圖作為全景影像或視頻的儲存格式。
將柱面等面積投影變換後的全景圖作為全景影像或視頻的儲存格式，能夠降低全景影像或視頻的分辨率和碼率的原因在於：採用柱面等面積投影模型對equirectangular全景影像進行投影，首先保證赤道附近的紋理不產生形變，或者形變很小，保證全景影像或視頻的清晰度，投影得到的柱面等面積投影圖相比於equirectangular全景影像，兩極處的紋理在y軸方向被進一步壓縮，保證兩極出的紋理和赤道附近的紋理的面積一樣，降低像素插值後得到的柱面等面積投影變換後的全景圖，從而降低全景影像或視頻的分辨率和碼率。
其中，採用柱面等面積投影模型對equirectangular全景影像進行投影，兩極處的紋理在y軸方向被進一步壓縮，雖然導致了極點附近的清晰度有所下降，但是在絕大 多數情況下，全景視頻或影像的觀看熱點都在赤道附近，因此很多應用下對觀看效果的影響不大。
在本實施例中，對獲取到的柱面等面積投影圖中各個像素點的二維坐標進行坐標系轉換，得到所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標的過程具體可以為：利用公式，對獲取到的柱面等面積投影圖中各個像素點的二維坐標進行坐標系轉換，得到所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標。
其中，公式中的x是像素點在所述equirectangular全景影像中的二維橫坐標，y是像素點在所述equirectangular全景影像中的二維縱坐標，u為像素點在柱面等面積投影圖中的橫坐標，v為像素點在柱面等面積投影圖中的縱坐標，m、n分別為所述equirectangular全景影像的高和寬，π為圓周率。
其中，公式的生成過程，具體為：獲取球面全景圖到柱面等面積投影圖的投影公式 ，公式中的x為柱面等面積投影圖的橫坐標，y為柱面等面積投影圖的縱坐標，λ為球面全景圖中的球面橫坐標，φ為球面全景圖中的球面縱坐標，φ 0為輸入參數，用於指定柱面等面積投影影像的寬高比；獲取equirectangular全景影像和球面全景圖的球面坐標的轉換關係式,中的m,n分別為equirectangular全景影像的高和寬，x為equirectangular全景影像中像素點的橫坐標，y為equirectangular全景影像中像素點的縱坐標；equirectangular全景影像和球面全景圖的球面坐標的轉換關係可以參見圖4(a)和圖4(b)，圖4(a)是equirectangular全景影像的坐標系，圖4(b)是用經緯度表示的球面全景圖的球面坐標系。
對所述球面全景圖到柱面等面積投影圖的投影公式和所述equirectangular全景影像和球面全景圖 的球面坐標的轉換關係式進行數學推導，得到公式 。
利用所述equirectangular全景影像中每個像素點的顏色資訊和所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標，對所述柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖的過程，具體為：
利用所述equirectangular全景影像中每個像素點的顏色資訊和所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標，採用插值算法(可以為現有的任意插值算法，如雙線性插值算法或樣板條插值算法)，對所述柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖。
實施例二
與上述方法實施例相對應，本實施例提供了一種投影圖構建裝置，請參見圖5，投影圖構建裝置包括：投影模組51、第一獲取模組52、轉換模組53和第一生成模組54。
投影模組51，用於採用柱面等面積投影模型對equirectangular全景影像進行投影，得到柱面等面積投影圖。
第一獲取模組52，用於獲取所述柱面等面積投影圖中各個像素點的二維坐標。
轉換模組53，用於對獲取到的柱面等面積投影圖中各個像素點的二維坐標進行坐標系轉換，得到所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標。
第一生成模組54，用於利用所述equirectangular全景影像中每個像素點的顏色資訊和所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標，對所述柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖。
在本實施例中，轉換模組53具體包括：轉換單元，用於利用公式，對獲取到的柱面等面積投影圖中各個像素點的二維坐標進行坐標系轉換，得到所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標；其中，x是像素點在所述equirectangular全景影像中的二維橫坐標，y是像素點在所述equirectangular全景影像中的二維縱坐標，u為像素點在柱面等面積投影圖中的橫坐標，v為像素點在柱面等面積投影圖中的縱坐標，m、 n分別為所述equirectangular全景影像的高和寬，π為圓周率。
在本實施例中，投影圖構建裝置還包括：第二獲取模組、第三獲取模組和第二生成模組。
第二獲取模組、第三獲取模組和第二生成模組，用於生成公式。
第二獲取模組，用於獲取球面全景圖到柱面等面積投影圖的投影公式，x為柱面等面積投影圖的橫坐標，y為柱面等面積投影圖的縱坐標，λ為球面全景圖中的球面橫坐標，φ為球面全景圖中的球面縱坐標，φ 0為輸入參數，用於指定柱面等面積投影影像的寬高比。
第三獲取模組，用於獲取equirectangular全景影像和球面全景圖的球面坐標的轉換關係式，m,n分別為equirectangular全景影像的高和寬，x為equirectangular全景影像中像素點的橫坐標，y為equirectangular全景影像中像素點的縱坐標。
第二生成模組，用於對所述球面全景圖到柱面等面積 投影圖的投影公式和所述equirectangular全景影像和球面全景圖的球面坐標的轉換關係式進行數學推導，得到公式。
在本實施例中，第一生成模組54具體可以包括：第一生成單元或第二生成單元。
第一生成單元，用於利用所述equirectangular全景影像中每個像素點的顏色資訊和所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標，採用雙線性插值算法，對所述柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖。
第二生成單元，用於利用所述equirectangular全景影像中每個像素點的顏色資訊和所述獲取到的柱面等面積投影圖中各個像素點在所述equirectangular全景影像中的二維坐標，採用樣板條插值算法，對所述柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖。
需要說明的是，本說明書中的各個實施例均採用遞進 的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。對於裝置類實施例而言，由於其與方法實施例基本相似，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。
最後，還需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
以上對本申請所提供的一種投影圖構建方法及裝置進行了詳細介紹，本文中應用了具體個例對本申請的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本申請的方法及其核心思想；同時，對於本領域的一般技術人員，依據本申請的思想，在具體實施方式及應用 範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本申請的限制。

Claims (8)

  1. 一種投影圖構建方法，包括以下步驟：採用柱面等面積投影模型對等距矩形投影全景影像進行投影，得到柱面等面積投影圖；獲取該柱面等面積投影圖中各個像素點的二維坐標；對獲取到的柱面等面積投影圖中各個像素點的二維坐標進行坐標系轉換，得到該獲取到的柱面等面積投影圖中各個像素點在該等距矩形投影全景影像中的二維坐標；以及利用該等距矩形投影全景影像中每個像素點的顏色資訊和該獲取到的柱面等面積投影圖中各個像素點在該等距矩形投影全景影像中的二維坐標，對該柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖。
  2. 如請求項1所記載之投影圖構建方法，其中該對獲取到的柱面等面積投影圖中各個像素點的二維坐標進行坐標系轉換，得到該獲取到的柱面等面積投影圖中各個像素點在該等距矩形投影全景影像中的二維坐標包括以下步驟：利用公式 ，對獲取到的柱面等面積投影圖中各個像素點的二維坐標進行坐標系轉換，得到該獲取到的柱面等面積投 影圖中各個像素點在該等距矩形投影全景影像中的二維坐標；其中，x是像素點在該等距矩形投影全景影像中的二維橫坐標，y是像素點在該等距矩形投影全景影像中的二維縱坐標，u為像素點在柱面等面積投影圖中的橫坐標，v為像素點在柱面等面積投影圖中的縱坐標，m、n分別為該等距矩形投影全景影像的高和寬， π為圓周率。
  3. 如請求項1所記載之投影圖構建方法，其中利用該等距矩形投影全景影像中每個像素點的顏色資訊和該獲取到的柱面等面積投影圖中各個像素點在該等距矩形投影全景影像中的二維坐標，對該柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖包括以下步驟：利用該等距矩形投影全景影像中每個像素點的顏色資訊和該獲取到的柱面等面積投影圖中各個像素點在該等距矩形投影全景影像中的二維坐標，採用雙線性插值算法，對該柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖。
  4. 如請求項1所記載之投影圖構建方法，其中利用該等距矩形投影全景影像中每個像素點的顏色資訊和該獲取到的柱面等面積投影圖中各個像素點在該等距矩形投影全景影像中的二維坐標，對該柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全 景圖包括以下步驟：利用該等距矩形投影全景影像中每個像素點的顏色資訊和該獲取到的柱面等面積投影圖中各個像素點在該等距矩形投影全景影像中的二維坐標，採用樣板條插值算法，對該柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖。
  5. 一種投影圖構建裝置，包括：投影模組，用於採用柱面等面積投影模型對等距矩形投影全景影像進行投影，得到柱面等面積投影圖；第一獲取模組，用於獲取該柱面等面積投影圖中各個像素點的二維坐標；轉換模組，用於對獲取到的柱面等面積投影圖中各個像素點的二維坐標進行坐標系轉換，得到該獲取到的柱面等面積投影圖中各個像素點在該等距矩形投影全景影像中的二維坐標；第一生成模組，用於利用該等距矩形投影全景影像中每個像素點的顏色資訊和該獲取到的柱面等面積投影圖中各個像素點在該等距矩形投影全景影像中的二維坐標，對該柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖。
  6. 如請求項5所記載之投影圖構建裝置，其中該轉換模組包括：轉換單元，用於利用公式 ，對獲取到的柱面等面積投影圖中各個像素點的二維坐標進行坐標系轉換，得到該獲取到的柱面等面積投影圖中各個像素點在該等距矩形投影全景影像中的二維坐標；其中，x是像素點在該等距矩形投影全景影像中的二維橫坐標，y是像素點在該等距矩形投影全景影像中的二維縱坐標，u為像素點在柱面等面積投影圖中的橫坐標，v為像素點在柱面等面積投影圖中的縱坐標，m、n分別為該等距矩形投影全景影像的高和寬， π為圓周率。
  7. 如請求項5所記載之投影圖構建裝置，其中該第一生成模組包括：第一生成單元，用於利用該等距矩形投影全景影像中每個像素點的顏色資訊和該獲取到的柱面等面積投影圖中各個像素點在該等距矩形投影全景影像中的二維坐標，採用雙線性插值算法，對該柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖。
  8. 如請求項5所記載之投影圖構建裝置，其中，該第一生成模組包括：第二生成單元，用於利用該等距矩形投影全景影像中每個像素點的顏色資訊和該獲取到的柱面等面積投影圖中各個像素點在該等距矩形投影全景影像 中的二維坐標，採用樣板條插值算法，對該柱面等面積投影圖進行像素插值，生成柱面等面積投影變換後的全景圖。
TW106134207A 2016-12-20 2017-10-03 投影圖構建方法及裝置 TWI635461B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201611187138.2 2016-12-20
CN201611187138.2A CN106780310B (zh) 2016-12-20 2016-12-20 一种投影图构建方法及装置

Publications (2)

Publication Number Publication Date
TW201824176A true TW201824176A (zh) 2018-07-01
TWI635461B TWI635461B (zh) 2018-09-11

Family

ID=58894256

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106134207A TWI635461B (zh) 2016-12-20 2017-10-03 投影圖構建方法及裝置

Country Status (10)

Country Link
US (1) US10991068B2 (zh)
EP (1) EP3561762A4 (zh)
JP (1) JP7010952B2 (zh)
KR (1) KR102327972B1 (zh)
CN (1) CN106780310B (zh)
AU (1) AU2017383979B2 (zh)
CA (1) CA3028863C (zh)
MY (1) MY201632A (zh)
TW (1) TWI635461B (zh)
WO (1) WO2018113339A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780310B (zh) 2016-12-20 2020-11-24 北京奇艺世纪科技有限公司 一种投影图构建方法及装置
CN108230454B (zh) * 2017-12-28 2021-09-28 瑞庭网络技术（上海）有限公司 一种全景图片的切图方法、装置及存储介质
CN111091491B (zh) * 2019-12-20 2023-05-05 知鱼科技丹阳有限公司 一种等距圆柱投影的全景视频像素再分配方法及系统
CN111954054B (zh) * 2020-06-05 2022-03-04 筑觉绘(上海)科技有限公司 图像处理方法、系统、存储介质及计算机设备
JP2023154169A (ja) * 2022-04-06 2023-10-19 キヤノン株式会社 画像処理装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459451B2 (en) 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6043837A (en) 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
TW358189B (en) 1998-01-15 1999-05-11 Ind Tech Res Inst A field-surrounding image simulation real-time play system and method
US6486908B1 (en) * 1998-05-27 2002-11-26 Industrial Technology Research Institute Image-based method and system for building spherical panoramas
TW413796B (en) 1998-06-25 2000-12-01 Ind Tech Res Inst A method and system for establishing environment image
CN100390666C (zh) 2004-12-17 2008-05-28 上海杰图软件技术有限公司 基于圆鱼眼或鼓形图像快速生成高清晰度全景的智能化方法
JP4403421B2 (ja) 2006-08-17 2010-01-27 ソニー株式会社 画像処理装置及び画像処理方法
KR100882011B1 (ko) 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
KR100988872B1 (ko) * 2009-07-08 2010-10-20 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서
CN101639621B (zh) * 2009-08-04 2011-11-16 厦门力鼎光电技术有限公司 以圆柱型模式或透视模式输出影像的方法
CN102831626B (zh) * 2012-06-18 2014-11-26 清华大学 极地投影模式下多变量时空数据的可视化方法
JP6172432B2 (ja) 2013-01-08 2017-08-02 日本電気株式会社 被写体識別装置、被写体識別方法および被写体識別プログラム
CN103617606B (zh) * 2013-11-26 2016-09-14 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
CN104392201B (zh) * 2014-09-28 2017-05-31 燕山大学 一种基于全向视觉的人体跌倒识别方法
CN105550984B (zh) 2015-12-30 2019-04-12 北京奇艺世纪科技有限公司 一种鱼眼图像校正和漫游显示的方法及装置
US20170302714A1 (en) * 2016-04-15 2017-10-19 Diplloid Inc. Methods and systems for conversion, playback and tagging and streaming of spherical images and video
US11042962B2 (en) * 2016-04-18 2021-06-22 Avago Technologies International Sales Pte. Limited Hardware optimisation for generating 360° images
CN106056531B (zh) 2016-05-13 2019-07-16 杭州当虹科技股份有限公司 一种360度全景视频球面展开到平面的显示方法
CN105933707B (zh) 2016-06-30 2019-02-22 北京奇艺世纪科技有限公司 一种全景视频的压缩方法及装置
US10148939B2 (en) * 2016-07-19 2018-12-04 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
CN106127681B (zh) 2016-07-19 2019-08-13 刘牧野 一种图像采集方法、虚拟现实图像传输方法及显示方法
CN106780310B (zh) * 2016-12-20 2020-11-24 北京奇艺世纪科技有限公司 一种投影图构建方法及装置
US10614609B2 (en) * 2017-07-19 2020-04-07 Mediatek Inc. Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images

Also Published As

Publication number Publication date
JP7010952B2 (ja) 2022-02-10
CA3028863C (en) 2022-03-29
CA3028863A1 (en) 2018-06-28
AU2017383979A1 (en) 2019-01-24
KR20190021394A (ko) 2019-03-05
US10991068B2 (en) 2021-04-27
CN106780310A (zh) 2017-05-31
MY201632A (en) 2024-03-06
US20190340726A1 (en) 2019-11-07
TWI635461B (zh) 2018-09-11
CN106780310B (zh) 2020-11-24
EP3561762A4 (en) 2019-12-11
JP2019526875A (ja) 2019-09-19
EP3561762A1 (en) 2019-10-30
WO2018113339A1 (zh) 2018-06-28
AU2017383979B2 (en) 2020-02-27
KR102327972B1 (ko) 2021-11-17

Similar Documents

Publication Publication Date Title
TWI635461B (zh) 投影圖構建方法及裝置
US10595004B2 (en) Electronic device for generating 360-degree three-dimensional image and method therefor
KR102208773B1 (ko) 파노라마 영상 압축 방법 및 장치
Zakharchenko et al. Quality metric for spherical panoramic video
TWI637355B (zh) 紋理貼圖之壓縮方法及其相關圖像資料處理系統與產生３６０度全景視頻之方法
CN105210374B (zh) 利用图像特征对频率提高超分辨率的控制
CN112927163A (zh) 图像数据增强方法、装置、电子设备及存储介质
CN108022204A (zh) 一种柱面全景视频转换为球面全景视频的方法
Řeřábek et al. JPEG backward compatible coding of omnidirectional images
Wang et al. Novel pseudo-cylindrical projection based tile segmentation scheme for omnidirectional video
CN114612621A (zh) 基于三维倾斜模型的全景图生成方法及系统
CN115134604A (zh) 全景视频压缩方法、装置、计算机设备和存储介质