TW201814656A - 在球面全景影像上貼圖的方法及裝置 - Google Patents

在球面全景影像上貼圖的方法及裝置 Download PDF

Info

Publication number
TW201814656A
TW201814656A TW106133168A TW106133168A TW201814656A TW 201814656 A TW201814656 A TW 201814656A TW 106133168 A TW106133168 A TW 106133168A TW 106133168 A TW106133168 A TW 106133168A TW 201814656 A TW201814656 A TW 201814656A
Authority
TW
Taiwan
Prior art keywords
image
spherical
mapped
mapping
coordinate system
Prior art date
Application number
TW106133168A
Other languages
English (en)
Other versions
TWI647656B (zh
Inventor
諸加丹
Original Assignee
北京奇藝世紀科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京奇藝世紀科技有限公司 filed Critical 北京奇藝世紀科技有限公司
Publication of TW201814656A publication Critical patent/TW201814656A/zh
Application granted granted Critical
Publication of TWI647656B publication Critical patent/TWI647656B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Generation (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種在球面全景影像上貼圖的方法及裝置，包括：建立針對第一球面全景影像的球面坐標系；將第一球面全景影像映射在球面上，得到第一球面全景影像的球面投影影像；根據用戶的選擇，確定在球面投影影像中的第一貼圖區域並將對應的影像變換為平面影像；將待貼圖影像變換為平面影像的形狀；將變換後的待貼圖影像映射到球面坐標系中；將映射到球面坐標系中的待貼圖影像旋轉到與第一貼圖區域重合的位置；將旋轉後的待貼圖影像變換為第二球面全景影像；確定與第一貼圖區域對應的第二貼圖區域；將第二球面全景影像插值到第二貼圖區域，完成貼圖。

Description

在球面全景影像上貼圖的方法及裝置
本發明關於全景影像處理領域，特別關於一種在全景影像上貼圖的方法及裝置。
隨著社會的進步，人們需要在一些圖片上的指定位置或者圖片上顯示的某個平面上進行貼圖。
現有的貼圖技術是在符合單眼成像原理的2D影像(平面影像)上進行貼圖。
隨著全景影像採集器，全景影像拼接技術的發展，如今很容易獲得全景影像，特別是在水平方向覆蓋360度，垂直方向覆蓋正負90度的球面全景影像在虛擬實境領域得到廣泛應用。但是，球面全景影像不再符合單眼成像原理，因此利用現有技術在球面全景影像上貼圖會造成影像的畸變。
因此在球面全景影像上實現無畸變貼圖是一個亟待解決的問題。
本發明實施例的目的在於提供一種在球面全景影像上貼圖的方法及裝置，以實現在球面全景影像上進行無畸變貼圖。
為達到上述目的，本發明實施例揭露一種在球面全景 影像上貼圖的方法，所述方法包括：建立針對第一球面全景影像的球面坐標系；將所述第一球面全景影像映射在所述球面坐標系對應的球面上，得到所述第一球面全景影像的球面投影影像；根據用戶針對所述球面投影影像的選擇操作，確定待貼圖影像在所述球面投影影像中的第一貼圖區域；將所述第一貼圖區域對應的影像變換為平面影像；將所述待貼圖影像的形狀變換為所述平面影像的形狀；將變換形狀後的待貼圖影像映射到所述球面坐標系中；將映射到所述球面坐標系中的待貼圖影像旋轉到與所述第一貼圖區域重合的位置；將旋轉到與所述第一貼圖區域重合的位置的待貼圖影像變換為第二球面全景影像；確定所述第一球面全景影像中與所述第一貼圖區域對應的第二貼圖區域；將所述第二球面全景影像插值到所述第二貼圖區域，完成在第一球面全景影像上貼待貼圖影像。
較佳的，所述將所述第一貼圖區域對應的影像變換為平面影像，包括：確定所述第一貼圖區域的中心點座標；根據所述中心點座標對所述球面投影影像進行旋轉， 其中，在以經度和緯度進行座標表示的情況下，所述中心點座標在旋轉後的球面投影影像中的座標為(0，0)； 根據公式，將旋轉後 的球面投影影像中，與所述第一貼圖區域對應的影像變換為平面影像；式中，(λ',)為旋轉後的球面投影影像中，與第一貼圖區域對應的影像中的點在球面坐標系中的座標，λ',分別為旋轉後的球面投影影像中，與第一貼圖區域對應的影像中的點在球面坐標系中的經度和緯度；(u,v)為座標為 (λ',)的點的對應點在平面直角坐標系中的座標；， 其中r為球面投影影像的半徑，n為第一球面全景影像的寬。
較佳的，所述將所述待貼圖影像的形狀變換為所述平面影像的形狀，包括：根據所述平面影像以及所述待貼圖影像，確定單應性矩陣；根據所述單應性矩陣，對所述待貼圖影像進行平面透視變換，以將所述待貼圖影像的形狀變換為所述平面影像的形狀。
較佳的，所述將變換形狀後的待貼圖影像映射到所述 球面坐標系中，包括： 根據公式， 將變換形狀後的待貼圖影像映射到所述球面坐標系中；式中，(u,v)為變換形狀後的待貼圖影像中的點在平面坐標系中的座標，(λ,)分別為座標(u,v)的點映射在球面坐 標系中的座標；，其中r為球面投影影像的半徑，n為 第一球面全景影像的寬。
較佳的，所述將旋轉到與所述第一貼圖區域重合的位置的待貼圖影像變換為第二球面全景影像，包括： 根據公式， 將旋轉到與所述第一貼圖區域重合的位置的待貼圖影像變換為第二球面全景影像；式中，(λ',)為旋轉到與所述第一貼圖區域重合的位置的待貼圖影像中的點在球面坐標系中的座標，λ',分別為旋轉到與所述第一貼圖區域重合的位置的待貼圖影像中的點的經度和緯度；(x,y)為座標(λ',)的點映射在平面坐標系中的座標，m和n分別為所述第一球面全景影像的高和寬。
為達到上述目的，本發明實施例還提供了一種在球面全景影像上貼圖的裝置，包括：建立模組、第一映射模組、第一確定模組、第一變換模組、第二變換模組、第二映射模組、旋轉模組、第三變換模組、第二確定模組和插值模組。
所述建立模組用於建立針對第一球面全景影像的球面坐標系。
所述第一映射模組用於將所述第一球面全景影像映射在所述球面坐標系對應的球面上，得到所述第一球面全景影像的球面投影影像。
所述第一確定模組用於根據用戶針對所述球面投影影像的選擇操作，確定待貼圖影像在所述球面投影影像中的第一貼圖區域。
所述第一變換模組用於將所述第一貼圖區域對應的影像變換為平面影像。
所述第二變換模組用於將所述待貼圖影像的形狀變換為所述平面影像的形狀。
所述第二映射模組用於將變換形狀後的待貼圖影像映射到所述球面坐標系中。
所述旋轉模組用於將映射到所述球面坐標系中的待貼圖影像旋轉到與所述第一貼圖區域重合的位置。
所述第三變換模組用於將旋轉到與所述第一貼圖區域重合的位置的待貼圖影像變換為第二球面全景影像。
所述第二確定模組用於確定所述第一球面全景影像中與所述第一貼圖區域對應的第二貼圖區域。
所述插值模組用於將所述第二球面全景影像插值到所述第二貼圖區域，完成在第一球面全景影像上貼待貼圖影像。
較佳的，所述第一變換模組具體用於：確定所述第一貼圖區域的中心點座標；根據所述中心點座標對所述球面投影影像進行旋轉，其中，在以經度和緯度進行座標表示的情況下，所述中心點座標在旋轉後的球面投影影像中的座標為(0，0)； 根據公式，將旋轉後的球面 投影影像中，與所述第一貼圖區域對應的影像變換為平面影像；式中，(λ,)為旋轉後的球面投影影像中，與第一貼圖 區域對應的影像中的點在球面坐標系中的座標，λ',分別為旋轉後的球面投影影像中，與第一貼圖區域對應的影像中的點在球面坐標系中的經度和緯度；(u,v)為座標為(λ,) 的點的對應點在平面直角坐標系中的座標；，其中r 為球面投影影像的半徑，n為第一球面全景影像的寬。
較佳的，所述第二變換模組具體用於：根據所述平面影像以及所述待貼圖影像，確定單應性矩陣；根據所述單應性矩陣，對所述待貼圖影像進行平面透視變換，以將所述待貼圖影像的形狀變換為所述平面影像的形狀。
較佳的，所述第二映射模組具體用於： 根據公式，將 變換形狀後的待貼圖影像映射到所述球面坐標系中；式中，(u,v)為變換形狀後的待貼圖影像中的點在平面坐標系中的座標，(λ,)分別為座標(u,v)的點映射在球面坐 標系中的座標；，其中r為球面投影影像的半徑，n為 第一球面全景影像的寬。
較佳的，所述第三變換模組具體用於： 根據公式， 將旋轉到與所述第一貼圖區域重合的位置的待貼圖影像變換為第二球面全景影像；式中，(λ',)為旋轉到與所述第一貼圖區域重合的位置的待貼圖影像中的點在球面坐標系中的座標，λ',分別為旋轉到與所述第一貼圖區域重合的位置的待貼圖影像中的點的經度和緯度；(x,y)為座標(λ',)的點映射在平面坐標系中的座標，m和n分別為所述第一球面全景影像的高和寬。
本發明實施例提供一種在球面全景影像上貼圖的方法，包括：建立針對第一球面全景影像的球面坐標系；將所述第一球面全景影像映射在所述球面坐標系對應的球面上，得到所述第一球面全景影像的球面投影影像；根據用戶針對所述球面投影影像的選擇操作，確定待貼圖影像在所述球面投影影像中的第一貼圖區域；將所述第一貼圖區域對應的影像變換為平面影像；將所述待貼圖影像的形狀變換為所述平面影像的形狀；將變換形狀後的待貼圖影像映射到所述球面坐標系中；將映射到所述球面坐標系中的待貼 圖影像旋轉到與所述第一貼圖區域重合的位置；將旋轉到與所述第一貼圖區域重合的位置的待貼圖影像變換為第二球面全景影像；確定所述第一球面全景影像中與所述第一貼圖區域對應的第二貼圖區域；將所述第二球面全景影像插值到所述第二貼圖區域，完成在第一球面全景影像上貼待貼圖影像。
應用本發明實施例，將第一貼圖區域對應的影像變換為平面影像，此平面影像為符合單眼透視成像原理的平面影像，因此，根據平面影像變換形狀後的待貼圖影像也符合單眼透視成像原理，亦即，將變換形狀後的待貼圖影像映射到球面坐標系中後，映射後的待貼圖不存在影像的畸變，因此，實現了在球面全景影像上進行無畸變貼圖。
當然，實施本發明的任一產品或方法必不一定需要同時達到以上所述的所有優點。
S101~S1010‧‧‧步驟
301‧‧‧建立模組
302‧‧‧第一映射模組
303‧‧‧第一確定模組
304‧‧‧第一變換模組
305‧‧‧第二變換模組
306‧‧‧第二映射模組
307‧‧‧旋轉模組
308‧‧‧第三變換模組
309‧‧‧第二確定模組
3010‧‧‧插值模組
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些圖式獲得其 他的圖式。
圖1為本發明實施例提供的一種在球面全景影像上貼圖的方法的流程示意圖。
圖2a為本發明實施例提供的第一球面全景影像的示意圖。
圖2b為本發明實施例提供的待貼圖影像的示意圖。
圖2c為本發明實施例提供的在球面全景影像上貼待貼圖影像的第一種結果示意圖。
圖2d為本發明實施例提供的在球面全景影像上貼待貼圖影像的第二種結果示意圖。
圖3為本發明實施例提供的一種在球面全景影像上貼圖的裝置的結構示意圖。
下面將結合本發明實施例中的圖式，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
為解決現有技術問題，本發明實施例提供一種在球面全景影像上貼圖的方法及裝置。下面首先就一種在球面全景影像上貼圖的方法進行介紹。
圖1為本發明實施例提供的一種在球面全景影像上貼圖的方法的流程示意圖，可以包括以下步驟。
S101：建立針對第一球面全景影像的球面坐標系。
具體的，建立針對第一球面全景影像A的球面坐標系M，其中，第一球面全景影像A為水平方向覆蓋360度視場，垂直方向覆蓋180度視場，長寬比為2：1的影像。
示例性的，圖2a為本發明實施例提供的第一球面全景影像的示意圖。
通常情況下，球面全景影像也被稱為等距長方投影(equirectangular)影像。
S102：將所述第一球面全景影像映射在所述球面坐標系對應的球面上，得到所述第一球面全景影像的球面投影影像。
具體的，第一球面全景影像A上的座標與球面坐標系M中的座標是一一對應的，因此將第一球面全景影像A投影到球面坐標系M中的球面上，就得到了與球面全景影像A 對應的球面投影影像B。
具體的，可以根據公式 ，將第一球面全 景影像A映射在球面坐標系M中的球面上。
式中，(x,y)為第一球面全景影像A上的點的座標；(λ,)為座標(x,y)的點投影到球面坐標系M中的座標，其中，λ,分 別為球面坐標系M中球面上的點的經度和緯度；，其 中r為球面投影影像的半徑，n為所述第一球面全景影像的寬。
S103：根據用戶針對所述球面投影影像的選擇操作，確定待貼圖影像在所述球面投影影像中的第一貼圖區域。
具體的，假設用戶選擇的貼圖區域為圖2a對應的球面投影影像中的一個看板，根據看板，確定出第一貼圖區域。通常情況下，用戶會選擇想要貼圖區域的頂點，用以確定第一貼圖區域。
在實際應用中，用戶還可以在球面全景投影影像B上選擇一個點，然後根據該點確定出第一貼圖區域。
S104：將所述第一貼圖區域對應的影像變換為平面影像。
具體的，可以確定所述第一貼圖區域的中心點座標；根據所述中心點座標對所述球面投影影像進行旋轉，其中，在以經度和緯度進行座標表示的情況下，所述中心點座標在旋轉後的球面投影影像中的座標為(0，0)；根據公式 ，將旋轉後的球面投影影像中， 與所述第一貼圖區域對應的影像變換為平面影像；式中，(λ',)為旋轉後的球面投影影像中，與第一貼圖區域對應的影像中的點在球面坐標系中的座標，λ',分別為旋轉後的球面投影影像中，與第一貼圖區域對應的影像中的點在球面坐標系中的經度和緯度；(u,v)為座標為(λ',) 的點的對應點在平面直角坐標系中的座標；，其中r 為球面投影影像的半徑，n為第一球面全景影像的寬。
在實際應用中，根據公式確定出第一貼圖區 域中心點，其中，λ 0,分別為第一貼圖區域中心點在球面坐標系M中的經度和緯度；s為用戶選擇的點的個數；λ i ,分別為第一貼圖區域中s個選擇點中第i個選擇點的座標的經 度和緯度。
根據確定出來的中心點座標(λ 0,)對球面全景投影影像B進行旋轉，其中，在以經度和緯度進行座標表示的情況下，所述座標為(λ 0,)的中心點在旋轉後的球面投影影像中的座標為(0，0)。
根據公式
確定出旋 轉球面全景投影影像B後得到的第一貼圖區域中的點在立體直角坐標系中的座標；式中，x,y,z為第一貼圖區域中的點在立體直角坐標系中的座標分別在x軸、y軸和z軸的值；(λ 0,)為第一貼圖區域中心點的座標，λ 0,分別為第一貼圖區域中心點的經度和緯度；λ,為第一貼圖區域中的點對應的經度和緯度。
根據x,y,z，利用公式確定出第一貼圖區域中的點在球面坐標系M中的座標；式中，(x,y)為利用x軸的值和y軸的值表示的第一貼圖區域中的點的座標，x,y分別為第一貼圖區域中的點在x軸 和y軸的值；(λ',)為第一貼圖區域中的點在在球面坐標系M中的座標，λ',分別為第一貼圖區域中的點的經度和緯度。
根據公式，將第一貼圖區域 對應的影像變換為平面影像；式中，(λ',)為旋轉後的球面投影影像中，與第一貼圖區域對應的影像中的點在球面坐標系中的座標，λ',分別為旋轉後的球面投影影像中，與第一貼圖區域對應的影像中的點在球面坐標系中的經度和緯度；(u,v)為座標為(λ',) 的點的對應點在平面直角坐標系中的座標；，其中r 為球面投影影像的半徑，n為第一球面全景影像的寬。
S105：將所述待貼圖影像的形狀變換為所述平面影像的形狀。
具體的，可以根據所述平面影像以及所述待貼圖影像，確定單應性矩陣；根據所述單應性矩陣，對所述待貼圖影像進行平面透視變換，以將所述待貼圖影像的形狀變換為所述平面影像的形狀。
示例性的，圖2b為本發明實施例提供的待貼圖影像的示意圖。
在實際應用中，假設確定出來的第一貼圖區域為C，S104中根據C得到的平面影像為D。根據平面影像D的頂點與待貼圖P的頂點之間的對應關係，確定出單應性矩陣H。 再根據H利用公式，對待貼圖P進行平面透視變 換，以把待貼圖P變換為平面影像D的形狀，得到變換後的待貼圖P'。
若在S103中用戶在球面全景投影影像B上選擇一個點的情況下，平面影像D與待貼圖P之間的單應性矩陣H為 ，在根據對待貼圖P進行平面透視變換。通 常情況下，利用矩陣對待貼圖P進行平面透視變換 後的影像與待貼圖P的形狀無變化。
S106：將變換形狀後的待貼圖影像映射到所述球面坐標系中。
具體的，可以根據公式 ，將變換形狀後 的待貼圖影像映射到所述球面坐標系中； 式中，(u,v)為變換形狀後的待貼圖影像中的點在平面坐標系中的座標，(λ,)分別為座標(u,v)的點映射在球面坐 標系中的座標；，其中r為球面投影影像的半徑，n為 第一球面全景影像的寬。
通常情況下，在指定視角(視角中心點的經度和緯度均為零)，將變換形狀後的待貼圖影像映射到球面坐標系中。
S107：將映射到所述球面坐標系中的待貼圖影像旋轉到與所述第一貼圖區域重合的位置。
具體的，假設映射到球面坐標系M中的待貼圖影像為P"，將待貼圖影像P"旋轉到與第一貼圖區域重合的位置。
在實際應用中，根據公式： 確定 出旋轉後的待貼圖影像P"中的點在立體直角坐標系中的座標，其中x',y',z'為旋轉後的待貼圖影像P"中的點在立體直角坐標系中對應的x軸、y軸和z軸的值；λ 0,分別為第一貼圖區域中心點的經度和緯度；λ,為旋轉後的待貼圖影像P"中的點對應的經度和緯度。
根據x',y',z'，利用公式確定出旋轉後的待貼圖影像P"中的點在在球面坐標系M中的座標；式中，(x',y')為利用x軸的值和y軸的值表示的旋轉後的待貼圖影像P"中的點的座標，x',y'分別為旋轉後的待貼圖影像P"中的點在x軸和y軸的值；(λ',)為座標為(x',y')的點在在球面坐標系M中的座標，λ',分別為旋轉後的待貼圖影像P"中的點的經度和緯度。
S108：將旋轉到與所述第一貼圖區域重合的位置的待貼圖影像變換為第二球面全景影像。
具體的，可以根據公式 ，將旋轉到與所 述第一貼圖區域重合的位置的待貼圖影像變換為第二球面全景影像；式中，(λ',)為旋轉到與第一貼圖區域重合的位置的待貼圖影像中的點在球面坐標系中的座標，λ',分別為旋轉到與所述第一貼圖區域重合的位置的待貼圖影像中的點的經度和緯度；(x,y)為座標(λ',)的點映射在平面坐標系中的 座標，m和n分別為所述第一球面全景影像的高和寬。
在實際應用中，根據S107中得到的旋轉到與所述第一貼圖區域重合的位置的待貼圖影像中的點的座標(λ',)，利用公式： ，將旋轉後 的待貼圖影像P"變換為第二球面全景影像；式中，(λ',)為旋轉後的待貼圖影像P"中的點在球面坐標系中的座標，λ',為旋轉後的待貼圖影像P"中的點的經度和緯度；(x,y)為座標為(λ',)的點在平面直角坐標系中的座標；m，n分別為第一球面全景影像的長和寬。
S109：確定所述第一球面全景影像中與所述第一貼圖區域對應的第二貼圖區域。
具體的，在第一球面全景影像A中與第一貼圖區域對應的第二貼圖區域。
S1010：將所述第二球面全景影像插值到所述第二貼圖區域，完成在第一球面全景影像上貼待貼圖影像。
具體的，根據S109中確定出來的第二貼圖區域，將第二球面全景影像插值到第二貼圖區域，完成了在第一全景 影像上貼待貼影像。
需要說明的是，將第二球面全景影像插值到第二貼圖區域為現有技術，這裡不再贅述。
若用戶選擇的是球面投影影像中的一個點的情況下，示例性的，圖2c為本發明實施例提供的在球面全景影像上貼待貼圖影像的第一種結果示意圖。
若用戶選擇的是球面投影影像中看板的四個點的情況下，示例性的，圖2d為本發明實施例提供的在球面全景影像上貼待貼圖影像的第二種結果示意圖。
應用本發明實施例，將第一貼圖區域對應的影像變換為平面影像，此平面影像為符合單眼透視成像原理的平面影像，因此，根據平面影像變換形狀後的待貼圖影像也符合單眼透視成像原理，亦即，將變換形狀後的待貼圖影像映射到球面坐標系中後，映射後的待貼圖不存在影像的畸變，因此，實現了在球面全景影像上進行無畸變貼圖。
與上述圖1所示方法實施例相對應，圖3為本發明實施例提供的一種在球面全景影像上貼圖的裝置的結構示意圖，可以包括：建立模組301、第一映射模組302、第一確定模組303、第一變換模組304、第二變換模組305、第二映射模組306、旋轉模組307、第三變換模組308、第二確定模組309 和插值模組3010。
建立模組301，用於建立針對第一球面全景影像的球面坐標系。
第一映射模組302，用於將所述第一球面全景影像映射在所述球面坐標系對應的球面上，得到所述第一球面全景影像的球面投影影像。
第一確定模組303，用於根據用戶針對所述球面投影影像的選擇操作，確定待貼圖影像在所述球面投影影像中的第一貼圖區域。
第一變換模組304，用於將所述第一貼圖區域對應的影像變換為平面影像。
具體的，第一變換模組304具體用於：確定所述第一貼圖區域的中心點座標；根據所述中心點座標對所述球面投影影像進行旋轉，其中，在以經度和緯度進行座標表示的情況下，所述中心點座標在旋轉後的球面投影影像中的座標為(0，0)； 根據公式，將旋轉後的球面 投影影像中，與所述第一貼圖區域對應的影像變換為平面影像； 式中，(λ',)為旋轉後的球面投影影像中，與第一貼圖區域對應的影像中的點在球面坐標系中的座標，λ',分別為旋轉後的球面投影影像中，與第一貼圖區域對應的影像中的點在球面坐標系中的經度和緯度；(u,v)為座標為(λ',) 的點的對應點在平面直角坐標系中的座標；，其中r 為球面投影影像的半徑，n為第一球面全景影像的寬。
第二變換模組305，用於將所述待貼圖影像的形狀變換為所述平面影像的形狀。
具體的，第二變換模組305具體用於：根據所述平面影像以及所述待貼圖影像，確定單應性矩陣；根據所述單應性矩陣，對所述待貼圖影像進行平面透視變換，以將所述待貼圖影像的形狀變換為所述平面影像的形狀。
第二映射模組306，用於將變換形狀後的待貼圖影像映射到所述球面坐標系中。
具體的，第二映射模組306具體用於： 根據公式， 將變換形狀後的待貼圖影像映射到所述球面坐標系中；式中，(u,v)為變換形狀後的待貼圖影像中的點在平面坐標系中的座標，(λ,)分別為座標(u,v)的點映射在球面坐 標系中的座標；，其中r為球面投影影像的半徑，n為 第一球面全景影像的寬。
旋轉模組307，用於將映射到所述球面坐標系中的待貼圖影像旋轉到與所述第一貼圖區域重合的位置。
第三變換模組308，用於將旋轉到與所述第一貼圖區域重合的位置的待貼圖影像變換為第二球面全景影像。
具體的，第三變換模組308具體用於： 根據公式， 將旋轉到與所述第一貼圖區域重合的位置的待貼圖影像變換為第二球面全景影像；式中，(λ',)為旋轉到與所述第一貼圖區域重合的位置的待貼圖影像中的點在球面坐標系中的座標，λ',分別為 旋轉到與所述第一貼圖區域重合的位置的待貼圖影像中的點的經度和緯度；(x,y)為座標(λ',)的點映射在平面坐標系中的座標，m和n分別為所述第一球面全景影像的高和寬。
第二確定模組309，確定所述第一球面全景影像中與所述第一貼圖區域對應的第二貼圖區域。
插值模組3010，用於將所述第二球面全景影像插值到所述第二貼圖區域，完成在第一球面全景影像上貼待貼圖影像。
應用本發明實施例，將第一貼圖區域對應的影像變換為平面影像，此平面影像為符合單眼透視成像原理的平面影像，因此，根據平面影像變換形狀後的待貼圖影像也符合單眼透視成像原理，亦即，將變換形狀後的待貼圖影像映射到球面坐標系中後，映射後的待貼圖不存在影像的畸變，因此，實現了在球面全景影像上進行無畸變貼圖。
需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不 僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
本說明書中的各個實施例均採用相關的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於裝置實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。
本領域普通技術人員可以理解實現上述方法實施方式中的全部或部分步驟是可以通過程式來指令相關的硬體來完成，所述的程式可以儲存於電腦可讀取儲存介質中，這裡所稱得的儲存介質，如：ROM/RAM、磁碟、光碟等。
以上所述僅為本發明的較佳實施例而已，並非用於限定本發明的保護範圍。凡在本發明的精神和原則之內所作的任何修改、等同替換、改進等，均包含在本發明的保護範圍內。

Claims (10)

  1. 一種在球面全景影像上貼圖的方法，包括以下步驟：建立針對第一球面全景影像的球面坐標系；將該第一球面全景影像映射在該球面坐標系對應的球面上，得到該第一球面全景影像的球面投影影像；根據用戶針對該球面投影影像的選擇操作，確定待貼圖影像在該球面投影影像中的第一貼圖區域；將該第一貼圖區域對應的影像變換為平面影像；將該待貼圖影像的形狀變換為該平面影像的形狀；將變換形狀後的待貼圖影像映射到該球面坐標系中；將映射到該球面坐標系中的待貼圖影像旋轉到與該第一貼圖區域重合的位置；將旋轉到與該第一貼圖區域重合的位置的待貼圖影像變換為第二球面全景影像；確定該第一球面全景影像中與該第一貼圖區域對應的第二貼圖區域；以及將該第二球面全景影像插值到該第二貼圖區域，完成在該第一球面全景影像上貼待貼圖影像。
  2. 如請求項1所記載之在球面全景影像上貼圖的方法，其中該將該第一貼圖區域對應的影像變換為平面影 像包括：確定該第一貼圖區域的中心點座標；根據該中心點座標對該球面投影影像進行旋轉，其中，在以經度和緯度進行座標表示的情況下，該中心點座標在旋轉後的球面投影影像中的座標為(0，0)； 根據公式 ，將旋轉後 的球面投影影像中，與該第一貼圖區域對應的影像變換為平面影像；式中，( λ', )為旋轉後的球面投影影像中，與該第一貼圖區域對應的影像中的點在球面坐標系中的座標， λ', 分別為旋轉後的球面投影影像中，與該第一貼圖區域對應的影像中的點在球面坐標系中的經度和緯度；( u, v)為座標為( λ', )的點的對應點在平面直角坐標系中的座標； ，其中r為球面投影影像的半徑，n為第一 球面全景影像的寬。
  3. 如請求項1所記載之在球面全景影像上貼圖的方法，其中該將該待貼圖影像的形狀變換為該平面影像的形狀包括：根據該平面影像以及該待貼圖影像確定單應性 矩陣；根據該單應性矩陣對該待貼圖影像進行平面透視變換，以將該待貼圖影像的形狀變換為該平面影像的形狀。
  4. 如請求項1所記載之在球面全景影像上貼圖的方法，其中該將變換形狀後的待貼圖影像映射到該球面坐標系中包括：根據公式 ，將變換形 狀後的待貼圖影像映射到該球面坐標系中；式中，(u,v)為變換形狀後的待貼圖影像中的點在平面坐標系中的座標，(λ, )分別為座標(u,v)的點映射在球面坐標系中的座標； ，其中r為球面投影影像的半徑，n為第 一球面全景影像的寬。
  5. 如請求項1所記載之在球面全景影像上貼圖的方法，其中該將旋轉到與該第一貼圖區域重合的位置的待貼圖影像變換為第二球面全景影像，包括：根據公式 ，將旋轉 到與該第一貼圖區域重合的位置的待貼圖影像變換為第二球面全景影像；式中，(λ ', )為旋轉到與該第一貼圖區域重合的位置的待貼圖影像中的點在球面坐標系中的座標，λ ', 分別為旋轉到與該第一貼圖區域重合的位置的待貼圖影像中的點的經度和緯度；(x,y)為座標(λ ', )的點映射在平面坐標系中的座標；m和n分別為該第一球面全景影像的高和寬。
  6. 一種在球面全景影像上貼圖的裝置，包括：建立模組、第一映射模組、第一確定模組、第一變換模組、第二變換模組、第二映射模組、旋轉模組、第三變換模組、第二確定模組和插值模組；其中，該建立模組用於建立針對第一球面全景影像的球面坐標系；該第一映射模組用於將該第一球面全景影像映射在該球面坐標系對應的球面上，得到該第一球面全景影像的球面投影影像；該第一確定模組用於根據用戶針對該球面投影影像的選擇操作，確定待貼圖影像在該球面投影影像 中的第一貼圖區域；該第一變換模組用於將該第一貼圖區域對應的影像變換為平面影像；該第二變換模組用於將該待貼圖影像的形狀變換為該平面影像的形狀；該第二映射模組用於將變換形狀後的待貼圖影像映射到該球面坐標系中；該旋轉模組用於將映射到該球面坐標系中的待貼圖影像旋轉到與該第一貼圖區域重合的位置；該第三變換模組用於將旋轉到與該第一貼圖區域重合的位置的待貼圖影像變換為第二球面全景影像；該第二確定模組用於確定該第一球面全景影像中與該第一貼圖區域對應的第二貼圖區域；該插值模組用於將該第二球面全景影像插值到該第二貼圖區域，完成在該第一球面全景影像上貼待貼圖影像。
  7. 如請求項6所記載之在球面全景影像上貼圖的裝置，其中該第一變換模組具體用於：確定該第一貼圖區域的中心點座標；根據該中心點座標對該球面投影影像進行旋轉，其中，在以經度和緯度進行座標表示的情況下，該中心點座標在旋轉後的球面投影影像中的座標為(0，0)； 根據公式 ，將旋轉後 的球面投影影像中，與該第一貼圖區域對應的影像變換為平面影像；式中，( λ', )為旋轉後的球面投影影像中，與該第一貼圖區域對應的影像中的點在球面坐標系中的座標， λ', 分別為旋轉後的球面投影影像中，與該第一貼圖區域對應的影像中的點在球面坐標系中的經度和緯度；( u, v)為座標為( λ', )的點的對應點在平面直角坐標系中的座標； ，其中r為球面投影影像的半徑，n為第一球面全景影像的寬。
  8. 如請求項6所記載之在球面全景影像上貼圖的裝置，其中該第二變換模組具體用於：根據該平面影像以及該待貼圖影像，確定單應性矩陣；根據該單應性矩陣，對該待貼圖影像進行平面透視變換，以將該待貼圖影像的形狀變換為該平面影像的形狀。
  9. 如請求項6所記載之在球面全景影像上貼圖的裝置，其中該第二映射模組具體用於：根據公式 ，將變換形 狀後的待貼圖影像映射到該球面坐標系中；式中，(u,v)為變換形狀後的待貼圖影像中的點在平面坐標系中的座標，(λ, )分別為座標(u,v)的點映射在球面坐標系中的座標； ，其中r為球面投影影像的半徑，n為第一 球面全景影像的寬。
  10. 如請求項6所記載之在球面全景影像上貼圖的裝置，其中該第三變換模組具體用於：根據公式 ，將旋轉到 與該第一貼圖區域重合的位置的待貼圖影像變換為第二球面全景影像；式中，(λ ', )為旋轉到與該第一貼圖區域重合的位置的待貼圖影像中的點在球面坐標系中的座標，λ ', 分別為旋轉到與該第一貼圖區域重合的位置的待貼圖影像中的點的經度和緯度；(x,y)為座標(λ ', )的點映射在平面坐標系中的座標； m和n分別為該第一球面全景影像的高和寬。
TW106133168A 2016-09-29 2017-09-27 Method and device for mapping on spherical panoramic image TWI647656B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201610868060.4 2016-09-29
CN201610868060.4A CN106548446B (zh) 2016-09-29 2016-09-29 一种在球面全景图像上贴图的方法及装置

Publications (2)

Publication Number Publication Date
TW201814656A true TW201814656A (zh) 2018-04-16
TWI647656B TWI647656B (zh) 2019-01-11

Family

ID=58368209

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106133168A TWI647656B (zh) 2016-09-29 2017-09-27 Method and device for mapping on spherical panoramic image

Country Status (12)

Country Link
US (1) US10789672B2 (zh)
EP (1) EP3522105B1 (zh)
JP (1) JP6771106B2 (zh)
KR (1) KR102183050B1 (zh)
CN (1) CN106548446B (zh)
AU (1) AU2017333469B2 (zh)
CA (1) CA3029590C (zh)
ES (1) ES2967429T3 (zh)
MY (1) MY201247A (zh)
SG (1) SG11201900009RA (zh)
TW (1) TWI647656B (zh)
WO (1) WO2018059146A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548446B (zh) 2016-09-29 2019-08-09 北京奇艺世纪科技有限公司 一种在球面全景图像上贴图的方法及装置
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
WO2018196682A1 (en) * 2017-04-27 2018-11-01 Mediatek Inc. Method and apparatus for mapping virtual-reality image to a segmented sphere projection format
CN107133918B (zh) * 2017-05-05 2020-06-12 陈健 一种在三维场景中任意位置生成全景图的方法
CN109472736A (zh) * 2017-09-07 2019-03-15 微鲸科技有限公司 图像处理方法及设备
CN108122283B (zh) * 2017-12-20 2021-05-11 成都索贝数码科技股份有限公司 一种利用坐标变换编辑vr影像的方法
CN108681987A (zh) * 2018-05-10 2018-10-19 广州腾讯科技有限公司 生成全景切片图的方法和装置
JP2020043387A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び、記憶媒体
CN109829851B (zh) * 2019-01-17 2020-09-18 厦门大学 一种基于球面对齐估计的全景图像拼接方法及存储设备
CN111080523B (zh) * 2019-12-17 2023-10-24 天津津航技术物理研究所 红外周视搜索系统及基于角度信息的红外周视图像拼接方法
CN111429529B (zh) * 2020-04-10 2024-02-20 浙江大华技术股份有限公司 一种坐标转换的标定方法、电子设备以及计算机存储介质
CN111582080B (zh) * 2020-04-24 2023-08-08 杭州鸿泉物联网技术股份有限公司 车辆360度环视监控实现方法及装置
CN112308986B (zh) * 2020-11-03 2024-04-12 豪威科技(武汉)有限公司 车载图像拼接方法、系统以及装置
CN112915534B (zh) * 2021-02-24 2021-09-07 武汉欢乐泡泡信息技术有限公司 游戏的图像计算方法及装置
US11623150B2 (en) 2021-06-24 2023-04-11 Compal Electronics, Inc Rendering method for drone game
CN114168101A (zh) * 2021-12-01 2022-03-11 北京凯视达科技股份有限公司 一种将球形全景视频贴到立方体屏幕上显示的方法及装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL108957A (en) * 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
JP4052357B2 (ja) * 1999-02-23 2008-02-27 松下電工株式会社 仮想環境体験表示装置
KR100739686B1 (ko) * 2004-08-13 2007-07-13 경희대학교 산학협력단 영상 코딩 방법, 코딩 장치, 영상 디코딩 방법 및 디코딩장치
JP2007233996A (ja) 2006-02-06 2007-09-13 Olympus Imaging Corp 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
US20100103175A1 (en) * 2006-10-25 2010-04-29 Tokyo Institute Of Technology Method for generating a high-resolution virtual-focal-plane image
KR100882011B1 (ko) 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
US9151679B2 (en) 2008-06-30 2015-10-06 Intel Corporation Temperature measurement in electronic devices
US20100250120A1 (en) * 2009-03-31 2010-09-30 Microsoft Corporation Managing storage and delivery of navigation images
TWM396430U (en) 2010-09-09 2011-01-11 Tlj Intertech Inc Multi-view-angle-range 3D jigsaw puzzle system
JP5250598B2 (ja) 2010-10-05 2013-07-31 株式会社ソニー・コンピュータエンタテインメント 画像表示装置および画像表示方法
JP2012256274A (ja) 2011-06-10 2012-12-27 Panasonic Corp 画像生成装置、画像生成方法、及びコンピュータプログラム
JP5906745B2 (ja) 2012-01-12 2016-04-20 カシオ計算機株式会社 画像表示装置、画像表示方法及びプログラム
TWI528328B (zh) 2012-04-20 2016-04-01 財團法人資訊工業策進會 依據貼圖影像內容決定選擇細節層次之三維貼圖處理方法、裝置以及儲存其之電腦可讀取記錄媒體
US9330501B2 (en) * 2012-08-20 2016-05-03 Autodesk, Inc. Systems and methods for augmenting panoramic image data with performance related data for a building
CN102915526B (zh) * 2012-09-18 2014-12-17 合肥工业大学 基于互补场景模型的球面全景图缺失信息修复方法
CN103017653B (zh) * 2012-11-27 2015-06-24 武汉海达数云技术有限公司 一种球面全景影像与三维激光扫描点云的配准及测量方法
CN103092612B (zh) 2012-12-31 2016-12-28 深圳天珑无线科技有限公司 实现安卓操作系统3d桌面贴图的方法及电子装置
CN110401795A (zh) * 2013-04-30 2019-11-01 索尼公司 图像处理装置、图像处理方法和程序
CN105205853A (zh) * 2014-06-20 2015-12-30 西安英诺视通信息技术有限公司 一种用于全景视图管理的3d图像拼接合成方法
TWI549478B (zh) 2014-09-04 2016-09-11 宏碁股份有限公司 產生三維影像的方法及其電子裝置
CN104183006A (zh) 2014-09-05 2014-12-03 国家电网公司 一种基于Web3D模型的动态贴图方法
JP2016062486A (ja) 2014-09-19 2016-04-25 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
CA2977051C (en) * 2015-02-17 2023-02-07 Nextvr Inc. Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device
CN105654538A (zh) 2015-12-24 2016-06-08 成都君乾信息技术有限公司 一种用于3d模型的贴图数据重构处理系统及处理方法
CN105957008B (zh) * 2016-05-10 2019-08-16 厦门美图之家科技有限公司 基于移动终端的全景图像实时拼接方法及系统
CN105872386A (zh) * 2016-05-31 2016-08-17 深圳易贝创新科技有限公司 一种全景摄像装置以及全景图片生成方法
CN106548446B (zh) 2016-09-29 2019-08-09 北京奇艺世纪科技有限公司 一种在球面全景图像上贴图的方法及装置

Also Published As

Publication number Publication date
CN106548446B (zh) 2019-08-09
US20190311459A1 (en) 2019-10-10
CA3029590A1 (en) 2018-04-05
AU2017333469A1 (en) 2019-01-24
EP3522105A4 (en) 2019-09-25
TWI647656B (zh) 2019-01-11
CA3029590C (en) 2022-05-03
ES2967429T3 (es) 2024-04-30
SG11201900009RA (en) 2019-04-29
US10789672B2 (en) 2020-09-29
CN106548446A (zh) 2017-03-29
JP6771106B2 (ja) 2020-10-21
KR102183050B1 (ko) 2020-11-26
JP2019526874A (ja) 2019-09-19
KR20190026876A (ko) 2019-03-13
AU2017333469B2 (en) 2019-10-31
EP3522105B1 (en) 2023-10-04
MY201247A (en) 2024-02-13
EP3522105A1 (en) 2019-08-07
WO2018059146A1 (zh) 2018-04-05

Similar Documents

Publication Publication Date Title
TWI647656B (zh) Method and device for mapping on spherical panoramic image
JP6515985B2 (ja) 三次元画像結合方法及び三次元画像結合装置
JP4828779B2 (ja) 高速デジタルパンチルトズームビデオ
TWI273511B (en) Real-time wide-angle image correction system and method for computer image viewing
Carroll et al. Image warps for artistic perspective manipulation
TWI387936B (zh) A video conversion device, a recorded recording medium, a semiconductor integrated circuit, a fish-eye monitoring system, and an image conversion method
JP3650578B2 (ja) 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム
JP4661829B2 (ja) 画像データ変換装置、及びこれを備えたカメラ装置
JP2019532531A (ja) パノラマ画像圧縮方法および装置
JP5046132B2 (ja) 画像データ変換装置
JP6310320B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、プログラム
CN109523622B (zh) 一种非结构化的光场渲染方法
Sandnes et al. Translating the viewing position in single equirectangular panoramic images
JP4554231B2 (ja) 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
CN105488764B (zh) 鱼眼图像校正方法及装置
JPH10208074A (ja) 画像生成方法
JP3660108B2 (ja) 画像保存方法及び機械読み取り可能媒体
TWI297132B (zh)
TW413796B (en) A method and system for establishing environment image
JP2000331151A (ja) 画像処理方法、画像歪み補正処理装置、及びそのプログラムを記録した記録媒体
JP2002092597A (ja) 画像処理方法及び装置
Ekpar A framework for interactive virtual tours
CA2327843C (en) System and method for registration of cubic fisheye hemispherical images
CN110728619B (zh) 一种全景图像拼接渲染方法及装置
JPS61138377A (ja) ３次元デジタル画像入力方法