TW202209250A - 用以產生旋轉後全景影像的轉換方法 - Google Patents

用以產生旋轉後全景影像的轉換方法 Download PDF

Info

Publication number
TW202209250A
TW202209250A TW109129490A TW109129490A TW202209250A TW 202209250 A TW202209250 A TW 202209250A TW 109129490 A TW109129490 A TW 109129490A TW 109129490 A TW109129490 A TW 109129490A TW 202209250 A TW202209250 A TW 202209250A
Authority
TW
Taiwan
Prior art keywords
vertices
image
coordinates
rotation
texture
Prior art date
Application number
TW109129490A
Other languages
English (en)
Inventor
呂忠晏
Original Assignee
信驊科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 信驊科技股份有限公司 filed Critical 信驊科技股份有限公司
Priority to TW109129490A priority Critical patent/TW202209250A/zh
Publication of TW202209250A publication Critical patent/TW202209250A/zh

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本發明揭露一種轉換方法，適用於一影像處理系統，該方法包含：當該影像擷取模組被旋轉時，根據該影像擷取模組的旋轉角度，分別對來自一整體頂點串流的三個第一頂點的旋轉後空間座標進行逆旋轉操作，以得到該三個第一頂點的旋轉前空間座標；根據該三個第一頂點的旋轉前空間座標，計算該三個第一頂點的旋轉前經緯度；根據該三個第一頂點的旋轉前的緯度，從一旋轉前全景影像、一北極影像以及一南極影像選擇中選擇其一當作一紋理影像，以決定該三個第一頂點的紋理ID；以及，對各該三個第一頂點，根據該紋理ID及該旋轉前經緯度，計算一旋轉前紋理座標以分別形成一第一完整資料結構。

Description

用以產生旋轉後全景影像的轉換方法
本發明係有關於全景影像，尤有關於一種產生旋轉後全景影像的轉換方法。
等距長方視訊(equirectangular video)是一種使用於360度視訊的常見投影方式。等距長方投影的常見例子是一張標準的世界地圖，其將世界的球體表面映射到正交的坐標，亦即，等距長方投影將一個球面的地球的緯度及經度座標直接映射到網格(grid)的水平及垂直座標；在赤道上的影像扭曲(distortion)程度最小，而在南北極處的影像扭曲程度則無限大。二極點(即天頂(Zenith)、天底(Nadir))分別位在頂部及底部邊緣，而且被延伸為等距長方影像的全部寬度。
圖1A顯示一習知全景影像處理系統之示意圖。請參考圖1A，一習知全景影像處理系統10包含一影像擷取模組11、一影像處理裝置13、一影像編碼模組12以及一對應性產生器(correspondence generator)15。為捕捉到一個視野，具有360度水平視域(field of view，FOV)及180度垂直FOV，該影像擷取模組11包含複數個相機/鏡頭。該些相機/ 鏡頭被妥善設置，故可涵蓋系統的FOV，達到水平360度及垂直180度。例如，如第1B圖所示，該影像擷取模組11包含六台相機/鏡頭(圖未示)，係分別架設在一立方體架構16的六個表面上，以同時捕捉到一個具有360度水平FOV及180度垂直FOV的真實世界視野，以產生六個相機影像。
於離線階段，分別校正該影像擷取模組11的六台相機。該對應性產生器15採用適合的影像對準(registration)技術來產生一原始頂點列表，並且該原始頂點列表中的各頂點提供該等距長方全景影像及該些相機影像之間(或該等距長方座標及該些紋理座標之間)的映射關係。例如，半徑2公尺(r=2)的球體18表面上劃出許多圓圈，當作經度及緯度，其多個交叉點被視為多個校正點(或該原始頂點列表中的該些頂點)。該六台相機捕捉該些校正點，且該些校正點於該些相機影像上的位置為已知。然後，因為該些校正點的視角(view angle)和該些相機影像座標被連結，故可建立該等距長方全景影像及該些相機影像之間的映射關係。然而，一旦該些校正點的視角發生改變(例如該影像擷取模組11被旋轉或位移)，就須即時產生一修正頂點列表，以產生一正確的等距長方全景影像。
中華民國發明專利第I649720號(上述專利的內容在此被整體引用作為本說明書內容的一部份)的文獻中揭露因應該影像擷取模組11被旋轉或位移時，產生全景影像 的方法。根據上述專利文獻，只要該影像擷取模組11被旋轉或位移，相較於該原始頂點列表，就會修改該修正頂點列表中各頂點的等距長方座標，但不改變各頂點的紋理座標。此外，每次只要有一極點(天頂或天底)落入由三個旋轉後頂點所形成的三角形中，就須相對於該極點將該三角形分割為二個至三個次三角形，來確保於後續於該影像處理裝置13中的柵格化操作可以正確地運作。然而，須頻繁地分割這類三角形是一項麻煩與瑣碎的工作。
本發明提出一種因應相機旋轉而產生旋轉後全景影像的轉換方法，不但容易實施且可提供最佳影像品質。
有鑒於上述問題，本發明的目的之一是提供一種轉換方法，不但容易實施且可減少一影像擷取模組於曝光時因旋轉導致的負面效果。
根據本發明之一實施例，係提供一種轉換方法，適用於一個具一影像擷取模組及一顯像引擎的影像處理系統，其中該影像擷取模組捕捉一個一個具360度水平視域及180度垂直視域的視野，以產生多個相機影像，該方法包含：當該影像擷取模組被旋轉時，根據該影像擷取模組的旋轉角度，分別對來自一整體頂點串流的三個第一頂點的旋轉後空間座標進行逆旋轉操作，以得到該三個第一頂 點的旋轉前空間座標；根據該三個第一頂點的旋轉前空間座標，計算該三個第一頂點的旋轉前經緯度；根據該三個第一頂點的旋轉前的緯度，從一旋轉前全景影像、一北極影像以及一南極影像選擇中選擇其一當作一紋理影像，以決定該三個第一頂點的紋理ID；以及，對各該三個第一頂點，根據該紋理ID及該旋轉前經緯度，計算一旋轉前紋理座標以分別形成一第一完整資料結構；其中，該三個第一頂點的三個第一完整資料結構被輸入至該顯像引擎，以產生一旋轉後全景影像中之一個三角形。
10:習知全景影像處理系統
11:影像擷取模組
12:影像編碼模組
13:影像處理裝置
15:對應性產生器
16:立方體架構
18:球體
200:本發明全景影像處理系統
203:旋轉偵測器
205:處理單元
210:相機影像
220:影像處理裝置
222:三角形設定單元
226:顯像引擎
230:旋轉前等距長方全景影像
240:北極影像
250:南極影像
280:旋轉後等距長方全景影像
[圖1A]顯示一習知全景影像處理系統之示意圖。
[圖1B]顯示一立方體架構與一球體之間的關係。
[圖2A]根據本發明，顯示位於靜態階段之全景影像處理系統之示意圖。
[圖2B-2C]係根據本發明一實施例，顯示位於旋轉階段第一期及第二期之全景影像處理系統之資料流示意圖。
[圖3A]是一個三角形網格用以模型化一等距長方全景影像的示例。
[圖3B]係根據圖3A及4的三角形網格，定義一虛擬式整體頂點串流且其中的旋轉後目標座標是以虛擬座標來標示。
[圖3C]係根據圖3A的三角形網格，定義一混合式整體頂點串流且其中的旋轉後目標座標是以旋轉後空間座標及旋轉後影像座標來標示。
[圖3D]係根據圖3B-3C，定義一完成式整體頂點串流。
[圖4]是使用一柵格來模型化一等距長方全景影像之一示例。
[圖5]係顯示由該旋轉前等距長方全景影像產生一南極影像與一北極影像之一示例。
[圖6A]係假設Ω=10°且(θstep,φstep)=(2.5°,2.5°)的情況下，顯示和圖4最下面四列正方形有關的頂點的示例。
[圖6B]係根據本發明一實施例，顯示一產生一南極影像的方法，係適用於旋轉階段第一期的影像處理裝置。
[圖6C]係根據圖6A的三角形網格，定義一虛擬式南極頂點串流且其中的紋理座標是以虛擬座標來標示。
[圖6D]係根據圖6A的三角形網格，定義一混合式南極頂點串流且其中的紋理座標是以經緯度及影像座標來標示。
[圖6E]係根據圖6C-6D，定義一完成式南極頂點串流。
[圖7A-7B]係根據本發明一實施例，顯示一轉換方法，係適用於旋轉階段第二期的影像處理裝置的三角形設定單元且該影像處理裝置具有一被旋轉的影像擷取裝置。
[圖8]顯示一旋轉後等距長方影像中一旋轉後三角形 VaVbVc以及一旋轉前等距長方影像中一旋轉前三角形TaTbTc的一個示例。
在通篇說明書及後續的請求項當中所提及的「一」及「該」等單數形式的用語，都同時包含單數及複數的涵義，除非本說明書中另有特別指明。在本說明書中，具相同功能的電路元件使用相同的參考符號。
在通篇說明書及後續的請求項當中所提及的相關用語定義如下，除非本說明書中另有特別指明。「柵格化操作(rasterization)」一詞指的是：將場景幾何形狀(scene geometry)(或一全景影像)映射至紋理座標的計算過程。「紋理座標(u,v)」一詞指的是：使用於一來源/紋理影像的二維笛卡爾座標系統(Cartesian coordinate system)。「目標座標(x,y)」一詞指的是：使用於一目標影像的二維笛卡爾座標系統。「空間座標(X,Y,Z)」一詞指的是：使用於一全景影像的三維笛卡爾座標系統。「影像座標」一詞指的是：使用於一全景影像或南/北極影像的二維笛卡爾座標系統(請參考圖5及6A-6D)。「虛擬座標」一詞指的是：使用於一個三角形網格(mesh)的虛擬座標系統，該三角形網格用以模型化(modeling)一全景影像(請參考圖4)。該紋理座標、影像座標及目標座標亦屬於一矩陣座標系統，該矩陣座標空間反映儲存於一影像內的資料矩陣，該資料矩陣係根據行與列來儲存像素值，因此， 像素位置係相同於該資料矩陣中的對應行與對應列，其中列的編排由上至下，行的編排由左至右。該矩陣座標系統的原點(origin)係位在左上角，再透過整數座標(列號碼在前，行號碼在後)來分辨不同像素。
圖2A根據本發明，顯示位於靜態階段(static phase)之全景影像處理系統之示意圖。請參考圖2A，本發明全景影像處理系統200包含一影像擷取模組11及一影像處理裝置220。該影像處理裝置220包含一個三角形設定單元222及一顯像引擎226。該影像擷取模組11可捕捉到一個視野，具有360度的水平FOV及180度的垂直FOV，以產生複數個相機/鏡頭影像。該旋轉偵測器203分別偵測該影像擷取模組11相對於x、y、z軸的三個旋轉角度α、β、γ，並傳送該些旋轉角度α、β、γ給一處理單元205。該旋轉偵測器203及該處理單元205係位在該全景影像處理系統200的外部。若三個旋轉角度α、β、γ都等於0，表示該影像擷取模組11未旋轉，該處理單元205會發出一個設為無效(de-asserted)的指示訊號IS(如IS=0)。根據該設為無效的指示訊號IS，該全景影像處理系統200係維持在靜態階段。於接收到來自該影像擷取模組11的該些相機/鏡頭影像後，位於靜態階段的該影像處理裝置220利用任何適當方法，進行柵格化操作、紋理映射操作及混合操作，以產生一旋轉前全景影像(或一原始全景影像)230。舉例而言，中華民國專利申 請號第106113372號(上述專利的內容在此被整體引用作為本說明書內容的一部份)文獻中已揭露圖1的影像處理裝置13係利用來自該影像擷取模組11的多個相機影像及該對應性產生器15的原始頂點列表，來形成該旋轉前全景影像(或該原始全景影像)230，故在此不予贅述該影像處理裝置13的詳細操作。
圖2B-2C係根據本發明一實施例，顯示位於旋轉階段之全景影像處理系統之資料流示意圖。請參考圖2B，若三個旋轉角度α、β、γ之任一不等於0，表示該影像擷取模組11正在被旋轉，該處理單元205會發出一個設為有效(asserted)的指示訊號IS(如IS=1)，表示發生一個旋轉事件且產生一逆旋轉矩陣R3D -1。一基本旋轉是對該球面座標系統的三個軸的至少其一軸進行旋轉。該影像擷取模組11分別相對於x、y、z軸旋轉角度α、β、γ時，三個基本旋轉矩陣的旋轉向量如下：
Figure 109129490-A0101-12-0008-1
在上述旋轉矩陣中，係利用右手定律來將其交替符號(alternating sign)編碼。因此，源自上述旋轉矩陣的3D旋轉矩陣R3D等於R3D=RxRyRz。根據三個旋轉角度α、 β、γ，該處理單元205利用方程式(1)，產生一旋轉矩陣R3D以及一逆旋轉矩陣R3D -1。請參考圖2B，在收到一設為有效的指示訊號IS(如IS=1)後，該影像處理裝置220隨即進入具有二期的旋轉階段。在旋轉階段的第一期，該影像處理裝置220根據一虛擬式/混合式北極頂點串流及該旋轉前全景影像230，產生一北極影像240，以及根據一虛擬式/混合式南極頂點串流及該旋轉前全景影像230，產生一南極影像250(將於圖5及6A-6D詳細說明)。請參考圖2C，在旋轉階段的第二期，該影像處理裝置220根據一虛擬式/混合式整體頂點串流、該旋轉前全景影像230、該南極/北極影像240、250以及該逆旋轉矩陣R3D -1，產生一旋轉後全景影像280(將於圖7A-7B詳細說明)。具體而言，在旋轉階段的第二期，該三角形設定單元222將圖3B的虛擬式整體頂點串流及圖3C的混合式整體頂點串流之其一轉換成圖3D的完成式整體頂點串流，並將該完成式整體頂點串流傳送給該顯像引擎226。根據該完成式整體頂點串流、該旋轉前全景影像230以及該南極/北極影像240、250，該顯像引擎226進行柵格化操作及紋理映射操作，以產生一旋轉後全景影像280(將於後述)。
該全景影像的例子包含，但不限於，一個360度全景影像以及一等距長方全景影像。為清楚及方便描述，以下的例子及實施例皆以等距長方全景影像做說明。
圖3A是一個三角形網格用以模型化一等距長方全景影像的示例。請參考圖3A的例子中，該三角形網格包含四列及六行的四邊形，且各四邊形再分成二個三角形。分別將不同的參考符號(或頂點ID)給予該三角形網格的該些頂點，以由左至右及由上至下的順序。頂點V0~V6係有關於一北極(天頂)且頂點V28~V34係有關於一南極(天底)。以下說明書中，將頂點V0~V6與V28~V34稱為”極頂點(pole vertex)”。根據本發明，一整體頂點串流是多個頂點的列表，該些頂點形成一等距長方全景影像中該三角形網格的多個三角形，且該些三角形不會包含二個(含)以上的極頂點。在圖3A的例子中，因為左上角及右下角的三角形都包含二個極頂點，故排除頂點V0與V34以避免形成該左上角及右下角的三角形。因此，代表圖3A三角形網格的整體頂點串流是形成多個三角形的三十三個頂點的列表，該些頂點依序排列如下：V7(0),V1(0),V8(1),V2(0),V9(1),V3(0),V10(1),V4(0),V11(1),V5(0),V12(1),V6(0),V13(1),V7(0),V14(0),V8(1),V15(1),V9(1),V16(1),V10(1),V17(1),V11(1),V18(1),V12(1),V19(1),V13(1),V20(1),V14(0),V21(0),V15(1),V22(1),V16(1),V23(1),V17(1),V24(1),V18(1),V25(1),V19(1),V26(1),V20(1),V27(1),V21(0),V28(0),V22(1),V29(0),V23(1),V30(0),V24(1),V31(0),V25(1),V32(0),V26(1),V33(0),V27(1)。在上述頂點串流中，括號內的數字代表一個三角形旗標，表示本身頂點是否允許與其前面二個頂點組成一個三角形。在圖3A的例子中，若由一頂點允許與 其前面二個頂點組成一個三角形，該頂點的三角形旗標被設為1，否則該頂點的三角形旗標被設為0。例如，因為頂點V8允許與其前面二個頂點(V7,V1)組成一個三角形，故頂點V8的三角形旗標被設為1；反之，因為頂點V33不允許與其前面二個頂點(V32,V26)組成一個三角形，故頂點V33的三角形旗標被設為0。
如上所述，該整體頂點串流是多個頂點的列表，該些頂點形成一等距長方全景影像上該三角形網格的多個三角形。另外，各頂點由一相對應資料結構所定義。根據本發明，該整體頂點串流有以下三種類型：(1)虛擬式整體頂點串流(如圖3B)；(2)混合式整體頂點串流(如圖3C)；(3)完成式整體頂點串流(如圖3D)。特別地，於該虛擬式整體頂點串流及該混合式整體頂點串流中的任一頂點係由一局部資料結構所定義，而該完成式整體頂點串流中的任一頂點係由一完整資料結構所定義。舉例而言，在該虛擬式/混合式整體頂點串流中各頂點的局部資料結構包含，但不受限於，一頂點ID、一個三角形旗標以及旋轉後目標座標。對上述各整體頂點串流而言，該旋轉後等距長方全景影像永遠被視為目標空間。其中，在該虛擬式整體頂點串流中各頂點的局部資料結構內的旋轉後目標座標是以虛擬座標來標示(如圖3B及4)，而在該混合式整體頂點串流中各頂點的局部資料結構內的旋轉後目標座標是以旋轉後空間座標及旋轉後影像座標來標示 (如圖3C)。圖3B係根據圖3A及4的三角形網格，定義一虛擬式整體頂點串流且其中的旋轉後目標座標是以虛擬座標來標示。圖3C係根據圖3A的三角形網格，定義一混合式整體頂點串流且其中的旋轉後目標座標是以旋轉後空間座標及旋轉後影像座標來標示。
圖3D係根據圖3A-3C，定義一完成式整體頂點串流。如上所述，該完成式整體頂點串流中的任一頂點係由一完整資料結構所定義。該完成式整體頂點串流中各頂點的完整資料結構定義了一目標空間及一紋理空間之間的頂點映射關係。在圖3D的例子中，該完成式整體頂點串流中各頂點的完整資料結構包含，但不受限於，一頂點ID、一個三角形旗標、旋轉後目標座標(x,y)、一紋理ID(texID)以及旋轉前紋理座標(u,v)。其中，該旋轉後目標座標(x,y)是以旋轉後影像座標來標示，而該紋理ID表示選擇下列三個影像之一當作紋理空間：該旋轉前等距長方全景影像、該北極影像以及該南極影像。例如，若texID被設為0，表示選擇該旋轉前等距長方全景影像當作紋理空間；若texID被設為1，表示選擇該北極影像當作紋理空間；若texID被設為2，表示選擇該南極影像當作紋理空間。該旋轉前紋理座標是紋理空間中的影像座標，而該紋理空間是利用該紋理ID(texID)來指定，也就是，該旋轉前等距長方全景影像、該北極影像以及該南極影像之其一。
圖4是使用一柵格(grid)來模型化一等距長方全景影像之一示例。請參考圖4，可將該柵格(或一虛擬座標系統)視為在一等距長方全景影像上具有行與列的正方形的長方形結構。圖4中的柵格示例係對應圖3A中的三角形網格，因此圖4中柵格的頂點/交叉點係對應圖3A中的三角形網格的頂點。圖4中的柵格示例(或該虛擬座標系統或該三角形網格)適用於該旋轉前等距長方全景影像230及該旋轉後等距長方全景影像280。圖4中最左上角的點定義為該虛擬座標系統的原點(0,0)，圖4中柵格的任何頂點/交叉點可由一對數字的座標值來表示，水平軸以二相鄰頂點間的水平間隔當作量測單位，垂直軸以二相鄰頂點間的垂直間隔當作量測單位。換言之，在該虛擬座標系統中，水平軸上任二相鄰頂點間的水平間隔都相同，而垂直軸上任二相鄰頂點間的垂直間隔都相同。取決於不同的座標系統，水平軸及垂直軸隨之而異。例如，就經緯度系統而言，水平軸及垂直軸分別是θ與φ；就該虛擬座標系統而言，水平軸及垂直軸分別是虛擬座標的i及j；就影像座標而言，水平軸及垂直軸分別是W及H(即解析度)。
若圖4的柵格模型化一旋轉後等距長方全景影像280，Wr及Hr分別以解析度表示該旋轉後等距長方全景影像280的寬度及高度；若圖4的柵格模型化一旋轉前等距長方全景影像230，Wo及Ho分別以解析度表示該旋轉前等距長 方全景影像230的寬度及高度。若以經緯度系統來看，θstart及φstart分別代表圖4的柵格最左上角的點的經度及緯度，而θstep及φstep表示圖4柵格中各正方形的寬度及高度。若圖4的柵格以虛擬座標系統來看，Nx表示沿著水平軸的正方形總數目及Ny表示沿著垂直軸的正方形總數目。WP表示該南極/北極影像240、250(將於後述)的寬度及高度；φnorth表示北極(天頂)的緯度且φsouth表示南極(天底)的緯度。為清楚及方便描述，以下的例子及實施例皆以下列假設做說明：(Wo,Ho)=(Wr,Hr)=(4096,2048)；(θstart,φstart)=(-180°,-90°)；(θstep,φstep)=(2.5°,2.5°)；WP=256；φnorth=-90°；φsouth=90°。因此，Nx=360°/2.5°=144以及Ny=180°/2.5°=72。
圖5係顯示由該影像處理裝置220根據該旋轉前等距長方全景影像產生一南極影像與一北極影像之一示例。請注意，該南極影像250與該北極影像240都是邊長等於WP的正方形影像。在圖5的例子中，係假設Ω=10°，根據南極及北極頂點串流，由該旋轉前等距長方全景影像230產生該南極影像250與該北極影像240。請參考圖5，假設Ω=10°且(θstep,φstep)=(2.5°,2.5°)，相較於圖4的全部列的正方形有關的頂點係形成該整體頂點串流，和圖4最上面四列(=10°/2.5°)正方形有關的頂點形成該北極頂點串流，而和圖4最下面四列正方形有關的頂點形成該南極頂點串流。
圖6A係假設Ω=10°且(θstep,φstep)=(2.5°,2.5°)的情況 下，顯示和圖4最下面四列正方形有關的頂點的示例。圖6C-6E中南極頂點串流的類型類似於圖3B-3D中整體頂點串流的類型。根據本發明，該南極及該北極頂點串流也有以下三種類型：(1)虛擬式南極/北極頂點串流(如圖6C)；(2)混合式南極/北極頂點串流(如圖6D)；(3)完成式南極/北極頂點串流(如圖6E)。類似於上述的整體頂點串流，於該虛擬式南極/北極頂點串流及該混合式南極/北極頂點串流中的任一頂點係由一局部資料結構所定義，而該完成式南極/北極頂點串流中的任一頂點係由一完整資料結構所定義。特別地，在該虛擬式/混合式南極/北極頂點串流中各頂點的局部資料結構包含，但不受限於，一頂點ID、一個三角形旗標以及紋理座標。為產生該南極影像250與該北極影像240，該旋轉前等距長方全景影像230永遠被視為紋理空間。在該虛擬式南極/北極頂點串流中各頂點的局部資料結構內的紋理座標是以該旋轉前等距長方全景影像230中的虛擬座標來標示(如圖6C)，而在該混合式南極/北極頂點串流中各頂點的局部資料結構內的紋理座標是以該旋轉前等距長方全景影像230中的影像座標及經緯度來標示(如圖6D)。在圖6E的例子中，該完成式南極/北極頂點串流中各頂點的完整資料結構包含，但不受限於，一頂點ID、一個三角形旗標、(於該北極/南極影像240、250中的)目標座標(x,y)、一紋理ID(texID)以及(於旋轉前等距長方全景影像230中的)紋理座標(u,v)。
圖6B係根據本發明一實施例，顯示一產生一南極影像的方法，係適用於旋轉階段第一期的影像處理裝置。以下，係假設該影像處理裝置220已在該靜態階段，根據來自影像擷取模組11的多個相機影像210形成一旋轉前等距長方全景影像230，請參考圖2B、4及6A-6E，說明利用該虛擬式/混合式南極頂點串流產生一南極影像250的方法。
步驟S602：由該三角形設定單元222從該虛擬式/混合式南極頂點串流依序擷取出三個頂點。其中，從該虛擬式/混合式南極頂點串流依序擷取出的三個頂點(k=0~2)中，最後一個頂點的三角形旗標被設為1，且該最後一個頂點與其前面的二個頂點形成一個三角形。
步驟S603：由該三角形設定單元222決定該南極頂點串流是哪一種類型。若該南極頂點串流是虛擬式，跳到步驟S604。若該南極頂點串流是混合式，則將該混合式南極頂點串流中各該三個頂點(k=0~2)的局部資料結構中的影像座標(u,v)填入圖6E的完成式南極頂點串流中各對應頂點(k=0~2)的完整資料結構中的”紋理座標(u,v)”欄位，並跳到步驟S606。
步驟S604：由該三角形設定單元222根據該三個頂點的虛擬座標，分別計算該三個頂點於該旋轉前等距長方全景影像230中的影像座標及經緯度。假設(W,H)=(Wo,Ho)=(4096,2048)及(Nx,Ny)=(144,72)，對各該三個頂點(k=0~2)， 根據下列方程式(2)~(3)，利用該旋轉前等距長方全景影像230中的虛擬座標(ik,jk)，計算該旋轉前全景影像230內的影像座標(uk,vk)：
uk=jk*W/Nx; /* 方程式(2)*/
vk=ik*H/Ny, /* 方程式(3)*/
再將上述影像座標(uk,vk)填入圖6E的完成式南極頂點串流中各對應頂點(k=0~2)的完整資料結構中的”紋理座標(u,v)”欄位中。
假設(θstart,φstart)=(-180°,-90°)及(θstep and φstep)=(2.5°,2.5°)，對各該三個頂點(k=0~2)，根據下列方程式(4)~(5)，利用該旋轉前等距長方全景影像230中的虛擬座標(ik,jk)，計算該旋轉前全景影像230內的經緯度(θk與φk)：
θk=θstart+θstep*jk; /*方程式(4) */
φk=φstart+φstep*ik, /*方程式(5)*/
步驟S606：由該三角形設定單元222將該三個頂點映射至該南極影像，以取得該南極影像250中的影像座標。假設Ω=10°,WP=256,φpole=+90°(對應該南極)，對各該三個頂點(k=0~2)，根據下列方程式(6)~(8)，利用該經緯度(θk,φk)，計算該南極影像250中的影像座標：
r=|φk-φpole|/Ω; /*方程式(6) */
xk=(Wp/2) * (1+r * cos(θk *π/180)); /*方程式(7) */
yk=(Wp/2) * (1+r * sin(θk *π/180)). /*方程式(8) */
由於該旋轉前全景影像230永遠被視為紋理空間，故永遠將該完成式南極頂點串流中各對應頂點(k=0~2)的完整資料結構中的”紋理ID”欄位(texID)設為0。將上述影像座標(xk,yk)填入至圖6E的完成式南極頂點串流中各對應頂點(k=0~2)的完整資料結構中的”目標座標”欄位內後，就完成該三個頂點(k=0~2)的完整資料結構。
步驟S608：由該顯像引擎226根據該完成式南極頂點串流中該三個頂點(k=0~2)的三個完整資料結構，以在該南極影像250中產生一個三角形。由該三個頂點(k=0~2)形成該三角形。根據來自該三角形設定單元222的該完成式南極頂點串流中該三個頂點(k=0~2)的完整資料結構，該顯像引擎226進行三角形柵格化操作及紋理映射，以在該南極影像250中產生該三角形。具體而言，該顯像引擎226對一點Q(具有一影像/目標座標(xQ,yQ)且位在該南極影像中由該三個頂點(k=0~2)形成的該三角形內)進行三角形柵格化操作，以產生該點Q的紋理座標(uQ,vQ)，之後，根據該點Q及該三個頂點的紋理座標，該顯像引擎226利用任何合適的方法(例如最近相鄰內插(nearest-neighbour interpolation)法、雙線性內插法、或三線性(trilinear)內插法)，紋理映射來自該旋轉前等距長方全景影像230的紋理資料，以產生該點Q的目標值。依此方式，該顯像引擎226依序產生各點/像素的 目標值直到該南極影像中的該三角形內所有點都處理完成為止。
步驟S610：由該三角形設定單元222決定是否已處理完該虛擬式/混合式南極頂點串流中所有的頂點。若是，結束本流程，並產生該南極影像；若否，回到步驟S602以處理該虛擬式/混合式南極頂點串流中後續的三個頂點。
類似於圖6B的方法及圖6C-6E的南極頂點串流，於旋轉階段第一期的該影像處理裝置220根據該旋轉前等距長方全景影像230及一虛擬式/混合式北極頂點串流，產生一北極影像。請注意，上述Ω、θstep及φstep的度數僅是示例，而非本發明之限制，實際實施時，也能使用其他度數，此亦落入本發明之範圍。
圖7A-7B係根據本發明一實施例，顯示一轉換方法，係適用於旋轉階段第二期的影像處理裝置中的三角形設定單元222中且該影像處理裝置具有一個被旋轉的影像擷取裝置。以下，係假設該影像處理裝置220進入旋轉階段第二期、已接收該逆旋轉矩陣R3D-1以及在旋轉階段第一期時，已形成該旋轉前等距長方全景影像230、該北極影像240及該南極影像250，請參考圖2C、3B及7A-6B，說明利用該虛擬式/混合式南極頂點串流產生一南極影像250的方法。
步驟S702：由該三角形設定單元222從該虛擬 式/混合式整體頂點串流依序擷取出三個頂點。
步驟S703：由該三角形設定單元222決定該整體頂點串流是哪一種類型。若該整體頂點串流是虛擬式，跳到步驟S704。若該整體頂點串流是混合式，則將該混合式整體頂點串流中各該三個頂點(k=0~2)的局部資料結構中的旋轉後影像座標(xk,yk)填入至圖3C的完成式整體頂點串流中各對應頂點(k=0~2)的完整資料結構中的”旋轉後目標座標”欄位中，並跳到步驟S706。
步驟S704：由該三角形設定單元222根據該三個頂點的虛擬座標，計算該三個頂點的旋轉後空間座標、旋轉後影像座標及旋轉後經緯度。假設(W,H)=(Wr,Hr)=(4096,2048)及(Nx,Ny)=(144,72)，對各該三個頂點(k=0~2)，根據下列方程式(2)~(3)，利用其虛擬座標(ik,jk)，計算該旋轉後等距長方全景影像280內的旋轉後影像座標(xk,yk)：
xk=jk*W/Nx; /* 方程式(2)*/
yk=ik*H/Ny, /* 方程式(3)*/
再將上述旋轉後影像座標(xk,yk)填入至圖3D的完成式整體頂點串流中各對應頂點(k=0~2)的完整資料結構中的”旋轉後目標座標”欄位中。
假設(θstart,φstart)=(-180°,-90°)及(θstep and φstep)=(2.5°,2.5°)，對各該三個頂點(k=0~2)，根據下列方程式(4)~(5)，利用其虛擬座標(ik,jk)，計算該旋轉後等距長方全景影像280內的 旋轉後經緯度：
θk=θstart+θstep*jk; /*方程式(4) */
φk=φstart+φstep*ik, /*方程式(5)*/
對各該三個頂點(k=0~2)，根據下列方程式(9)~(11)，利用旋轉後經緯度(θk,φk)，計算該旋轉後等距長方全景影像280內的旋轉後空間座標(Xk,Yk,Zk)：
Xk=cos(φk *π/180)* cos(θk *π/180); /*方程式(9) */
Yk=cos(φk *π/180)* sin(θk *π/180); /*方程式(10) */
Zk=sin(φk *π/180). /*方程式(11) */
步驟S706：根據該逆旋轉矩陣R3D-1，對各該三個頂點(k=0~2)的旋轉後空間座標(Xk,Yk,Zk)，進行逆旋轉操作，以得到計算其旋轉前空間座標。根據該逆旋轉矩陣R3D-1(具有下列九個元素R11~R33)及以下三個方程式(12)~(14)，由該三角形設定單元222對各該三個頂點(k=0~2)的旋轉後空間座標(Xk,Yk,Zk)，進行逆旋轉操作，以得到計算該旋轉前空間座標(X’k,Y’k,Z’k)：
X’k=R11*Xk+R12*Yk+R13*Zk; /*方程式(12) */
Y’k=R21*Xk+R22*Yk+R23*Zk; /*方程式(13) */
Z’k=R31*Xk+R32*Yk+R33*Zk. /*方程式(14) */
步驟S708：根據上述旋轉前空間座標，計算各該三個頂點(k=0~2)的旋轉前經緯度。一實施例中，於該三 角形設定單元222中，提供以下程式碼以得到各該三個頂點的旋轉前經緯度：
Figure 109129490-A0101-12-0022-25
最後，得到各該三個頂點(k=0~2)的旋轉前經緯度(θ’k,φ’k)。
步驟S710：根據該三個頂點的旋轉前緯度及該北極點(天頂)與南極點(天底)的緯度，決定哪一個影像當作是紋理影像。假設φnorth=-90°及φsouth=90°，該三角形設定單元222計算下列三個第一緯度差值：(φ’0-φnorth),(φ’1-φnorth)及(φ’2-φnorth))及下列三個第二緯度差值：(φ’0-φsouth),(φ’1-φsouth)及(φ’2-φsouth)。若上述三個第一緯度差值都小於一臨界值TH，就指定該北極影像240當作該紋理影像且texIDK值=1；若上述三個第二緯度差值都小於一臨界值TH，就指定該南極影像250當作該紋理影像且texIDK值=2；否則，就指定該旋轉前等距長方全景影像230當作該紋理影像且texIDK值=0。將上述texIDK值填入至該完成式整體頂點串流中該三個頂點的完整資料結構中的”紋理ID”欄位中，且k=0~2。
步驟S714：根據該三個頂點的旋轉前經緯度(θ’k,φ’k)及紋理ID(texIDK)，計算旋轉前紋理座標(uk,vk)。一實施例中，於該三角形設定單元222中，提供以下程式碼以得到各該三個頂點的旋轉前紋理座標：
Figure 109129490-A0101-12-0023-28
Figure 109129490-A0101-12-0024-29
在本步驟結束時，若指定北極及南極影像之任一當作該紋理影像(texIDK等於1或2)，就可決定該三個頂點(k=0~2)的旋轉前紋理座標(uk,vk)。若指定北極及南極影像之任一當作該紋理影像(texIDK等於1或2)，就可將上述紋理座標(uk,vk)填入至該完成式整體頂點串流中該三個頂點的完整資料結構中的”旋轉前紋理座標”欄位，且k=0~2。
步驟S714：決定texIDK是否等於0。換言之，決定該旋轉前等距長方全景影像230是否被指定當作該紋理影像。若是，跳到步驟S718，否則，跳到步驟S720。
步驟S718：決定旋轉前的該三個頂點是否需要 修正。若是，跳到步驟S719，否則，跳到步驟S720。圖8是一個例子，顯示一旋轉後等距長方影像中的一旋轉後三角形VaVbVc以及一旋轉前等距長方影像中的一旋轉前三角形TaTbTc。請參考圖8，該旋轉後三角形VaVbVc位在該旋轉後等距長方影像280的中間部分，在該三角形設定單元222對該旋轉後三角形VaVbVc進行逆旋轉操作後，對應的旋轉前三角形TaTbTc的頂點係位在該旋轉前等距長方影像230的左側與右側。然而，旋轉前三角形TaTbTc的二個邊幾乎延伸橫跨整個旋轉前等距長方影像230，這是不合理的。因此，首先，該三角形設定單元222必須決定該旋轉前的三個頂點TaTbTc是否需要修正，亦即，決定在旋轉前等距長方影像230中，該旋轉前的三個頂點TaTbTc之一的位置是否距離其他二個頂點超過一臨界距離(例如Wo/2)。在圖8的例子中，因為左側的左頂點Tc的位置距離其他二個右頂點TaTb超過一臨界距離(例如Wo/2)，故決定該旋轉前的三個頂點TaTbTc需要修正。另一方面，若左側的左頂點Tc的位置距離其他二個右頂點TaTb小於一臨界距離(例如Wo/2)，則決定該旋轉前的三個頂點TaTbTc不需修正。
步驟S719：修正該旋轉前的三個頂點TaTbTc中位在該旋轉前等距長方影像230左側頂點的u座標。若該旋轉前的三個頂點TaTbTc需要修正，由該三角形設定單元222沿著u軸，修正(或繞回(wrap around))該旋轉前的三個頂點 TaTbTc中位在該旋轉前等距長方影像230左側的所有左側頂點的u座標，以重新定位所有左側頂點，使其更接近右側頂點。具體而言，該三角形設定單元222是透過將所有左側頂點的u座標分別加上Wo來得到新的u座標，以修正所有左側頂點的u座標。在圖8的例子中，該三角形設定單元222是透過將左側頂點Tc的u座標(即u1)分別加上Wo來得到新的u座標(即u2=u1+Wo)，以修正左側頂點Tc的u座標。修正之後，左側頂點Tc被移至右側成為頂點Tc’。請注意，雖然u2大於Wo，但在該顯像引擎226產生影像前，會進行以下模數(modulo)運算：u2’=(u2 mod Wo)，以將u2自動解譯為u2’。
一實施例中，於該三角形設定單元222中，提供以下程式碼以使所有左側頂點沿著u軸修正(或繞回)其u座標：
Figure 109129490-A0101-12-0026-26
Figure 109129490-A0101-12-0027-27
最後，對於將該旋轉前等距長方影像230指定當作該紋理影像的該三個頂點(k=0~2)，得到其對應的旋轉前紋理座標(u’k,v’k)。若指定該旋轉前等距長方影像230當作該紋理影像(texIDK等於0)，將上述旋轉前紋理座標(u’k,v’k)填入至該完成式整體頂點串流中該三個頂點的完整資料結構的”旋轉前紋理座標”欄位，且k=0~2。
步驟S720：將該三個頂點(k=0~2)的完整資料結構傳送給該顯像引擎226。由該三個頂點(k=0~2)形成該 三角形。該三角形設定單元222將該完成式整體頂點串流中該三個頂點(k=0~2)的完整資料結構傳送給該顯像引擎226。根據來自該三角形設定單元222的該完成式整體頂點串流中該三個頂點(k=0~2)的完整資料結構，該顯像引擎226進行三角形柵格化操作及紋理映射，以在該旋轉後等距長方影像280中產生一個三角形。具體而言，該顯像引擎226對一點Q(具有一影像/目標座標(xQ,yQ)且位在該旋轉後等距長方影像280中由該三個頂點(k=0~2)形成的該三角形內)進行三角形柵格化操作，以產生該點Q的紋理座標(uQ,vQ)，之後，根據該點Q及該三個頂點的紋理座標，該顯像引擎226利用任何合適的方法(例如最近相鄰內插法、雙線性內插法、或三線性內插法)，紋理映射來自紋理空間(該旋轉前等距長方全景影像230、該北極影像240及該南極影像250之其一)的紋理資料，以產生該點Q的目標值。依此方式，該顯像引擎226依序產生各點/像素的目標值直到該旋轉後等距長方影像280中該三個頂點內所有點都處理完成為止。
步驟S720：由該三角形設定單元222決定是否已處理完該虛擬式/混合式整體頂點串流中所有的頂點。若是，結束本流程，並產生該旋轉後等距長方影像280；若否，回到步驟S702以處理該虛擬式/混合式整體頂點串流中後續的三個頂點。
一實施例中，該處理單元205及該三角形設定 單元222利用一個具有一第一程式記憶體的一般用途(general-purpose)處理器(圖未示)來實施；該顯像引擎226利用一第二程式記憶體及一圖形處理單元(Graphics Processing Unit)(圖未示)來實施。該第一程式記憶體儲存一第一處理器可執行程式，而第二程式記憶體儲存一第二處理器可執行程式。當該一般用途處理器執行該第一處理器可執行程式時，該一般用途處理器被組態(configured)以運作有如：該處理單元205及該三角形設定單元222。當該圖形處理單元執行該第二處理器可執行程式時，該圖形處理單元被組態以運作有如：該顯像引擎226，係進行柵格化操作、紋理映射操作及混合操作，以產生一旋轉前等距長方全景影像230、一旋轉後等距長方全景影像280、一北極影像240及一南極影像250。
上述僅為本發明之較佳實施例而已，而並非用以限定本發明的申請專利範圍；凡其他未脫離本發明所揭示之精神下所完成的等效改變或修飾，均應包含在下述申請專利範圍內。

Claims (23)

  1. 一種轉換方法，適用於一個具一影像擷取模組及一顯像引擎的影像處理系統，其中該影像擷取模組捕捉一個一個具360度水平視域及180度垂直視域的視野，以產生多個相機影像，該方法包含：
    當該影像擷取模組被旋轉時，根據該影像擷取模組的旋轉角度，分別對來自一整體頂點串流的三個第一頂點的旋轉後空間座標進行逆旋轉操作，以得到該三個第一頂點的旋轉前空間座標；
    根據該三個第一頂點的旋轉前空間座標，計算該三個第一頂點的旋轉前經緯度；
    根據該三個第一頂點的旋轉前的緯度，從一旋轉前全景影像、一北極影像以及一南極影像選擇中選擇其一當作一紋理影像，以決定該三個第一頂點的紋理ID；以及
    對各該三個第一頂點，根據該紋理ID及該旋轉前經緯度，計算一旋轉前紋理座標以分別形成一第一完整資料結構；
    其中，該三個第一頂點的三個第一完整資料結構被輸入至該顯像引擎，以產生一旋轉後全景影像中之一個三角形。
  2. 如請求項1所記載之方法，更包含：
    重複上述所有步驟，直到來自該整體頂點串流的所有第一頂點都處理完為止，使得該顯像引擎完成該旋轉後全景影像。
  3. 如請求項1所記載之方法，其中各該三個第一頂 點的第一完整資料結構包含該旋轉前紋理座標、該紋理ID以及旋轉後目標座標。
  4. 如請求項3所記載之方法，其中該整體頂點串流包含多個群組，各群組包含三個具附加座標的第一頂點，以及各群組的三個第一頂點於一第一三角形網格形成一三角形，且該第一三角形網格用以模型化該旋轉後全景影像。
  5. 如請求項4所記載之方法，其中該三個第一頂點的附加座標係分別以該三個第一頂點於該旋轉後全景影像中的旋轉後空間座標及旋轉後影像座標來標示。
  6. 如請求項4所記載之方法，其中該進行逆旋轉操作步驟之前，更包含：
    當該影像擷取模組被旋轉時，根據該三個第一頂點的第一虛擬座標，計算該三個第一頂點的旋轉後影像座標以及旋轉後空間座標；
    其中該三個第一頂點的附加座標係以該三個第一頂點的第一虛擬座標來標示。
  7. 如請求項6所記載之方法，其中該些第一虛擬座標係有關一第一虛擬座標系統，且該第一虛擬座標系統係使用於模組化該旋轉後全景影像的一第一三角形網格，以及該些第一虛擬座標於該第一虛擬座標系統中係沿著一水平軸以二相鄰頂點間的水平間隔當作量測單位，且沿著一垂直軸以二相鄰頂點間的垂直間隔當作量測單位。
  8. 如請求項6所記載之方法，其中該計算該三個第一頂點的旋轉後影像座標以及旋轉後空間座標步驟更包含：
    根據該三個第一頂點的第一虛擬座標，計算該三個第一頂點的旋轉後影像座標；
    根據該三個第一頂點的第一虛擬座標，計算該三個第一頂點的旋轉後經緯度；以及
    根據該三個第一頂點的旋轉後經緯度，計算該三個第一頂點的旋轉後空間座標；
    其中，各該三個第一頂點的旋轉後影像座標被指定給各該第一頂點的第一完整資料結構中的旋轉後目標座標。
  9. 如請求項1所記載之方法，更包含：
    於該影像擷取模組被旋轉前，根據該些相機影像，產生該旋轉前全景影像。
  10. 如請求項1所記載之方法，其中於該進行逆旋轉操作步驟之前，更包含：
    當該影像擷取模組被旋轉時，根據一北極頂點串流及該旋轉前全景影像，產生一北極影像，以及，根據一南極頂點串流及該旋轉前全景影像，產生一南極影像。
  11. 如請求項10所記載之方法，其中該北極頂點串流包含多個群組，各群組包含三個具第二紋理座標的第二頂點，以及各群組的三個第二頂點於一第二三角形網格中形成一個三角形，該第二三角形網格用以模型化該旋轉前全景影 像之一北部區域，以及其中該南極頂點串流包含多個群組，各群組包含三個具第三紋理座標的第三頂點，以及各群組的三個第三頂點於一第三三角形網格中形成一個三角形，該第三三角形網格用以模型化該旋轉前全景影像之一南部區域。
  12. 如請求項11所記載之方法，其中該旋轉前全景影像之北部區域的範圍是從緯度-90°至一第一度數，該旋轉前全景影像之南部區域的範圍是從緯度+90°至一第二度數。
  13. 如請求項11所記載之方法，其中該產生該北極影像步驟包含：
    (n1)對來自該北極頂點串流中的一組三個第二頂點之任一，根據其於該旋轉前全景影像中之經緯度，計算其於該北極影像中的極地目標座標以形成一第二完整資料結構；
    (n2)由該顯像引擎，根據該三個第二頂點的三個第二完整資料結構，進行三角形柵格化操作及紋理映射操作，以產生該北極影像中的一個三角形；以及
    (n3)重複步驟(n1)及(n2)，直到來自該北極頂點串流的所有第二頂點都處理完為止，以產生該北極影像。
  14. 如請求項13所記載之方法，其中該步驟(n1)更包含：
    對各該三個第二頂點，根據其於該旋轉前全景影像中之經緯度(θ,φ)以及三個方程式，計算其於該北極影像中的極地目標座標(x,y)以形成該第二完整資料結構，其中該第二完整資 料結構包含於該北極影像中的極地目標座標(x,y)以及於該旋轉前全景影像中的起始紋理座標；
    其中該三個方程式如下：
    r=|φ-φpole|/Ω;
    x=(Wp/2) * (1+r * cos(θ *π/180)); 以及
    y=(Wp/2) * (1+r * sin(θ *π/180));
    其中φpole代表緯度-90°以及Wp代表該北極影像的邊長；以及
    其中Ω代表緯度-90°以及該第一度數間的緯度差。
  15. 如請求項14所記載之方法，其中來自該北極頂點串流的該三個第二頂點的第二紋理座標係以該旋轉前全景影像中的經緯度及起始紋理座標來標示。
  16. 如請求項13所記載之方法，其中於該些步驟(n1)~(n3)之前，該產生該北極影像步驟更包含：
    (n01)根據各該第二頂點的第二虛擬座標，計算各該第二頂點於該旋轉前全景影像中的起始紋理座標；以及
    (n02)根據各該第二頂點的第二虛擬座標，計算各該第二頂點於該旋轉前全景影像中的經緯度；
    其中，來自該北極頂點串流的該三個第二頂點的第二紋理座標係以該旋轉前全景影像中的第二虛擬座標來標示；
    其中該些第二虛擬座標係有關於一第二虛擬座標系統，該第二虛擬座標系統係使用於模組化該旋轉前全景影像的第 二三角形網格，以及該些第二虛擬座標於該第二虛擬座標系統中係沿著一水平軸以二相鄰頂點間的水平間隔當作量測單位，且沿著一垂直軸以二相鄰頂點間的垂直間隔當作量測單位。
  17. 如請求項11所記載之方法，其中該產生該南極影像步驟包含：
    (s1)對來自該南極頂點串流中的一組三個第三頂點之任一，根據其於該旋轉前全景影像中之經緯度，計算其於該南極影像中的極地目標座標以形成一第三完整資料結構；
    (s2)由該顯像引擎，根據該三個第三頂點的第三完整資料結構，進行三角形柵格化操作及紋理映射操作，以產生該南極影像中的一個三角形；以及
    (s3)重複步驟(s1)及(s2)，直到來自該南極頂點串流的所有第三頂點都處理完為止，以產生該南極影像。
  18. 如請求項17所記載之方法，其中該步驟(s1)更包含：
    對各該三個第三頂點，根據其於該旋轉前全景影像中之經緯度(θ,φ)以及三個方程式，計算其於該南極影像中的極地目標座標(x,y)以形成該第三完整資料結構，其中該第三完整資料結構包含該南極影像中的極地目標座標(x,y)以及於該旋轉前全景影像中的起始紋理座標；
    其中該三個方程式如下：
    r=|φ-φpole|/Ω;
    x=(Wp/2) * (1+r * cos(θ *π/180)); 以及
    y=(Wp/2) * (1+r * sin(θ *π/180));
    其中φpole代表緯度+90°以及Wp代表該南極影像的邊長；以及
    其中Ω代表緯度+90°以及該第二度數間的緯度差。
  19. 如請求項18所記載之方法，其中來自該南極頂點串流的該三個第三頂點的第三紋理座標係以該旋轉前全景影像中的經緯度及起始紋理座標來標示。
  20. 如請求項17所記載之方法，其中於該些步驟(s1)~(s3)之前，該產生該南極影像步驟更包含：
    (s01)根據各該第三頂點的第三虛擬座標，計算各該第三頂點於該旋轉前全景影像中的起始紋理座標；以及
    (s02)根據各該第三頂點的第三虛擬座標，計算各該第三頂點於該旋轉前全景影像中的經緯度；
    其中，來自該南極頂點串流的該三個第三頂點的第三紋理座標係以該旋轉前全景影像中的第三虛擬座標來標示；
    其中該些第三虛擬座標係有關於一第三虛擬座標系統，該第三虛擬座標系統係使用於模組化該旋轉前全景影像的第三三角形網格，以及該些第三虛擬座標於該第三虛擬座標系統中係沿著一水平軸以二相鄰頂點間的水平間隔當作量測單位，且沿著一垂直軸以二相鄰頂點間的垂直間隔當作量測 單位。
  21. 如請求項1所記載之方法，其中該計算該旋轉前紋理座標步驟更包含：
    若該紋理ID表示該北極影像及該南極影像之其一，根據各該三個第一頂點的旋轉前經緯度(θ’,φ’)、該紋理ID及三個方程式，計算各該三個第一頂點的旋轉前紋理座標(u,v)；
    其中該三個方程式如下：
    r=|φ’-φpole|/Ω;
    u=(Wp/2) * (1+r * cos(θ’ *π/180))；and
    v=(Wp/2) * (1+r * sin(θ’ *π/180));
    其中Wp代表該南極影像與該北極影像的邊長；以及
    其中，若該紋理ID表示該北極影像，φpole代表緯度-90°，否則，φpole代表緯度+90°。
  22. 如請求項1所記載之方法，其中該計算該旋轉前紋理座標步驟更包含：
    若該紋理ID表示該旋轉前全景影像，根據各該三個第一頂點的旋轉前經緯度(θ’k,φ’k)及以下方程式，計算各該三個第一頂點的旋轉前紋理座標(u,v)：
    s=(θ’k-θstart)/360;
    Figure 109129490-A0101-13-0008-24
    t=(φ’k-φstart)/180;
    u=s * Wo; 以及
    v=t * Ho;
    其中，θstart及φstart分別代表該旋轉前全景影像中最左上角頂點之經度及緯度；以及
    其中，Wo及Ho分別代表該旋轉前全景影像的寬度及高度。
  23. 如請求項22所記載之方法，其中該計算該旋轉前紋理座標步驟更包含：
    若該紋理ID表示該旋轉前全景影像，沿著u軸，量測該三個第一頂點位於該旋轉前全景影像中最左頂點與最右頂點的距離：
    若該最左頂點與最右頂點的距離大於一臨界值，將各左頂點的u座標加上Wo以得到其修正後u座標，其中各左頂點係位在該旋轉前全景影像的左側；以及
    若該最左頂點與最右頂點的距離大於該臨界值，根據各左頂點的修正後u座標，形成該第一完整資料結構以及根據該三個第一頂點的其餘頂點的旋轉前紋理座標(u,v)，形成該第一完整資料結構。
TW109129490A 2020-08-28 2020-08-28 用以產生旋轉後全景影像的轉換方法 TW202209250A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW109129490A TW202209250A (zh) 2020-08-28 2020-08-28 用以產生旋轉後全景影像的轉換方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109129490A TW202209250A (zh) 2020-08-28 2020-08-28 用以產生旋轉後全景影像的轉換方法

Publications (1)

Publication Number Publication Date
TW202209250A true TW202209250A (zh) 2022-03-01

Family

ID=81747093

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109129490A TW202209250A (zh) 2020-08-28 2020-08-28 用以產生旋轉後全景影像的轉換方法

Country Status (1)

Country Link
TW (1) TW202209250A (zh)

Similar Documents

Publication Publication Date Title
TWI615810B (zh) 具紋理映射功能的全景影像產生方法及裝置
Szeliski et al. Creating full view panoramic image mosaics and environment maps
TWI622021B (zh) 具接合功能的全景影像產生方法及裝置
CN101606177B (zh) 信息处理方法
CN107622474B (zh) 基于主视点的全景视频映射方法
EP3534336B1 (en) Panoramic image generating method and apparatus
US10186067B2 (en) Method and apparatus for generating panoramic image with rotation, translation and warping process
JP6672315B2 (ja) 画像生成装置、及び画像表示制御装置
WO2018157568A1 (zh) 全景图像映射方法
CN108520232A (zh) 立体环景影片产生方法及装置
JP2004187298A (ja) パノラマ画像および全方位画像の描画および符号化
CN110246161B (zh) 一种360度全景图像无缝拼接的方法
CN114143528A (zh) 多视频流融合方法、电子设备、存储介质
JP2023519466A (ja) 点群モデルの構築方法、装置、電子機器、記憶媒体及びプログラム
CN107948547B (zh) 全景视频拼接的处理方法、装置及电子设备
CN114549666B (zh) 一种基于agv的环视图像拼接标定方法
CN108765582B (zh) 一种全景图片显示方法及设备
EP3573018B1 (en) Image generation device, and image display control device
CN114511447A (zh) 图像处理方法、装置、设备及计算机存储介质
CN106127681A (zh) 一种图像采集方法、虚拟现实图像传输方法及显示方法
US11210840B1 (en) Transform method for rendering post-rotation panoramic images
TW202209250A (zh) 用以產生旋轉後全景影像的轉換方法
CN112218110B (zh) Vr全景视频的传输方法、装置、服务器及交互系统
Gao et al. Real‐time mosaic of multiple fisheye surveillance videos based on geo‐registration and rectification
CN114841884B (zh) 增强红外偏振图像与局部细节的方法、设备及储存介质