TWI649720B - 具有旋轉、位移及扭轉功能的全景影像產生方法及裝置 - Google Patents

具有旋轉、位移及扭轉功能的全景影像產生方法及裝置 Download PDF

Info

Publication number
TWI649720B
TWI649720B TW106122399A TW106122399A TWI649720B TW I649720 B TWI649720 B TW I649720B TW 106122399 A TW106122399 A TW 106122399A TW 106122399 A TW106122399 A TW 106122399A TW I649720 B TWI649720 B TW I649720B
Authority
TW
Taiwan
Prior art keywords
pole
vertices
geometric
vertex
inverse
Prior art date
Application number
TW106122399A
Other languages
English (en)
Other versions
TW201816722A (zh
Inventor
呂忠晏
洪培恆
陳景川
Original Assignee
信驊科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 信驊科技股份有限公司 filed Critical 信驊科技股份有限公司
Publication of TW201816722A publication Critical patent/TW201816722A/zh
Application granted granted Critical
Publication of TWI649720B publication Critical patent/TWI649720B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本發明揭露一種轉換裝置，適用於一個具一影像擷取模組的影像處理系統。該轉換裝置包含一幾何資訊偵測器、一參數設定單元、一原始組合單元以及一幾何處理電路。該幾何資訊偵測器量測該影像擷取模組的幾何資訊；該參數設定單元根據該幾何資訊，計算多個幾何參數以及決定是否將一致能訊號設為有效。該原始組合單元接收一原始頂點列表及該致能訊號，以產生一頂點/ID流。該幾何處理電路接收該些幾何參數，並根據該致能訊號是否被設為有效，對該頂點/ID流進行幾何轉換操作，以產生一修正頂點列表。其中，該幾何資訊包含該影像擷取模組的一位移及多個旋轉角度之至少其一。

Description

具有旋轉、位移及扭轉功能的全景影像產生方法及裝置
本發明係有關於全景影像(panoramic imaging)，特別地，尤有關於一種具有旋轉、位移及扭轉功能的全景影像產生方法及裝置。
360度全景影像，又稱為360全景影像、全(full)環景影像、球面(spherical)影像，是真實世界全景的視訊記錄，同時記錄了每一個方向的視野，且利用一全方向(omnidirectional)照相機或一組照相機(camera)來拍攝。一個360度全景影像涵蓋360度的水平視域(field of view，FOV)及180度的垂直視域。
等距長方視訊(equirectangular video)是一種使用於360度視訊的常見投影方式。等距長方投影的常見例子是一張標準的世界地圖，其將世界的球體表面映射到正交的坐標，亦即，等距長方投影將一個球面的地球的緯度及經度座標直接映射到網格(grid)的水平及垂直座標；在赤道上的影像扭曲(distortion)程度最小，而在南北極處的影像扭曲程度則無限大。二極點(即天頂(Zenith)、天底(Nadir))分別位在 頂部及底部邊緣，而且被延伸為等距長方影像的全部寬度。
即時數位影像穩定(stabilization)技術，又稱為電子影像穩定(EIS)技術，係應用於一些傳統的視訊照相機中。該技術移動視訊視框(frame)與視框間的電子影像，移動的程度足以抗衡照相機的動作(motion)，該技術使用可看見的視框邊界之外的像素，以提供移動的緩衝，藉由平穩化視框與視框間的位移來減少視訊令人困擾的震動。
本發明提出一種方法，應用於一360度照相機系統中，利用數位影像穩定技術，以減少相機晃動的程度。本發明更提出一種方法，具有混合紋理映射、旋轉及位移功能，應用於一360度照相機系統中，以提供全景影像的最佳品質。
有鑒於上述問題，本發明的目的之一是提供一種轉換裝置，可減少一影像擷取模組於曝光時因旋轉及位移(移動)導致的負面效果。
根據本發明之一實施例，係提供一種轉換裝置，適用於一個具一影像擷取模組的影像處理系統。該轉換裝置包含一幾何資訊偵測器、一參數設定單元、一原始組合單元以及一幾何處理電路。該幾何資訊偵測器用以量測該影像擷取模組的幾何資訊；該參數設定單元根據該幾何資訊，計算多個幾何參數以及決定是否將一致能訊號設為有效。該 原始組合單元接收一原始頂點列表及該致能訊號，以產生一頂點/ID流。該幾何處理電路接收該些幾何參數，並根據該致能訊號是否被設為有效，對該頂點/ID流進行幾何轉換操作，以產生一修正頂點列表。該原始頂點列表及該修正頂點列表二者皆包含複數個具資料結構的頂點，且該些資料結構定義一全景影像及來自該影像擷取模組的多個相機影像之間的頂點映射。該幾何資訊包含該影像擷取模組的一位移及多個旋轉角度之至少其一。其中，該頂點/ID流包含複數個群組，各群組包含具資料結構的三個頂點。
本發明之另一實施例，係提供一種轉換方法，適用於一個具一影像擷取模組的影像處理系統，該方法包含：當該影像擷取模組移動時，對一頂點/ID流進行轉換操作，直到處理完該頂點/ID流的所有頂點為止，以產生一修正頂點列表；其中，該進行轉換操作步驟包含：首先，根據多個幾何參數，對來自該頂點/ID流的一目前群組，依序進行幾何轉換操作，以產生三個暫時頂點在一全景影像中的座標，其中，該目前群組包含具資料結構的三個頂點；以及，然後，沿著一特定軸，在該三個暫時頂點及其虛點之中，量測最短距離以決定三個轉換後頂點在該全景影像中的座標。其中，該修正頂點列表包含複數個具資料結構的第一頂點，且該些資料結構定義一全景影像及來自該影像擷取模組的多個相機影像之間的頂點映射。其中，該些幾何參數包含 該影像擷取模組的一旋轉矩陣、一逆旋轉矩陣以及一位移之至少其一。其中，該頂點/ID流包含複數個群組，各群組包含具資料結構的三個頂點。
本發明之另一實施例，係提供一種影像處理系統，用以接收來自一校正系統的一原始頂點列表以及產生一全景影像，該系統包含：一影像擷取模組、一轉換裝置以及一影像處理裝置。該影像擷取模組，用以產生多個相機影像；該轉換裝置，用以根據該原始頂點列表，產生一修正頂點列表；該影像處理裝置，用以根據該修正頂點列表，進行柵格化操作、紋理映射操作以及混合操作，以產生該全景影像。其中該轉換裝置包含：一幾何資訊偵測器、一參數設定單元、一原始組合單元以及一幾何處理電路。該幾何資訊偵測器用以量測該影像擷取模組的幾何資訊；該參數設定單元根據該幾何資訊，計算多個幾何參數以及決定是否將一致能訊號設為有效。該原始組合單元接收一原始頂點列表及該致能訊號，以產生一頂點/ID流。該幾何處理電路接收該些幾何參數，並根據該致能訊號是否被設為有效，對該頂點/ID流進行幾何轉換操作，以產生一修正頂點列表。該原始頂點列表及該修正頂點列表二者皆包含複數個具資料結構的頂點，且該些資料結構定義一全景影像及來自該影像擷取模組的多個相機影像之間的頂點映射。該幾何資訊包含該影像擷取模組的一位移及多個旋轉角度之至少其一。其中，該頂點 /ID流包含複數個群組，各群組包含具資料結構的三個頂點。
本發明之另一實施例，係提供一種幾何處理電路，適用於一個具一影像擷取模組的影像處理系統，該電路包含一幾何轉換單元以及一個三角形組合單元。該幾何轉換單元，根據多個幾何參數，對一目前群組依序進行幾何轉換操作，以產生三個暫時頂點在一全景影像中的座標，其中，該目前群組包含具資料結構的三個頂點。該三角形組合單元，沿著一特定軸，在該三個暫時頂點及其虛點之中，量測最短距離以決定三個轉換後頂點在該全景影像中的座標。其中，該些資料結構定義該全景影像及來自該影像擷取模組的多個相機影像之間的頂點映射。其中，該些幾何參數包含一旋轉矩陣、一逆旋轉矩陣以及一位移之至少其一。
茲配合下列圖示、實施例之詳細說明及申請專利範圍，將上述及本發明之其他目的與優點詳述於後。
10‧‧‧全景影像處理系統
100‧‧‧轉換裝置
110‧‧‧旋轉偵測器
120‧‧‧位移偵測器
130‧‧‧參數設定單元
140‧‧‧對應性產生器
135‧‧‧原始組合單元
150、150A/B/C/A’/B’‧‧‧幾何處理電路
160‧‧‧影像擷取模組
170‧‧‧影像處理裝置
180‧‧‧視訊編碼器
21‧‧‧立方體架構
22‧‧‧球體
24~25、28‧‧‧重疊區域
23‧‧‧非重疊區域
610‧‧‧幾何轉換單元
620‧‧‧三角形組合單元
630A/B‧‧‧極點偵測單元
640‧‧‧逆幾何轉換單元
650A/B/C‧‧‧極點參數產生單
660‧‧‧三角形細分單元
67A/B、11‧‧‧極點處理模組
13‧‧‧幾何處理器
13a‧‧‧程式記憶體
13b‧‧‧控制器
13c‧‧‧輸入緩衝器
13d‧‧‧資料處理單元
13e‧‧‧輸出緩衝器
131‧‧‧算術邏輯單元組
132‧‧‧輸入多工矩陣
133‧‧‧暫存器組
134‧‧‧輸出多工矩陣
131a1、131b1、131c1~131c2、131d1~131d2‧‧‧輸入暫存器
131a2、131b2、131c3、131d3‧‧‧輸出暫存器
131a‧‧‧三角函數ALU
131b‧‧‧逆ALU
131c‧‧‧乘法ALU
131d‧‧‧加法ALU
第1圖顯示本發明之全景影像處理系統之示意圖。
第2A圖顯示一立方體架構與一球體之間的關係。
第2B圖顯示一等距長方全景影像，係源自於該影像擷取模組160的六個工作面相機影像(頂面、底面、左面、右面、正面、背面)的等距長方投影。
第3A圖顯示一球面座標系統及一等距長方座標系統間 的映射關係。
第3B圖顯示一個三角形網格，係用以模型化一球體表面。
第3C圖顯示一個多邊形網格，係用以組成/模型化該等距長方全景影像。
第3D圖顯示一個位在一球體表面上的極點三角形PQN。
第3E圖顯示一個四邊形PQN1N2，係對第3D圖的極點三角形PQN進行等距長方投影而得。
第4A圖顯示相對於一球面座標系統中三個軸的旋轉。
第4B圖顯示一球體位移的示例。
第5A-5C圖係根據一原始頂點列表及一致能訊號ES1，顯示該原始組合單元135運作的流程圖。
第5D圖係根據本發明一實施例，顯示應用於該原始頂點列表的二種三角形網格。
第6A圖係根據本發明一實施例，顯示該幾何處理電路的方塊圖。
第6B圖係根據本發明另一實施例，顯示該幾何處理電路的方塊圖。
第7圖顯示在等距長方領域中，該影像擷取模組在旋轉/位移前/後的頂點位置的一示例。
第8圖顯示該影像擷取模組160在經過90度旋轉過後，從一正面相機影像改變成一頂面相機影像的一示例。
第9A圖顯示一個三角形包含一極點的二種例子。
第9B圖顯示在完成三角形細分操作後，一三角形如何被分割為多個重組三角形的二種例子。
第10A圖係根據本發明另一實施例，顯示該幾何處理電路的方塊圖。
第10B圖係根據本發明另一實施例，顯示該幾何處理電路的方塊圖。
第11圖係根據本發明另一實施例，顯示該幾何處理電路的方塊圖。
第12A-12B圖係根據本發明一實施例，顯示一轉換方法的流程圖，而該轉換方法係適用於一個具有一被旋轉/被位移影像擷取模組的影像處理系統。
第12C-12D圖係根據本發明另一實施例，顯示一轉換方法的流程圖，而該轉換方法係適用於一個具有一被旋轉/被位移影像擷取模組的影像處理系統。
第12E-12F圖係根據本發明另一實施例，顯示一轉換方法的流程圖，而該轉換方法係適用於一個具有一被旋轉/被位移影像擷取模組的影像處理系統。
第12E-12G圖係根據本發明另一實施例，顯示一轉換方法的流程圖，而該轉換方法係適用於一個具有一被旋轉/被位移影像擷取模組的影像處理系統。
第12E-12H圖係根據本發明另一實施例，顯示一轉換方 法的流程圖，而該轉換方法係適用於一個具有一被旋轉/被位移影像擷取模組的影像處理系統。
第13圖顯示一幾何處理器的示意圖。
在通篇說明書及後續的請求項當中所提及的「一」及「該」等單數形式的用語，都同時包含單數及複數的涵義，除非本說明書中另有特別指明。在通篇說明書及後續的請求項當中所提及的相關用語定義如下，除非本說明書中另有特別指明。「極點三角形(pole triangle)」一詞指的是：在一個三角形網格(mesh)中，一個三角形具有一個頂點，係為一極點(天底或天頂，或稱北極點或南極點)，而該三角形網格用以模型化(modeling)一球體表面。「三角形細分(triangle tessellation)」一詞指的是：分割一個包含一極點之三角形的過程。「逆極點(inverse pole point)」一詞指的是：等距長方領域(domain)中的一點，且在(如幾何形狀轉換單元610)進行幾何轉換操作(將於稍後說明)之後，該點變成一南極點與一北極點之其一。對一南極點與一北極點進行逆幾何轉換操作之後，可得到二個逆極點的等距長方座標(將於稍後說明)。在本說明書中，具相同功能的電路元件使用相同的參考符號。
本發明的特色之一是減少影像擷取模組160曝 光時因旋轉及位移(移動)導致的負面效果。
第1圖顯示本發明之全景影像處理系統之示意圖。請參考第1圖，本發明全景影像處理系統10包含一轉換裝置100、一影像擷取模組160、一影像處理裝置170、一視訊編碼器180以及一對應性產生器(correspondence generator)140。該轉換裝置100包含一旋轉偵測器110、一位移偵測器120、一參數設定(setup)單元130、一原始組合(primitive assembly)單元135以及一幾何處理電路150。該轉換裝置100接收一原始頂點列表(vertex list)，並產生一修正頂點列表(將於稍後說明)。該影像擷取模組160可捕捉到一個視野，具有360度的水平FOV及180度的垂直FOV，以產生複數個相機影像。影像處理裝置170從該影像擷取模組160接收到該些相機影像之後，根據該修正頂點列表，進行柵格化操作(rasterization)、紋理映射操作以及混合操作，以產生一全景影像。最後，該視訊編碼器180將該全景影像編碼，並傳送該編碼視訊資料。該影像擷取模組160、該影像處理裝置170、該視訊編碼器180以及該對應性產生器140的詳細運作方式已揭露於台灣專利申請號106113372(上述專利的內容在此被整體引用作為本說明書內容的一部份)，故在此不予贅述。
請注意，該轉換裝置100必須配合該旋轉偵測器110及該位移偵測器120之至少其一，共同運作。
一實施例中，為捕捉到一個具有360度水平FOV及180度垂直FOV的視野，該影像擷取模組160包含複數個照相機，且該些照相機被妥善設置，故可涵蓋系統360度的水平視域及180度的垂直視域。例如，如第2A圖所示，該影像擷取模組160包含六台照相機(圖未示)，係分別架設在一立方體架構21的六個表面上，以同時捕捉到一個具有360度水平FOV及180度垂直FOV的真實世界視野，以產生六個相機影像。另一實施例中，該影像擷取模組160包含二個魚眼透鏡(fish-eye lens)(圖未示)。架設該影像擷取模組160的一個必要條件是任二個鄰近照相機或透鏡的視野之間應有足夠的重疊，有助於影像拼接(image mosaicking)。請注意，只要能捕捉到一個具有水平360度及垂直180度的FOV，本發明不限制該影像擷取模組11所包含的照相機或透鏡的數量。另外，為方便校正，在擷取影像期間，照相機或透鏡之間的相對位置及方向是固定的。該全景影像的例子包含，但不限於，一個360度全景影像以及一等距長方全景影像。
為清楚及方便描述，以下的例子及實施例皆以等距長方全景影像做說明，並假設該影像擷取模組160包含六台照相機，分別架設在一立方體架構21的六個表面上。
為方便儲存及顯示於電腦螢幕上，一球面投影被映射到一等距長方全景影像，而該等距長方全景影像的外觀比(aspect ratio)是2：1、該等距長方全景影像的水平座標代 表一方位角(azimuth angle)θ0°~360°以及該等距長方全景影像的垂直座標代表一仰角(elevation angle)φ-90°~90°。第2B圖顯示一等距長方全景影像，係來自於該影像擷取模組160的六台照相機輸出的六個相機影像的等距長方投影。參考第2B圖，區域28內的像素是由三個相機影像重疊而成、區域24~25內的像素分別是由個二相機影像重疊而成，至於區域23內的像素則來自於單一相機影像。該影像處理裝置170需對該些重疊區域進行混合操作，以接合(stitch)該六個相機影像。
第1圖也顯示本發明全景影像處理系統10的處理管線(pipeline)。該處理管線分為離線階段(offline phase)和連線階段。於離線階段，分別校正該六台照相機，該對應性產生器140採用適合的影像對準(registration)技術來產生一原始頂點列表，並且該原始頂點列表中的各頂點(具有自己的資料結構)提供該等距長方全景影像及該些相機影像之間(或該等距長方座標及該些紋理座標之間)的映射關係。例如，半徑2公尺(r=2)的球體22表面上劃出許多圓圈，當作經度及緯度，其多個交叉點被視為多個校正點。該六台照相機捕捉該些校正點，且該些校正點於該些相機影像上的位置為已知。然後，因為該些校正點和該些相機座標的視角(view angle)被連結，故可建立該等距長方全景影像及該些相機影像之間的映射關係。在本說明書及後續的請求項當中，一個 具映射關係的校正點被定義為一個”頂點”。於離線階段，該對應性產生器140完成所有必要計算。
根據該等距長方全景影像及該些相機影像的幾何形狀，該對應性產生器140對一個多邊形網格的各頂點，計算該等距長方座標及該紋理座標，以產生該原始頂點列表，其中該多邊形網格用以組成/模型化該等距長方全景影像。最後，該對應性產生器140將該原始頂點列表傳送給該轉換裝置100。該原始頂點列表一旦產生後，就被該轉換裝置100重覆使用以產生一修正頂點列表，且該影像處理裝置170接收該修正頂點列表並接合後續的相機影像。
一實施例中，該對應性產生器140係利用一處理器及一記憶體來實施(圖未示)。該記憶體儲存一處理器可執行的程式。當該處理器執行該處理器可執行的程式時，該處理器被組態以運作(configured to function)有如該對應性產生器140：根據該等距長方全景影像及該些相機影像的幾何形狀，產生一原始頂點列表。
於連線階段(online phase)，進行最少的運作來建立該等距長方全景影像。根據該原始頂點列表，該影像處理裝置170將該影像擷取模組160輸出的後續相機影像視為紋理、將該些後續相機影像映射至該多邊形網格，並將其接合以即時(real time)形成該等距長方全景影像。請注意，固定該些校正點的視角是使用該原始頂點列表的必要條件，一 旦該些校正點的視角被改變(例如該影像擷取模組160被旋轉或/及位移)，就必須(例如由該轉換裝置100)即時產生一修正頂點列表。本發明就是用來解決上述問題。
第3A圖顯示一球面座標系統及一等距長方座標系統間的映射關係。假設一點P(x,y,z)位在一單位球體(unit sphere)的表面上，具有一球面座標(1,θ,φ)，其中，x=cosφcosθ、y=sinφ以及z=cosφsinθ。該球面投影被映射到一等距長方座標系統，故在球面座標系統的該點P(x,y,z)係對應至該等距長方座標系統的點P’(θ,φ)。
第3B圖顯示一個三角形網格，係用以模型化一球體表面。如第3D圖所示，假設在一球體22表面上有一極點三角形PQN且其中的頂點N是一極點，當第3D圖中球體表面上的極點三角形PQN被投影至2D等距長方領域時，該極點三角形PQN就變成一個四邊形PQN1N2，如第3E圖所示。具體而言，在完成等距長方投影之後，頂點P及N分別具有等距長方座標(θP，φP)及(θQ，φQ)，而極點N被視為分別具有等距長方座標(θP，φN)及(θQ，φN)的二個點N1及N2，其中，φP=φQ。第3C圖顯示一個多邊形網格，係用以組成/模型化該等距長方全景影像。透過對第3B圖的三角形網格進行一等距長方投影而產生第3C圖的多邊形網格，而第3C圖的多邊形網格是多個四邊形與多個三角形的集合。請注意，第3C圖的多邊形網格中，只有最上面一列及最下面一列是由多個四邊形所形成， 這是因為對第3B圖的多個極點三角形進行投影而得。
第4A圖顯示相對於一球面座標系統中三個軸的旋轉。一基本旋轉是對該球面座標系統的三個軸的至少其一軸進行旋轉。該影像擷取模組160分別相對於x、y、z軸旋轉角度α、β、γ時，三個基本旋轉矩陣的旋轉向量如下：
在上述旋轉矩陣中，係利用右手定律來將其交替符號(alternating sign)編碼。因此，源自上述旋轉矩陣的3D旋轉矩陣等於R3D=RxRyRz。請參考第1圖，該旋轉偵測器110分別偵測該影像擷取模組160相對於x、y、z軸的三個旋轉角度α、β、γ，並傳送該些旋轉角度α、β、γ給該參數設定單元130。
第4B圖顯示球體位移(移動)之一示例。參考第4B圖，點O是一原始球體(也就是該影像擷取模組160)位移前的中心點，而點O’則是位移後球體(也就是位移後的影像擷取模組160)的中心點；位在該原始球體表面上的點P被位移至該位移後球體表面上的點P’。雖然該影像擷取模組160被位移，但點P相對於點O以及點P’相對於點O’具有相同的紋理 (texture)座標。本領域人士熟知的是球面/等距長方座標和相對於中心點O的角度有關，因此，計算點P’相對於中心點O的球面/等距長方座標相當於計算點Q相對於中心點O的球面/等距長方座標，其中點Q位在向量及該原始球體圓周的交叉點上。該位移偵測器120首先測量位移後，因為點P相對於中心點O的球面/等距長方座標為已知，故可得到。透過將向量的大小(magnitude)正規化(normalize)至1，可得到點Q相對於中心點O的球面/等距長方座標()。
請再參考第1圖，該位移偵測器120測量該影像擷取模組160的位移，並將位移傳送給該參數設定單元130。一實施例中，該位移偵測器120係利用一g感測器、加速度計(accelerometer)、或陀螺儀(gyro-meter)來實施。一實施例中，該參數設定單元130根據旋轉角度α、β、γ，利用方程式(1)產生一旋轉矩陣R3D及一逆旋轉矩陣R3D -1。該參數設定單元130亦傳送多個幾何參數(包含該旋轉矩陣R3D、該逆旋轉矩陣R3D -1及/或該位移)給該幾何處理電路150。再者，根據該些旋轉角度α、β、γ及該位移，該參數設定單元130決定該影像擷取模組160是否移動(例如：旋轉或/及位移)。例如，若該些旋轉角度等於0且該位移為零向量，表示該影像擷取模組160並沒有旋轉或位移，該參數設定單元130會將致能訊號ES1設為無效(de-assert)；若該些旋轉角度之至 少其一不等於0且該位移為零向量，表示該影像擷取模組160有被旋轉，但沒有位移，該參數設定單元130會將該致能訊號ES1設為有效(assert)；若該些旋轉角度等於0且該位移不是零向量，表示該影像擷取模組160沒有被旋轉，但有位移，該參數設定單元130會將該致能訊號ES1設為有效。之後，該參數設定單元130會將設為有效/無效的致能訊號ES1傳送給該原始組合單元135以及該幾何處理電路150。其中，該致能訊號ES1是用來致能該幾何處理電路150。
第5A-5C圖係根據一原始頂點列表及一致能訊號ES1，顯示該原始組合單元135運作的流程圖。如台灣專利申請號106113372的揭露內容所載，該原始頂點列表是多個頂點的列表，該些頂點形成該多邊形網格的多個四邊形(如第3C圖)，且各頂點由一相對應資料結構所定義。該資料結構定義了一目的空間及一紋理空間之間(或該等距長方座標及該紋理座標之間)的頂點映射關係。該原始頂點列表的第一實施例中，該資料結構包含，但不受限於，等距長方座標、一極點旗標、涵蓋/重疊的相機影像數目、在各相機影像中的紋理座標、各相機影像的ID、以及各相機影像的混合權值。表一顯示該原始頂點列表中各頂點之資料結構的一個例子。
第5D圖係根據本發明一實施例，顯示應用於該原始頂點列表的二種三角形網格。參考第5D圖，應用於該原始頂點列表的三角形網格有二種：扇形及長條形。例如：扇形三角形網格適用於第3C圖的多邊形網格的最上面一列及最下面一列，而長條形三角形網格則適用於第3C圖的多邊形網格的其他列。請注意，雖然第5D圖的扇形三角形網格及長條形三角形網格內的頂點數目(Nv)分別是5及6，實際實施時，可根據不同需求而任意定義不同的頂點數目。該原始頂點列表包含多個網格封包(packet)，且各網格封包包含一標頭(header)及一承載資料部(payload)。該標頭包含一型式旗標(指出是扇形或長條形)及一數目Nv。該數目Nv指出有Nv個頂點包含在該承載資料部或該三角形網格內。以下，請參考第1、3A-3E及5A-5D圖，說明該原始組合單元135的運作。 假設該對應性產生器140已事先將該原始頂點列表傳送給該原始組合單元135。
步驟S502：將一參數primitiveID重置為0。
步驟S504：判斷是否已處理完來自該原始頂點列表的所有網格封包。若是，本流程結束，否則，跳到步驟S506。
步驟S506：接收一型式旗標及一數目Nv。亦即：接收一網格封包的一標頭。
步驟S508：判斷該型式旗標為何。若是扇形，跳到步驟S510；若是長條形，跳到步驟S532。
步驟S510：接收一第一頂點如V1及一第二頂點如V2，並將一參數cnt的值設為2。
步驟S512：接收下一個頂點如V3，並將參數cnt的值加1。
步驟S514：判斷該致能訊號ES1是否被設為有效。若該致能訊號ES1被設為有效，跳到步驟S522；否則，跳到步驟S516。
步驟S516：利用頂點V1、V1’、V2、V3組成一個四邊形，並輸出其對應primitiveID與原始頂點V1、V1’、V2、V3及其資料結構當作該頂點/ID流的一部分。如上所述，該扇形三角形網格適用於多邊形網格的最上面一列及最下面一列，由於頂點V1被視為一極點，故頂點V1’相當於頂點 V1。因為該致能訊號ES1被設為無效，該些頂點V1、V1’、V2、V3及其資料結構與primitiveID就被繞道傳送(bypassed)至該影像處理裝置170。
步驟S518：複製頂點V3至頂點V2，並將參數primitiveID的值加1。亦即：以頂點V3替代頂點V2。
步驟S520：判斷該參數cnt的值是否大於或等於Nv。若是，跳到步驟S504；否則，跳到步驟S512。
步驟S522：利用頂點V1、V2、V3組成一個三角形，並輸出其對應primitiveID與原始頂點(primitive vertices)V1、V2、V3及其資料結構當作一頂點/ID流的一部分。因為該致能訊號ES1被設為有效，該些頂點V1、V2、V3及其資料結構與primitiveID就被傳送至幾何處理電路150。
步驟S532：接收一第一頂點如V1及一第二頂點如V2，並將一參數cnt設為2。
步驟S534：接收後續二個頂點如V3、V4，並將參數cnt的值加2。本例中，四邊形V1-V4被分割為二個三角形V1、V3、V4及V1、V2、V4。
步驟S536：利用頂點V1、V3、V4組成一個三角形，並輸出其對應primitiveID與原始頂點V1、V3、V4及其資料結構當作該頂點/ID流的一部分。然後，將參數primitiveID的值加1。
步驟S538：利用頂點V1、V2、V4組成一個三角 形，並輸出其對應primitiveID與原始頂點V1、V2、V4及其資料結構當作該頂點/ID流的一部分。然後，將參數primitiveID的值加1。
步驟S540：複製頂點V3至頂點V1、複製頂點V4至頂點V2。亦即：以頂點V3替代頂點V1、以頂點V4替代頂點V2。
步驟S542：判斷該參數cnt的值是否大於或等於Nv。若是，跳到步驟S504；否則，跳到步驟S534。
根據第5A-5C圖，該原始組合單元135接收該原始頂點列表及該致能訊號ES1以輸出一頂點/ID流(包含多個三角形及四邊形的原始頂點與primitiveID)。請注意，因為該些三角形及四邊形的primitiveID對第6B、10B、11圖的該幾何處理電路150A’/B’/C而言是必須的，故第5A-5C圖描述的該原始組合單元135操作方式係與第6B、10B、11圖的該幾何處理電路150A’/B’/C一起運作。相較之下，由於第6A、10A圖的該幾何處理電路150A/B並不需要接收該些三角形及四邊形的primitiveID，故第5A-5C圖描述的該原始組合單元135操作方式也就不需處理/產生該些三角形及四邊形的primitiveID。
第6A圖係根據本發明一實施例，顯示該幾何處理電路的方塊圖。該幾何處理電路150A/B/C/A’/B’根據該致能訊號ES1及該些幾何參數，對該頂點/ID流進行幾何轉換、 極點偵測及三角形分割操作以產生一修正頂點列表。
請參考第6A圖，該幾何處理電路150A包含一幾何轉換單元610、一三角形組合單元620、一極點偵測單元630A以及一極點處理模組67A。該極點處理模組67A包含一逆幾何轉換單元640、一極點參數產生單元650A以及一三角形細分單元660。若該致能訊號ES1被設為有效，該幾何處理電路150A/B/C/A’/B’就會運作，反之，若該致能訊號ES1被設為無效，該幾何處理電路150A/B/C/A’/B’就會被禁能且該頂點/ID流會被繞道傳送至該影像處理裝置170。此外，每次輸入來自該頂點/ID流的三個頂點至該幾何處理電路150A/B/C/A’/B’。
根據該旋轉矩陣及該位移之至少其一，該幾何轉換單元610依序對來自該頂點/ID流的各該三個頂點(及其資料結構)進行幾何轉換操作以產生三個暫時頂點的暫時等距長方座標。具體而言，該幾何轉換操作包含下列依序的操作：(1)將一頂點的原始等距長方座標轉換為第一球面座標；(2)根據該位移，將該第一球面座標映射至第二球面座標；(3)根據該旋轉矩陣，將該第二球面座標映射至第三球面座標；(4)將該第三球面座標轉換為暫時等距長方座標。請注意，步驟(2)及(3)是可交換的，且非必須的。最後，該幾何轉換單元610以該暫時等距長方座標更新/替代各該三個頂點的資料結構中的原始等距長方座標，以產生三個暫時頂點。
第7圖顯示在等距長方領域中，該影像擷取模組160在旋轉/位移前/後的頂點位置的一示例。請參考第7圖，假設在等距長方領域中的△ABC係由一原始球體(即旋轉/位移前的該影像擷取模組160)表面上的原始三角形△abc(圖未示)映射而來，而在該影像擷取模組160被旋轉/位移後，頂點A、B、C被再映射(於本說明書中，又稱為”幾何轉換”)至該等距長方領域中的不同位置A’、B’、C’。於本例中，該幾何轉換單元610接收三個輸入頂點A、B、C的資料結構、根據該旋轉矩陣R3D及該位移之至少其一，對頂點A、B、C的原始等距長方座標進行幾何轉換操作以產生對應的三個暫時頂點A’、B’、C’的暫時等距長方座標、以該些暫時頂點A’、B’、C’的暫時等距長方座標更新頂點A、B、C的資料結構、以及傳送三個暫時頂點A’、B’、C’的更新資料結構至該三角形組合單元620。
請注意，因為沿著整個θ軸有2π徑度(radian)，在θ軸的各點是以週期的方式產生(稱為”θ軸的週期特性”)。例如，請參考第7圖的下半部，假設一點Z在等距長方座標系統中的座標為(θ,φ)，且為一實點(real point)；由於θ軸週期特性的關係，其虛點(imaginary point)Z’定義為(θ’,φ)，其中
請再次注意，沿著θ軸，點Z相當於點Z’。本發 明的三角形組合操作的特色就是從幾何轉換後三角形的再映射頂點A’、B’、C’及其虛點A”、B”、C”中，去找到沿著θ軸的最短距離。在完成三角形組合操作後，就決定了該幾何轉換後三角形的轉換頂點。一實施例中，請參考第7圖，為進行三角形組合操作，在該三角形組合單元620中，提供下列程式碼以決定該幾何轉換後三角形的轉換頂點。
△ A'B'=|θ A'-θ B'|； △ B'C'=|θ B'-θ C'|； △ C'A'=|θ C'-θ A'|； if(△A’B’>=π){//點C’為一參考點△ C'A"=|θ C'-θ A"|；△ B"C'=|θ B"-θ C'|；sA=△C’A”<△C’A’？1：0；//選1即選虛點A”，選0即選實點A’ sB=△B”C’<△B’C’？1：0；//選1即選虛點B”，選0即選實點B’ if(sA==1 & sB==1)△A”B”C’ else if(sA==1 & sB==0)△A”B’C’ else if(sA==0 & sB==1)△A’B”C’ else △A’B’C’}else{//點A’,B’皆為參考點△ B'C"=|θ B'-θ C"|；sC=△B’C”<△B’C’？1：0；//選1即選虛點C”，選0即選實點C’ if(sC)△A’B’C” else △A’B’C’}
換言之，該幾何轉換後三角形即是△A”B”C’、△A”B’C’、△A’B”C’、△A’B’C’以及△A’B’C”之其一。最後，該三角形組合單元620以該幾何轉換後三角形的三個轉換頂點的等距長方座標更新暫時頂點A’、B’、C’的資料結構，並產生該些轉換頂點的資料結構。請注意，在完成該幾何轉換及三角形組合操作後，對該三個輸入頂點A、B、C而言，只修正其資料結構的等距長方座標，而並沒有改變其他參數。換言之，假設不考慮極點，在完成該幾何轉換及三角形組合操作後，相較於該原始頂點列表，在該修正頂點列表中，僅修改所有頂點的資料結構的等距長方座標。
在完成該幾何轉換操作後，接下來是判斷由三個暫時頂點所形成的一個暫時三角形是否包含一極點。第8圖顯示該影像擷取模組160在經過90度旋轉過後，從一正面相機影像改變成一頂面相機影像的一示例。請參考第8圖的左側，該影像擷取模組160在旋轉90度後，原先在一正面相機影像的三角形abc變成在一頂面相機影像的三角形a’b’c’且該三角形a’b’c’包含一極點N。之後，在對該頂面相機影像進行等距長方座標投影之後，其等距長方全景影像如第8圖的右側所示。若根據該等距長方全景影像的三角形A’B’C’ 進行柵格化操作，由於三角形a’b’c’包含一極點N，故其柵格化操作一定會出錯。為確保在該影像處理裝置170中的後續柵格化操作被正確地執行，就必須判斷由三個暫時頂點所形成的一個暫時三角形是否包含一極點，以及，若該暫時三角形包含一極點，再判斷是否要將該轉換後的三角形分割為多個重組/次三角形。
第9A圖顯示一個三角形包含一極點的二種例子。請參考第9A圖，在例子一中，該三角形的一邊跨過該極點p，而在例子二中，該三角形的三邊及三頂點包圍該極點p。在接收該三個暫時頂點後，極點偵測單元630A進行一極點內部(pole inside(PI))測試，以決定由該三個暫時頂點所形成的該暫時三角形是否包含一極點。一實施例中，在該極點偵測單元630A中，提供下列程式碼以進行該極點內部測試。
Bool pole_inside_test(△θa’b’,△θb’c’,△θc’a’){perimeter=△θa’b’+△θb’c’+△θc’a’；PI_flag=(perimeter==2π)；return(PI_flag)；}
換言之，在例子一或二中，都滿足條件”△θa’b’+△θb’c’+△θc’a’=2π”。請注意，三個頂點a’、b’、c’都不是極點；△θa’b’表示沿著θ軸，二個頂點a’、b’之間的最短距離；△θc’a’表示沿著θ軸，二個頂點c’、a’之間的最短距離；△θb’c’表示沿著θ軸， 二個頂點b’、c’之間的最短距離。若該三個暫時頂點沒有通過該極點內部測試(即PI_flag不等於1)，表示該暫時三角形未包含任何極點且該極點偵測單元630A將一致能訊號ES2設為無效。根據該被設為無效的致能訊號ES2，該極點處理模組67A被禁能以繞道輸出該些轉換後頂點及其資料結構以當作該修正頂點列表的一部分。反之，若該三個暫時頂點通過該極點內部測試(即PI_flag等於1)，表示該暫時三角形包含一極點；該極點偵測單元630A將一致能訊號ES2設為有效、根據該三個暫時頂點的等距長方座標而決定是哪一個極點(北極點或南極點)、並傳送一指示訊號(指出是北極點或南極點)至該逆幾何轉換單元640。根據該被設為有效的致能訊號ES2，該極點處理模組67A被致能；在接收該指示訊號(指出是北極點或南極點)後，根據該逆旋轉矩陣及該位移，該逆幾何轉換單元640對該北/南極點的球面/等距長方座標進行逆幾何轉換操作，以得到並傳送一目標逆極點(即將要變成北極點或南極點)的等距長方座標。該逆幾何轉換操作包含以下依序的操作：(1)根據該位移，將該北/南極點的原始球面座標(r,φ,θ)=(1,90°,0°)/(1,-90°,0°)映射至第一球面座標；(2)根據該逆旋轉矩陣，將該第一球面座標映射至第二球面座標；(3)將第二球面座標轉換為一等距長方座標；其中，該等距長方座標是屬於該目標逆極點(即將要變成北極點或南極點)；步驟(1)及(2)是可交換的，且非必須的。
在接收該目標逆極點的等距長方座標後，該極點參數產生單元650A根據該三個輸入頂點及該逆極點的等距長方座標，對該三個輸入頂點進行內插(interpolation)操作以產生該目標逆極點的相關參數，例如列在表一的參數(如：涵蓋/重疊的相機影像數目、在各相機影像中的紋理座標、各相機影像的ID、以及各相機影像的混合權值)。在該些相關參數產生後，即可建立該目標逆極點(對應至該北/南極點)的資料結構，因此該北/南極點就準備好可變成一極頂點(pole vertex)p(如第9B圖所示)。接著，該極點參數產生單元650A將該目標逆極點(即該極頂點p)及其資料結構傳送給該三角形細分單元660。
為確保在該影像處理裝置170中後續柵格化操作被正確地執行，若任何三角形包含一極點如第9A圖的例子一或二，就需要將該三角形分割為多個重組的(regrouped)三角形，其中該極點變成一極頂點，如第9B圖所示。在接收從來自該三角形組合單元620的三個轉換後頂點以及來自該極點參數產生單元650A的該極頂點之後，該三角形細分單元660進行三角形分割操作以輸出該些重組三角形的重組頂點及其資料結構以當作該修正頂點列表的一部分。如第9B圖所示，在完成三角形分割操作之後，在例子一中有二個極點三角形，而在例子二中有三個極點三角形。該三角形細分單元660每次輸出一個三角形。在例子一中，該三角形細分單元 660依序輸出二個重組三角形的重組頂點a’b’p與重組頂點a’c’p及其資料結構，亦即，每次輸出三個頂點。同樣地，在例子二中，該三角形細分單元660依序輸出三個重組三角形的重組頂點a’b’p、a’c’p與b’c’p及其資料結構，亦即，每次輸出三個頂點。如上所述，相較於該原始頂點列表，在該修正頂點列表中，只有修改所有頂點的資料結構的等距長方座標。此外，取決於該影像擷取模組160移動(旋轉/位移)後該些極點落在何處，在該修正頂點列表中的頂點數目係大於或等於在該原始頂點列表中的頂點數目。舉例而言，若所有暫時頂點的其中二點剛好是該二個極點，則在該修正頂點列表中的頂點數目等於在該原始頂點列表中的頂點數目。
第6B圖係根據本發明另一實施例，顯示該幾何處理電路的示意圖。第6A圖及第6B圖之間的差異在於：(1)極點偵測單元630A及630B的運作方式不同；(2)在第6A圖中該頂點/ID流不包含參數primitiveID，而在第6B圖中該頂點/ID流包含參數primitiveID(將於稍後說明)；(3)在第6A圖中該幾何參數不包含primitiveIDN及primitiveIDS，而在第6B圖中該幾何參數包含與二個逆極點有關的primitiveIDN及primitiveIDS(將於稍後說明)。
為了與該幾何處理電路150A’一起運作，該參數設定電路130事先對該北極點及該南極點的球面/等距長方座標進行逆幾何轉換操作，以得到二個逆極點(即將要變成 北極點或南極點)的等距長方座標，其中，在完成幾何轉換操作之後，該二個逆極點將變成該北極點及該南極點。此外，根據該二個逆極點的等距長方座標，該參數設定電路130另決定第3C圖中哪些多邊形分別包含該二個逆極點。例如，請參考第3C圖，假設除了最上面一列及最下面一列的四邊形之外，從左上到右下，將各四邊形分割為二個三角形，而且以從上到下、從左到右的方式，指定一獨特的primitiveID給各多邊形，因此，在第3C圖的例子中，最上面一列的多邊形(即四邊形)的primitiveID的編號從0到9、第二列的多邊形(即三角形)的primitiveID的編號從10到29、第三列的多邊形(即三角形)的primitiveID的編號從30到49、第四列的多邊形(即四邊形)的primitiveID的編號從50到59。一實施利中，假設各四邊形是16像素x16像素的正方形，則該等距長方全景影像的寬度(Wp)等於4096，且最左上角的等距長方座標為(0,0)，舉例而言，若一逆極點(即將變成一北極點)的等距長方座標為(33,47)，則Y=(47/16)=2，X=(33/16)=2，pitch=(Wp/16)=256；由於各四邊形是從左上角到右下角被分割為二個三角形，假設左下角的三角形是偶數及右上角的三角形是奇數，明顯地，一個四邊形的左下角三角形會包含該逆極點(33,47)，因此其primitiveIDN=256+256*2+2*2=772。依此方式，根據該等距長方全景影像的該四邊形的尺寸與寬度(Wp)，該參數設定電路130可計算出具有哪些預設ID(例如 具有primitiveIDN及primitiveIDS)的多邊形(四邊形/三角形)分別包含該二個逆極點。請注意，有可能一個逆極點落在二個鄰近多邊形的邊上；例如，與一北極點有關的一個逆極點可能落在二個鄰近多邊形的邊緣上，於此狀況下，便有二個分別具有primitiveIDN-1及primitiveIDN-2的多邊形包含該逆極點，因此，包含該二個逆極點的多邊形的數目範圍從2到4，故該些預設ID的數目範圍也是從2到4。因此，由該參數設定電路130產生的幾何參數另包含複數個預設ID，例如：primitiveIDN-1、primitiveIDN-2、primitiveIDS-1及primitiveIDS-2。
該極點偵測單元630B比較三個輸入頂點的primitiveID與來自該幾何參數的該些預設ID，以產生一致能訊號ES2。若primitiveID與該些預設ID都不匹配，該極點偵測單元630B將致能訊號ES2設為無效；反之，若primitiveID與該些預設ID之任一匹配，該極點偵測單元630B將致能訊號ES2設為有效，並將一指示訊號(指出是一南/北極點)傳送給該逆幾何轉換單元640。例如，若primitiveID與primitiveIDN匹配，該極點偵測單元630B將致能訊號ES2設為有效，並將一指示訊號(指出是北極點)傳送給該逆幾何轉換單元640。因為該幾何處理電路150A及150A’的其他元件都相同，在此不予贅述，且因為第6B圖的其他元件的運作方式也都與第6A圖相同，在此不予贅述。
第10A圖係根據本發明另一實施例，顯示該幾何處理電路的示意圖。第6A圖的幾何處理電路150A及第10A圖的幾何處理電路150A/B之間的差異在於：(1)該極點處理模組67B不包含該逆幾何轉換單元640；(2)由該參數設定電路130產生的幾何參數另包含二個逆極點的等距長方座標；(3)極點參數產生單元650A及650B的運作方式有些微不同。因為該極點處理模組67B不包含該逆幾何轉換單元640，為了與該幾何處理電路150B一起運作，該參數設定電路130根據該逆旋轉矩陣及該位移，事先對該北極點及該南極點的球面/等距長方座標進行逆幾何轉換操作，以得到二個逆極點(在進行幾何轉換操作後，即將變成北極點及南極點)的等距長方座標，因此由該參數設定電路130產生的幾何參數另包含該二個逆極點的等距長方座標。根據來自該極點偵測單元630A的指示訊號(指出是南極點或北極點)，該極點參數產生單元650B從該二個逆極點中選擇其一當作一目標逆極點。之後，根據該目標逆極點與三個輸入頂點的等距長方座標，該極點參數產生單元650B對該三個輸入頂點及其資料結構進行內插操作，以產生該目標逆極點的相關參數，例如，列在表一的參數：涵蓋/重疊的相機影像數目、在各相機影像中的紋理座標、各相機影像的ID、以及各相機影像的混合權值。在產生該些相關參數後，即可建立該目標逆極點(對應至該北/南極點)的資料結構，因此該北/南極點就準備好可變成一 極頂點(如第9B圖所示)。接著，該極點參數產生單元650B將該極頂點(對應該目標逆極點)及其資料結構傳送給該三角形細分單元660。因為第10A圖的其他元件的運作方式與第6A圖都相同，在此不予贅述。
第10B圖係根據本發明另一實施例，顯示該幾何處理電路的示意圖。第6B圖的幾何處理電路150A’及第10B圖的幾何處理電路150B’之間的差異在於：(1)該極點處理模組67B不包含該逆幾何轉換單元640；(2)極點參數產生單元650A及650B的運作方式有些微不同，而極點參數產生單元650B的運作方式請參照第10A圖的說明。
第11圖係根據本發明另一實施例，顯示該幾何處理電路的示意圖。請參考第11圖，該幾何處理電路150C包含一頂點處理模組11以及一極點偵測單元630B。該頂點處理模組11包含一幾何轉換單元610C、一極點參數產生單元650C、一三角形組合單元620C、以及一三角形細分單元660C。在本實施例中，該極點偵測單元630B配合該參數設定單元130的運作方式與第6B圖相同，故在此不予贅述。
若該致能訊號ES2被設為無效，該極點參數產生單元650C被禁能以繞道輸出該三個輸入頂點及其資料結構；該幾何轉換單元610C(運作方式如同該幾何轉換單元610)依序對各該三個輸入頂點及其資料結構，進行幾何轉換操作以產生三個暫時頂點的暫時等距長方座標；該三角形組 合單元620C(運作方式如同該三角形組合單元620)，在該三個暫時頂點及其虛點之間，沿著θ軸，量測最短距離以決定三個轉換後頂點的等距長方座標；該三角形細分單元660C被禁能以繞道輸出該三個轉換後頂點及其資料結構以當作該修正頂點列表的一部分。
若該致能訊號ES2被設為有效，該極點參數產生單元650C根據來自該極點偵測單元630B的指示訊號(N/S)，從該二個逆極點中選擇其一當作一目標逆極點。之後，根據該三個輸入頂點及該目標逆極點的等距長方座標，該極點參數產生單元650C對該三個輸入頂點及其資料結構，進行內插操作以產生該目標逆極點的相關參數，例如列在表一的參數(如：涵蓋/重疊的相機影像數目、在各相機影像中的紋理座標、各相機影像的ID、以及各相機影像的混合權值)。在產生該些相關參數後，即可建立該逆極點的資料結構，因此該北/南極點就準備好可變成一極頂點(如第9B圖所示)。接著，該極點參數產生單元650C將該三個輸入頂點及該極頂點(對應該目標逆極點)傳送給該幾何轉換單元610C。該幾何轉換單元610C依序對各該三個輸入頂點及其資料結構，進行幾何轉換操作以產生三個暫時頂點的暫時等距長方座標，然後，輸出該三個暫時頂點與該極頂點及其資料結構。該三角形組合單元620C，在該三個暫時頂點及其虛點之間，沿著θ軸，量測最短距離以決定三個轉換後頂點的等距長方座標，然 後，輸出該三個轉換後頂點與該極頂點及其資料結構。最後，該三角形細分單元660C(運作方式如同該三角形細分單元660)，將一個包含該三個轉換後頂點與該極頂點的三角形分割為多個重組三角形，以輸出該些重組三角形的重組頂點及其資料結構以當作該修正頂點列表的一部分。
在一第二實施例中，該原始頂點列表分為六個原始工作面(face)頂點列表，該六個原始工作面頂點列表分別對應至該六個相機影像。而且，該修正頂點列表分為六個修正工作面頂點列表，該六個修正工作面頂點列表分別對應至該六個相機影像。各原始/修正工作面頂點列表是多個頂點的列表，該些頂點被一對應相機影像所涵蓋，且各頂點由一相對應資料結構所定義。該資料結構定義了一目的空間及一紋理空間之間(或該等距長方座標及該紋理座標之間)的頂點映射關係。一實施例中，該資料結構包含，但不受限於，等距長方座標、一極點旗標、在一對應相機影像中的紋理座標、該對應相機影像的ID、以及該對應相機影像的預設混合權值。表二顯示各原始/修正工作面頂點列表中各頂點之資料結構的一個例子。
在本實施例中，該對應性產生器140產生該六個工作面頂點列表，並依序傳送給該原始組合單元135。由於有六個工作面頂點列表，故該原始組合單元135以及該幾何處理電路150A/B/C/A’/B’分別對該些工作面頂點列表進行六次/回合相對應的操作。
第12A-12B圖係根據本發明一實施例，顯示一轉換方法的流程圖，而該轉換方法係適用於一個具有一被旋轉/被位移影像擷取模組的影像處理系統。以下，請參考第1、3A-3C、4A-4B、6A及12A-12B圖，說明該轉換方法。
步驟S1202：量測該影像擷取模組160的幾何資訊。例如，利用該旋轉偵測器110量測該影像擷取模組160的旋轉角度α、β、γ，及利用該位移偵測器120測量該影像擷取模組160的位移。該幾何資訊至少包含該些旋轉角度α、β、γ及位移之至少其一。
步驟S1204：若量測到旋轉角度α、β、γ，則利用方程式(1)計算一旋轉矩陣R3D及一逆旋轉矩陣R3D -1，以產生多個幾何參數。該些幾何參數包含該旋轉矩陣R3D、該逆旋轉矩陣R3D -1及該位移。
步驟S1206：根據一原始頂點列表及該幾何資訊，產生一頂點/ID流。該原始頂點列表包含多個網格封包，且各網格封包包含一標頭及一承載資料部。該標頭包含一型式旗標(指出是扇形或長條形)及一數目Nv。該數目Nv指出有Nv個頂點(或Nv個資料結構)包含在該承載資料部或三角形網格內。若該型式旗標是扇形且該致能訊號ES1被設為無效(即該些旋轉角度及該位移等於0)，就輸出形成一個四邊形的四個頂點及其primitiveID以當作該頂點/ID流的一部分，否則就輸出形成一個三角形的三個頂點及其primitiveID以當作該頂點/ID流的一部分。
步驟S1220：判斷來自該頂點/ID流的所有三角形是否已處理完畢。若是，就結束本流程，否則，跳到步驟S1222。
步驟S1222：根據該些幾何參數，對來自該頂點/ID流的(一目前三角形的)各該三個輸入頂點及其資料結構，進行幾何轉換操作以產生三個暫時頂點的暫時等距長方座標。例如，根據該旋轉矩陣R3D及該位移之至少其一，對三個原始頂點(如第7圖的頂點A、B、C)，進行幾何轉換操作以產生三個暫時頂點(如第7圖的頂點A’、B’、C’)的暫時等距長方座標。
步驟S1224：對該三個暫時頂點進行三角形組合操作，以決定該幾何轉換三角形的轉換後頂點的等距長方座 標(或其資料結構)。一實施例中，係根據θ軸的週期特色，進行三角形組合操作，以在該三個暫時頂點(如第7圖的頂點A’、B’、C’)及其虛點(如第7圖的頂點A”、B”、C”)之間，量測/找出沿著θ軸的最短距離以決定該幾何轉換三角形的三個轉換後頂點的等距長方座標(或資料結構)。
步驟S1230：判斷該三個暫時頂點是否通過該極點內部(PI)測試。若通過該極點內部測試(即PI_flag=1)，表示發現一極點且本流程跳到步驟S1231，否則，表示未發現任何極點且本流程跳到步驟S1250。
步驟S1231：判斷該極點是北極點或南極點。一實施例中，根據該三個暫時頂點的等距長方座標，判斷該三個暫時頂點所包圍的是北極點或南極點，以產生一指示訊號(指出是北極點或南極點)。另一實施例中，根據哪一個預設ID(例如primitiveIDN或primitiveIDS)符合該目前三角形的primitiveID，以產生一指示訊號(指出是北/南極點)。
步驟S1238：根據該指示訊號，對該北/南極點的球面/等距長方座標進行逆幾何轉換操作，以得到一目標逆極點的等距長方座標。
步驟S1240：決定該目標逆極點的相關參數。一實施例中，根據該目標逆極點及該三個輸入頂點的等距長方座標，對該三個輸入頂點進行內插操作以產生該目標逆極點(即將變成該北/南極點)的相關參數，例如列在表一的參數 (如：涵蓋/重疊的相機影像數目、在各相機影像中的紋理座標、各相機影像的ID、以及各相機影像的混合權值)。在該些相關參數產生後，即可建立該目標逆極點的資料結構，因此該北/南極點就準備好可變成一極頂點p(如第9B圖所示)。
步驟S1242：進行三角形分割操作，以將一個包含該三個轉換後頂點與該極頂點的三角形分割為多個重組三角形。例如，如第9A-9B圖所示，在例子一中，三角形a’b’c’被分割為二個重組三角形a’b’p及a’c’p，而在例子二中，三角形a’b’c’被分割為三個重組三角形a’b’p、a’c’p及b’c’p。
步驟S1244：輸出該些重組三角形的重組頂點及其資料結構以當作一修正頂點列表的一部分。如第9B圖所示，在例子一中，輸出重組頂點a’b’p及a’c’p及其資料結構以當作一修正頂點列表的一部分，而在例子二中，輸出重組頂點a’b’p、a’c’p及b’c’p及其資料結構以當作該修正頂點列表的一部分。
步驟S1250：輸出三個轉換後頂點及其資料結構以當作該修正頂點列表的一部分。
第12C-12D圖係根據本發明另一實施例，顯示一轉換方法的流程圖，而該轉換方法係適用於一個具有一被旋轉/被位移影像擷取模組的影像處理系統。以下，請參考第1、3A-3C、4A-4B、10A及12C-12D圖，說明該轉換方法。相較於第12A-12B圖，在第12C-12D圖僅有步驟S1208和S1234 是新加入的，故相同的步驟在此不予贅述。
步驟S1208：根據該些幾何參數，對北極點與南極點的球面/等距長方座標進行逆幾何轉換操作，以得到二個逆極點的等距長方座標。
步驟S1234：根據該些暫時頂點的等距長方座標，從該二個逆極點中選擇其中之一當作一目標逆極點。一實施例中，首先，根據該些暫時頂點的等距長方座標，決定該三個暫時頂點所包圍的是北極點或南極點，以產生一指示訊號(指出是北極點或南極點)；接著，根據該指示訊號，從該二個逆極點中選擇其中之一當作該目標逆極點。
第12E-12F圖係根據本發明另一實施例，顯示一轉換方法的流程圖，而該轉換方法係適用於一個具有一被旋轉/被位移影像擷取模組的影像處理系統。以下，請參考第1、3A-3C、4A-4B、10B及12E-12F圖，說明該轉換方法。相較於第12A-12D圖，在第12E-12F圖僅有步驟S1210、S1226和S1236是新加入的，故相同的步驟在此不予贅述。
步驟S1210：根據第3C圖的多邊形網格的等距長方全景影像的寬度(Wp)與四邊形尺寸，計算出具有哪些預設ID(例如primitiveIDN及primitiveIDS)的多邊形(四邊形/三角形)分別包含二個逆極點。
步驟S1226：決定該目前三角形的primitiveID是否匹配該些預設ID(例如primitiveIDN或primitiveIDS)之其 一。若符合，跳到步驟S1236，否則，跳到步驟S1250。
步驟S1236：根據步驟S1226的匹配結果，從該二個逆極點中選擇其中之一當作一目標逆極點。一實施例中，首先，在步驟S1226中，決定該目前三角形的primitiveID匹配哪一個預設ID(例如primitiveIDN或primitiveIDS)以產生一指示訊號(指出是北極點或南極點)；接著，根據該指示訊號，從該二個逆極點中選擇其中之一當作該目標逆極點。
步驟S1240：決定一目標逆極點的相關參數。然後，根據該目標逆極點及該三個輸入頂點的等距長方座標，對該三個輸入頂點及其資料結構進行內插操作，以決定該目標逆極點的相關參數。
第12E圖及第12G圖係根據本發明另一實施例，顯示一轉換方法的流程圖，而該轉換方法係適用於一個具有一被旋轉/被位移影像擷取模組的影像處理系統。在第12A~12H圖中，具相同功能的步驟使用相同的參考符號。第12E圖及第12G圖的所有步驟皆已在前面說明，故在此不予贅述。需注意的是，第12G圖中步驟的執行順序與第12F圖完全不同。
第12E圖及第12H圖係根據本發明另一實施例，顯示一轉換方法的流程圖，而該轉換方法係適用於一個具有一被旋轉/被位移影像擷取模組的影像處理系統。第12E圖及第12H圖的所有步驟皆已在前面說明，故在此不予贅述。需 注意的是，第12H圖中步驟的執行順序與第12F圖完全不同。
一實施例中，該轉換裝置100中除了該旋轉偵測器110及該位移偵測器120之外，係利用一個具有一第一程式記憶體的一般用途(general-purpose)處理器(圖未示)來實施；該影像處理裝置170利用一第二程式記憶體及一圖形處理單元(Graphics Processing Unit)(圖未示)來實施；該視訊編碼器180利用一傳統H.264視訊編碼器來實施。該第一程式記憶體儲存一第一處理器可執行程式，而第二程式記憶體儲存一第二處理器可執行程式。當該一般用途處理器執行該第一處理器可執行程式時，該一般用途處理器被組態(configured)以運作有如：該參數設定單元130、該原始組合單元135、該幾何轉換單元610/610C、該三角形組合單元620/620C、該極點偵測單元630A/B、該逆幾何轉換單元640、該極點參數產生單元650A/B/C以及該三角形細分單元660/660C。當該圖形處理單元執行該第二處理器可執行程式時，該圖形處理單元被組態以運作有如：該影像處理裝置170，係根據一修正頂點列表，進行柵格化操作、紋理映射操作以及混合操作，以產生一全景影像。
另一實施例中，該轉換裝置100中除了該旋轉偵測器110及該位移偵測器120之外，不是利用一個具有一第一程式記憶體的一般用途處理器來實施，而是利用一幾何處理器13來實施。請參考第13圖，該幾何處理器13是業界所熟知 的簡化超長指令字(very long instruction word，VLIW)處理器，第13圖顯示該幾何處理器的示意圖。該幾何處理器13包含一程式記憶體13a、一控制器13b、一輸入緩衝器13c、一輸出緩衝器13e以及一資料處理單元13d。該資料處理單元13d包含一算術邏輯單元(ALU)組131、一輸入多工矩陣132、一暫存器組133、一輸出多工矩陣134、複數個輸入暫存器131a1、131b1、131c1~131c2、131d1~131d2、以及複數個輸出暫存器131a2、131b2、131c3、131d3。該暫存器組133包含複數個暫時暫存器。該程式記憶體13a儲存該第一處理器可執行程式，而該ALU組131包含一乘法ALU 131c、一加法ALU 131d、一逆ALU 131b、一三角函數ALU 131a(包含SIN/COS/ARCTAN操作)。一實施例中，如業界所熟知，該逆ALU 131b及該三角函數ALU 131a的實施方式係透過查找表(look-up table)及進行內插操作。透過該輸入多工矩陣132及該輸出多工矩陣134，各輸入暫存器131a1、131b1、131c1~131c2、131d1~131d2的資料可能來自該些暫時暫存器之任一，而各輸出暫存器131a2、131b2、131c3、131d3的資料可被寫入該暫存器組133或該些輸入暫存器131a1、131b1、131c1~131c2、131d1~131d2。該控制器13b接收來自該程式記憶體13a的該第一處理器可執行程式、執行該第一處理器可執行程式、並產生多個控制訊號CS以控制該資料處理單元13d。該些控制訊號CS可控制該輸入多工矩陣132及該 輸出多工矩陣134的多工部分、致能該些暫時暫存器之至少其一、或致能該乘法ALU 131c、該加法ALU 131d、該逆ALU 131b以及該三角函數ALU 131a之至少其一。當該控制器13b執行該第一處理器可執行程式時，該控制器13b被組態以運作有如：該幾何轉換單元610/610C、該三角形組合單元620/620C、該極點偵測單元630A/B、該逆幾何轉換單元640、該極點參數產生單元650A/B/C以及該三角形細分單元660/660C。
上述僅為本發明之較佳實施例而已，而並非用以限定本發明的申請專利範圍；凡其他未脫離本發明所揭示之精神下所完成的等效改變或修飾，均應包含在下述申請專利範圍內。

Claims (47)

  1. 一種轉換裝置，適用於一個具一影像擷取模組及一影像處理裝置的影像處理系統，該裝置包含：一幾何資訊偵測器，量測該影像擷取模組的幾何資訊；一參數設定單元，耦接至該幾何資訊偵測器，係根據該幾何資訊，計算多個幾何參數以決定該影像擷取模組是否移動；一原始組合單元，接收一原始頂點列表，以產生一頂點/ID流；以及一幾何處理電路，若該影像擷取模組有移動，根據該些幾何參數，對該頂點/ID流進行幾何轉換操作，以產生一修正頂點列表；其中該幾何處理電路包含：一幾何轉換單元，若該影像擷取模組有移動，根據該些幾何參數，對來自該頂點/ID流的一目前第一群組，依序進行幾何轉換操作，以修正三個第一頂點在一全景影像中的座標以當作三個暫時頂點，其中，該目前第一群組包含具資料結構的該三個第一頂點；以及一個三角形組合單元，沿著一特定軸，在該三個暫時頂點及其虛點之中，量測最短距離以決定一轉換三角形，該轉換三角形所具有的三個第二頂點被當作該修正頂點列 表的一部分；其中，該影像擷取模組捕捉360度的水平視域及180度的垂直視域以產生多個相機影像；其中，該幾何資訊包含與該影像擷取模組的移動有關之一位移及多個旋轉角度之至少其一；其中，該頂點/ID流包含複數個第一群組，各該第一群組包含具資料結構的三個第一頂點且在一多邊形網格中形成一對應三角形，其中，該多邊形網格用以模型化從該影像處理裝置輸出的該全景影像；其中，該修正頂點列表包含複數個第二群組，各該第二群組包含具資料結構的三個第二頂點且在該多邊形網格中形成一對應三角形；其中，該原始頂點列表包含複數個具資料結構的第三頂點，其中，該原始頂點列表係在該些相機影像及該全景影像之間，對該些第三頂點進行校正而得；以及其中，各該資料結構定義該全景影像及該些相機影像之間的一對應頂點映射。
  2. 如申請專利範圍第1項所記載之裝置，其中該幾何資訊偵測器包含：一旋轉偵測器，量測該影像擷取模組的該些旋轉角度；其中，該些幾何參數包含一旋轉矩陣以及一逆旋轉矩陣。
  3. 如申請專利範圍第1項所記載之裝置，其中該幾何資訊偵測器包含：一位移偵測器，量測該影像擷取模組的該位移；其中，該些幾何參數包含該位移。
  4. 如申請專利範圍第1項所記載之裝置，其中該幾何處理電路更包含：一極點偵測單元，偵測該三個暫時頂點是否圍繞一極點，以產生一指示訊號。
  5. 如申請專利範圍第4項所記載之裝置，其中該極點偵測單元根據該三個暫時頂點沿著該特定軸的相對距離，偵測該三個暫時頂點是否圍繞該極點。
  6. 如申請專利範圍第4項所記載之裝置，其中該頂點/ID流更包含該些第一群組的ID，其中該極點偵測單元藉由比較複數個預設ID及該目前第一群組的ID，來偵測該三個暫時頂點是否圍繞該極點。
  7. 如申請專利範圍第6項所記載之裝置，其中該參數設定單元，根據該些幾何參數，對一北極點及一南極點進行逆幾何轉換操作，以產生二個逆極點在該全景影像中的座標，以及根據該全景影像的多邊形尺寸及寬度，計算在該多邊形網格中，具有哪些預設ID的多邊形包含該二個逆極點，以更新該些幾何參數，其中該些更新的幾何參數更包含該二個逆極點在該全景影像中的座標以及該些 預設ID。
  8. 如申請專利範圍第4項所記載之裝置，其中該幾何處理電路更包含：一極點參數產生單元，當偵測到該極點時，根據一目標逆極點在該全景影像中的座標，對該目前第一群組的三個輸入第一頂點進行內插操作，以產生該極點的資料結構；以及一個三角形細分單元，當偵測到該極點時，將一個包含該三個第二頂點與該極點的轉換三角形分割為多個重組三角形，以輸出該些重組三角形的多個重組頂點及其資料結構當作該修正頂點列表的一部分；其中，當未偵測到該極點時，該三個第二頂點及其資料結構被直接輸出以當作該修正頂點列表的一部分。
  9. 如申請專利範圍第8項所記載之裝置，其中該參數設定單元，根據該些幾何參數，對一北極點及一南極點進行逆幾何轉換操作，以產生二個逆極點在該全景影像中的座標，並更新該些幾何參數，其中該極點參數產生單元，更根據該指示訊號，從該二個逆極點選擇其中之一當作該目標逆極點，其中該些更新的幾何參數更包含該二個逆極點在該全景影像中的座標。
  10. 如申請專利範圍第9項所記載之裝置，其中該極點參數產生單元耦接在該極點偵測單元及該三角形細分單元之 間。
  11. 如申請專利範圍第9項所記載之裝置，其中該幾何轉換單元及該三角形組合單元耦接在該極點參數產生單元及該三角形細分單元之間。
  12. 如申請專利範圍第8項所記載之裝置，其中該幾何處理電路更包含：一逆幾何轉換單元，耦接在該極點偵測單元及該極點參數產生單元之間，當偵測到該極點時，根據該指示訊號，對一北極點及一南極點之其一進行逆幾何轉換操作，以產生該目標逆極點在該全景影像中的座標。
  13. 如申請專利範圍第1項所記載之裝置，其中該原始頂點列表分為複數個工作面頂點列表，且該修正頂點列表分為複數個修正工作面頂點列表，以及該些工作面頂點列表的數目等於該些修正工作面頂點列表的數目。
  14. 一種轉換方法，適用於一個具一影像擷取模組及一影像處理裝置的一影像處理系統，該方法包含：首先，量測該影像擷取模組的幾何資訊；然後，根據該幾何資訊，計算多個幾何參數；然後，根據來自一校正系統的一原始頂點列表及該些幾何參數，以產生一頂點/ID流；以及當該影像擷取模組移動時，對該頂點/ID流進行轉換操作，直到處理完該頂點/ID流的所有頂點為止，以產生 一修正頂點列表；其中，該進行轉換操作步驟包含：首先，根據該些幾何參數，對來自該頂點/ID流的一目前第一群組，依序進行幾何轉換操作，以修正三個第一頂點在一全景影像中的座標以當作三個暫時頂點，其中，該目前第一群組包含具資料結構的該三個第一頂點；以及然後，沿著一特定軸，在該三個暫時頂點及其虛點之中，量測最短距離以決定一轉換三角形，該轉換三角形所具有的三個第二頂點被當作該修正頂點列表的一部分；其中，該影像擷取模組捕捉360度的水平視域及180度的垂直視域以產生多個相機影像；其中，該些幾何參數包含與該影像擷取模組的移動有關之一旋轉矩陣、一逆旋轉矩陣以及一位移之至少其一；其中，該頂點/ID流包含複數個第一群組，各第一群組包含具資料結構的三個第一頂點且在一多邊形網格中形成一對應三角形，其中，該多邊形網格用以模型化從該影像處理裝置輸出的該全景影像；其中，該修正頂點列表包含複數個第二群組，各該第二群組包含具資料結構的三個第二頂點且在該多邊形 網格中形成一對應三角形；其中，該原始頂點列表包含複數個具資料結構的第三頂點，其中，該原始頂點列表係在該些相機影像及該全景影像之間，對該些第三頂點進行校正而得；以及其中，各該資料結構定義該全景影像及該些相機影像之間的一對應頂點映射。
  15. 如申請專利範圍第14項所記載之方法，其中該量測該影像擷取模組的幾何資訊步驟包含：量測該影像擷取模組的多個旋轉角度以決定該影像擷取模組是否移動；其中，該些幾何參數包含該旋轉矩陣以及該逆旋轉矩陣。
  16. 如申請專利範圍第14項所記載之方法，其中該量測該幾何資訊步驟包含：量測該影像擷取模組的該位移以決定該影像擷取模組是否移動；其中，該些幾何參數包含該位移。
  17. 如申請專利範圍第14項所記載之方法，其中該進行轉換操作步驟更包含：偵測該三個暫時頂點是否圍繞一極點，以產生一偵測結果；以及當未偵測到任何極點時，輸出該轉換三角形的三個第二頂點及其資料結構當作該修正頂點列表的一部分。
  18. 如申請專利範圍第17項所記載之方法，其中該偵測步驟包含：根據該三個暫時頂點沿著該特定軸的相對距離，偵測該三個暫時頂點是否圍繞該極點。
  19. 如申請專利範圍第17項所記載之方法，其中該偵測步驟包含：比較複數個預設ID及該目前第一群組的ID，來偵測該三個暫時頂點是否圍繞該極點。
  20. 如申請專利範圍第19項所記載之方法，其中該計算步驟更包含：對一北極點及一南極點進行逆幾何轉換操作，以產生二個逆極點在該全景影像中的座標；以及根據該全景影像的多邊形尺寸及寬度，計算出在該多邊形網格中，具有哪些預設ID的多邊形包含該二個逆極點。
  21. 如申請專利範圍第19項所記載之方法，其中該進行轉換操作步驟更包含：當偵測到該極點時，決定一目標逆極點在該全景影像中的座標；然後，根據該目標逆極點在該全景影像中的座標，對該目前第一群組的三個輸入第一頂點進行內插操作，以產生該極點的資料結構； 然後，將一個包含該三個第二頂點與該極點的轉換三角形分割為多個重組三角形，以輸出該些重組三角形的多個重組頂點及其資料結構當作該修正頂點列表的一部分；以及重覆該幾何轉換操作步驟、該量測最短距離步驟、該偵測步驟、該輸出步驟、該決定該目標逆極點在該全景影像中的座標步驟、該進行內插操作步驟以及該三角形分割步驟，直到處理完該頂點/ID流的所有頂點為止。
  22. 如申請專利範圍第21項所記載之方法，其中該決定該目標逆極點在該全景影像中的座標步驟更包含：根據該些幾何參數，對該極點進行逆幾何轉換操作，以產生該目標逆極點在該全景影像中的座標。
  23. 如申請專利範圍第21項所記載之方法，其中該計算該些幾何參數步驟更包含：根據該些幾何參數，對一北極點及一南極點進行逆幾何轉換操作，以產生二個逆極點在該全景影像中的座標；其中，該些幾何參數更包含該二個逆極點在該全景影像中的座標。
  24. 如申請專利範圍第23項所記載之方法，其中該決定該目標逆極點在該全景影像中的座標步驟更包含：根據該偵測結果，從該二個逆極點選擇其中之一當作該目標逆極點。
  25. 如申請專利範圍第14項所記載之方法，其中該原始頂點列表分為複數個工作面頂點列表，且該修正頂點列表分為複數個修正工作面頂點列表，以及該些工作面頂點列表的數目等於該些修正工作面頂點列表的數目。
  26. 一種影像處理系統，係接收來自一校正系統的一原始頂點列表以及產生一全景影像，該系統包含：一影像擷取模組，捕捉360度的水平視域及180度的垂直視域以產生多個相機影像以產生多個相機影像；一轉換裝置，若該影像擷取模組有移動，根據該原始頂點列表，產生一修正頂點列表；以及一影像處理裝置，若該影像擷取模組有移動，根據該修正頂點列表，進行柵格化操作、紋理映射操作以及混合操作，以產生一修正全景影像；其中該轉換裝置包含：一幾何資訊偵測器，量測該影像擷取模組的幾何資訊；一參數設定單元，耦接至該幾何資訊偵測器，係根據該幾何資訊，計算多個幾何參數以決定該影像擷取模組是否移動；一原始組合單元，接收該原始頂點列表，以產生一頂點/ID流；以及一幾何處理電路，若該影像擷取模組有移動，根據該些幾何參數，對該頂點/ID流進行幾何轉換操作，以產生 該修正頂點列表；其中該幾何處理電路包含：一幾何轉換單元，若該影像擷取模組有移動，根據該些幾何參數，對來自該頂點/ID流的一目前第一群組，依序進行幾何轉換操作，以修正三個第一頂點在該全景影像中的座標以當作三個暫時頂點，其中，該目前第一群組包含具資料結構的該三個第一頂點；以及一個三角形組合單元，沿著一特定軸，在該三個暫時頂點及其虛點之中，量測最短距離以決定一轉換三角形，其中該轉換三角形所具有的三個第二頂點被當作該修正頂點列表的一部分；其中，該幾何資訊包含與該影像擷取模組的移動有關之一位移及多個旋轉角度之至少其一；其中，該頂點/ID流包含複數個第一群組，各第一群組包含具資料結構的三個第一頂點且在一多邊形網格中形成一對應三角形，其中，該多邊形網格用以模型化從該影像處理裝置輸出的該全景影像；其中，該修正頂點列表包含複數個第二群組，各該第二群組包含具資料結構的三個第二頂點且在該多邊形網格中形成一對應三角形；其中，該原始頂點列表包含複數個具資料結構的第三頂點，其中，該原始頂點列表係在該些相機影像及該 全景影像之間，對該些第三頂點進行校正而得；以及其中，各該資料結構定義該全景影像及該些相機影像之間的一對應頂點映射。
  27. 如申請專利範圍第26項所記載之系統，其中該幾何資訊偵測器包含：一旋轉偵測器，量測該影像擷取模組的該些旋轉角度；其中，該些幾何參數包含一旋轉矩陣以及一逆旋轉矩陣。
  28. 如申請專利範圍第26項所記載之系統，其中該幾何資訊偵測器包含：一位移偵測器，量測該影像擷取模組的該位移；其中，該些幾何參數包含該位移。
  29. 如申請專利範圍第26項所記載之系統，其中該幾何處理電路更包含：一極點偵測單元，係偵測該三個暫時頂點是否圍繞一極點，以產生一指示訊號。
  30. 如申請專利範圍第29項所記載之系統，其中該極點偵測單元根據該三個暫時頂點沿著該特定軸的相對距離，偵測該三個暫時頂點是否圍繞該極點。
  31. 如申請專利範圍第29項所記載之系統，其中該頂點/ID流更包含該些第一群組的ID，其中該極點偵測單元藉由比較複數個預設ID及該目前第一群組的ID，來偵測該三個暫時頂點是否圍繞該極點。
  32. 如申請專利範圍第31項所記載之系統，其中該參數設定單元，根據該些幾何參數，對一北極點及一南極點進行逆幾何轉換操作，以產生二個逆極點在該全景影像中的座標，以及根據該全景影像的多邊形尺寸及寬度，計算在 該多邊形網格中，具有哪些預設ID的多邊形包含該二個逆極點以更新該些幾何參數，其中該些更新的幾何參數更包含該二個逆極點在該全景影像中的座標以及該些預設ID。
  33. 如申請專利範圍第29項所記載之系統，其中該幾何處理電路更包含：一極點參數產生單元，當偵測到該極點時，根據一目標逆極點在該全景影像中的座標，對該目前第一群組的三個輸入第一頂點進行內插操作，以產生該極點的一資料結構；以及一個三角形細分單元，當偵測到該極點時，將一個包含該三個第二頂點與該極點的轉換三角形分割為多個重組三角形，以輸出該些重組三角形的多個重組頂點及其資料結構當作該修正頂點列表的一部分；其中，當未偵測到該極點時，該三個第二頂點及其資料結構直接被輸出以當作該修正頂點列表的一部分。
  34. 如申請專利範圍第33項所記載之系統，其中該參數設定單元，根據該些幾何參數，對一北極點及一南極點進行 逆幾何轉換操作，以產生二個逆極點在該全景影像中的座標，並更新該些幾何參數，其中該極點參數產生單元，更根據該指示訊號，從該二個逆極點選擇其中之一當作該目標逆極點，其中該些更新的幾何參數更包含該二個逆極點在該全景影像中的座標。
  35. 如申請專利範圍第34項所記載之系統，其中該極點參數產生單元耦接在該極點偵測單元及該三角形細分單元之間。
  36. 如申請專利範圍第34項所記載之系統，其中該幾何轉換單元及該三角形組合單元耦接在該極點參數產生單元及該三角形細分單元之間。
  37. 如申請專利範圍第33項所記載之系統，其中該幾何處理電路更包含：一逆幾何轉換單元，耦接在該極點偵測單元及該極點參數產生單元之間，當偵測到該極點時，根據該指示訊號，對一北極點及一南極點之其一進行逆幾何轉換操作，以產生該目標逆極點在該全景影像中的座標。
  38. 如申請專利範圍第26項所記載之系統，其中該原始頂點列表分為複數個工作面頂點列表，且該修正頂點列表分為複數個修正工作面頂點列表，以及該些工作面頂點列表的數目等於該些修正工作面頂點列表的數目。
  39. 一種幾何處理電路，適用於一個具一影像擷取模組及一 影像處理裝置的影像處理系統，該電路包含：一幾何轉換單元，若該影像擷取模組有移動，根據多個幾何參數，對來自該頂點/ID流的一目前第一群組依序進行幾何轉換操作，以修正三個第一頂點在一全景影像中的座標以當作三個暫時頂點，其中，該目前第一群組包含具資料結構的該三個第一頂點；一極點偵測單元，偵測該三個暫時頂點是否圍繞一極點，以產生一指示訊號；以及一個三角形組合單元，沿著一特定軸，在該三個暫時頂點及其虛點之中，量測最短距離以決定一轉換三角形，其中該轉換三角形所具有的三個第二頂點被當作該修正頂點列表的一部分；其中，該影像擷取模組捕捉360度的水平視域及180度的垂直視域以產生多個相機影像；其中，該頂點/ID流包含複數個第一群組，各該第一群組包含具資料結構的三個第一頂點且在一多邊形網格中形成一對應三角形，其中，該多邊形網格用以模型化從該影像處理裝置輸出的該全景影像；其中，該修正頂點列表包含複數個第二群組，各該第二群組包含具資料結構的三個第二頂點且在該多邊形網格中形成一對應三角形；其中，各該資料結構定義該全景影像及來自該影 像擷取模組的多個相機影像之間的一對應頂點映射；以及其中，該些幾何參數包含與該影像擷取模組的移動有關之一旋轉矩陣、一逆旋轉矩陣以及一位移之至少其一。
  40. 如申請專利範圍第39項所記載之電路，其中該極點偵測單元根據該三個暫時頂點沿著該特定軸的相對距離，偵測該三個暫時頂點是否圍繞該極點。
  41. 如申請專利範圍第39項所記載之電路，其中該極點偵測單元藉由比較複數個預設ID及該目前第一群組的ID，來偵測該三個暫時頂點是否圍繞該極點。
  42. 如申請專利範圍第41項所記載之電路，其中在該多邊形網格中，複數個具預設ID的多邊形包含該二個逆極點。
  43. 如申請專利範圍第39項所記載之電路，更包含：一極點參數產生單元，當偵測到該極點時，根據一目標逆極點在該全景影像中的座標，對該目前第一群組的三個輸入第一頂點進行內插操作，以產生該極點的資料結構；以及一個三角形細分單元，當偵測到該極點時，將一個包含該三個第二頂點與該極點的轉換三角形分割為多個重組三角形，以輸出該些重組三角形的多個重組頂點及其資料結構當作該修正頂點列表的一部分；其中，當未偵測到該極點時，該三個第二頂點及其資料結 構被直接輸出以當作該修正頂點列表的一部分。
  44. 如申請專利範圍第43項所記載之電路，其中該極點參數產生單元，更根據該指示訊號，從來自該些幾何參數的該二個逆極點選擇其中之一當作該目標逆極點。
  45. 如申請專利範圍第44項所記載之電路，其中該極點參數產生單元耦接在該極點偵測單元及該三角形細分單元之間。
  46. 如申請專利範圍第44項所記載之電路，其中該幾何轉換單元及該三角形組合單元耦接在該極點參數產生單元及該三角形細分單元之間。
  47. 如申請專利範圍第43項所記載之電路，更包含：一逆幾何轉換單元，耦接在該極點偵測單元及該極點參數產生單元之間，當偵測到該極點時，根據該指示訊號，對一北極點及一南極點之其一進行逆幾何轉換操作，以產生該目標逆極點在該全景影像中的座標。
TW106122399A 2016-10-25 2017-07-04 具有旋轉、位移及扭轉功能的全景影像產生方法及裝置 TWI649720B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/333,765 US10186067B2 (en) 2016-10-25 2016-10-25 Method and apparatus for generating panoramic image with rotation, translation and warping process
US15/333,765 2016-10-25

Publications (2)

Publication Number Publication Date
TW201816722A TW201816722A (zh) 2018-05-01
TWI649720B true TWI649720B (zh) 2019-02-01

Family

ID=61969750

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106122399A TWI649720B (zh) 2016-10-25 2017-07-04 具有旋轉、位移及扭轉功能的全景影像產生方法及裝置

Country Status (2)

Country Link
US (1) US10186067B2 (zh)
TW (1) TWI649720B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
US10417276B2 (en) * 2017-05-15 2019-09-17 Adobe, Inc. Thumbnail generation from panoramic images
TWI696147B (zh) * 2018-09-05 2020-06-11 宅妝股份有限公司 全景圖形成方法及系統
CN109685721B (zh) * 2018-12-29 2021-03-16 深圳看到科技有限公司 全景画面拼接方法、装置、终端及对应的存储介质
US10832377B2 (en) 2019-01-04 2020-11-10 Aspeed Technology Inc. Spherical coordinates calibration method for linking spherical coordinates to texture coordinates
US10810700B2 (en) 2019-03-05 2020-10-20 Aspeed Technology Inc. Method of adjusting texture coordinates based on control regions in a panoramic image
KR102582407B1 (ko) * 2019-07-28 2023-09-26 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
CN112262411B (zh) * 2019-12-23 2024-04-05 商汤国际私人有限公司 图像关联方法、系统和装置
US11210840B1 (en) * 2020-08-27 2021-12-28 Aspeed Technology Inc. Transform method for rendering post-rotation panoramic images
US11346869B2 (en) * 2020-10-23 2022-05-31 Rohde & Schwarz Gmbh & Co. Kg Calibration setup and method of measuring a signal generator
CN113961746B (zh) * 2021-09-29 2023-11-21 北京百度网讯科技有限公司 视频生成方法、装置、电子设备及可读存储介质
TWI829475B (zh) * 2022-12-15 2024-01-11 信驊科技股份有限公司 產生包括多個影像的佈局的影像處理裝置和影像處理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201417044A (zh) * 2012-10-31 2014-05-01 Vivotek Inc 數位影像的反扭曲處理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0602730B1 (en) * 1992-12-18 2002-06-19 Koninklijke Philips Electronics N.V. Registration of Volumetric images which are relatively elastically deformed by matching surfaces
US6947059B2 (en) * 2001-08-10 2005-09-20 Micoy Corporation Stereoscopic panoramic image capture device
US7123777B2 (en) * 2001-09-27 2006-10-17 Eyesee360, Inc. System and method for panoramic imaging
US7336299B2 (en) * 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
US9317336B2 (en) * 2011-07-27 2016-04-19 Alcatel Lucent Method and apparatus for assignment of virtual resources within a cloud environment
US9275485B2 (en) * 2012-06-28 2016-03-01 The University Of Utah Research Foundation Seam network processing for panorama weaving
US20140085295A1 (en) * 2012-09-21 2014-03-27 Tamaggo Inc. Direct environmental mapping method and system
US9413930B2 (en) * 2013-03-14 2016-08-09 Joergen Geerds Camera system
US10187555B2 (en) * 2014-10-17 2019-01-22 Amaryllis Innovation Gmbh Camera system for capturing images and methods thereof
US9363449B1 (en) * 2014-11-13 2016-06-07 Futurewei Technologies, Inc. Parallax tolerant video stitching with spatial-temporal localized warping and seam finding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201417044A (zh) * 2012-10-31 2014-05-01 Vivotek Inc 數位影像的反扭曲處理方法

Also Published As

Publication number Publication date
US10186067B2 (en) 2019-01-22
US20180114348A1 (en) 2018-04-26
TW201816722A (zh) 2018-05-01

Similar Documents

Publication Publication Date Title
TWI649720B (zh) 具有旋轉、位移及扭轉功能的全景影像產生方法及裝置
TWI615810B (zh) 具紋理映射功能的全景影像產生方法及裝置
US10645284B2 (en) Image processing device, image processing method, and recording medium storing program
TWI387936B (zh) A video conversion device, a recorded recording medium, a semiconductor integrated circuit, a fish-eye monitoring system, and an image conversion method
JP5872923B2 (ja) Ａｒ画像処理装置及び方法
JP2009134509A (ja) モザイク画像生成装置及びモザイク画像生成方法
CN110998672A (zh) 影像生成装置以及影像生成方法
US10565803B2 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
CN107845061A (zh) 图像处理方法、装置及终端
EP3573018B1 (en) Image generation device, and image display control device
WO2018100230A1 (en) Method and apparatuses for determining positions of multi-directional image capture apparatuses
JP4834524B2 (ja) ３次元形状測定方法およびその装置
JP2019190962A (ja) 画像水平調整装置及びそのプログラム、並びに、図面生成システム
JP4548228B2 (ja) 画像データ作成方法
US11210840B1 (en) Transform method for rendering post-rotation panoramic images
JP2005275789A (ja) 三次元構造抽出方法
WO2018150086A2 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
Gao et al. Real‐time mosaic of multiple fisheye surveillance videos based on geo‐registration and rectification
CN115147268A (zh) 实时取景方法、全景相机及计算机可读存储介质
Kolhatkar et al. Real-time virtual viewpoint generation on the GPU for scene navigation
JP2004108836A (ja) 撮像装置の方位角計算方法及び装置、撮像装置の姿勢検出装置、撮像装置の傾きセンサ、コンピュータプログラム、並びに三次元モデル構成装置
Saponaro et al. Towards auto-calibration of smart phones using orientation sensors
TWI847797B (zh) 適用於虛擬導覽之影像投影方法
Ivan et al. Spherical video panorama stitching from multiple cameras with intersecting fields of view and inertial measurement unit
Peng et al. A low-cost implementation of a 360 vision distributed aperture system