TWI666912B - 具有由封包於分段球體投影設計並以投影面表示之360度內容之投影訊框生成及編碼之方法及裝置 - Google Patents

具有由封包於分段球體投影設計並以投影面表示之360度內容之投影訊框生成及編碼之方法及裝置 Download PDF

Info

Publication number
TWI666912B
TWI666912B TW107109627A TW107109627A TWI666912B TW I666912 B TWI666912 B TW I666912B TW 107109627 A TW107109627 A TW 107109627A TW 107109627 A TW107109627 A TW 107109627A TW I666912 B TWI666912 B TW I666912B
Authority
TW
Taiwan
Prior art keywords
projection
area
filled
primitive
region
Prior art date
Application number
TW107109627A
Other languages
English (en)
Other versions
TW201838406A (zh
Inventor
李亞璇
林鴻志
林建良
張勝凱
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201838406A publication Critical patent/TW201838406A/zh
Application granted granted Critical
Publication of TWI666912B publication Critical patent/TWI666912B/zh

Links

Classifications

    • G06T3/047—
    • G06T3/12—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Image Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種視頻處理方法，包含：接收對應至球體的全方位內容；根據至少全方位內容和分段球形投影(SSP)格式來生成投影訊框；以及透過視訊編碼器對投影訊框進行編碼生成一部分之比特流。該投影訊框由封包於SSP設計具有第一圓形投影面、第二圓形投影面、以及至少一個的矩形投影面所表示之360度內容。球體的北極區被映射到第一個圓形投影面上，球體的南極區被映射到第二個圓形投影面上，而球體的北極區和南極區之間的至少一個非極區環形區段則被映射到所述的至少一個矩形投影面上。

Description

具有由封包於分段球體投影設計並以投影面表示之360度 內容之投影訊框生成及編碼之方法及裝置
本申請案主張於2017年3月22日提交的美國臨時申請號62/474,704、於2017年6月9日提交的美國臨時申請號62/517,217、以及於2017年7月10日提交的美國臨時申請號62/530,367之權利，且上述申請整體以引用方式併入本文中。
本發明涉及全方位影像/視訊內容之處理。且更具體而言，本發明涉及具有由包裝於分段球體投影設計並以投影面表示之360度內容之投影訊框生成及編碼之方法及裝置。
使用頭戴式顯示(HMD)的虛擬實境(VR)有各種應用方式。其中，將廣闊的視野內容呈現給使用者的能力可用於提供身臨其境的視覺體驗。若要取得對應至一個球體的全方位影像/視訊內容，必須補捉真實世界環境的所有影像/視訊資訊。隨著相機及頭戴式顯示裝置的進步，由於重現此種360度 影像/視訊內容需要高位元速率(bitrate)，虛擬實境內容的傳送可能即將成為技術發展之瓶頸。當全方位視訊的解析度大於或等於4K時，資料的編碼及壓縮對於降低位元速率而言就顯得極其重要。
一般而言，對應球體的全方位影像/視訊內容會被轉換為一系列的影像，而每一個影像皆為具有360度影像/視訊內容的投影訊框(projection-based frame)，投影訊框由以360度虛擬實境(360 VR)投影設計排列的一或多個投影面表示。而後，將這一系列的投影訊框編碼至位元流(bitstream)以進行傳輸。
然而，所採用的360度虛擬實境投影設計可能會有不緊湊的情形、或者有許多因為分包在多個投影面而產生影像內容的不連續邊緣。將具有這種360虛擬實境投影設計的投影訊框進行編碼可能會具有較差的編解碼效率，及/或可能在壓縮之後造成影像品質低落。
本發明的目的之一是提供一種生成及編碼含有360度內容之投影訊框之方法及裝置，投影訊框透過封包於分段球體投影(SSP)設計中的投影面表示。此外，可以在球體的全方位影像/視訊內容使用SSP格式投影之前在球體上執行球體旋轉，從而提高編解碼效率。更進一步地，所提出之SSP設計可採用部分的外觀(如保護帶或填充區塊)，藉此提升壓縮後的影像品質。
根據本發明的第一方面，本發明揭露了一個示範性的視訊處理方法。該示範性之視訊處理方法包括：接收與球體相對應的全方位內容、至少根據該全方位內容以及分段球形投影(SSP)格式生成投影訊框，並透過視訊編碼器將投影訊框進行編碼以生成部分的位元流。投影訊框包含封包於SSP設計、由第一圓形投影面、第二圓形投影面、及至少一個矩形投影面所表示之360度內容。球體的北極區域被映射至第一圓形投影面，球體的南極區域被映射至第二圓形投影面，而至少一個介於球體的南極與北及區域間之非極點區域之環型片段則是被映射至至少一個矩形之投影面上。
根據本發明的第二方面，本發明揭露了一個示範性的視訊處理裝置。此示範性視訊處理裝置包括一轉換電路和一視訊編碼器。轉換電路用於接收對應至球體之全方位內容，並且根據該全方位內容和SSP格式生成投影訊框。其中，投影訊框具有由封包於SSP設計之第一圓形投影面、第二圓形投影面和至少一個矩形投影面所表示之360度內容。球體的北極區被映射到第一圓形投影面上，球體的南極區域則被映射到第二圓形投影面上，以及球體的北極區和南極區之間的至少一個非極區環形分段被映射到前述之至少一個矩形投影面上。視訊編碼器用於將投影訊框進行編碼，以生成部分的位元流。
在結合下面附圖閱讀本發明的推薦實施例的如下詳細描述後，本發明之內容對於本領域之通常技術者而言無疑將是顯而易見的。
100‧‧‧360度虛擬實境系統
102、104‧‧‧來源/目標電子裝置
103‧‧‧傳輸裝置
112‧‧‧視訊擷取裝置
113‧‧‧球體旋轉電路
114‧‧‧轉換電路
115‧‧‧填充電路
116‧‧‧視訊編碼器
122‧‧‧解碼電路
124‧‧‧圖形渲染電路
126‧‧‧顯示螢幕
200‧‧‧分段球體投影設計
302、304‧‧‧北極/南極
306、310‧‧‧北極區/南極區
308、2408‧‧‧非極區環形區段
第1圖為依據本發明之實施例之360度虛擬實境(360 VR)系統之示意圖。
第2圖為第1圖中之球體旋轉電路執行球體旋轉之示意圖。
第3圖為依據本發明之實施例之第一分段球體投影(SSP)格式之示意圖。
第4圖為依據本發明之實施例之以兩個圓形之圓心及一個矩形之中心在投影訊框之高度方向為垂直對齊排列的SSP設計之數個範例之示意圖。
第5圖為依據本發明之實施例之具有兩個圓形與一個矩形之SSP設計之數個範例之示意圖，其中兩個圓形之圓心與矩形之中心在投影訊框之寬度方向上水準對齊排列。
第6圖為依據本發明之實施例之具有兩個圓形之SSP設計之數個範例之示意圖，其中兩個圓形之圓心在投影訊框之寬度方向上水準對齊排列、並位於一個矩形之同一側。
第7圖為數個依據本發明之實施例之具有兩個圓形之SSP設計之數個範例之示意圖，其中兩個圓形之圓心在投影訊框之高度方向上垂直對齊排列、並位於一個矩形之同一側。
第8圖為依據本發明之實施例之具有保護帶之SSP設計之示意圖。
第9圖為根據本發明之實施例之具有填充區塊之SSP設計之示意圖。
第10圖為將第1圖所示之填充電路執行插值之第一範例示意 圖。
第11圖為將第1圖所示之填充電路執行插值之第二範例示意圖。
第12圖為將第1圖所示之填充電路執行重製以生成矩形投影面之填充區域之示意圖。
第13圖為根據本發明之實施例之具有填充區塊及保護帶之第一SSP設計之示意圖。
第14圖為根據本發明之實施例之具有填充區塊及保護帶之第二SSP設計之示意圖。
第15圖為根據本發明之實施例之設定在重疊區域內之重疊圖元之圖元值之第一範例示意圖。
第16圖為根據本發明之實施例之設定在重疊區域內之重疊圖元之圖元值之第二範例示意圖。
第17圖為根據本發明之實施例之設定在重疊區域內之重疊圖元之圖元值之第三範例示意圖。
第18圖為根據本發明之實施例之設定在重疊區域內之重疊圖元之圖元值之第四範例示意圖。
第19圖為根據本發明之實施例之設定在重疊區域內之重疊圖元之圖元值之第五範例示意圖。
第20圖為根據本發明之實施例計算在兩個圓形投影面間之重疊區域範例插值採樣點(即重疊圖元)之圖元值所涉及的採樣點之不同選擇之示意圖。
第21圖為根據本發明之實施例之設定在重疊區域內之重疊圖元之圖元值之第六範例示意圖。
第22圖為根據本發明之實施例計算在一個圓形投影面及一個矩型投影面間之重疊區域範例插值採樣點(即重疊圖元)之圖元值所涉及的採樣點之不同選擇之示意圖。
第23圖為根據本發明之實施例之具有填充區塊之SSP設計之數個範例之示意圖。
第24圖為根據本發明之實施例之第二分段球投影(SSP)格式之示意圖。
第25圖為根據本發明之實施例具有填充區塊之SSP設計之數個範例之示意圖，其中有兩個圓形堆疊於投影訊框中間上方。
第26圖為根據本發明之實施例具有填充區塊之SSP設計之數個範例之示意圖，其中有兩個圓形並排放置於投影訊框中間上方。
第27圖為根據本發明之實施例具有填充區塊之SSP設計之數個範例之示意圖，其中兩個圓形分別放置於投影訊框中間上方之左右兩側。
以下說明及專利申請範圍之敘述中，使用到的部分詞彙將用來指涉某個具體的元件。如同本領域之通常技術者所熟知地，電子設備製造者可能使用不同的名稱來指涉同一個元件。此份檔無意區別那些在名稱上有所差別、但在功能上並無差異的元件。在以下說明及專利申請範圍之敘述中，「包 含」、「包括」等詞彙係用來做為開放性之敘述，故皆應被解讀為「包含，但不限於......」之意。此外，在本文中「耦合」一詞係有意被用於指涉直接或是間接的電子連接。據此而言，如果將一裝置耦接至另一裝置，其之間之連接可能係透過一直接的電子連接，或者係透過其他裝置及連結間接進行連接。
第1圖為依據本發明之實施例之360度虛擬實境(360 VR)系統之示意圖。360 VR系統100包含兩個視訊處理裝置(如來源電子裝置102及目標電子裝置104)。來源電子裝置102包含視訊擷取裝置112、球體旋轉電路113、轉換電路114、及視訊編碼器116。其中，轉換電路114具有填充電路115。舉例而言，視訊擷取裝置112可為一組相機，用於提供對應至一個球體之全方位影像/視訊內容(如多個涵蓋所有環境之影像)S_IN。轉換電路114耦合到視訊編碼器116。轉換電路114根據全方位影像/視訊內容S_IN'產生具有分段球體投影(SSP)設計L_SSP的投影訊框IMG，該全方位影像/視訊內容S_IN'可以與全方位影像/視訊內容S_IN相同、或者可以為全方位影像/視訊內容S_IN的旋轉版本。投影訊框IMG可以為包括在從轉換電路114生成的投影訊框序列中的一個幀。視訊編碼器116是用於編碼/壓縮投影訊框IMG的編碼電路，用於生成部分之位元流BS。此外，視訊編碼器116經由傳輸裝置103將位元流BS輸出到目標電子裝置104。舉例而言，投影訊框之序列可被編碼到位元流BS中，而傳輸裝置103可以為有線/無線通訊鏈路或儲存介質。
球體旋轉電路113為可選的。在省略球體旋轉電路 113的情況下，傳送至轉換電路114中的全方位影像/視訊內容S_IN'與從視訊擷取裝置112產生的全方位影像/視訊內容S_IN為相同的。在使用球體旋轉電路113的情況下，球體旋轉電路113被用於向全方位影像/視訊內容S_IN施加內容旋轉。因此，傳送至轉換電路114中的全方位影像/視訊內容S_IN'是被旋轉過的全方位影像/視訊內容。
第2圖為第1圖中之球體旋轉電路113執行球體旋轉之示意圖。球體200可以沿著一個或多個不同的旋轉軸旋轉。如第2圖所示，球體200的球體旋轉可具有沿x軸的側傾角(roll angle)，沿y軸的偏轉角(yaw angle)、和/或沿z軸的俯仰角(pitch angle)。舉例而言，旋轉角度可以由使用者指定、或者通過演算法計算而得。換句話說，球體旋轉電路113可以參考用戶輸入來對全方位影像/視訊內容S_IN執行球體旋轉，或者也可以在沒有用戶的介入下對全方位影像/視訊內容S_IN執行球體旋轉。在完成球體200的球體旋轉之後，旋轉後的球體200的全方位影像/視訊內容(即全方位影像/視訊內容S_IN')經由所提出的分段球體投影(SSP)投影/映射到投影面上，而包裹在分段球體投影設計的投影面則經由視訊編碼器116進行編碼。通過適當地控制球旋轉，可以適當地設置投影面中的內容，從而提高投影訊框IMG的編解碼效率。
目標電子裝置104可以是頭戴式顯示(HMD)裝置。 如第1圖所示，目標電子裝置104包含：解碼電路122、圖形渲染電路124和顯示螢幕126。解碼電路122從傳輸裝置103(如有線/無線通訊連結或儲存媒介等)接收位元流BS，並且執行視訊 解碼器功能來將所收到的一部分位元流BS進行解碼，以生成解碼幀IMG'。舉例而言，透過將接收到的位元流BS進行解碼，解碼電路122會生成一系列的解碼幀，其中解碼幀IMG'即是該系列解碼幀中的一個幀。在此實施例中，要由視訊編碼器116在編碼器端(即來源電子裝置102)處來進行編碼的投影訊框IMG會具有被選定的投影設計的SSP格式。因此，在解碼電路122(即目標電子裝置104)於解碼器端解碼位元流BS後，解碼幀IMG'會具有與所選擇的投影設計相同的SSP格式。圖形渲染電路124耦接在解碼電路122和顯示螢幕126之間。圖形渲染電路124會根據解碼幀IMG'在顯示螢幕126上渲染和顯示輸出圖像數據。 舉例而言，與經解碼幀IMG'攜帶的360度影像/視訊內容的一部分相關聯的視區(viewport area)，可經由圖形渲染電路124顯示在顯示螢幕126上。
當在編碼器端(即來源電子裝置102)執行球旋轉時，指示球體旋轉之旋轉資訊的語法元素將經由編碼器端生成的位元流BS，被發送到解碼器端(即目標電子裝置104)。透過這種方式，可以使具有視訊解碼器的目標電子裝置104根據所發送的語法元素可得知編碼器端球體旋轉的細節，以及，舉例而言，也可以執行解碼端逆球體旋轉來獲得渲染或顯示時所需的視訊數據。
如上所述，轉換電路114根據全方位影像/視訊內容S_IN'以及具有所選投影設計(即L_SSP)的SSP格式設計，來生成基於投影的幀IMG。第3圖為依據本發明之實施例之分段球體投影(SSP)格式之示意圖。球體200的表面被劃分為以北極 302為中心的北極區306、以南極304為中心的南極區310、以及在北極區306和南極區310之間的單個非極區環形區段(如赤道區段)308。球體200的赤道的緯度為0度。如第3圖所示，北極區306的最低緯度為+θ，而南極區310的最高緯度為-Φ。需注意的是，根據實際的設計考量，θ可能會與Φ相同或相異，如θ=Φ=45°。根據所提出的SSP格式，球體200的北極區306會被投影/映射到第一圓形投影面R_NP上，南極區310會被投影/映射到第二圓形投影面R_SP上，而非極區環形區段308則會被投影/映射到單個矩形投影面SEG_EQ上。
在一個示範性設計中，將北極區306透過等角投影平坦化為第一圓形投影面R_NP、將南極區310透過等角投影平坦化為第二圓形投影面R_SP、並將非極區環型區段308透過等面積投影映射到矩形投影面SEG_EQ上。然而，以上敘述僅用於說明之目的，而非用於對本發明做出限制。在本發明的其他實施例中，第一圓形投影面R_NP和第二圓形投影面R_SP當中的一者或兩者可具有等角投影格式或等面積投影格式，而矩形投影面SEG_EQ可具有等距柱狀投影格式或等面積投影格式。 此外，非均勻映射可包含在應用於球200的全方位影像/視訊內容S_IN'的分段球體投影中。
在轉換電路114取得第一圓形投影面R_NP、第二圓形投影面R_SP及矩型投影面SEG_EQ後，轉換電路114採用一個選擇的SSP設計L_SSP來封包(pack)第一圓形投影面R_NP、第二圓形投影面R_SP和矩形投影面SEG_EQ。換言之，從轉換電路114產生的投影訊框IMG會具有包裹於所選擇的SSP設計 L_SSP中、由第一圓形投影面R_NP、第二圓形投影面R_SP和矩形投影面SEG_EQ所表示的360度影像/視訊內容。SSP設計L_SSP可以是兩個圓形(即第一圓形投影面R_NP和第二圓形投影面R_SP)和一個矩形(即矩形投影面SEG_EQ)的任何排列。
第4圖為依據本發明之實施例之以兩個圓形之圓心及一個矩形之中心在投影訊框之高度方向為垂直對齊排列的SSP設計之數個範例之示意圖。投影訊框IMG可以採用第4圖中所示的任一示範性SSP設計。在第一圓形投影面R_NP、第二圓形投影面R_SP和矩形投影面SEG_EQ被封包為垂直排列的情況下，第一圓形投影面R_NP和第二圓形投影面R_SP可以都位於矩形投影面SEG_EQ的第一側，也可以分別位於矩形投影面SEG_EQ的相對側上，或者也可以都位於矩形投影面SEG_EQ的第二側上。
第5圖為數個依據本發明之實施例之具有兩個圓形與一個矩形之SSP設計之數個範例之示意圖，其中兩個圓形之圓心及一個矩形之中心在投影訊框之寬度方向上水準對齊排列。投影訊框IMG可以採用第5圖中所示的任一示範性SSP設計。在第一圓形投影面R_NP、第二圓形投影面R_SP和矩形投影面SEG_EQ被封包為水準排列的情況下，第一圓形投影面R_NP和第二圓形投影面R_SP可以都位於矩形投影面SEG_EQ的第一側，也可以分別位於矩形投影面SEG_EQ的相對側上，或者也可以都位於矩形投影面SEG_EQ的第二側上。
在本發明的一些實施例中，矩形投影面SEG_EQ可以被延展或收縮以形成不同的寬度和高度比。第6圖為依據本 發明之實施例之具有兩個圓形之SSP設計之數個範例之示意圖，其中兩個圓形之圓心在投影訊框之寬度方向上水準對齊排列、並位於一個矩形之同一側。第3圖中所示的矩形投影面SEG_EQ可以被縮放，從而允許第一圓形投影面R_NP和第二圓形投影面R_SP(其在投影訊框IMG的寬度方向上水準相鄰)位於被縮放的矩形投影面SEG_EQ的同一側上。
第7圖為依據本發明之實施例之具有兩個圓形之SSP設計之數個範例之示意圖，其中兩個圓形之圓心在投影訊框之高度方向上垂直對齊排列、並位於一個矩形之同一側。第3圖中所示的矩形投影面SEG_EQ可以被縮放，從而允許第一圓形投影面R_NP和第二圓形投影面R_SP(其在投影訊框IMG的寬度方向上垂直相鄰)位於被縮放的矩形投影面SEG_EQ的同一側上。
要被編碼的投影訊框IMG須為矩形。如果為了產生投影訊框IMG而將SSP設計L_SSP設定為第4圖至第7圖所示的示範性SSP設計之一，就會需要有虛擬區域R_DUMMY(如黑色區、灰色區、或白色區)來填滿投影訊框IMG。舉例而言，由第4圖至第7圖中的圓點區域表示的每一個虛擬區域R_DUMMY皆由不被顯示的非有效圖元組成。值得注意的是，第4圖至第7圖所示的每個示範性SSP設計中所包裹的第一圓形投影面R_NP和第二圓形投影面R_SP的位置可以被交換，並且/或者矩形投影面SEG_EQ也可以被旋轉/翻轉。這些可選擇的SSP設計也落入本發明的範圍內。
當兩個圓(如第一圓形投影面R_NP和第二圓形投 影面R_SP)被緊密地放置在SSP設計中時，在投影面邊界處彼此連接的相鄰圓之間可能存在影像內容的不連續邊緣。類似地，當一個圓(如第一圓形投影面R_NP或第二圓形投影面R_SP)和一個矩形(如矩形投影面SEG_EQ)緊密地放置在SSP設計中時，影像內容的不連續邊緣也可能存在於在投影面邊界相互連接的相鄰的圓形和矩形之間。因為兩個圓形和一個矩形的排列形狀並非一矩形的事實，當虛擬區域R_DUMMY(如黑色區、灰色區、或白色區)被填充於投影訊框IMG時，影像內容的不連續邊緣也可能存在於投影面及相鄰的虛擬區域R_DUMMY之間。 假設SSP設計L_SSP係依照第4圖至第7圖所示的示範性SSP設計之一來設定。對投影訊框IMG進行編碼可能引入由不連續相鄰面產生的假影。為瞭解決這個間題，本發明提出將保護帶引入SSP設計的投影面中，以減少或消除由不連續的相鄰投影面引起的假影。
第8圖為依據本發明之實施例之具有保護帶之SSP設計之示意圖。在此實施例中，每個投影面具有尺寸為SGB的保護帶。舉例而言，保護帶尺寸SGB可以是8個圖元的寬度。值得注意的是，保護帶尺寸SGB可以調節。當第一圓形投影面R_NP和第二圓形投影面R_SP被封包在具有防護帶的SSP設計中時，在第一圓形投影面R_NP和第二圓形投影面R_SP之間直接留有空間，使得第一圓形投影面R_NP不與第二圓形投影面R_SP相連。如第8圖所示，第一圓形投影面R_NP與第二圓形投影面R_SP之間的空間之寬度(即第一圓形投影面R_NP與第二圓形投影面R_SP的邊界之間的最短距離)等於2 * SGB。
類似地，當一個圓形投影面(如第二圓形投影面R_SP)和矩形投影面SEG_EQ被封包在具有防護帶的SSP設計中時，在圓形投影面(如第二圓形投影面R_SP)和矩形投影面SEG_EQ之間直接留有空間，使得圓形投影面(如第二圓形投影面R_SP)不與矩型投影面SEG_EQ相連。如第8圖所示，圓形投影面(如第二圓形投影面R_SP)與矩型投影面SEG_EQ之間的空間之寬度(即圓形投影面(如第二圓形投影面R_SP)與矩型投影面SEG_EQ的邊界之間的最短距離)等於2 * SGB。
由於防護帶能夠提供第一圓形投影面R_NP和第二圓形投影面R_SP之間的隔離、以及第二圓形投影面R_SP和矩形投影面SEG_EQ之間的隔離，因此可以避免或減少由不連續投影面的編碼所引起的假影。
如上所述，影像內容的不連續邊緣可能存在於緊密排列在SSP設計中的圓形(如第一圓形投影面R_NP和第二圓形投影面R_SP)之間，並且也可能存在於緊密排列在SSP設計中的圓形(如第一圓形投影面R_NP或第二圓形投影面R_SP)與矩形(矩型投影面SEF_EQ)之間。因為兩個圓形和一個矩形的排列並非一矩形的事實，當虛擬區域R_DUMMY(如黑色區、灰色區、或白色區)被填充於投影訊框IMG時，影像內容的不連續邊緣也可能存在於投影面及相鄰的虛擬區域R_DUMMY之間。對投影訊框IMG進行編碼可能形成由不連續相鄰面和/或非有效圖元導致的假影。本發明進一步提出將一個或多個填充區域導入SSP設計，藉以減少或消除由不連續相鄰面和/或非有效圖元引起的假影。如第1圖所示，轉換電路114具有填充電路115， 用於生成至少一個填充區域。因此，轉換電路114透過將所提出的分段球投影所獲得的投影面R_NP、R_SP和SEG_EQ、以及將所提出的填充技術在SSP設計L_SSP中所獲得的至少一個填充區域進行封包，用以產生投影訊框IMG。
第9圖為根據本發明之實施例之具有填充區塊之SSP設計之示意圖。在此實施例中，每個投影面具有填充尺寸SPD的填充區域。舉例而言，填充區區域的尺寸SPD可以是8個圖元的高度。值得注意的是，保護帶尺寸SPD可以調節。如第9圖所示，第一填充區域PR_1連接第一圓形投影面R_NP的邊界，第二填充區域PR_2連接第二圓形投影面R_SP的邊界，第三填充區域PR_3連接矩形投影面SEG_EQ的一側/邊界。每個第一填充區域PR_1和第二填充區域PR_2皆為環狀，並且具有由填充尺寸SPD所設定的指定填充半徑。第三填充區域PR_3為矩形，並且具有由填充尺寸SPD所設定的指定填充高度。在此實施例中，填充尺寸SPD可以等於防護帶大小SGB。然而，以上敘述僅用於說明之目的，而非用於對本發明做出限制。
在第一示範性填充實作中，填充電路115將幾何填充應用於投影面以決定包含在投影面的填充區域中的圖元的圖元值。舉例而言，應用於第一圓形投影面R_NP的幾何學填充決定了第一填充區域PR_1的幾何映射結果，該結果用於設置包含在第一填充區域PR_1中的圖元的圖元值。幾何映射結果是透過將球體(如第3圖所示的球體200)上一區域的內容映射到第一填充區域PR_1上而獲得的，其中球體上的該區域與第一圓形投影面R_NP的區域相鄰。因此，在第一圓形投影面R_NP和第 一填充區域PR_1的幾何映射結果之間就會形成影像內容的連續性邊緣。
舉另一例而言，應用於第二圓形投影面R_SP的幾何填充決定了第二填充區域PR_2的幾何映射結果，用於設置包含在第二填充區域PR_2中的圖元的圖元值。透過將球體(例如，第3圖所示的球體200)上一區域的內容映射到第二填充區域PR_2上，來獲得幾何映射結果。其中，球體上的該區域與第二圓形投影面R_NP的區域是相鄰的。因此，在第二圓形投影面R_SP和第二填充區域PR_2的幾何映射結果之間存在影像內容連續性邊緣。
再舉一例，應用於矩形投影面SEG_EQ的幾何填充會決定第三填充區域PR_3的幾何映射結果，用於設置包含在第三填充區域PR_3中之圖元的圖元值。透過將球體(如第3圖所示之球體200)上一區域的內容映射到第三填充區域PR_3上，來獲得幾何映射結果，其中，球體上的區域與矩形投影面SEG_EQ所獲得的區域相鄰。因此，在矩形投影面SEG_EQ和第三填充區域PR_3的幾何映射結果之間存在影像內容連續性邊緣。
在第二示範性填充實作中，填充電路115從投影面中複製的圖元之圖元值中，導出包括在填充區域中的圖元之圖元值。舉例而言，複製投影面的邊界圖元，以產生投影面的填充圖元。即，投影面的填充區域係透過將投影面的邊界圖元向外擴展來產生。
關於環狀的第一填充區域PR_1，包含在第一填充區域PR_1中的部分圖元之圖元值，可以透過複製第一圓形投影 面R_NP的邊界圖元的圖元值來直接設置，以及包含在第一填充區域PR_1中的部分圖元之圖元值，可以透過重複圖元值的插值來導出。其中，每一圖元值藉由複製第一圓形投影面R_NP的邊界圖元的值來設置。
關於環狀的第二填充區域PR_2，包括在第二填充區域PR_2中的部分圖元的圖元值，可以透過複製第二圓形投影面R_SP的邊界圖元的圖元值來直接設置，以及包含在第二填充區域PR_2中的部分圖元之圖元值，可以透過複製圖元值的插值來導出，每一圖元值藉由複製第二圓形投影面R_SP的邊界圖元的值來設置。
關於矩形的第三填充區域PR_3，第三填充區域PR_3中包含的所有圖元的圖元值可以透過複製矩形投影面SEG_EQ的邊界圖元之圖元值來直接進行設置。
在第三填充實作中，填充電路115透過基於投影面和相鄰虛擬區中包括的圖元的圖元值的插值，來設置填充區域中所包含的圖元之圖元值。關於第一圓形投影面R_NP，包含在第一填充區域PR_1中的圖元之圖元值係透過基於包含在第一圓形投影面R_NP和相鄰虛擬區域R_DUMMY中圖元的圖元值的插值來獲取。關於第二圓形投影面R_SP，包含在第二填充區域PR_2中的圖元之圖元值係基於包含在第二圓形投影面R_SP和相鄰虛擬區域R_DUMMY中圖元的圖元值的插值來獲取。所採用的插值可以是最近鄰插值、線性插值、雙線性插值或其他插值演算法。此外，所採用的插值使用的採樣點可以從單個方向或不同的方向來獲得。
第10圖為將第1圖所示之填充電路115執行插值之第一範例示意圖。要將投影面與虛擬區域(如R_DUMMY)隔離，填充區域(如PR_1或PR_2)需被產生並與投影面(如R_NP或R_SP)連接。如第10圖所示，對從投影面和虛擬區域獲得的採樣點(即圖元)P1和P2執行內插。舉例而言，採樣點P1是投影面的邊界圖元，而採樣點P2是虛擬區域的非有效圖元。因此，內插採樣點(即填充圖元)P點可根據採樣點P1和P2的樣本值、採樣點P1和內插採樣點P之間的距離d1、以及採樣點P2和內插採樣點P樣本之間的距離d2來決定。舉例而言(但本發明不限制於此)，內插採樣點P(即為填充區域PR_1/PR_2中的填充圖元之一)的採樣值可以使用基於距離的加權函數來做計算。插值可以使用以下等式來表示。
關於矩形投影面SEG_EQ，在第三填充區域PR_3中的圖元之圖元值的取得，係透過對於基於包含在矩形投影面SEG_EQ、和相鄰虛擬區域R_DUMMY中的圖元的圖元值間取插值來獲得。所採用的插值可以是最近鄰插值、線性插值、雙線性插值或其他插值演算法。此外，所採用的插值使用的採樣點可以從單個方向或不同的方向來獲得。
第11圖為將第1圖所示之填充電路115執行插值之第二範例示意圖。要將投影面與虛擬區域(如R_DUMMY)隔離，填充區域(如PR_3)需被產生並與投影面(如SEG_EQ)連接。 如第11圖所示，對從投影面和虛擬區域獲得的採樣點(即圖元)P1和P2執行內插。舉例而言，採樣點P1是投影面的邊界圖元，而採樣點P2是虛擬區域的非有效圖元。因此，內插採樣點(即填充圖元)P點可根據採樣點P1和P2的樣本值、採樣點P1和內插採樣點P之間的距離d1、以及採樣點P2和內插採樣點P樣本之間的距離d2來決定。舉例而言(但本發明不限制於此)，上述等式(1)可用於計算內插採樣點P(亦為填充區域PR_3中的填充圖元之一)的樣本值。
在第四填充實作中，填充電路115透過應用於包括在相鄰投影面中、但不與填充區域連接的圖元之圖元值之複製，來設置填充區域中包含的圖元之圖元值。舉例而言，填充區域是相鄰投影面的部分區域的複製，其中相鄰投影面的部分區域並不與填充區域相連。
第12圖為將第1圖所示之由填充電路執行之重製，用以生成矩形投影面之填充區域之示意圖。具有頂側S_T、底側S_B、左側S_L和右側S_R的矩形投影面SEG_EQ，可以以等距柱狀投影(ERP)格式或等面積投影(EAP)格式進行排列。此外，矩形投影面SEG_EQ具有包含在右側S_R的邊界圖元的部分區域P_R。第三填充區域PR_3需要被添加到矩形投影面SEG_EQ的左側S_L。
在此實施例中，第三填充區域PR_3是矩形投影面SEG_EQ之部分區域P_R的複製品。因此，第三填充區域PR_3的圖元包含了投影面A的右側S_R處的邊界圖元，但是不包含投影面A的左側S_L處的邊界圖元。由於矩形投影面SEG_EQ的 左側S_L和右側S_R是相反側，第三填充區域PR_3具有在投影面A的右側S_R的邊界圖元，並不與矩形投影面SEG_EQ的右側S_R相連接。由於等距柱狀投影/等面積投影的固有特性，通過填充在第三填充區域PR_3與封包於SSP設計的矩形投影面SEG_EQ之間，會存在影像內容連續性邊界(即內容會被連續地重現在矩形投影面SEG_EQ和第三填充區域PR_3上)。
填充區塊可以應用在矩形投影面SEG_EQ的邊界上。在上述由第11圖和第12圖所示意之範例中，一個填充區域會生成並且與矩形投影面SEG_EQ的左側連接。不過以上敘述僅用於說明之目的，而非用於對本發明做出限制。舉例而言，單個填充區域可被生成並且與矩形投影面SEG_EQ的任何一側連接。舉另一例而言，多個填充區域可被生成並分別與矩形投影面SEG_EQ的多個側面(或所有側面)連接。這些替代的填充設計皆落入本發明之範圍內。
如上所述，將一個保護帶導入SSP設計中的投影面，藉以減少或消除由不連續的相鄰投影面所造成的假影。考慮在兩個投影面之間的保護帶上應用填充的情況。當填充尺寸SPD不大於保護帶尺寸SGB(即SPD SGB)時，相鄰投影面的填充區域以不重疊的方式置於SSP設計中。第13圖為根據本發明之實施例之具有填充區塊及保護帶之第一SSP設計之示意圖。在此例中，填充尺寸SPD等於保護帶尺寸SGB(即SPD=SGB)。因此，第一填充區域PR_1和第二填充區域PR_2會被緊密地放置在一起，以具有彼此連接的邊界填充圖元；以及第二填充區域PR_2和第三填充區域PR_3也會被緊密地放置在一起，以具有彼此連 接的邊界填充圖元。
然而，當填充尺寸SPD大於保護帶尺寸SGB(即SPD>SGB)時，相鄰投影面的填充區域以重疊的方式置於SSP設計中。第14圖為根據本發明之實施例之具有填充區塊及保護帶之第二SSP設計之示意圖。由於填充尺寸SPD大於保護帶尺寸SGB(即SPD>SGB)，相鄰投影面之間留下的空間，無法使產生的用於相鄰投影面的填充區域彼此分離。如第14圖所示，無法避免地，在第一填充區域PR_1與第二填充區域PR_2之間存在重疊區域R12；以及無法避免地，在第二填充區域PR_2和第三填充區域PR_3之間存在重疊區域R23。具體而言，通過填充將第一填充區域PR_1、第二填充區域PR_2和第三填充區域PR_3封包於SSP設計之情況下，第一填充區域PR_1可以被視為具有非重疊區域R1和重疊區域R12，第二填充區域PR_2可被視為具有非重疊區域R2和兩個重疊區域R12和R23，而第三填充區域PR_3則可被視為具有非重疊區域R3和重疊區域R23。
由於重疊區域R12可以被視為是第一填充區域PR_1的一部分，且亦可被視為是第二填充區域PR_2的一部分，因此轉換電路114(具體而言係指轉換電路114中的填充電路115)應該適當地處理重疊區域R12中所包含的重疊圖元之圖元值。類似地，由於重疊區域R23可被視為第二填充區域PR_2的一部分，且亦可被視為第三填充區域PR_3的一部分，因此轉換電路114(具體而言係指轉換電路114中的填充電路115)應該適當地處理重疊區域R23中所包含的的重疊圖元之圖元值。
在第一示範性重疊設計中，包含於由兩個相鄰填 充區域所產生的重疊區域中的重疊圖元的圖元值，直接由原始包含在兩個填充區域所選出的一個填充區域的填充圖元的圖元值所設置。
請綜合參閱第14圖及第15圖。第15圖為根據本發明之實施例之設定在重疊區域內之重疊圖元之圖元值之第一範例示意圖。當包含在重疊區域R12中的重疊圖元，比第二填充區域PR_2的非重疊區域R2，更接近第一填充區域PR_1的非重疊區域R1時，包含在重疊區域R12中的重疊圖元的圖元值直接由包含在第一填充區域PR_1中的同位元填充圖元的圖元值直接設置；而當包括在重疊區域R12中的重疊圖元，比第一填充區域PR_1的非重疊區域R1，更接近第二填充區域PR_2的非重疊區域R2時，包含在重疊區域R12中的重疊圖元之圖元值直接由包含在第二填充區域PR_2中的同位元填充圖元之圖元值直接設置。如第15圖所示，重疊區域R12的左側部分係由包含在第一填充區域PR_1中的填充圖元來設置，而重疊區域R12的右側部分則係由包含在第二填充區域PR_2中的填充圖元來設置。換言之，當為第一圓形投影面R_NP完全生成的第一填充區域PR_1、和為第二圓形投影面R_SP完全生成的第二填充區域PR_2，與填充區塊和保護帶被封包在SSP設計中時，位於重疊區域R12的左側部分中的第二填充區域PR_2的一部分填充圖元可以被丟棄，以及位於重疊區域R12的右側部分中的第一填充區域PR_1的一部分填充圖元亦可以被丟棄。
當包含在重疊區域R23中的重疊圖元比第三填充區域RR_3的非重疊區域R3更接近第二填充區域PR_2的非重疊 區域R2時，包括在重疊區域R23中的重疊圖元之圖元值係直接由包含在第二填充區域PR_2中的同位元填充圖元的圖元值進行設置；而當包含在重疊區域R23中的重疊圖元比第二填充區域PR_2的非重疊區域R2更接近第三填充區域PR_3的非重疊區域R3時，包含在重疊區域R23中的重疊圖元之圖元，係直接由包含在第三填充區域PR_3中的同位元填充圖元之圖元值進行設置。如第15圖所示，重疊區域R23的左側部分係由包含在第二填充區域PR_2中的填充圖元所設置，而重疊區域R23的右側部分係由包含在第三填充區域PR_3中的填充圖元所設置。換言之，當為了第二圓形投影面R_SP完全生成的第二填充區域PR_2、以及為了矩形投影面SEG_EQ完全生成的第三填充區域PR_3，被封包在具有填充和保護帶的SSP設計中時，可以丟棄位於重疊區域R23的左側部分的第三填充區域PR_3的填充圖元的一部分，且亦可以丟棄位於重疊區域R23的右側部分中的第二填充區域PR_2的填充圖元的一部分。
在第二示範性重疊設計中，包含在兩個相鄰填充區域的填充中的重疊區域中的重疊圖元的圖元值，係透過將屬於兩個填充區域的共同定位填充圖元之圖元值進行混合來進行設置。
請綜合參閱第14圖及第16圖。第16圖為根據本發明之實施例之設定在重疊區域內之重疊圖元之圖元值之第二範例示意圖。當為第一圓形投影面R_NP完全生成的第一填充區域PR_1、和為第二圓形投影面R_SP完全生成的第二填充區域PR_2，被封包在具有填充區塊和保護帶的SSP設計中時，包 含在重疊區域R12中的重疊圖元的圖元值係由第一填充區域PR_1中的同位元填充圖元之圖元值與第二填充區域PR_2中的同位元填充圖元之圖元值進行混合(如平均)來進行設置。此外，為第二圓形投影面R_SP完全生成的第二填充區域PR_2、和為矩形投影面SEF_EQ完全生成的第三填充區域PR_3，被封包在具有填充和保護帶的SSP設計中時，包含在重疊區域R23中的重疊圖元的圖元值係由第二填充區域PR_2中的同位元填充圖元之圖元值與第三填充區域PR_3中的同位元填充圖元之圖元值進行混合(如平均)來進行設置。換言之，重疊區域R12中所包含的每個重疊圖元的圖元值，可以透過從第一填充區域PR_1獲得的同位元填充圖元之圖元值以及從第二填充區域PR_2獲得的同位元填充圖元之圖元值的平均值來設置；重疊區域R23中包含的每個重疊圖元之圖元值，可以透過從第二填充區域PR_2獲得的同位元填充圖元之圖元值以及從第三填充區域PR_3獲得的同位元填充圖元之圖元值的平均值來設置。
在第三示範性重疊設計中，由將兩個相鄰的填充進行封包而產生、並包含在重疊區域內的所有重疊圖元之圖元值，係直接由包含在同一填充區域的同位元填充圖元之圖元值所設置。
請綜合參閱第14圖及第17圖。第17圖為根據本發明之實施例之設定在重疊區域內之重疊圖元之圖元值之第三範例示意圖。在本範例中，重疊區域R12中包含的所有重疊圖元之圖元值，僅由第一填充區域PR_1中的同位元填充圖元之圖元值所直接設置；而重疊區域R23中包含的所有重疊圖元的圖 元值，亦僅由直接由第二填充區域PR_2中的同位元填充圖元之圖元值所直接設置。換言之，當為了第一圓形投影面R_NP完全生成的第一填充區域PR_1、以及為了第二圓形投影面R_SP完全生成的第二填充區域PR_2，被封包在具有填充和保護帶的SSP設計中時，可以丟棄位於重疊區域R12的第二填充區域PR_2的填充圖元(即第二填充區域PR_2中的同位元填充圖元之圖元值)的一部分；而當為了第二圓形投影面R_SP完全生成的第二填充區域PR_2、以及為了矩形投影面SEG_EQ完全生成的第三填充區域PR_3，被包裹在具有填充和保護帶的SSP設計中時，則可以丟棄位於重疊區域R23的第三填充區域PR_3的填充圖元(即第三填充區域PR_3中的同位元填充圖元之圖元值)的一部分。
請綜合參閱第14圖及第18圖。第18圖為根據本發明之實施例之設定在重疊區域內之重疊圖元之圖元值之第四範例示意圖。在本範例中，重疊區域R12中包含的所有重疊圖元之圖元值，僅由第二填充區域PR_2中的同位元填充圖元之圖元值所直接設置，而重疊區域R23中包含的所有重疊圖元之圖元值，則僅由第三填充區域PR_3中的同位元填充圖元之圖元值所直接設置。換言之，當為了第一圓形投影面R_NP完全生成的第一填充區域PR_1、以及為了第二圓形投影面R_SP完全生成的第二填充區域PR_2，被封包在具有填充和保護帶的SSP設計中時，可以丟棄位於重疊區域R12的第一填充區域PR_1的填充圖元(即第一填充區域PR_1中的同位元填充圖元之圖元值)的一部分；而當為了第二圓形投影面R_SP完全生成的第二填充 區域PR_2、以及為了矩形投影面SEG_EQ完全生成的第三填充區域PR_3，被封包在具有填充和保護帶的SSP設計中時，則可以丟棄位於重疊區域R23的第二填充區域PR_2的填充圖元(即第二填充區域PR_2中的同位元填充圖元之圖元值)的一部分。
在第四示範性重疊設計中，透過混合不同圖元之圖元值，對兩個相鄰填充區域封包而得到的重疊區域所包含的重疊圖元之圖元值進行設置，其中，兩個相異的圖元之一，可以是選取自第一投影面和填充區域(插入在第一投影面與第二投影面之間)中的一個的邊界圖元，而另一個相異的圖元，可以是選取自第二投影面和填充區域中的一個的邊界圖元。
請綜合參閱第14圖及第19圖。第19圖為根據本發明之實施例之設定在重疊區域內之重疊圖元之圖元值之第五範例示意圖。在本範例中，填充電路115透過插值來設定包含在重疊區域R12的重疊圖元之圖元值，其中，該插值係基於包含在第一圓形投影面R_NP中的圖元的圖元值以及包含在第二圓形投影面R_SP中的圖元的圖元值所決定。所採用的插值可以是最鄰近插值、線性插值、雙線性插值或其他插值演算法。此外，所採用的插值使用的採樣點，可以從單個方向或不同的方向獲得。
如第19圖所示，對從第一圓形投影面R_NP和第二圓形投影面R_SP所獲得的採樣點(即圖元)P1和P2執行水準插值。舉例而言，採樣點P1是第一圓形投影面R_NP的邊界圖元，而採樣點P2則是第二圓形投影面R_SP的邊界圖元。因此，重疊區域R12中的內插採樣點(即重疊圖元)P係根據採樣點P1和P2 的採樣值、採樣點P1和插值採樣點P之間的距離d1、以及採樣點P2和插值採樣點P之間的距離d2決定。根據此例，內插採樣點P(亦即重疊區域R12中的重疊圖元之一)的樣本值，可以透過使用上面的公式(1)來計算。
第19圖所示之插值僅用於說明之目的，而非用於對本發明做出限制。在本發明的一些實施例中，內插區域可以在不同的位置開始/結束。因此，內插使用的採樣點，可以為圓形投影面R_NP/R_SP的邊界圖元、填充區域PR_1/PR_2的邊界圖元、或是填充區域PR_1/PR_2中的任意點。第20圖為根據本發明之實施例，用於計算在重疊區域R12內插值採樣點(即重疊圖元)之圖元值之插值計算所涉及的採樣點之不同選擇之示意圖。如第20圖的子圖(A)所示，每個水準插值係於一個採樣點為第一圓形投影面R_NP的邊界圖元、而另一個採樣點為第二圓形投影面R_SP的邊界圖元時執行。如第20圖的子圖(B)所示，每個水準插值係於一個採樣點為第二填充區域PR_2內且位於第一填充區域PR_1的邊界上之圖元、而另一個採樣點則為第一填充區域PR_1內且位於第二填充區域PR_2的邊界上之圖元時執行。如第20圖的子圖(C)所示，每個水準插值係於一個採樣點為第一填充區域PR_1內且位於第二填充區域PR_2的邊界上之圖元，而另一個採樣點則為第二圓形投影面R_SP上之邊界圖元時執行。如第20圖的子圖(D)所示，每個水準插值係於一個採樣點為位於第一圓形投影面R_NP之邊界圖元、而另一個採樣點則為第二填充區域PR_2內且位於第一填充區域PR_1之邊界上之圖元時執行。
請綜合參閱第14圖及第21圖。第21圖為根據本發明之實施例之設定在重疊區域內之重疊圖元之圖元值之第六範例示意圖。在本範例中，填充電路115透過插值來設定包含在重疊區域R23的重疊圖元之圖元值，其中，該插值係基於包含在第二圓形投影面R_SP中的圖元的圖元值、以及包含在矩形投影面SEG_EQ中的圖元的圖元值所決定。所採用的插值可以是最鄰近插值、線性插值、雙線性插值或其他插值演算法。此外，所採用的插值使用的採樣點，可以從單個方向或不同的方向獲得。
如第21圖所示，對從第二圓形投影面R_SP和矩形投影面SEG_EQ所獲得的採樣點(即圖元)P1和P2執行水準插值。舉例而言，採樣點P1是第二圓形投影面R_SP的邊界圖元，而採樣點P2則是矩形投影面SEG_EQ的邊界圖元。因此，重疊區域R23中的內插採樣點(即重疊圖元)P係根據採樣點P1和P2的採樣值、採樣點P1和插值採樣點P之間的距離d1、以及採樣點P2和插值採樣點P之間的距離d2決定。根據此例，內插採樣點P(亦即重疊區域R23中的重疊圖元之一)的樣本值，可以透過使用上面的公式(1)來計算。
第21圖所示之插值僅用於說明之目的，而非用於對本發明做出限制。在本發明的一些實施例中，內插區域可以在不同的位置開始/結束。因此，內插使用的採樣點，可以為投影面R_SP/SEG_EQ的邊界圖元、填充區域PR_2/PR_3的邊界圖元、或是填充區域PR_2/PR_3中的任意點。第22圖為根據本發明之實施例，用於計算在重疊區域R23插值採樣點(即重 疊圖元)之圖元值的內插計算中所涉及的採樣點之不同選擇之示意圖。如第22圖的子圖(A)所示，每個水準插值係於一個採樣點為第二填充區域PR_2內且位於第三填充區域PR_3的邊界上之圖元，且另一個採樣點為矩形投影面SEG_EQ的邊界圖元時執行。如第20圖的子圖(B)所示，每個水準插值係於一個採樣點為第二填充區域PR_2內且位於第一填充區域PR_3的邊界上之圖元，而另一個採樣點則為第一填充區域PR_3內且位於第二填充區域PR_2的邊界上之圖元時執行。如第20圖的子圖(C)所示，每個水準插值係於一個採樣點為第二圓形投影面R_SP之邊界圖元，而另一個採樣點則為矩形投影面SEG_EQ上之邊界圖元時執行。如第20圖的子圖(D)所示，每個水準插值係於一個採樣點為位於第二圓形投影面R_SP之邊界圖元、而另一個採樣點則為第三填充區域PR_3內且位於第二填充區域PR_2之邊界上之圖元時執行。
在前述的SSP設計中，每一個第一圓形投影面R_NP、第二圓形投影面R_SP和矩形投影面SEG_EQ皆具有填充區域。在一個替代的SSP設計設計中，第一圓形投影面R_NP、第二圓形投影面R_SP和矩形投影面SEG_EQ中，僅有一者具有填充區域。在另一個替代的SSP設計中，第一圓形投影面R_NP、第二圓形投影面R_SP和矩形投影面SEG_EQ中，僅有兩者具有填充區域。此外，取決於實際的設計考慮，填充尺寸SPD不限定於等於或大於保護帶尺寸SGB。此外，靠近投影訊框IMG的邊界的填充區塊可能為不必要的。因此，圓形投影面可能會被相關的填充區域完全包圍、或者可以被相關的填充區域部分 地包圍。基於上述觀察結果，在第23圖中示意出數個了具有填充的SSP設計的範例。
如第3圖所示，球體200的表面被劃分為以北極302為中心的北極區306、以南極304為中心的南極區310以及北極區306與南極區310之間的單個非極區環形區段(如赤道區段)308。可替代地，球體200的表面可被劃分成兩個極區和多個非極區環形區段。
第24圖為根據本發明之實施例之第二分段球投影(SSP)格式之示意圖。球體200的表面被劃分為以北極302為中心的北極區306、以南極304為中心的南極區310以及在北極區306和南極區310之間的多個非極區環形區段(如赤道區段)2408。球體200的赤道緯度為0度。如第24圖所示，北極區306的最低緯度為+αi，而南極區310的最高緯度為-βj。關於北半球，一個非極區環形段2408由緯度0度和+α0所定義，另一個非極區環形段2408則由緯度+α0和+α1所定義...以此類推。關於南半球，一個非極區環形段2408由緯度和-β0所定義，另一個非極區環形段2408由緯度-β0和-β1所定義...以此類推。根據所提出的SSP格式，將球體200的北極區306投影/映射到第一圓形投影面R_NP，南極區310投影/映射到第二圓形投影面R_SP，而非極區環形段2408則分別投影/映射到多個矩形投影面SEG_EQ(αi)、...、SEG_EQ(0°)、...SEG_EQ(-βj)上。
在一個示範性設計中，透過等角投影將北極區域306平面化至第一圓形投影面R_NP，透過等角投影將南極區域310平面化至第二圓形投影面R_SP，並透過等面積投影將非極 區環形段2408映射到矩形投影面SEG_EQ(αi)、...、SEG_EQ(0°)、...SEG_EQ(-βj)上。不過以上敘述僅用於說明之目的，而非用於對本發明做出限制。在本發明的一些實施例中，第一圓形投影面R_NP和第二圓形投影面R_SP中的一者或兩者，可以為等角投影格式或等面積投影格式，而每個矩形投影面SEG_EQ(αi)、...、SEG_EQ(0°)、...SEG_EQ(-βj)則可以為等距柱狀投影格式或等面積投影格式。此外，非均勻映射可能涉及應用於球200的全方位影像/視訊內容S_IN'的分段球體投影。
在透過轉換電路114獲得第一圓形投影面R_NP、第二圓形投影面R_SP和矩形投影面SEG_EQ(αi)、...、SEG_EQ(0°)、...SEG_EQ(-βj)後，轉換電路114會採用所選的SSP設計L_SSP來封包第一圓形投影面R_NP、第二圓形投影面R_SP和矩形投影SEG_EQ(αi)、...、SEG_EQ(0°)、...SEG_EQ(-βj)。
SSP設計L_SSP可以為兩個圓(即第一圓形投影面R_NP和第二圓形投影面R_SP)和多個矩形(即矩形投影面SEG_EQ(αi)、...、SEG_EQ(0°)、...SEG_EQ(-βj))的任何排列。前述的填充和/或保護帶可應用於第一圓形投影面R_NP、第二圓形投影面R_SP和矩形投影面SEG_EQ(αi)、...、SEG_EQ(0°)、...SEG_EQ(-βj)中的至少一個。此外，靠近投影訊框IMG的邊界的填充區塊可能是不必要的。由於相關領域的技術人員在閱讀上述段落後，可以容易地理解填充和保護帶的細節，因此為了簡潔起見，在此省略了進一步的描述。
第25圖為數個根據本發明之實施例具有填充區塊之SSP設計之數個範例之示意圖，其中兩個圓形堆疊於投影訊框中間上方。中間的矩形投影面為SEG_EQ(0°)，而第一圓形投影面R_NP、第二圓形投影面R_SP和矩形投影面SEG_EQ(0°)的中心，在投影訊框IMG的高度方向上為垂直排列。
第26圖為數個根據本發明之實施例具有填充區塊之SSP設計之數個範例之示意圖，其中兩個圓形分別放置於投影訊框中間上方。中間的矩形投影面為SEG_EQ(0°)，第一圓形投影面R_NP和第二圓形投影面R_SP係放置於矩形投影面SEG_EQ(0°)的同一側上，且第一圓形投影面R_NP和第二圓形投影面R_SP在投影訊框IMG的寬度方向上則為水準排列。
第27圖為數個根據本發明之實施例具有填充區塊之SSP設計之數個範例之示意圖，其中兩個圓形分別放置於投影訊框中間上方之左右兩側。中間的矩形投影面為SEG_EQ(0°)，第一圓形投影面R_NP和第二圓形投影面R_SP被放置在矩形投影面SEG_EQ(0°)的相對側上，且第一圓形投影面R_NP和第二圓形投影面R_SP在投影訊框IMG的寬度方向上則為水準排列。
要被編碼的投影訊框IMG須為矩形。如果SSP設計L_SSP係由為了創建投影訊框IMG的第25圖至第27圖所示的示範性SSP設計之一設置，則投影訊框IMG須具有填充於投影訊框IMG中之虛擬區域(如黑色區、灰色區或白色區)。舉例而言，第25圖至第27圖中由圓點區域表示的每個虛擬區域，皆由不被顯示的非有效圖元組成。
本領域之通常技術者可輕易觀察到在維持本發明的教導的同時，仍可對於此裝置及方法進行各種修改及變更。據此，上述揭露之內容應被解釋為僅受所附之專利申請範圍的界限之限制。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

Claims (21)

  1. 一種視訊處理方法，包括：接收對應於一球體的全方位內容；根據至少所述全方位內容和一分段球形投影格式生成一投影訊框，其中所述投影訊框具有由封包於一分段球體投影設計之一第一圓形投影面、一第二圓形投影面和至少一個矩形投影面所表示之一360度內容；所述球體的一北極區被映射至所述第一圓形投影面上，所述球體的一南極區被映射至所述第二圓形投影面上，所述球體的所述北極區和所述南極區之間的至少一個非極區環形區域被映射到所述至少一個矩形投影面上；生成至少一填充區域；以及透過一視訊編碼器對於所述投影訊框進行編碼以生成一位元流之一部分；其中，所述分段球體投影設計進一步包括所述至少一填充區域，所述至少一個填充區域包括一第一填充區域，所述第一填充區域與所述第一投影面之一邊界相連接，其中所述第一投影面為所述第一圓形投影面中、所述第二圓形投影面和所述至少一個矩形投影面中之一個；所述投影訊框進一步被填充非有效圖元，以確保所述投影訊框之形狀為矩形。
  2. 如申請專利範圍第1項所述之視訊處理方法，其中所述北極區之一最低緯度為+45°，所述南極區之一最高緯度為-45°。
  3. 如申請專利範圍第1項所述之視訊處理方法，其中，所述球體之所述北極區透過等角投影映射到所述第一圓形投影面上，所述球體之所述南極區透過等角投影映射到所述第二圓形投影面上，而所述球體之的至少一個所述非極區環形部分透過等面積投影被映射到所述至少一個矩形投影面上。
  4. 如申請專利範圍第1項所述之視訊處理方法，並進一步包括：對所述球體之所述全方位內容應用一內容旋轉；其中，根據所述全方位內容及所述分段球體投影格式以生成所述投影訊框，係於所述球體之所述全方位內容透過所述內容旋轉進行旋轉之後執行的。
  5. 如申請專利範圍第1項所述之視訊處理方法，其中，當所述第一圓形投影面和所述第二圓形投影面被封包於所述分段球體投影設計時，在所述第一圓形投影面和所述第二圓形投影面之間會直接留有一空間，使得所述第一圓形投影面不與所述第二圓形投影面相連接。
  6. 如申請專利範圍第1項所述之視訊處理方法，其中，當所述至少一個矩形投影面、以及所述第一圓形投影面和所述第二圓形投影面其中之一被封包於所述分段球體投影設計時，在所述至少一個矩形投影面、以及所述第一圓形投影面和所述第二圓形投影面其中之一會直接留有一空間，使得所述至少一個矩形投影面不與所述第一圓形投影面和所述第二圓形投影面其中之一相連接。
  7. 如申請專利範圍第1項所述之視訊處理方法，其中生成所述至少一個填充區域包含：應用幾何填充至所述第一投影面，以決定所述第一填充區域中包含之圖元之圖元值。
  8. 如申請專利範圍第8項所述之視訊處理方法，其中生成所述至少一個填充區域包含：從所述第一投影面中包含之圖元之圖元值之複製，導出所述第一填充區域包含之圖元之圖元值。
  9. 如申請專利範圍第8項所述之視訊處理方法，其中，所述第一投影面為所述至少一個矩形投影面中之一個，所述第一填充區不與所述第一投影面之另一側連接，所述第一投影面的一側與所述第一投影面的另一側為所述第一投影面之相反側，所述第一投影面包括一部分區域，所述部分區域包括在所述第一投影面之所述另一側處之邊界圖元，所述第一填充區域係由複製所述部分區域所生成，且封包於所述分段球體投影設計中的所述第一填充區域和所述第一投影面之間存在一影像內容連續性邊界。
  10. 如申請專利範圍第1項所述之視訊處理方法，其中生成所述至少一個填充區域包含：根據所述第一投影面中包含之所述圖元與所述第一填充區域包含之一選擇圖元之間的一距離以及所述第一填充區域包含之一所述圖元與一選擇的非有效圖元之間之一距離將所述第一投影面之所選圖元之圖元值與所述選擇的非有效圖元之圖元值進行混合，來設置所述第一填充區域包含之所述圖元之圖元值。
  11. 如申請專利範圍第1項所述之視訊處理方法，其中，所述至少一個填充區域進一步包括一第二填充區域，所述第二填充區域與一第二投影面的一邊界連接，所述第二投影面為所述第一圓形投影面、所述第二圓形投影面和所述至少一個矩形投影面中的另一個，且所述第一填充區域和所述第二填充區域係封包於所述分段球體投影設計而不重疊。
  12. 如申請專利範圍第1項所述之視訊處理方法，其中，所述至少一個填充區域進一步包括一第二填充區域，所述第二填充區域與一第二投影面的一邊界連接，所述第二投影面為所述第一圓形投影面、所述第二圓形投影面和所述至少一個矩形投影面中的另一個，且所述第一填充區域和所述第二填充區域係封包於所述分段球體投影設計並互相重疊。
  13. 如申請專利範圍第12項所述之視訊處理方法，其中，透過封包所述第一填充區域和所述第二填充區域而得到的一重疊區域中所包含的一圖元之圖元值，係直接由包含於選擇自所述第一填充區域和所述第二填充區域中的一填充區域中的一填充圖元之圖元值所設置。
  14. 如申請專利範圍第13項所述之視訊處理方法，其中，當所述重疊區域中包含的一圖元比所述第二填充區域的一非重疊區域更接近所述第一填充區域的一非重疊區域時，所述重疊區域中包含之所述圖元之圖元值係直接由所述第一填充區中包含之一同位元填充圖元之圖元值來設置；而當所述重疊區域中包含之一圖元比所述第一填充區域的一非重疊區域更接近所述第二填充區域的一非重疊區域時，所述重疊區域中包含之所述圖元之圖元值係直接由所述第二填充區域中包含之一同位元填充圖元之圖元值來設置。
  15. 如申請專利範圍第13項所述之視訊處理方法，其中，所述重疊區域中包含之所有圖元之圖元值係由一相同填充區域中包含之同位元填充圖元之圖元值來設置。
  16. 如申請專利範圍第12項所述之視訊處理方法，其中，封包於所述第一填充區域與所述第二填充區域所產生之一重疊區域所包含之一圖元之圖元值係透過混合不同圖元的圖元值來設置。
  17. 如申請專利範圍第16項所述之視訊處理方法，其中，所述不同圖元包括所述第一投影面和所述第二投影面其中之一的一圖元。
  18. 如申請專利範圍第16項所述之視訊處理方法，其中，所述不同圖元包括所述第一填充區域和所述第二填充區域其中之一的一圖元。
  19. 如申請專利範圍第1項所述之視訊處理方法，其中，所述至少一個矩形投影面包括一第一矩形投影面；以及所述第一圓形投影面和所述第二圓形投影面都位於所述第一矩形投影面的同一側。
  20. 如申請專利範圍第1項所述之視訊處理方法，其中，所述至少一個矩形投影面包括一第一矩形投影面；以及所述第一圓形投影面和所述第二圓形投影面分別位於所述第一矩形投影面的相對側上。
  21. 一種視訊處理裝置，包括：一轉換電路，用於接收與一球體相對應的一全方位內容，並根據所述全方位內容和一分段球形投影格式生成一投影訊框，其中所述投影訊框具有一360度內容，所述360度內容係透過封包於所述分段球體投影設計之一第一圓形投影面、一第二圓形投影面和至少一個矩形投影面來表示，所述球體之一北極區被映射至所述第一圓形投影面上，所述球體之一南極區被映射至所述第二圓形投影面上，而所述球體的所述北極區和所述南極區之間的至少一非極區環形區域被映射到所述至少一個矩形投影面上；以及生成至少一填充區域；以及視訊編碼器，用於將所述投影訊框進行編碼以產生一位元流之一部分；其中，所述分段球體投影設計進一步包括所述至少一填充區域，所述至少一個填充區域包括一第一填充區域，所述第一填充區域與所述第一投影面之一邊界相連接，其中所述第一投影面為所述第一圓形投影面中、所述第二圓形投影面和所述至少一個矩形投影面中之一個；所述投影訊框進一步被填充非有效圖元，以確保所述投影訊框之形狀為矩形。
TW107109627A 2017-03-22 2018-03-21 具有由封包於分段球體投影設計並以投影面表示之360度內容之投影訊框生成及編碼之方法及裝置 TWI666912B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201762474704P 2017-03-22 2017-03-22
US62/474,704 2017-03-22
US201762517217P 2017-06-09 2017-06-09
US62/517,217 2017-06-09
US201762530367P 2017-07-10 2017-07-10
US62/530,367 2017-07-10
US15/927,028 US10593012B2 (en) 2017-03-22 2018-03-20 Method and apparatus for generating and encoding projection-based frame with 360-degree content represented in projection faces packed in segmented sphere projection layout
US15/927,028 2018-03-20

Publications (2)

Publication Number Publication Date
TW201838406A TW201838406A (zh) 2018-10-16
TWI666912B true TWI666912B (zh) 2019-07-21

Family

ID=63581760

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107109627A TWI666912B (zh) 2017-03-22 2018-03-21 具有由封包於分段球體投影設計並以投影面表示之360度內容之投影訊框生成及編碼之方法及裝置

Country Status (6)

Country Link
US (1) US10593012B2 (zh)
CN (1) CN110521204B (zh)
DE (1) DE112018000176T5 (zh)
GB (1) GB2574516A (zh)
TW (1) TWI666912B (zh)
WO (1) WO2018171608A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10839480B2 (en) * 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20200213570A1 (en) * 2019-01-02 2020-07-02 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout
US11190801B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US11190768B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
US20210203995A1 (en) * 2019-12-30 2021-07-01 Mediatek Inc. Video decoding method for decoding bitstream to generate projection-based frame with guard band type specified by syntax element signaling
CN111880305B (zh) * 2020-08-14 2022-03-08 中国科学院国家天文台南京天文光学技术研究所 基于地图投影的大型光学望远镜非球面主镜划分的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010056574A1 (en) * 2000-06-26 2001-12-27 Richards Angus Duncan VTV system
CN106162207A (zh) * 2016-08-25 2016-11-23 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001298652A (ja) 2000-04-17 2001-10-26 Sony Corp 画像圧縮方法及び画像圧縮装置、並びにソフトウェア記憶媒体
US9986154B2 (en) 2014-05-21 2018-05-29 Here Global B.V. Developing a panoramic image
CN105812759A (zh) 2016-04-15 2016-07-27 杭州当虹科技有限公司 一种360度全景视频的平面投射方法及编码方法
CN106358033B (zh) * 2016-08-25 2018-06-19 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
CN106357976A (zh) 2016-08-30 2017-01-25 深圳市保千里电子有限公司 一种全方位全景图像生成的方法和装置
US10560682B2 (en) * 2017-01-13 2020-02-11 Gopro, Inc. Methods and apparatus for providing a frame packing arrangement for panoramic content
US10839480B2 (en) * 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010056574A1 (en) * 2000-06-26 2001-12-27 Richards Angus Duncan VTV system
CN106162207A (zh) * 2016-08-25 2016-11-23 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置

Also Published As

Publication number Publication date
US10593012B2 (en) 2020-03-17
US20180276788A1 (en) 2018-09-27
GB2574516A (en) 2019-12-11
DE112018000176T5 (de) 2019-08-01
CN110521204A (zh) 2019-11-29
CN110521204B (zh) 2021-07-13
TW201838406A (zh) 2018-10-16
GB201907568D0 (en) 2019-07-10
WO2018171608A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
TWI666912B (zh) 具有由封包於分段球體投影設計並以投影面表示之360度內容之投影訊框生成及編碼之方法及裝置
TWI654874B (zh) 處理具有至少一非均勻映射生成之投影面之投影訊框之方法及裝置
TWI673995B (zh) 生成和編碼包括堆疊在360度虛擬實境投影佈局中的至少一個填充區域和至少一個投影面的基於投影的圖框的方法及裝置
EP3249930B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
TWI702567B (zh) 用於處理包括封裝在360度虛擬現實投影佈局中的至少一個投影面的基於投影的圖框的方法
TWI681662B (zh) 用於減少基於投影的圖框中的偽影的方法和裝置
KR20220029780A (ko) 광시야 비디오를 인코딩하기 위한 구면 회전 기법
TWI690728B (zh) 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法
CN109691095B (zh) 生成基于投影的帧的方法以及装置
US10963987B2 (en) Method and apparatus for decoding projection based frame with 360-degree content represented by triangular projection faces packed in triangle-based projection layout
KR20220109433A (ko) 다중 뷰포인트 3DoF+ 콘텐츠의 인코딩 및 디코딩을 위한 방법 및 장치
US10573076B2 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport-based cube projection layout
TWI736851B (zh) 一種基於立方體的投影方法
TWI782342B (zh) 一種視訊解碼方法
TWI656788B (zh) 用於生成和編碼具有基於視角的立方體投影格式佈局之基於360度矩形投影圖框的方法和設備