TWI653875B - 用於生成且編碼具有由包裝在金字塔投影佈局內的基底投影面與側向投影面來表現的３６０度內容的基於投影的幀的方法及設備 - Google Patents

用於生成且編碼具有由包裝在金字塔投影佈局內的基底投影面與側向投影面來表現的３６０度內容的基於投影的幀的方法及設備 Download PDF

Info

Publication number
TWI653875B
TWI653875B TW107100156A TW107100156A TWI653875B TW I653875 B TWI653875 B TW I653875B TW 107100156 A TW107100156 A TW 107100156A TW 107100156 A TW107100156 A TW 107100156A TW I653875 B TWI653875 B TW I653875B
Authority
TW
Taiwan
Prior art keywords
projection surface
projection
lateral
pyramid
lateral projection
Prior art date
Application number
TW107100156A
Other languages
English (en)
Other versions
TW201830958A (zh
Inventor
林建良
王鵬
林鴻志
張勝凱
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201830958A publication Critical patent/TW201830958A/zh
Application granted granted Critical
Publication of TWI653875B publication Critical patent/TWI653875B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

一種視頻處理方法，其包括接收對應於球體的全向內容，根據該全向內容和金字塔投影佈局生成基於投影的幀，以及透過視頻編碼器編碼該基於投影的幀以便生成位元流的一部分。該基於投影的幀具有由包裝在該金字塔投影布內局的基底投影面和多個側向投影面表現的360度內容。該基底投影面和該側向投影面至少根據在金字塔和該球體之間的投影關係而獲得。

Description

用於生成且編碼具有由包裝在金字塔投影佈局內的基底 投影面與側向投影面來表現的360度內容的基於投影的幀的方法及設備
本發明涉及對全向內容的處理(例如，圖像內容或視頻內容)，並且更具體地涉及一種用於生成且編碼具有360度內容(例如，360度圖像內容或360度視頻內容)的基於投影的幀(projection-based frame)的方法及設備，該360度內容由包裝(packed)在金字塔投影佈局(例如，緊湊的基於視埠的金字塔投影佈局(compact viewport-based pyramid projection layout))內的基底投影面和多個側向投影面來表現。
具有頭盔式顯示器(HMD)的虛擬實境(VR)與多種應用相關聯。向用戶展示查看內容的寬視場的能力可用來提供沉浸式視覺體驗。現實世界環境必須在導致對應於球體的全向圖像/視頻內容的所有方向上進行捕捉。隨著相機裝置和HMD的發展，VR內容的傳送會很快成為瓶頸，這是由於用來表現這種360度圖像/視頻內容所需的高位元速率的緣故。當該全向視頻的解析度是4K或更高時，資料壓縮/編碼對位元速率減少來說是關鍵的。
所要求保護的發明的其中一個目的在於提供一種用於生成且編碼具有360度內容(例如，360度圖像內容或360度視頻內容)的基於投影的幀的方法及設備，該360度內容由包裝在金字塔投影佈局(例如，緊湊的基於視埠的金字塔投影佈局)內的基底投影面和多個側向投影面來表現。透過該金字塔投影佈局的適當設計，該基於投影的幀可具有緊湊的形式，並且/或者用戶的視埠的圖像內容(即，視埠區域)可被保持在主投影面(例如，基底投影面)內。
根據本發明的第一方面，揭露了一種示範性的視頻處理方法。該示範性的視頻處理方法包括：接收對應於球體(sphere)的全向內容；根據該全向內容和金字塔投影佈局生成基於投影的幀，其中該基於投影的幀具有360度內容，該360度內容由包裝在該金字塔投影佈局內的基底投影面和多個側向投影面來表現，並且至少根據在金字塔和該球體之間的投影關係獲得該基底投影面和該側向投影面；並且透過視頻編碼器編碼該基於投影的幀以便生成位元流的一部分。
根據本發明的第二方面，揭露了一種示範性的視頻處理設備。該示範性的視頻處理設備包括轉換電路和視頻編碼器。該轉換電路佈置成接收對應於球體的全向內容，並且根據該全向內容和金字塔投影佈局生成基於投影的幀，其中該基於投影的幀具有360度內容，該360度內容由包裝在該金字塔投影佈局內的基底投影面和多個側向投影面來表現，並且至少根據在金字塔和該球體之間的投影關係獲得該基底投影面和該側向投影面。該視頻編碼器佈置成編碼該基於投影的幀以便生成位元流的一部分。
在閱讀了在各種圖表和圖形中所圖示的優選實施例的下述詳細說明書之後，本發明的這些和其他目的對本領域普通技術人員來說無疑將變得明顯。
100‧‧‧360 VR系統
102‧‧‧源電子裝置
103‧‧‧傳送元件
104‧‧‧目標電子裝置
112‧‧‧視頻捕獲裝置
114‧‧‧轉換電路
116‧‧‧視頻編碼器
122‧‧‧視頻解碼器
124‧‧‧圖形渲染電路
126‧‧‧顯示螢幕
202‧‧‧球體
204、504、704、904‧‧‧金字塔
206、506、706、906‧‧‧基底
208、508、708、908‧‧‧側向面
400、1102、1202、1302‧‧‧金字塔投影佈局
510、710、910‧‧‧邊緣
512、712、912‧‧‧尖端
514、714、914‧‧‧頂點
S11、S12、S13、S14‧‧‧邊
S21、S31、S41、S51、S61、S71、S81、S91‧‧‧斜邊
S22、S23、S32、S33、S42、S43、S52、S53、S62、S63、S72、S73、S82、S83、S92、S93‧‧‧直角邊
1404、1402、1602、1604‧‧‧三角形投影面
1606‧‧‧第一經重新取樣的區域
1608‧‧‧第二經重新取樣的區域
1610‧‧‧第一源區域
1612‧‧‧第二源區域
1801、1901、2001‧‧‧第一局部區域
1802、1902、2002‧‧‧第二局部區域
1803、1804、1805、1806、1807、1903、1904、1905、1906、1907、2003、2004、2005、2006、2007‧‧‧圓
第1圖是圖示了根據本發明的實施例的360度虛擬實境(360 VR)系統的簡圖。
第2圖是圖示了根據本發明的實施例的第一金字塔投影類型的簡圖。
第3圖是第2圖中所示的金字塔和球體的側視圖。
第4圖是圖示了根據本發明的實施例的從球體的金字塔投影獲得的金字塔投影佈局的投影面的簡圖。
第5圖是圖示了根據本發明的實施例的第二金字塔投影類型的簡圖。
第6圖是第5圖中所示的金字塔和球體的側視圖。
第7圖是圖示了根據本發明的實施例的第三金字塔投影類型的簡圖。
第8圖是第7圖中所示的金字塔和球體的側視圖。
第9圖是圖示了根據本發明的實施例的第四金字塔投影類型的簡圖。
第10圖是第9圖中所示的金字塔和球體的側視圖。
第11圖是圖示了根據本發明的實施例的第一提議性基於視埠的金字塔投影佈局的簡圖。
第12圖是圖示了根據本發明的實施例的第二提議性基於視埠的金字塔投影佈局的簡圖。
第13圖是圖示了根據本發明的實施例的第三提議性基於視埠的金字塔投影佈局的簡圖。
第14圖是圖示了透過均勻映射來重新取樣三角形投影面的例子的簡圖。
第15圖是圖示了根據本發明的實施例的均勻映射函數的曲線的簡圖。
第16圖是圖示了透過非均勻映射來重新取樣三角形投影面的例子的簡圖。
第17圖是圖示了根據本發明的實施例的非均勻映射函數的曲線的簡圖。
第18圖是圖示了根據本發明的實施例的第五金字塔投影類型的簡圖。
第19圖是圖示了根據本發明的實施例的第六金字塔投影類型的簡圖。
第20圖是圖示了根據本發明的實施例的第七金字塔投影類型的簡圖。
貫穿下述的說明書和申請專利範圍而使用了某些術語，其涉及特定的元件。如本領域技術人員將理解的那樣，電子裝備製造商可能透過不同的名稱提及元件。本檔並不打算在那些名稱不同但不是在功能上不同的元件之間進行區分。在下述的說明書中並且在申請專利範圍中，術語"包含"和"包括"以開放的方式進行使用，並且因此應被解釋成意味著“包括，但不限於……”。同樣，術語"結合"旨在意味著或者間接的或者直接的電連接。因此，如果一個裝置結合至另一裝置，則此連接可透過直接的電連接，或者透過藉由其他裝置和連接的間接的電連接。
第1圖是圖示了根據本發明的實施例的360度虛擬實境(360 VR)系統的簡圖。該360 VR系統100包括兩個視頻處理設備(例如，源電子裝置102和目標電子裝置104)。該源電子裝置102包括視頻捕獲裝置112、轉換電路114和視頻編碼器116。例如，該視頻捕獲裝置112可為用以提供對應於球體的全向圖像/視頻內容(例如，覆蓋全部環境的多種圖像)S_IN的一組攝像機。該轉換電路114結合在該視頻捕獲裝置112和該視頻編碼器116之間。該轉換電路114根據該全向圖像/視頻內容S_IN生成具有360度虛擬實境(360 VR)投影佈局的基於投影的幀IMG。例如，該基於投影的幀IMG可為包含在由該轉換電路114生成的一系列的基於投影的幀內的一個幀。該視頻編碼器116是編碼電路，其用以編碼/壓縮該基於投影的幀IMG以便生成位元流BS的一部分，並且藉由傳送元件103將該位元流BS輸出至該目標電子裝置104。例如，該一系列的基於投影的幀可被編碼成該位元流BS，並且該傳送元件103可為有線/無線通訊鏈路或存儲介質。
該目標電子裝置104可為頭盔式顯示器(HMD)裝置。如第1圖中所 示，該目標電子裝置104包括視頻解碼器122、圖形渲染電路124和顯示螢幕126。該視頻解碼器122是解碼電路，其用以接收來自該傳送元件103(例如，有線/無線通訊鏈路或存儲介質)的位元流BS，並且將所接收的位元流BS解碼而生成經解碼的幀IMG’。例如，該視頻解碼器122透過解碼所接收的位元流BS而生成一系列的經解碼的幀，其中該經解碼的幀IMG’是被包括在該一系列的經解碼的幀內的的一個幀。在這一實施例中，待由該視頻編碼器116編碼的該基於投影的幀IMG包括具有投影佈局的360 VR投影格式。因此，在該位元流BS由該視頻解碼器122解碼之後，該經解碼的幀IMG’具有相同的360 VR投影格式和相同的投影佈局。該圖形渲染電路124被結合在該視頻解碼器122和該顯示螢幕126之間。該圖形渲染電路124根據經解碼的幀IMG’在該顯示螢幕126上渲染和顯示輸出圖像資料。例如，與由經解碼的幀IMG’攜帶的360度圖像/視頻內容的一部分相關聯的視埠區域(viewport area)可藉由該圖形渲染電路124顯示在該顯示螢幕126上。
本發明提議一種創新的金字塔投影佈局設計(例如，緊湊的基於視埠的金字塔投影佈局設計)，其可具有緊湊的形式並且/或者能將用戶的視埠的圖像/視頻內容保持在主投影面(例如，基底投影面)內。如上所述，該轉換電路114根據該360 VR投影佈局和該全向圖像/視頻內容S_IN生成該基於投影的幀IMG。在這一實施例中，上述的360 VR投影佈局是透過包裝一個基底投影面(其對應於金字塔的基底)和多個側向投影面(其對應於該金字塔的多個側向面)的金字塔投影佈局(例如，緊湊的基於視埠的金字塔投影佈局)L_VP。具體而言，該基於投影的幀IMG具有360度圖像/視頻內容，其由包裝在所提議的金字塔投影佈局(例如，緊湊的基於視埠的金字塔投影佈局)L_VP內的一個基底投影面和多個側向投影面來表現。所提議的金字塔投影佈局(例如，緊湊的基於視埠的金字塔投影佈局)L_VP的進一步的細節在下文中提供。
請參見第2圖連同第3圖。第2圖是圖示了根據本發明的實施例的第一金字塔投影類型的簡圖。第3圖是第2圖中所示的金字塔和球體的側視圖。根據該第一金字塔投影類型，球體202完全處在金字塔204的內部，該金字塔20由基底206和多個側向面208組成。在這一例子中，該基底206的形狀是正方形，並且各個側向面208的形狀是三角形。進一步地，該球體202是該金字塔204的內切球體，使得該球體202與該金字塔204的各個面相切。
該球體202的全向圖像/視頻內容被映射/投影(mapped/projected)到該金字塔204的基底206和側向面208上。關於該金字塔204的基底206上的投影面，其可構造成為主投影面，該主投影面包含用戶的視埠的圖像內容。如第3圖中所圖示的那樣，該主投影面可為θ x θ正方形面，其中θ是主視點FOV(視場)角，其大於90°。假定該基底206的邊長由L代表，並且該球體202的半徑由R代表，那麼該主視點FOV角θ應該滿足以下方程式。
第4圖是圖示了根據本發明的實施例的由球體的金字塔投影獲得的金字塔投影佈局的投影面的簡圖。在其中採用第2圖中所示的第一金字塔投影類型的情況下，該球體202的全向圖像/視頻內容被映射/投影到該金字塔204的一個基底206和四個側向面208上，從而得到包含一個基底投影面(由“BS”標示)和四個側向投影面(由“U”、“L”、“B”與“R”標示)的五個投影面。如第4圖中所示，該基底投影面BS的形狀是正方形，並且各個側向投影面U、L、B與R的形狀是三角形。另外，該基底投影面BS和該側向投影面U、L、B與R佈置在對應於展開的金字塔的金字塔投影佈局400內，使得該側向投影面U、L、B與R分別與基底投影面BS的四個邊/邊緣連接。應該指出的是，圖像連續性邊界(image continuity boundary)存在於側向投影面U和基底投影面BS之間，圖像連續性邊界 存在於側向投影面L和基底投影面BS之間，圖像連續性邊界存在於側向投影面B和基底投影面BS之間，並且圖像連續性邊界存在於側向投影面R和基底投影面BS之間。
該基底投影面BS和該側向投影面U、L、B與R藉由該球體202的金字塔投影獲得。例如，該金字塔204的該基底投影面BS和該側向投影面U、L、B與R可根據第2圖中所示的第一金字塔投影類型獲得。然而，這只是出於說明性的目的，而不是意味著對本發明的限制。備選地，第4圖中所示的該基底投影面BS和該側向投影面U、L、B與R可根據與第2圖中所示的第一金字塔投影類型不同的另一金字塔投影類型獲得。其他金字塔投影類型的進一步細節介紹如下。
請參見第5圖連同第6圖。第5圖是圖示了根據本發明的實施例的第二金字塔投影類型的簡圖。第6圖是第5圖中所示的金字塔和球體的側視圖。根據該第二金字塔投影類型，金字塔504全部處在該球體202內部，其中該金字塔504由基底506和多個側向面508組成。在這一例子中，該基底506的形狀是正方形，並且各個側向面508的形狀是三角形。進一步地，該球體202接觸該金字塔504的全部頂點(vertices)，除了該金字塔504的尖端512。具體而言，該球體202接觸位於該基底506的四個角落處的四個頂點514，但不接觸該金字塔504的剩餘頂點(即，尖端512)。如第6圖中所示，該金字塔504的在尖端512和基底506之間的高度H等於該基底506的各個邊緣(邊)510的邊長L(即，H=L)。
該球體202的全向圖像/視頻內容被映射/投影在該金字塔504的該基底506和該側向面508上。這樣，在第4圖中所示的該基底投影面BS和該側向投影面U、L、B與R可根據第5圖中所示的第二金字塔投影類型獲得。關於該金字塔504的該基底506上的投影面，其可構造成為主投影面，該主投影面包含用戶的視埠的圖像內容。如第6圖中所顯示的那樣，該主投影面可為θ x θ正方形面，其中θ是等於90°的主視點FOV角。
請參見第7圖連同第8圖。第7圖是圖示了根據本發明的實施例的第三金字塔投影類型的簡圖。第8圖是第7圖中所示的金字塔和球體的側視圖。根據該第三金字塔投影類型，金字塔704全部處在該球體202內部，其中該金字塔704由基底706和多個側向面708組成。在這一例子中，該基底706的形狀是正方形，並且各個側向面708的形狀是三角形。進一步地，該球體202是該金字塔704的外接球體，使得該球體202接觸該金字塔704的全部頂點。具體而言，該球體202接觸位於該基底706的四個角落處的四個頂點714，並且還接觸該金字塔704的剩餘頂點(即，尖端712)。在該第二金字塔投影類型和該第三金字塔投影類型之間的主要差異在於金字塔高度。如第8圖中所示，在該尖端712和該基底706之間的該金字塔704的高度H大於該基底706的各個邊緣(邊)710的邊長L(即，H>L)。
該球體202的全向圖像/視頻內容被映射/投影在該金字塔704的基底706和側向面708上。這樣，第4圖中所示的該基底投影面BS和該側向投影面U、L、B與R可根據第7圖中所示的第三金字塔投影類型獲得。關於該金字塔704的基底706上的投影面，其可構造成為主投影面，該主投影面包含用戶的視埠的圖像內容。如第8圖中所示的那樣，該主投影面可為θ x θ正方形面，其中θ是等於90°的主視點FOV角。
請參見第9圖連同第10圖。第9圖是圖示了根據本發明的實施例的第四金字塔投影類型的簡圖。第10圖是第9圖中所示的金字塔和球體的側視圖。根據該第四金字塔投影類型，金字塔904全部處在該球體202內部，其中該金字塔904由基底906和多個側向面908組成。在這一例子中，該基底906的形狀是正方形，並且各個側向面908的形狀是三角形。進一步地，該球體202接觸該金字塔904的全部頂點，除了該金字塔904的尖端912。具體而言，該球體202接觸位於該基底906的四個角落處的四個頂點914，但是不接觸該金字塔904的剩餘頂點(即，尖端912)。在該第四金字塔投影類型和該第二金字塔投影類型之間的主要差異在於 該第四金字塔投影類型的FOV角θ可設定成任意值。如第10圖中所示，各個側向面908的形狀是等腰三角形，並且該FOV角θ可取決於實際的設計考量而任意選擇。
該球體202的全向圖像/視頻內容被映射/投影在該金字塔904的基底906和側向面908上。這樣，第4圖中所示的該基底投影面BS和該側向投影面U、L、B與R可根據第9圖中所示的第四金字塔投影類型獲得。關於該金字塔904的基底906上的投影面，其可構造成為主投影面，該主投影面包含用戶的視埠的圖像內容。如第10圖中所示的那樣，該主投影面可為θ x θ正方形面，其中θ是主視點FOV角，其可等於90°，或小於90°，或大於90°。應該指出的是，該尖端912和該基底906應該在該球體202的中心的相對邊上，以便確保該球體202的全部全向圖像/視頻內容可被適當地映射/投影在該金字塔904的基底906和側向面908上。
待被編碼的基於投影的幀IMG需要是矩形的(rectangular)。如果金字塔投影佈局400直接用來生成基於投影的幀IMG，那麼該基於投影的幀IMG必須用虛構區(例如，黑區或白區)填充，以便形成用於編碼的矩形的幀。因此，需要緊湊的投影佈局，其能夠消除/減少虛構區(例如，黑區或白區)以便改善編碼效率。本發明提議一種基於視埠的金字塔投影佈局設計，其具有緊湊的形式並且能將用戶的視埠的圖像/視頻內容(即，視埠區)保持在主投影面(例如，基底投影面)內。
第11圖是圖示了根據本發明的實施例的第一提議性基於視埠的金字塔投影佈局的簡圖。該第一提議性基於視埠的金字塔投影佈局1102可由該金字塔投影佈局400透過投影面重新取樣(例如，投影面縮小)而衍生出來(derived from)。如第11圖的頂部中所示，各個側向投影面U、B、L和R的形狀是三角形。各個側向投影面U/B/L/R的寬度(即，三角形的底部的長度)是W，並且各個側向投影面U/B/L/R的高度(即，從三角形的頂部到三角形的底部的距離)是H。 應該指出的是，各個側向投影面U/B/L/R的寬度W等於基底投影面BS的邊長。
如第11圖中的中部所示，側向投影面U’是經重新取樣的投影面，其透過對該側向投影面U在其高度方向上用預定的重新取樣係數s(s=H/h)進行重新取樣(例如，縮小)而獲得，側向投影面B’是經重新取樣的投影面，其透過對該側向投影面B在其高度方向上用預定的重新取樣係數s(s=H/h)進行重新取樣(例如，縮小)而獲得，側向投影面L’是經重新取樣的投影面，其透過對該側向投影面L在其高度方向上用預定的重新取樣係數s(s=H/h)進行重新取樣(例如，縮小)而獲得，並且側向投影面R’是經重新取樣的投影面，其透過對該側向投影面R在其高度方向上用預定的重新取樣係數s(s=H/h)進行重新取樣(例如，縮小)而獲得。
在這一例子中，該基礎投影佈局BS的形狀是正方形，並且各個側向投影面U’、B’、L’與R’的形狀是直角三角形。具體而言，該基礎投影佈局BS具有四個邊S11、S12、S13和S14；該側向投影面U’具有一個斜邊S21和兩個直角邊(側邊)S22與S23；該側向投影面L’具有一個斜邊S31和兩個直角邊(側邊)S32與S33；該側向投影面B’具有一個斜邊S41和兩個直角邊(側邊)S42與S43；並且該側向投影面R’具有一個斜邊S51和兩個直角邊(側邊)S52與S53。
此外，在該金字塔投影佈局400中的基底投影面BS對應於用戶的視埠，並且直接用作第一提議性基於視埠的金字塔投影佈局1102所需的基底投影面。該基底投影面BS(其是正方形投影面)和該四個側向投影面U’、B’、L’與R’(其是直角三角形的投影面)被包裝在第一提議性基於視埠的金字塔投影佈局1102內。如第11圖中的底部所示，該側向投影面U’的斜邊S21與該基底投影面BS的邊S11連接，該側向投影面L’的斜邊S31與該基底投影面BS的邊S12連接，該側向投影面B’的斜邊S41與該基底投影面BS的邊S13連接，並且該側向投影面R’的斜邊S51與該基底投影面BS的邊S14連接。
如上所述，該金字塔投影佈局400對應於展開的金字塔，其中圖像連續性邊界存在於該側向投影面U和該基底投影面BS之間，圖像連續性邊界存在於該側向投影面L和該基底投影面BS之間，圖像連續性邊界存在於該側向投影面B和該基底投影面BS之間，並且圖像連續性邊界存在於該側向投影面R和該基底投影面BS之間。由於該側向投影面U’是鄰近該基底投影面BS的側向投影面U的經重新取樣的版本，因此在該側向投影面U’的斜邊S21和該基底投影面BS的邊S11之間存在圖像連續性邊界。由於該側向投影面L’是鄰近該基底投影面BS的側向投影面L的經重新取樣的版本，因此在該側向投影面L’的斜邊S31和該基底投影面BS的邊S12之間存在圖像連續性邊界。由於該側向投影面B’是鄰近該基底投影面BS的側向投影面B的經重新取樣的版本，因此在該側向投影面B’的斜邊S41和該基底投影面BS的邊S13之間存在圖像連續性邊界。由於該側向投影面R’是鄰近該基底投影面BS的側向投影面R的經重新取樣的版本，因此在該側向投影面R’的斜邊S51和該基底投影面BS的邊S14之間存在圖像連續性邊界。
相較於該金字塔投影佈局400，該第一提議性基於視埠的金字塔投影佈局1102是更加緊湊的，這是由於該第一提議性基於視埠的金字塔投影佈局1102的形狀是正方形的事實。這樣，實現了緊湊的基於視埠的金字塔投影佈局，並且其可被基於投影的幀IMG使用，以便減少填充在基於投影的幀IMG內的虛構區(例如，黑區或白區)。進一步地，該360度圖像/視頻內容被連續地表現在該基底投影面BS和該側向投影面U’、B’、L’與R’內，而沒有圖像內容中斷。也就是說，沒有由投影面的包裝所造成的圖像內容中斷邊界。這樣，編碼效率沒有被第一提議性基於視埠的金字塔投影佈局1102降低。
第12圖是圖示了根據本發明的實施例的第二提議性基於視埠的金字塔投影佈局的簡圖。該第二提議性基於視埠的金字塔投影佈局1202可由該金字塔投影佈局400透過投影面重新取樣(例如，投影面縮小)而衍生出來。如上所述， 該側向投影面U’是經重新取樣的投影面，其透過對該側向投影面U在其高度方向上用預定的重新取樣係數s(s=H/h)進行重新取樣(例如，縮小)而獲得，該側向投影面B’是經重新取樣的投影面，其透過對該側向投影面B在其高度方向上用預定的重新取樣係數s(s=H/h)進行重新取樣(例如，縮小)而獲得，該側向投影面L’是經重新取樣的投影面，其透過對該側向投影面在其高度方向上用預定的重新取樣係數s(s=H/h)進行重新取樣(例如，縮小)而獲得，並且該側向投影面R’是經重新取樣的投影面，其透過對該側向投影面R在其高度方向上用預定的重新取樣係數s(s=H/h)進行重新取樣(例如，縮小)而獲得。在獲得該側向投影面U’、B’、L’與R’之後，該基底投影面BS(其是對應於用戶的視埠的正方形投影面)和該四個側向投影面U’、B’、L’與R’(其是直角三角形的投影面)被包裝在該第二提議性基於視埠的金字塔投影佈局1202內。
如第12圖中的底部所示，該側向投影面R’的斜邊S51與該基底投影面BS的邊S14連接，該側向投影面R’的直角邊S52與該側向投影面U’的直角邊S23連接，該側向投影面R’的直角邊S53與該側向投影面B’的直角邊S42連接，該側向投影面L’的直角邊S33與該側向投影面U’的直角邊S22連接，並且該側向投影面L’的直角邊S32與該側向投影面B’的直角邊S43連接。
如上所述，該金字塔投影佈局400對應於展開的金字塔，其中圖像連續性邊界存在於該側向投影面U和該基底投影面BS之間，圖像連續性邊界存在於該側向投影面L和該基底投影面BS之間，圖像連續性邊界存在於該側向投影面B和該基底投影面BS之間，並且圖像連續性邊界存在於該側向投影面R和該基底投影面BS之間。由於該側向投影面U’是該側向投影面U的經重新取樣的版本，該側向投影面B’是該側向投影面B的經重新取樣的版本，該側向投影面L’是該側向投影面L的經重新取樣的版本，並且該側向投影面R’是該側向投影面R的經重新取樣的版本，因此圖像連續性邊界存在於該側向投影面R’的斜邊S51和該基 底投影面BS的邊S14之間，圖像連續性邊界存在於該側向投影面R’的直角邊S52和該側向投影面U’的直角邊S23之間，圖像連續性邊界存在於該側向投影面R’的直角邊S53和該側向投影面B’的直角邊S42之間，圖像連續性邊界存在於該側向投影面L’的直角邊S33和該側向投影面U’的直角邊S22之間，並且圖像連續性邊界存在於該側向投影面L’的直角邊S32和該側向投影面B’的直角邊S43之間。
相較於該金字塔投影佈局400，該第二提議性基於視埠的金字塔投影佈局1202是更加緊湊的，這是由於該第二提議性基於視埠的金字塔投影佈局1202的形狀是矩形的事實。這樣，實現了緊湊的基於視埠的金字塔投影佈局，並且其可被基於投影的幀IMG使用，以便避免使用在基於投影的幀IMG內的虛構區(例如，黑區或白區)。進一步地，該360度圖像/視頻內容被連續地表現在該基底投影面BS和該側向投影面U’、B’、L’與R’內，而沒有圖像內容中斷。也就是說，沒有由投影面的包裝所造成的圖像內容中斷邊界。這樣，編碼效率沒有被第二提議性基於視埠的金字塔投影佈局1202降低。
第13圖是圖示了根據本發明的實施例的第三提議性基於視埠的金字塔投影佈局的簡圖。該第三提議性基於視埠的金字塔投影佈局1302可由該金字塔投影佈局400透過投影面重新取樣(例如，投影面縮小)和投影面分拆而衍生出來。如上所述，該側向投影面U’是經重新取樣的投影面，其透過對該側向投影面U在其高度方向上用預定的重新取樣係數s(s=H/h)進行重新取樣(例如，縮小)而獲得，該側向投影面B’是經重新取樣的投影面，其透過對該側向投影面B在其高度方向上用預定的重新取樣係數s(s=H/h)進行重新取樣(例如，縮小)而獲得，該側向投影面L’是經重新取樣的投影面，其透過對該側向投影面L在其高度方向上用預定的重新取樣係數s(s=H/h)進行重新取樣(例如，縮小)而獲得，並且該側向投影面R’是經重新取樣的投影面，其透過對該側向投影面R 在其高度方向上用預定的重新取樣係數s(s=H/h)進行重新取樣(例如，縮小)而獲得。在獲得該側向投影面U’之後，該側向投影面U’被相等地分成兩個直角三角形的部分(由“U1”和“U2”表示)，如第13圖中的中間部所示的那樣。類似地，在獲得該側向投影面B’之後，該側向投影面B’被相等地分成兩個直角三角形的部分(由“B1”和“B2”表示)，如第13圖中的中間部所示的那樣。
該直角三角形的部分U1具有一個斜邊S61(其也是該側向投影面U’的直角邊S22)、一個直角邊(側邊)S62和另一直角邊(側邊)S63(其是該側向投影面U’的斜邊S21的第一半)。該直角三角形的部分U2具有一個斜邊S71(其也是該側向投影面U’的直角邊S23)、一個直角邊(側邊)S72(其是該側向投影面U’的斜邊S21的第二半)和另一直角邊(側邊)S73。該直角三角形的部分B1具有一個斜邊S81(其也是該側向投影面B’的直角邊S43)、一個直角邊(側邊)S82(其是該側向投影面B’的斜邊S41的第一半)和另一直角邊(側邊)S83。該直角三角形的部分B2具有一個斜邊S91(其也是該側向投影面B’的直角邊S42)、一個直角邊(側邊)S92和另一直角邊(側邊)S93(其是該側向投影面B’的斜邊S41的第二半)。
在獲得該直角三角形的部分U1、U2、B1與B2和該側向投影面L’與R’之後，該基底投影面BS(其是對應於用戶的視埠的正方形投影面)，該直角三角形的部分U1、U2、B1與B2以及該側向投影面L’與R’被包裝在該第三提議性基於視埠的金字塔投影佈局1302內。如第13圖中的底部所示，該側向投影面L’的斜邊S31與該基底投影面BS的邊S12連接，該側向投影面R’的斜邊S51與該基底投影面BS的邊S14連接，該直角三角形的部分U1的斜邊S61與該側向投影面L’的直角邊S33連接，該直角三角形的部分B1的斜邊S81與該側向投影面L’的直角邊S32連接，該直角三角形的部分U2的斜邊S71與該側向投影面R’的直角邊S52連接，並且該直角三角形的部分B2的斜邊S91與該側向投影面R’的直角邊S53連 接。
如上所述，該金字塔投影佈局400對應於展開的金字塔，其中圖像連續性邊界存在於該側向投影面U和該基底投影面BS之間，圖像連續性邊界存在於該側向投影面L和該基底投影面BS之間，圖像連續性邊界存在於該側向投影面B和該基底投影面BS之間，並且圖像連續性邊界存在於該側向投影面R和該基底投影面BS之間。由於該側向投影面U’是該側向投影面U的經重新取樣的版本並且被進一步地分成兩個直角三角形的部分U1和U2，該側向投影面B’是該側向投影面B的經重新取樣的版本並且被進一步地分成兩個直角三角形的部分B1和B2，該側向投影面L’是該側向投影面L的經重新取樣的版本，並且該側向投影面R’是該側向投影面R的經重新取樣的版本，因此圖像連續性邊界存在於該側向投影面L’的斜邊S31和該基底投影面BS的邊S12之間，圖像連續性邊界存在於該側向投影面R’的斜邊S51和該基底投影面BS的邊S14之間，圖像連續性邊界存在於該直角三角形的部分U1的斜邊S61和該側向投影面L’的直角邊S33之間，圖像連續性邊界存在於該直角三角形的部分B1的斜邊S81和該側向投影面L’的直角邊S32之間，圖像連續性邊界存在於該直角三角形的部分U2的斜邊S71和該側向投影面R’的直角邊S52之間，並且圖像連續性邊界存在於該直角三角形的部分B2的斜邊S91和該側向投影面R’的直角邊S53之間。
相較於該金字塔投影佈局400，該第三提議性基於視埠的金字塔投影佈局1302是更加緊湊的，這是由於該第三提議性基於視埠的金字塔投影佈局1302的形狀是矩形的事實。這樣，實現了緊湊的基於視埠的金字塔投影佈局，並且其可被基於投影的幀IMG使用，以便避免使用在基於投影的幀IMG內的虛構區(例如，黑區或白區)。進一步地，該360度圖像/視頻內容被連續地表現在該基底投影面BS、該側向投影面L’與R’和該直角三角形的部分U1、U2、B1與B2內，而沒有圖像內容中斷。也就是說，沒有由投影面的包裝所造成的圖像內容 中斷邊界。這樣，編碼效率沒有被第三提議性基於視埠的金字塔投影佈局1302降低。
該提議性基於視埠的金字塔投影佈局1102、1202與1302只是出於說明性的目的，而不是意味著對本發明的限制。在實踐中，可透過將具體的操作(例如，面順序調整，佈局旋轉，以及/或者佈局鏡像)應用到任一個所提議的基於視埠的金字塔投影佈局1102、1202與1302來獲得備選的基於視埠的金字塔投影佈局。用該第二提議性基於視埠的金字塔投影佈局1202作為舉例，其可透過用該基底投影面BS的不同邊(例如，S12)與不同側向投影面的斜邊(例如，L’)相連接來進行變更。用該第三提議性基於視埠的金字塔投影佈局1302作為舉例，其可透過下述來進行變更：將各個側向投影面L’和R’分拆成兩個直角三角形的部分，用該基底投影面BS的一個邊S11來與該側向投影面U’的斜邊相連接，以及用該基底投影面BS的另一邊S13來與該側向投影面B’的斜邊相連接。這些備選的佈局設計全部落入在本發明的範圍之內。
如上所述，各個側向投影面U’、B’、L’與R’(其是直角三角形的投影面)由對藉由該球體202的金字塔投影獲得的相應的側向投影面U/B/L/R(其是三角形投影面)進行重新取樣而而衍生出來。在本發明的一些實施例中，對相應的側向投影面U/B/L/R進行重新取樣可透過用均勻映射對相應的側向投影面U/B/L/R進行重新取樣來實現。請參見第14圖連同第15圖。第14圖是圖示了透過均勻映射對三角形投影面進行重新取樣的例子的簡圖。第15圖是圖示了根據本發明的實施例的均勻映射函數的曲線的簡圖。在這一例子中，三角形投影面1404透過對三角形投影面1402在其高度方向上進行重新取樣(例如，縮小)來獲得，其中該三角形投影面1402具有寬度(即，三角形的底部的長度)W和高度(即，三角形的高度)H，並且該三角形投影面1404具有寬度(即，三角形的底部的長度)W和高度(即，三角形的高度)h，其中h<H。以例子的方式，而非限制， 該均勻映射函數可用以下方程式來表達。
因此，關於位於該三角形投影面1404內的y-軸的座標y’處的圖元位置，位於該三角形投影面1402內的y-軸的座標Y處的相應的取樣點可由表達在方程式(2)中的均勻映射函數進行確定。在該三角形投影面1404內的位置P的圖元值透過使用在該三角形投影面1402內的相應的取樣位置p’的圖元值來獲得。由於在高度方向上的均勻映射，在該三角形投影面1402內的兩個豎直相鄰的取樣點以恒定距離D均勻分佈。
在該三角形投影面1402內的取樣點(即，所獲得的圖元位置p’)可以不是整數位置。如果在該三角形投影面1402內的取樣點的y-軸座標Y是非整數位置，那麼在轉換電路114中的插值濾波器(圖未示)可被應用到在該三角形投影面1402內的取樣點周圍的整數圖元，以便衍生出該取樣點的圖元值。例如，該插值濾波器可為雙線性濾波器、雙三次濾波器或蘭索斯濾波器(Lanczosfilter)。
為了保持主投影面(例如，對應於用戶的視埠的基底投影面BS)附近的更多細節，本發明進一步地提議透過非均勻映射來對相應的側向投影面U/B/L/R進行重新取樣。請參見第16圖連同第17圖。第16圖是圖示了透過非均勻映射對三角形投影面進行重新取樣的例子的簡圖。第17圖是圖示了根據本發明的實施例的非均勻映射函數的曲線的簡圖。在這一例子中，三角形投影面1604透過對三角形投影面1602在其高度方向上進行重新取樣(例如，縮小)來獲得，其中該三角形投影面1602具有寬度(即，三角形的底部的長度)W和高度(即，三角形的高度)H，並且該三角形投影面1604具有寬度(即，三角形的底部的長度)W和高度(即，三角形的高度)h，其中h<H。該非均勻映射函數可由非遞減曲線指定。例如，該非均勻映射函數可為分段線性函數或指數函數。在其中 該非均勻映射函數是指數函數的情況下，該非均勻映射函數可用以下的方程式來表達。
，其中n是正數並且n≠1 (3)
為了保持主投影面(例如，對應於用戶的視埠的基底投影面BS)附近的更多細節，在該方程式(3)中所用的n的值可大於1(即，n>1)。因此，其中n>1的非均勻映射函數可透過第17圖中所示的示範性的曲線指定。
備選地，該非均勻映射函數可用以下的方程式來表達。
，其中n是正數並且n≠1 (4)
為了保持主投影面(例如，對應於用戶的視埠基底投影面BS)附近的更多細節，在該方程式(4)中所用的n的值可小於1(即，0<n<1)。因此，其中0<n<1的非均勻映射函數也可透過第17圖中所示的示範性的曲線指定。
關於位於該三角形投影面1604內的y-軸的座標y’處的圖元位置，位於該三角形投影面1602內的y-軸的座標Y處的相應的取樣點可由所採用的非均勻映射函數來確定。如第16圖中所示，在兩個豎直相鄰的取樣點之間的間距不是常數。例如，在兩個豎直相鄰的取樣點之間的間距可為D1，D2，D3中的一個，其中D3>D2>D1。具體而言，這些取樣點在該三角形投影面1602的高度方向上非均勻地分佈。在該三角形投影面1604內的位置P的圖元值透過用在該三角形投影面1602內的相應的取樣位置p’的圖元值來獲得。例如，在該三角形投影面1604內的第一經重新取樣的區域1606中的圖元透過對該三角形投影面1602的第一源區域1610進行重新取樣來獲得，並且在該三角形投影面1604內的第二經重新取樣的區域1608中的圖元透過對該三角形投影面1602的第二源區域1612進行重新取樣來獲得。由於在高度方向上的非均勻映射，從第一源區域1610獲得的取樣點的密度不同於從第二源區域1612獲得的取樣點的密度。換句話說，該第一經重新取 樣的區域1606透過用第一取樣密度對第一源區域1610進行重新取樣來獲得，並且該第二經重新取樣的區域1608透過用第二取樣密度對第二源區域1612進行重新取樣來獲得，其中該第二取樣密度不同於該第一取樣密度。
為了保持主投影面(例如，對應於用戶的視埠基底投影面BS)附近的更多細節，該第一取樣密度和該第二取樣密度透過非均勻映射被適當地控制。假定該三角形投影面1602(例如，在第4圖中所示的金字塔投影佈局400的側向投影面U、B、L和R中的一個)的第一源區域1610比第二區域1612更靠近用戶的視埠的中心(例如，在第4圖中所示的金字塔投影佈局400的基底投影面BS的中心)，則該第一取樣密度被具體地設置成高於該第二取樣密度。這樣，在該三角形投影面1604中的大多數的圖元透過對該三角形投影面1602內的第一源區域1610進行重新取樣而獲得。
在該三角形投影面1602中的取樣點(即，所獲得的圖元位置p’)可以不是整數位置。如果在該三角形投影面1602內的取樣點的y-軸座標Y是非整數位置，那麼在該轉換電路114中的插值濾波器(圖未示)可被應用於在該三角形投影面1602內的取樣點周圍的整數圖元，以便得到該取樣點的圖元值。例如，該插值濾波器可為雙線性濾波器、雙三次濾波器或蘭索斯濾波器。
應該指出的是，前述的非均勻映射函數是用於說明性的目的，而不是意味著對本發明的限制。在本發明的一些實施例中，該轉換電路114可採用不同的非均勻映射函數來用於投影面重新取樣。這也落入在本發明的範圍之內。
關於被該第一提議性基於視埠的金字塔投影佈局1102，該第二提議性基於視埠的金字塔投影佈局1202和該第三提議性基於視埠的金字塔投影佈局1302中的任何一個所使用的經重新取樣的投影面，在該主投影面(例如，該基底投影面BS)附近的更多細節可透過在重新取樣操作中使用非均勻映射被保持。例如，該側向投影面U’的大多數圖元透過對靠近該基底投影面BS的邊S11的該 側向投影面U的基底部分進行重新取樣而獲得，該側向投影面L’的大多數圖元透過對靠近該基底投影面BS的邊S12的該側向投影面L的基底部分進行重新取樣而獲得，該側向投影面B’的大多數圖元透過對靠近該基底投影面BS的邊S13的該側向投影面B的基底部分進行重新取樣而獲得，並且該側向投影面R’的大多數圖元透過對靠近該基底投影面BS的邊S14的該三角形投影面R的基底部分進行重新取樣而獲得。由於該主投影面(例如，該基底投影面BS)附近的更多細節可透過非均勻映射而被保持在副投影面(例如，側向投影基底U’、B’、L’與R’)內，因此該基於投影的圖像IMG的編碼效率可進一步地改進。例如，相較於具有透過用均勻映射進行重新取樣而生成的側向投影面U’、B’、L’與R’的基於投影的圖像IMG的編碼效率，具有透過用非均勻映射進行重新取樣而生成的側向投影面U’、B’、L’與R’的基於投影的圖像IMG的編碼效率更好。
在以上的實施例中，第一投影面(例如，基底投影面BS)和多個第二投影面(例如，四個側向投影面U、B、L和R)首先透過根據所採用的金字塔投影類型將該球體202的全向內容映射/投影到金字塔204/504/704/904上來獲得，並且然後經重新取樣的投影面(例如，四個側向投影面U’、B’、L’與R’)透過分別對第二投影面進行重新取樣(例如，縮小)來獲得。接下來，該第一投影面(例如，該基底投影面BS)和該經重新取樣的投影面(例如，四個側向投影面U’、B’、L’與R’)被包裝在所採用的基於視埠的金字塔投影佈局1102/1202/1302內。然而，這些只是出於說明性的目的，而不是意味著對本發明的限制。備選地，將球體的全向內容映射/投影到金字塔上的步驟可省略。也就是說，對如第4圖中所示的金字塔的不同面的基底投影面BS的和側向投影面U、B、L和R的生成可省略。
第18圖是圖示了根據本發明的實施例的第五金字塔投影類型的簡圖。根據該第五金字塔投影類型，該球體202的全向內容根據在金字塔和該球體 202之間的投影關係被劃分成第一局部區域1801和多個第二局部區域1802。在這一例子中，該球體202的全向內容被劃分成包含該第一局部區域1801和該第二局部區域1802的五個局部區域，這是由於所採用的金字塔投影佈局(例如，所提議的基於視埠的金字塔投影佈局1102、1202與1302中的一個)與具有一個正方形基底和四個三角形側向面的金字塔相關聯的事實。在這一例子中，在該球體202的表面上的分區佈局由多個圓1803、1804、1805、1806和1807限定，其中的每一個具有為該球體202的中心的中心。簡單地說，該第一局部區域1801和該第二局部區域1802的邊界由圓1803-1807確定。
該第一局部區域1801等同於由透過將該金字塔(例如，金字塔204、504、704和904中的一個)的正方形基底投影到該球體202的表面上所限定的圖像面積，並且該第二局部區域1802等同於由透過將該金字塔(例如，金字塔204、504、704和904中的一個)的三角形側向面投影到該球體202的表面上所限定的圖像面積。
在獲得該第一局部區域1801和該第二局部區域1802之後，該第一局部區域1801直接轉換為前述的基底投影面BS(其是正方形投影面)，並且該第二局部區域1802分別直接轉換為前述的側向投影面U’、B’、L’與R’(其是直角三角形的投影面)。例如，從該第一局部區域1801到該基底投影面BS的轉換可透過使用三角函數來實現，並且/或者從該第二局部區域1802到該側向投影面U’、B’、L’與R’的轉換可透過使用三角函數來實現。在獲得該基底投影面BS和該側向投影面U’、B’、L’與R’之後，該基底投影面BS和該側向投影面U’、B’、L’與R’被包裝在所採用的金字塔投影佈局(例如，所提議的基於視埠的金字塔投影佈局1102、1202與1302中的一個)內。
在本發明的一些實施例中，前述的非均勻映射特徵可併入到應用於各個第二局部區域1802的轉換函數中。例如，第16圖中所示的三角形投影面1602 可視為該第二局部區域1802中的一個，並且第16圖中所示的三角形投影面1604可視為該側向投影面U’、B’、L’與R’中的一個。因此，各個第二局部區域1802具有第一源區域(例如，1610)和第二源區域(例如，1612)，並且相應的側向投影面U’/B’/L’/R’具有第一經轉換區域(例如，1606)和第二經轉換區域(例如，1608)。該第一經轉換區域(例如，1606)透過用第一取樣密度對第一源區域(例如，1610)進行轉換而衍生出來，並且該第二經轉換區域(例如，1608)透過用第二取樣密度對該第二源區域(例如，1612)進行轉換而衍生出來，其中該第二取樣密度不同於該第一取樣密度。為了保持該主投影面(例如，對應於用戶的視埠的基底投影面BS)附近的更多細節，該第一取樣密度和該第二取樣密度透過轉換函數被適當地控制。假定一個第二局部區域1802的第一源區域(例如，1610)比該第二區域(例如，1612)更靠近該用戶的視埠的中心(例如，該第一局部區域1801的中心)，則該第一取樣密度被具體地設置成高於該第二取樣密度。這樣，在相應的側向投影面U’/B’/L’/R’中的大多數圖元透過將第一源區域(例如，1610)轉換到第二局部區域1802中而獲得。
如上所述，該球體202的全向內容(即，該球體202的表面)需要被劃分成五個局部區域，其可用以獲得對應於具有一個正方形基底和四個三角形側向面的金字塔的基底投影面BS和側向投影面U’、B’、L’與R’。然而，在該球體202的表面上的分區佈局可取決於實際的設計考量而調整。
第19圖是圖示了根據本發明的實施例的第六金字塔投影類型的簡圖。根據該第六金字塔投影類型，該球體202的全向內容根據在金字塔和該球體202之間的投影關係被被劃分成第一局部區域1901和多個第二局部區域1902。在第19圖中所示的球體202的表面上的分區佈局不同於在第18圖中所示的分區佈局。因此，該第一局部區域1901的形狀可不同於該第一局部區域1801的形狀，並且/或者該第二局部區域1902的形狀可不同於該第二局部區域1802的形狀。在這 一例子中，在該球體202的表面上的分區佈局可由多個圓1903、1904、1905、1906和1907限定。關於各個圓1903-1905，其具有位於經過該球體202的中心的一個中心軸處的中心。關於各個圓1906和1907，其具有為該球體202的中心的中心。簡單地說，該第一局部區域1901和該第二局部區域1902的邊界由圓1903-1907確定。
該第一局部區域1901被直接轉換為前述的基底投影面BS(其是正方形投影面)，並且該第二局部區域1902分別被直接轉換為前述的側向投影面U’、B’、L’與R’(其是直角三角形的投影面)。例如，從該第一局部區域1901到該基底投影面BS的轉換可透過使用三角函數來實現，並且/或者從該第二局部區域1902到該側向投影面U’、B’、L’與R’的轉換可透過使用三角函數來實現。像第18圖中所示的實施例，前述的非均勻映射特徵可併入到應用於各個第二局部區域1902的轉換函數中。該基底投影面BS和該側向投影面U’、B’、L’與R’被包裝在所採用的金字塔投影佈局(例如，所提議的基於視埠的金字塔投影佈局1102、1202與1302中的一個)內。
第20圖是圖示了根據本發明的實施例的第七金字塔投影類型的簡圖。根據該第七金字塔投影類型，該球體202的全向內容根據在金字塔和該球體202之間的投影關係被劃分成第一局部區域2001和多個第二局部區域2002。在第20圖中所示的球體202的表面上的分區佈局不同於第18圖/第19圖中所示的分區佈局。因此，該第一局部區域2001的形狀可不同於該第一局部區域1801/1901的形狀，並且/或者該第二局部區域2002的形狀可不同於該第二局部區域1802/1902的形狀。在這一例子中，在該球體202的表面上的分區佈局可由多個圓2003、2004、2005、2006和2007限定，其中的各個具有位於經過該球體202的中心的一個中心軸處的中心。簡單地說，該第一局部區域2001和該第二局部區域2002的邊界由圓2003-2007確定。
該第一局部區域2001被直接轉換為前述的基底投影面BS(其是正方 形投影面)，並且該第二局部區域2002分別被直接轉換為前述的側向投影面U’、B’、L’與R’(其是直角三角形的投影面)。例如，從該第一局部區域2001到該基底投影面BS的轉換可透過使用三角函數來實現，並且/或者從該第二局部區域2002到該側向投影面U’、B’、L’與R’的轉換可透過使用三角函數來實現。像第18圖中所示的實施例，前述的非均勻映射特徵可併入到應用於各個第二局部區域2002的轉換函數中。該基底投影面BS和該側向投影面U’、B’、L’與R’被包裝在所採用的金字塔投影佈局(例如，所提議的基於視埠的金字塔投影佈局1102、1202與1302中的一個)內。
本領域的技術人員將易於注意的是，可做出裝置和方法的多種修改和變更，同時保留本發明的教導。因此，以上揭露內容應該如僅由所附申請專利範圍的界限所限制的那樣進行解釋。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

Claims (20)

  1. 一種視頻處理方法，包括：接收對應於一球體的全向內容；根據該全向內容和金字塔投影佈局生成一基於投影的幀，其中該基於投影的幀具有由包裝在該金字塔投影佈局內的基底投影面和多個側向投影面表現的360度內容，並且該基底投影面和該側向投影面至少根據在金字塔和該球體之間的投影關係來獲得；以及透過一視頻編碼器編碼該基於投影的幀，以便生成位元流的一部分。
  2. 如申請專利範圍第1項所述之視頻處理方法，其中該球體全部位於該金字塔內部。
  3. 如申請專利範圍第2項所述之視頻處理方法，其中該球體是該金字塔的內切球體。
  4. 如申請專利範圍第1項所述之視頻處理方法，其中該金字塔全部位於該球體內部。
  5. 如申請專利範圍第4項所述之視頻處理方法，其中該球體是該金字塔的外接球體。
  6. 如申請專利範圍第4項所述之視頻處理方法，其中該球體接觸該金字塔的全部頂點，除了該金字塔的尖端。
  7. 如申請專利範圍第6項所述之視頻處理方法，其中該金字塔的在該金字塔的尖端和該金字塔的基底之間的高度等於或小於該基底的邊長。
  8. 如申請專利範圍第1項所述之視頻處理方法，其中根據該全向內容和該金字塔投影佈局生成該基於投影的幀包括：將該球體的全向內容映射到該金字塔的基底和多個側向面上，以便分別生成第一投影面和多個第二投影面； 從該第一投影面衍生出該基底投影面；以及從該第二投影面分別衍生出該側向投影面，其中各個側向投影面透過對相應的第二投影面在其高度方向上進行重新取樣而衍生出來。
  9. 如申請專利範圍第8項所述之視頻處理方法，其中對相應的第二投影面進行重新取樣包括：透過非均勻映射對相應的第二投影面進行重新取樣，其該相應的第二投影面具有第一源區域和第二源區域，所述的各個側向投影面具有第一經重新取樣的區域和第二經重新取樣的區域，該第一經重新取樣的區域透過用第一取樣密度對該第一源區域進行重新取樣而衍生出來，並且該第二經重新取樣的區域透過用不同於該第一取樣密度的第二取樣密度對該第二源區域進行重新取樣而衍生出來。
  10. 如申請專利範圍第9項所述之視頻處理方法，其中該第一投影面對應於用戶的視埠，該第一源區域更靠近該用戶的視埠的中心，並且該第一取樣密度高於該第二取樣密度。
  11. 如申請專利範圍第1項所述之視頻處理方法，其中根據該全向內容和該金字塔投影佈局生成該基於投影的幀包括：根據在該金字塔和該球體之間的投影關係將該球體的全向內容分區成第一局部區域和多個第二局部區域；將該第一局部區域直接轉換成該基底投影面；以及將該第二局部區域分別直接轉換成該側向投影面。
  12. 如申請專利範圍第11項所述之視頻處理方法，其中各個第二局部區域直接轉換成該側向投影面的中的一個，所述的各個第二局部區域具有第一源區域和第二源區域，該側向投影面中的所述的一個具有第一重取樣區域和第二重取樣區域，該第一重取樣區域透過用第一取樣密度對該第一源區域進行轉換 而衍生出來，並且該第二重取樣區域透過用不同於該第一取樣密度的第二取樣密度對該第二源區域進行轉換而衍生出來。
  13. 如申請專利範圍第12項所述之視頻處理方法，其中該第一局部區域對應於用戶的視埠，該第一源區域更靠近該用戶的視埠的中心，並且該第一取樣密度高於該第二取樣密度。
  14. 如申請專利範圍第1項所述之視頻處理方法，其中該金字塔投影佈局的形狀是正方形，該基底投影面的形狀是正方形，各個側向投影面的形狀是直角三角形，該側向投影面包括第一側向投影面、第二側向投影面、第三側向投影面和第四側向投影面，該第一側向投影面的斜邊與該基底投影面的第一邊連接，該第二側向投影面的斜邊與該基底投影面的第二邊連接，該第三側向投影面的斜邊與該基底投影面的第三邊連接，並且該第四側向投影面的斜邊與該基底投影面的第四邊連接。
  15. 如申請專利範圍第14項所述之視頻處理方法，其中在該第一側向投影面的斜邊和該基底投影面的第一邊之間具有圖像連續性邊界，在該第二側向投影面的斜邊和該基底投影面的第二邊之間具有圖像連續性邊界，在該第三側向投影面的斜邊和該基底投影面的第三邊之間具有圖像連續性邊界，並且在該第四側向投影面的斜邊和該基底投影面的第四邊之間具有圖像連續性邊界。
  16. 如申請專利範圍第1項所述之視頻處理方法，其中該金字塔投影佈局的形狀是矩形，該基底投影面的形狀是正方形，各個側向投影面的形狀是直角三角形，該側向投影面包括第一側向投影面、第二側向投影面、第三側向投影面和第四側向投影面，該第一側向投影面的斜邊與該基底投影面的一個邊連接，該第一側向投影面的一個直角邊與該第二側向投影面的一個直角邊連接，該第一側向投影面的另一直角邊與該第三側向投影面的一個直角邊連接，該第四側向投影面的一個直角邊與該第二側向投影面的另一直角邊連接，並且該第 四側向投影面的另一直角邊與該第三側向投影面的另一直角邊連接。
  17. 如申請專利範圍第16項所述之視頻處理方法，其中在該第一側向投影面的斜邊和該基底投影面的所述的一個邊之間具有圖像連續性邊界，在該第一側向投影面的所述的一個直角邊和該第二側向投影面的所述的一個直角邊之間具有圖像連續性邊界，在該第一側向投影面的所述的另一直角邊和該第三側向投影面的所述的一個直角邊之間具有圖像連續性邊界，在該第四側向投影面的所述的一個直角邊和該第二側向投影面的所述的另一直角邊之間具有圖像連續性邊界，並且在該第四側向投影面的所述的另一直角邊和該第三側向投影面的所述的另一直角邊之間具有圖像連續性邊界。
  18. 如申請專利範圍第1項所述之視頻處理方法，其中該金字塔投影佈局的形狀是矩形，該基底投影面的形狀是正方形，各個側向投影面的形狀是直角三角形，該側向投影面包括第一側向投影面、第二側向投影面、第三側向投影面和第四側向投影面，該第一側向投影面被分成第一直角三角形的部分和第二直角三角形的部分，該第二側向投影面被分成第三直角三角形的部分和第四直角三角形的部分，該第三側向投影面的斜邊與該基底投影面的第一邊連接，該第四側向投影面的斜邊與該基底投影面的與該基底投影面的第一邊相對的第二邊連接，該第一直角三角形的部分的斜邊與該第三側向投影面的一個直角邊連接，該第三直角三角形的部分的斜邊與該第三側向投影面的另一直角邊連接，該第二直角三角形的部分的斜邊與該第四側向投影面的一個直角邊連接，並且該第四直角三角形的部分的斜邊與該第四側向投影面的另一直角邊連接。
  19. 如申請專利範圍第18項所述之視頻處理方法，其中在該第三側向投影面的斜邊和該基底投影面的第一邊之間具有圖像連續性邊界，在該第四側向投影面的斜邊和該基底投影面的第二邊之間具有圖像連續性邊界，在該第一直角三角形的部分的斜邊和該第三側向投影面的所述的一個直角邊之間具有圖像 連續性邊界，在該第三直角三角形的部分的斜邊和該第三側向投影面的所述的另一直角邊之間具有圖像連續性邊界，在該第二直角三角形的部分的斜邊和該第四側向投影面的所述的一個直角邊之間具有圖像連續性邊界，並且在該第四直角三角形的部分的斜邊和該第四側向投影面的所述的另一直角邊之間具有圖像連續性邊界。
  20. 一種視頻處理設備，包括：轉換電路，其佈置成接收對應於球體的全向內容，並且根據該全向內容和金字塔投影佈局生成基於投影的幀，其中該基於投影的幀具有由包裝在該金字塔投影佈局內的基底投影面和多個側向投影面表現的360度內容，並且該基底投影面和該側向投影面至少根據在金字塔和該球體之間投影關係而獲得；以及視頻編碼器，其佈置成編碼該基於投影的幀，以便生成位元流的一部分。
TW107100156A 2017-01-03 2018-01-03 用於生成且編碼具有由包裝在金字塔投影佈局內的基底投影面與側向投影面來表現的３６０度內容的基於投影的幀的方法及設備 TWI653875B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762441607P 2017-01-03 2017-01-03
US62/441,607 2017-01-03
US201762545596P 2017-08-15 2017-08-15
US62/545,596 2017-08-15
??PCT/CN2018/070029 2018-01-02
PCT/CN2018/070029 WO2018127035A1 (en) 2017-01-03 2018-01-02 Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by base projection face and lateral projection faces packed in pyramid projection layout

Publications (2)

Publication Number Publication Date
TW201830958A TW201830958A (zh) 2018-08-16
TWI653875B true TWI653875B (zh) 2019-03-11

Family

ID=62789370

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107100156A TWI653875B (zh) 2017-01-03 2018-01-03 用於生成且編碼具有由包裝在金字塔投影佈局內的基底投影面與側向投影面來表現的３６０度內容的基於投影的幀的方法及設備

Country Status (4)

Country Link
CN (1) CN109716776B (zh)
DE (1) DE112018000128B4 (zh)
TW (1) TWI653875B (zh)
WO (1) WO2018127035A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090123088A1 (en) 2007-11-14 2009-05-14 Microsoft Corporation Tiled projections for planar processing of round earth data
CN101852980A (zh) 2010-06-09 2010-10-06 长春理工大学 一种在cave投影系统上交互式播放全景视频流的方法
US20130222534A1 (en) 2011-08-29 2013-08-29 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
CN104219584A (zh) 2014-09-25 2014-12-17 广州市联文信息科技有限公司 基于增强现实的全景视频交互方法和系统
WO2015140082A1 (en) 2014-03-18 2015-09-24 Koninklijke Philips N.V. Audiovisual content item data streams

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
WO2016140082A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法
CN105812759A (zh) * 2016-04-15 2016-07-27 杭州当虹科技有限公司 一种360度全景视频的平面投射方法及编码方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090123088A1 (en) 2007-11-14 2009-05-14 Microsoft Corporation Tiled projections for planar processing of round earth data
CN101852980A (zh) 2010-06-09 2010-10-06 长春理工大学 一种在cave投影系统上交互式播放全景视频流的方法
US20130222534A1 (en) 2011-08-29 2013-08-29 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
WO2015140082A1 (en) 2014-03-18 2015-09-24 Koninklijke Philips N.V. Audiovisual content item data streams
CN104219584A (zh) 2014-09-25 2014-12-17 广州市联文信息科技有限公司 基于增强现实的全景视频交互方法和系统

Also Published As

Publication number Publication date
WO2018127035A1 (en) 2018-07-12
TW201830958A (zh) 2018-08-16
CN109716776A (zh) 2019-05-03
DE112018000128T5 (de) 2019-06-27
CN109716776B (zh) 2021-10-15
DE112018000128B4 (de) 2020-10-22

Similar Documents

Publication Publication Date Title
TWI654874B (zh) 處理具有至少一非均勻映射生成之投影面之投影訊框之方法及裝置
TWI673995B (zh) 生成和編碼包括堆疊在360度虛擬實境投影佈局中的至少一個填充區域和至少一個投影面的基於投影的圖框的方法及裝置
CN107454468B (zh) 对沉浸式视频进行格式化的方法、装置和流
US10825229B2 (en) Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in triangle-based projection layout
TWI666912B (zh) 具有由封包於分段球體投影設計並以投影面表示之360度內容之投影訊框生成及編碼之方法及裝置
TWI663878B (zh) 緊密八面體連續面佈局之３６０視訊處理方法及裝置
TWI681662B (zh) 用於減少基於投影的圖框中的偽影的方法和裝置
TW201921035A (zh) 用於處理包括封裝在360度虛擬現實投影佈局中的至少一個投影面的基於投影的圖框的方法
US10573076B2 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport-based cube projection layout
TWI684359B (zh) 用於沉浸式視頻編解碼的信令語法的方法及裝置
TWI653875B (zh) 用於生成且編碼具有由包裝在金字塔投影佈局內的基底投影面與側向投影面來表現的３６０度內容的基於投影的幀的方法及設備
TWI736851B (zh) 一種基於立方體的投影方法
TWI656788B (zh) 用於生成和編碼具有基於視角的立方體投影格式佈局之基於360度矩形投影圖框的方法和設備
US10652516B2 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by base projection face and lateral projection faces packed in pyramid projection layout