TWI735254B

TWI735254B - 視訊編碼方法及相關的視訊解碼方法和裝置

Info

Publication number: TWI735254B
Application number: TW109119670A
Authority: TW
Inventors: 李亞璇; 林建良
Original assignee: 聯發科技股份有限公司
Priority date: 2019-07-02
Filing date: 2020-06-11
Publication date: 2021-08-01
Also published as: WO2021000901A1; DE112020001239T5; US20210006785A1; US11190768B2; TW202106029A; WO2021000901A8; CN114208163A

Abstract

一種視訊解碼方法，包括：對位元流的一部分進行解碼以生成解碼幀；以及從位元流中解析至少一個語法元素。解碼幀是基於投影的幀，其具有被打包在基於立方體的投影佈局中的投影面。藉由基於立方體的投影，球體的360度內容的至少一部分被映射到投影面。所述至少一個語法元素指示在基於立方體的投影佈局中的投影面的打包。

Description

視訊編碼方法及相關的視訊解碼方法和裝置

本發明的申請專利範圍要求如下申請的優先權：在2019年7月2日遞交的申請號為62/869,627，在2019年7月3日遞交的申請號為62/870,139，在2019年9月20日遞交的申請號為62/903,056。上述美國臨時申請案，包括申請號為62/869,627，申請號為62/870,139和申請號為62/903,056的全部內容以引用方式併入本發明。

本發明涉及視訊編碼和視訊解碼，尤其涉及具有語法元素的視訊編碼方法及相關的視訊解碼方法和裝置，該語法元素發送從基於立方體的投影導出的投影面的打包。

具有頭戴式顯示器(Head-mounted display，簡稱HMD)的虛擬實境(virtual reality，簡稱VR)與各種應用相關聯。向使用者顯示寬視野內容的能力可被用於提供沉浸式視覺體驗。真實世界環境必須在所有方向上捕獲，從而產生對應於球體的全向視訊。隨著攝像機裝備和HMD的進步，由於表示這種360度圖像內容需要高位元速率，VR內容的傳送可能很快成為瓶頸。當全向視訊的解析度為4K或更高時，資料壓縮/編碼對於降低位元速率至關重要。

通常，與球體相對應的全向視訊被轉換成具有由以360度虛擬實境(360-degree Virtual Reality，簡稱360 VR)投影佈局排列的投影面表示的360度圖像內容的幀，然後得到的幀被編碼成位元流進行傳輸。如果採用的360 VR投影佈局的佈置是固定的，而不允許對其進行任何調整，則視訊編碼器對360度圖像內容進行編碼的靈活性不足。因此，需要一種靈活的設計，該靈活的設計允許決定/選擇投影面的打包類型以及發送與投影面的打包相關聯的語法元素。

所要求保護的發明的目的之一是提供一種具有發送從基於立方體的投影導出的投影面的打包的語法元素的視訊編碼方法以及相關的視訊解碼方法和裝置。

根據本發明的第一方面，一種示例性視訊編碼方法被公開。該示例性視訊編碼方法包括：對基於投影的幀進行編碼以生成位元流的一部分，其中，藉由基於立方體的投影，球體的360度內容的至少一部分被映射到投影面，並且基於投影的幀具有被打包在基於立方體的投影佈局中的投影面；藉由位元流，發送至少一個語法元素，其中所述至少一個語法元素指示在基於立方體的投影佈局中的投影面的打包。

根據本發明的第二方面，一種示例性視訊解碼方法被公開。該示例性視訊解碼方法包括：解碼位元流的一部分以生成解碼幀，其中，解碼幀是基於投影的幀，其具有被打包在基於立方體的投影佈局中的投影面，並且藉由基於立方體的投影，球體360度內容的至少一部分被映射到投影面；從所述位元流中解析至少一個語法元素，其中所述至少一個語法元素指示在基於立方體的投影佈局中投影面的打包。

根據本發明的第三方面，一種示例性電子設備被公開。該示例性電子設備包括解碼電路。解碼電路被佈置為解碼位元流的一部分以生成解碼幀，並且從該位元流解析至少一個語法元素，其中，解碼幀是基於投影的幀，其具有被打包在基於立方體的投影佈局中的投影面。藉由基於立方體的投影，球體的360度內容的至少一部分被映射到投影面，並且所述至少一個語法元素指示在基於立方體的投影佈局中的投影面的打包。

在閱讀了在各個附圖和附圖中示出的優選實施例的以下詳細描述之後，本發明的該些和其他目的無疑對於本領域之通常技術者將變得顯而易見。

100:360VR系統

102:源電子設備

103:位元流

104:目標電子設備

112:視訊獲取設備

114:轉換電路

116:視訊編碼器

122:視訊解碼器

124:圖像渲染電路

125:轉換電路

126:顯示設備

200:球體

201:立方體

202,204,302,304:基於立方體的投影佈局

第1圖是根據本發明實施例的360度虛擬實境(360VR)系統。

第2圖示出根據本發明實施例的基於立方體的投影的圖。

第3圖示出根據本發明實施例的另一基於立方體的投影。

第4圖示出根據本發明實施例的語法元素gcmp_packing_type的一種規範。

第5圖示出根據本發明實施例的語法元素gcmp_face_rotation[i]的一種規範。

第6圖示出根據本發明實施例的語法元素gcmp_face_rotation[i]的另一種規範。

第7圖示出根據本發明的實施例的語法元素gcmp_face_rotation[i]的又一種規範的圖。

第8圖示出根據本發明的實施例的語法元素gcmp_packing_type的另一種規範的示圖。

第9圖示出根據本發明的實施例的語法元素gcmp_packing_type的又一種規範。

貫穿以下描述和申請專利範圍特定術語，其涉及特定組件被使用。如本領域之通常技術者將理解的，電子裝置製造商可藉由不同的名稱來指涉同一組件。本文檔無意區別名稱不同但功能相同的組件。在以下描述和申請專利範圍中，術語“包括”和“包含”以開放式的方式使用，因此應該被解釋為表示“包括但不限於......”。而且，術語“耦合”旨在表示間接或直接電子連接。因此，如果一個裝置耦合到另一個裝置，則該連接可以藉由直接電子連接，或藉由其他裝置和連結的間接電子連接。

第1圖示出根據本發明的實施例360VR系統的圖。360VR系統100包括兩個視訊處理裝置(例如，源電子設備102和目標電子設備104)。源電子裝置102包括視訊獲取設備112，轉換電路114和視訊編碼器116。例如，視訊獲取設備112可以是全向攝影機。轉換電路114根據對應於球體的全向視訊幀S_IN，生成具有360度虛擬實境(360 VR)投影佈局L_VR的基於投影的幀IMG，其中全向視訊幀S_IN包含球體的360度內容。視訊編碼器116是編碼電路，其對基於投影的幀IMG(其具有打包在360 VR投影佈局L_VR中的投影面)進行編碼以生成位元流BS的一部分，並藉由諸如有線/無線通訊鏈路或存儲介質的傳輸設備103，將位元流BS輸出至目標電子設備104。

目標電子設備104可以是頭戴式顯示器(head-mounted display，簡稱HMD)設備。如第1圖所示，目標電子設備104包括視訊解碼器122，圖形渲染電路124和顯示裝置126。視訊解碼器122是從傳輸裝置103(例如，有線/無線通訊鏈路或存儲介質)接收位元流BS的解碼電路，並對接收到的位元流BS的一部分進行解碼，以生成解碼幀IMG'。在該實施例中，由視訊編碼器116編碼的基於投影的幀IMG具有360VR投影佈局L_VR。因此，在視訊解碼器122對位元流BS的一部分進行解碼之後，解碼幀(即，重構幀)IMG’具有相同的360 VR投影佈局L_VR。換句話說，解碼幀IMG’也是具有打包在360 VR投影佈局L_VR中的投影面的基於投影的幀。圖形渲染電路124被佈置為驅動顯示裝置126以顯示由使用者選擇的視口區域的圖像內容。圖形渲染電路124可包括轉換電路125，該轉換電路125被佈置為處理由解碼幀IMG’攜帶的圖像內容的一部分，以獲得與所選視口區域的圖像內容相關聯的圖像資料。

在該實施例中，360VR投影佈局L_VR是基於立方體的投影佈局。因此，藉由基於立方體的投影，球體的360度內容的至少一部分(即部分或全部)被映射到投影面，並且從立方體的不同面導出的投影面被打包在基於投影的幀IMG/解碼幀IMG'所採用的基於立方體的投影佈局中。

在一實施例中，具有六個正方形的投影面的基於立方體的投影可被採用，該六個正方形的投影面表示完整的360°x180°全向視訊(即，球體的所有360度內容)。關於源電子設備102的轉換電路114，基於立方體的投影被採用以在三維(three-dimensional，簡稱3D)空間中生成立方體的正方形投影面。第2圖示出根據本發明的實施例的基於立方體的投影的圖。球體200上的整個360度內容被投影到立方體201的六個正方形面上，包括頂面(標記為“頂”)，底面(標為“底”)，左面(標記為“左”)，正(標記為“正”)，右面(標記為“右”)和背面(標記為“背”)。參照第2圖，球體200的北極區域的圖像內容被投影到頂面“頂”上，球體200的南極區域的圖像內容被投影到底面“底”上，球體200的赤道區域圖像內容被投影到左面“左”，正面“正”，右面“右”和背面“背”。

在由x軸，y軸和z軸定義的3D空間中，六個投影面上的每個點位於(x，y，z)，其中x,y,z

[-1,1]，其中在第2圖所示的示例中，正面“正”在x=1的x平面上，背面“背”在x=-1的x平面上，頂面“頂”在z=1的z平面上，底面“底”在z=-1的z平面上，左面“左”在y=1的y平面上，右面“右”在y=-1的y平面上。在替代設計中，正面“正”可以在x=1的x平面上，背面“背”可以在x=-1的x平面上，頂面“頂”可以在y=1的y平面上，底面“底”可以在y=-1的y平面上，右面“右”在z=1的z平面上，而左面“左”在z=-1的z平面上。

正向變換被用於將3D空間(x，y，z)變換為2D平面(u，v)。因此， 3D空間中的立方體201的頂面“頂”，底面“底”，左面“左”，正面“正”，右面“右”和背面“背”被變換為2D平面上的頂面(標記為“2”)，底面(標記為“3”)，左面(標記為“5”)，正面(標記為“0”)，右面(標記為“4”)和背面(標為“1”)。每個面都在一個由u軸和v軸定義的2D平面上，並且每個點都位於(u，v)。

逆變換被用於將2D平面(u，v)變換到3D空間(x，y，z)。因此，2D平面上的頂面(標記為“2”)，底面(標記為“3”)，左面(標記為“5”)，正面(標記為“0”)，右面(標記為“4”)和背面(標記為“1”)被轉換為3D空間中立方體201的頂面“頂”，底面“底”，左面“左”，正面“正”，右面“右”和背面“背”。

源電子設備102的轉換電路114可採用逆變換來生成頂面“2”，底面“3”，左面“5”，正面“0”，右面“4”和背面“1”。2D平面上的頂面“2”，底面“3”，左面“5”，正面“0”，右面“4”和背面“1”被打包以形成基於投影的幀IMG，該基於投影的幀IMG由視訊編碼器116編碼。

視訊解碼器122從傳輸裝置103接收位元流BS，並對接收到的位元流BS的一部分進行解碼，以生成具有與編碼器側採用的投影佈局L_VR相同的解碼幀IMG'。關於目標電子設備104的轉換電路125，正向變換被用來將3D空間(x，y，z)變換到2D平面(u，v)，以確定頂面“頂”，底面“底”，左面“左”，正面“正”，右面“右”和背面“背”中的任一的像素的像素值。或者逆變換被用於從2D平面(u，v)變換到3D空間(x，y，z)，以將基於投影的幀的樣本位置重新映射到球體。

如上所述，頂面“2”，底面“3”，左面“5”，正面“0”，右面“4”和背面“1”被打包以形成基於投影的幀IMG。例如，轉換電路114可選擇一種打包類型，使得基於投影的幀IMG具有佈置在具有基於立方體的投影佈局 202中的投影圖像資料。對於另一示例，轉換電路114可選擇另一打包類型，使得基於投影的幀IMG具有佈置在基於立方體的投影佈局204中的投影圖像資料，基於立方體的投影佈局204與基於立方體的投影佈局202不同。

在另一實施例中，具有五個投影面(其包括一個全面和四個半面)的基於立方體的投影可被採用，該五個投影面表示180°x180°的全向視訊(即，球體的360度內容的一部分)。關於源電子設備102的轉換電路114，基於立方體的投影被採用以在3D空間中生成立方體的一個全面和四個半面。第3圖示出根據本發明的實施例的另一基於立方體的投影的圖。球體200上只有360度內容的一半被投影到立方體201的面上，包括頂半面(標記為“頂_H”)，底半面(標記為“底_H”)，左半面(標記為“左_H”)，正全面(標記為“正”)和右半面(標記為“右_H”)。參照第3圖，球體200的北極區域的一半的圖像內容被投影到頂半面“頂_H”上，球體200的南極區域的一半的圖像內容被投影到底半面“底_H”上，以及球體200的赤道區域的一半的圖像內容被投影到左半面“左_H”，正全面“正”和右半面“右_H”上。

在由x軸，y軸和z軸定義的3D空間中，五個投影面上的每個點位於(x，y，z)，其中x,y,z

[-1,1]。在第3圖所示的示例中，正全面“正”在x=1的x平面上，頂半面“頂_H”在z=1的z平面上，底半面“底_H”在z=-1的z平面上，左半面“左_H”在y=1的y平面上，右半面“右_H”在y=-1的y平面上。在替代設計中，正全面“正”在x=1的x平面上，頂半面“頂_H”在y=1的y平面上，底半面“底_H”在y=-1的y平面上，右半面“右_H”在z=1的z平面上，而左半面“左_H”在z=-1的z平面上。

正向變換被用來將3D空間(x，y，z)變換為2D平面(u，v)。因此，在3D空間中，立方體201的頂半面“頂_H”，底半面“底_H”，左半面“左_H”，正全面“正”和右半面“右_H”被變換為2D平面上的頂半面(標記為 “2”)，底半面(標記為“3”)，左半面(標記為“5”)，正全面(標記為“0”)和右半面(標記為“4”)。每個面都在一個由u軸和v軸定義的2D平面上，並且每個點都位於(u，v)。另外，正全面(標記為“0”)的大小是頂半面(標記為“2”)，底半面(標記為“3”)，左半面(標記為“5”)和右半面(標記為“4”)中每個的大小的兩倍。

逆變換被用於將2D平面(u，v)變換到3D空間(x，y，z)。因此，2D平面上的頂半面(標記為“2”)，底半面(標記為“3”)，左半面(標記為“5”)，正全面(標記為“0”)以及右半面(標記為“4”)被轉換為3D空間中立方體201的頂半面“頂_H”，底半面“底_H”，左半面“左_H”，正全面“正”和右半面“右_H”。

源電子設備102的轉換電路114可採用逆變換來生成頂半面“2”，底半面“3”，左半面“5”，正全面“0”以及右半面“4”。2D平面上的頂半面“2”，底半面“3”，左半面“5”，正全面“0”和右半面“4”被打包以形成基於投影的幀IMG，該基於投影的幀由視訊編碼器116進行編碼。

視訊解碼器122從傳輸裝置103接收位元流BS，並對接收到的位元流BS的一部分進行解碼，以生成具有與在編碼器側採用的投影佈局L_VR相同的解碼幀IMG'。關於目標電子設備104的轉換電路125，正向變換被用來將3D空間(x，y，z)變換到2D平面(u，v)，以確定頂半面“頂_H”，底半面“底_H”，左半面“左_H”，正全面“正”和右半面“右_H”中的任一的像素的像素值。或者逆變換被用於將2D平面(u，v)變換到3D空間(x，y，z)，以將基於投影的幀的樣本位置重新映射到球體。

如上所述，頂半面“2”，底半面“3”，左半面“5”，正全面“0”和右半面“4”被打包以形成基於投影的幀IMG。例如，轉換電路114可選擇一種打包類型，使得基於投影的幀IMG具有佈置在基於立方體的投影佈局302中的投影圖像資料。對於另一示例，轉換電路114可選擇另一打包類型，使得基於投影的幀IMG具有佈置在基於立方體的投影佈局304中的投影圖像資料，該基於立方體的投影佈局304與基於立方體的投影佈局302不同的。在本實施例中，正面被選擇作為打包在基於立方體的投影佈局302/304中的全面(full face)。實際上，打包在基於立方體的投影佈局302/304中的全面可以是頂面，底面，正面，背面，左面和右面中的任一，以及打包在基於立方體的投影佈局302/304中的四個半面取決於全面(full face)的選擇。

在該實施例中，轉換電路114決定/選擇從基於立方體的投影(例如，第2圖中所示的常規立方體貼圖(cubemap)投影或第3圖中所示的半球立方體貼圖投影)導出的投影面的打包，以及藉由位元流BS，視訊編碼器116發送與投影面的打包相關聯的一個或多個語法元素SE。為了更好地理解本發明的技術特徵，幾種示例性語法發送方法在以下描述。視訊編碼器116可採用所提出的語法發送方法之一來發送指示轉換電路114所採用的投影面打包的佈置資訊的一個或多個語法元素SE，並且視訊解碼器122可解析一個或多個語法元素SE'，該一個或多個語法元素SE'由視訊編碼器116採用所提議的一種語法發送方法來發送，以及視訊解碼器122可向圖形渲染電路124(特別是轉換電路125)提供已解析的一個或多個語法元素SE'，使得圖形渲染電路124(尤其是轉換電路125)被告知轉換電路114所採用的投影面打包的佈置資訊。以此種方式，當確定使用者選擇的視口區域的圖像內容時，轉換電路125可參考投影面打包的佈置資訊，以正確執行轉換。理想地，由視訊編碼器116編碼到位流BS中的一個或多個語法元素SE與由視訊解碼器122從位元流BS中解析的一個或多個語法元素SE'相同。

應當注意，以下示例性語法表中的描述符指定每個語法元素的解析過程。例如，藉由固定長度編解碼(例如，u(n))，語法元素可被編解碼。以描述符u(n)為例，它使用n位元描述不帶正負號的整數。但是，這僅是為了說明的目的，並不意味著對本發明的限制。實際上，語法元素可藉由固定長度編解碼(例如f(n)，i(n)或u(n))和/或可變長度編解碼(例如ce(v)，se(v)或ue(v))進行編解碼。描述符f(n)表示固定模式的位元字串，它使用左位元優先寫入(從左到右)的n位元。描述符i(n)表示使用n位元的有符號(signed)整數。描述符u(n)表示使用n位元的不帶符號(unsigned)的整數。描述符ce(v)表示上下文自我調整的可變長度熵編解碼語法元素，其左位元優先。描述符se(v)表示有符號(signed)整數Exp-Golomb-coded的語法元素，其左位元優先。語法元素ue(v)表示不帶符號(unsigned)的整數Exp-Golomb-coded的語法元素，其左位元優先。

根據第一語法發送方法，以下語法表可被採用。

語法元素gcmp_packing_type指定在基於立方體的投影佈局中打包投影面的打包類型，並進一步指定在所選擇的打包類型下分配給面位置的位置索引的預定義佈置。

第4圖示出根據本發明的實施例的語法元素gcmp_packing_type的規範的圖。當gcmp_packing_type的值在0到3(含0和3)的範圍內時，具有六個面的常規立方體貼圖打包被使用，其中每個打包類型與分別分配了位置索引{0、1、2、3、4、5}的六個面位置相關聯。當gcmp_packing_type為4或5時，具有一個全面和四個半面的半球立方體貼圖打包被使用，其中每個打包類型與分別分配了位置索引{0、1、2、3、4}的五個面位置相關聯。gcmp_packing_type的值應在0到5(含0和5)範圍內。gcmp_packing_type的其他值保留用於ITU-T ISO/IEC的未來使用。

語法元素gcmp_face_index[i]指定語法元素gcmp_packing_type指定的打包類型下的位置索引i的面索引。以常規立方體貼圖投影為例，正面可被分配面索引gcmp_face_index[i]==0，背面可被分配面索引gcmp_face_index[i]==1，頂面被分配面索引gcmp_face_index[i]==2時，底面可被分配面索引gcmp_face_index[i]==3，右面可被分配面索引gcmp_face_index[i]==4，並且左面可被分配面索引gcmp_face_index[i]==5。當語法元素gcmp_packing_type被設置為0、1、2或3時，語法元素gcmp_face_index[i]指定投影面的面索引(例如，第2圖中所示的正面“0”，背面“1”，頂面“2”，底面“3”，右面“4”或左面“5”)，其中具有語法元素gcmp_face_index[i]指定的面索引的投影面被打包於所選擇的打包類型下具有位置索引i的面位置。

以半球立方體貼圖投影為例，正全面可被分配面索引gcmp_face_index[i]==0，頂半面可被分配面索引gcmp_face_index[i]==2，底半面可被分配面索引gcmp_face_index[i]==3，右半面可被分配面索引gcmp_face_index[i]==4，左半面可被分配面索引gcmp_face_index[i]==5。當語法元素gcmp_packing_type被設置為4或5時，語法元素gcmp_face_index[i]指定投影面的面索引(例如，如第3圖所示的正面“0”，背面“1”，頂面“2”，底面“3”，右面“4”或左面“5”)，具有語法元素gcmp_face_index[i]指定的面索引的投影面被打包於所選打包類型下具有位置索引i的面位置。

語法元素gcmp_face_rotation[i]指定具有旋轉角度的旋轉，該旋轉角度應用於在語法元素gcmp_packing_type指定的打包類型下具有位置索引i的面位置處打包的投影面上。第5圖示出根據本發明的實施例的語法元素gcmp_face_rotation[i]的一種規範的圖。因此，當應用於待打包在具有位置索引i的面位置的投影面上的旋轉的旋轉角度為0°時，語法元素gcmp_face_rotation[i]被設置為0；當應用於待打包在具有位置索引為i的面位置的投影面上的旋轉的旋轉角度為逆時針90°時，語法元素gcmp_face_rotation[i]被設置為1；當應用於待打包在具有位置索引i的面位置的投影面上的旋轉的旋轉角度為逆時針180°時，語法元素gcmp_face_rotation[i]設置為2；當應用於待打包在具有位置索引i的面位置的投影面上的旋轉的旋轉角度為逆時針270°時，語法元素gcmp_face_rotation[i]被設置為3。

在本發明的一些實施例中，旋轉過程的輸入可包括待旋轉的投影面的寬度faceWidth和高度faceHeight，並且還可包括2D平面上投影面內的樣本位置(hPosFace，vPosFace)。旋轉過程的輸出可包括2D平面上投影面上的旋轉的樣本位置(hPosRot，vPosRot)。輸出可以如下導出：

If(gcmp_face_rotation[i]==0){

hPosRot=hPosFace

vPosRot=vPosFace

}else if(gcmp_face_rotation[i]==1){

hPosRot=vPosFace

vPosRot=faceWidth-hPosFace

}else if(gcmp_face_rotation[i]==2){

hPosRot=faceWidth-hPosFace

vPosRot=faceHeight-vPosFace

}else if(gcmp_face_rotation[i]==3){

hPosRot=faceHeight-vPosFace

vPosRot=hPosFace

}

在以上示例中，應用於一個投影面的旋轉由逆時針方向的旋轉角定義。但是，這僅是為了說明的目的，並不意味著對本發明的限制。在一種替代設計中，應用於一個投影面上的旋轉可由順時針方向的旋轉角度定義。第6圖是根據本發明的實施例的語法元素gcmp_face_rotation[i]的另一規範的示圖。在另一種替代設計中，應用於一個投影面的旋轉可包括鏡像。第7圖示出根據本發明的實施例的語法元素gcmp_face_rotation[i]的又一種規範的圖。

關於第一打包設計，對於每種打包類型，打包在基於立方體的投影佈局中的投影面的佈置以及打包在基於立方體的投影佈局中的投影面的方向是靈活的。但是，這僅是為了說明的目的，並不意味著對本發明的限制。可替代地，對於每種打包類型，打包在基於立方體的投影佈局中的投影面的佈置和打包在基於立方體的投影佈局中的投影面的方向是固定的。

根據第二語法發送方法，以下語法表可被採用。

語法元素gcmp_packing_type指定在基於立方體的投影佈局中打包的投影面的打包類型，並進一步指定在所選擇的包裝類型下分配給面位置的面索引的預定義佈置，和在所選擇的包裝類型下分配給面位置的旋轉的預定義佈置。

第8圖示出根據本發明的實施例的語法元素gcmp_packing_type的另一種規範的圖。當gcmp_packing_type的值在0到3(含0和3)的範圍內時，具有六個面的常規立方體貼圖打包被使用，其中每個打包類型與分別分配了面索引{0、1、2、3、4、5}的六個面位置相關聯。當gcmp_packing_type為4或5時，具有一個全面和四個半面的半球立方體貼圖打包被使用，其中每個打包類型與分別分配了面索引{0、1、2、3、4}的五個面位置相關聯。具體而言，語法元素gcmp_packing_type指定分配給所選擇的包裝類型下的面位置的面索引的預定義佈置，以及分配給所選擇的包裝類型下的面位置的旋轉的預定義佈置，其中具有面索引的投影面被打包在分配了面索引的面位置處，並且預定義的旋轉角度的旋轉被應用於打包在分配了面索引的面位置的投影面。換句話說，投影面的位置和投影面的旋轉對於所選擇的包裝類型是不可調整的。

關於第二打包設計，對於每種打包類型，打包在基於立方體的投影佈局中的投影面的佈置和打包在基於立方體的投影佈局中的投影面的方向是固定的。但是，這僅是為了說明的目的，並不意味著對本發明的限制。可替代地，對於每種打包類型，打包在基於立方體的投影佈局中的投影面的佈置是固定的，但是對於每種打包類型，打包在基於立方體的投影佈局中的投影面的方向可以是靈活的。

根據第三語法發送方法，以下語法表可被採用。

語法元素gcmp_packing_type指定在基於立方體的投影佈局中的投影面的打包的打包類型，並進一步指定在所選擇的打包類型下分配給面位置的面索引的預定義佈置。

第9圖示出根據本發明的實施例的語法元素gcmp_packing_type的又一規範的圖。當gcmp_packing_type的值在0到3(包含0和3)的範圍內時，具有六個面的常規立方體貼圖被使用，其中每個打包類型與分別分配了面索引{0、1、2、3、4、5}的六個面位置相關聯。當gcmp_packing_type為4或5時，具有一個全面和四個半面的半球立方體貼圖被使用，其中每個打包類型與分別分配了面索引{0、1、2、3、4}的五個面位置相關聯。具體而言，語法元素gcmp_packing_type指定在所選擇的打包類型下分配給面位置的面索引的預定義佈置，其中具有面索引的投影面被打包在分配了面索引的面位置。

語法元素gcmp_face_rotation[i]指定具有旋轉角度的旋轉，該旋轉角度被應用於在所選擇的打包類型下具有面索引i的面位置處被打包的投影面上。例如，語法元素gcmp_face_rotation[i]的規範之一如第5圖-第7圖所示。

本領域之習知技藝者易知，可在保持本發明之教示內容之同時對裝置及方法作出諸多修改及變動。因此，以上公開內容應被視為僅受隨附申請專利範圍之限制。