TW201943267A

TW201943267A - 一種基於立方體的投影方法

Info

Publication number: TW201943267A
Application number: TW108106607A
Authority: TW
Inventors: 李亞璇; 林建良
Original assignee: 聯發科技股份有限公司
Priority date: 2018-03-02
Filing date: 2019-02-27
Publication date: 2019-11-01
Also published as: CN111492654A; GB2585489A; US20190272617A1; CN111492654B; CN114945092A; GB2585489B; TWI736851B; DE112019000210T5; WO2019166013A1; GB202007705D0; US10922783B2

Abstract

基於立方體的投影方法包括生成與球體的360度圖像內容的基於立方體的投影相關聯的不同方形投影面的圖元。第一正方形投影面的圖元藉由利用第一映射函數集合生成。第二正方形投影面的圖元藉由利用第二映射函數集合生成。不同的方形投影面包括第一正方形投影面和第二正方形投影面。第二映射函數集合與第一映射函數集合不同。

Description

不同的映射函數應用於不同的正方形投影面，不同的軸和/或軸的不同位置的基於立方體的投影方法

相關申請的交叉引用

本申請要求在2018年3月2日提出申請號為62/637,425的美國臨時專利申請的優先權。上述美國臨時專利申請整體以引用方式併入本文中。

本發明涉及處理全向視訊幀，更具體地，涉及基於立方體的投影方法，將不同的映射函數應用於不同方形投影面，不同軸和/或軸的不同位置。

具有頭戴式顯示器（Head-mounted display, 簡稱HMD）的虛擬實境（virtual reality, 簡稱VR）與各種應用相關聯。向使用者顯示寬視野內容的能力可用於提供沉浸式視覺體驗。真實世界環境必須在所有方向上捕獲，從而產生對應於球體的全向視訊。隨著攝像機裝備和HMD的進步，由於表示這種360度圖像內容所需的高位元速率，VR內容的傳送可能很快成為瓶頸。當全向視訊的解析度為4K或更高時，資料壓縮/編碼對於降低位元元速率至關重要。

通常，對應於球體的全向視訊被變換為基於投影的幀，其具有由以360度虛擬實境（360 VR）投影佈局打包的投影面所表示的360度圖像內容，然後基於投影的幀被編碼成位元流以進行傳輸。然而，如果球體和投影面之間的映射/投影未被正確設計，則由於取樣速率不均勻，編碼/解碼品質可能會降低。

本發明的目的之一是提供一種基於立方體的投影方法，其將不同的映射函數應用於不同方形投影面，不同軸和/或軸的不同位置。例如，更均勻的取樣速率可藉由所提出的映射函數實現。

根據本發明的第一方面，公開了一種示例性的基於立方體的投影方法。該示例性基於立方體的投影方法包括：藉由轉換電路生成與球體的360度圖像內容的基於立方體的投影相關聯的不同正方形投影面的圖元。第一正方形投影面的圖元藉由利用第一映射函數集合生成。第二正方形投影面的圖元藉由利用第二映射函數集合生成。不同的方形投影面包括第一正方形投影面和第二正方形投影面。第二映射函數集合與第一映射函數集合不同。

根據本發明的第二方面，公開了一種示例性的基於立方體的投影方法。該示例性基於立方體的投影方法包括：藉由轉換電路生成與球體的360度圖像內容的基於立方體的投影相關聯的不同正方形投影面的圖元。不同正方形投影面之一的圖元藉由利用包括分別應用於不同軸的不同映射函數的映射函數集合來生成。

根據本發明的協力廠商面，公開了一種示例性的基於立方體的投影方法。該示例性基於立方體的投影方法包括：藉由轉換電路生成與球體的360度圖像內容的基於立方體的投影相關聯的不同正方形投影面的圖元。不同正方形投影面之一的圖元藉由利用包括應用於相同軸的不同映射函數的映射函數集合生成。不同的映射函數包括第一映射函數和第二映射函數。不同的正方形投影面之一具有根據相同軸上的第一位置和第一映射函數設置的第一圖元，並且具有根據相同軸上的第二位置和第二映射函數設置的第二圖元，其中第二位置與第一位置不同。

在結合下面附圖閱讀本發明的推薦實施例的以下詳細描述之後，本發明之內容無疑將對本領域通常技術人員變得顯而易見。

貫穿以下描述和申請專利範圍使用的特定術語，其涉及特定組件。如本領域技術人員將理解的，電子設備製造商可通過不同的名稱來指涉同一組件。本文檔無意區別名稱不同但功能相同的組件。在以下描述和申請專利範圍中，術語“包括”和“包含”以開放式的方式使用，因此應該被解釋為表示“包括但不限於......”。而且，術語“耦合”旨在表示間接或直接電子連接。因此，如果一個裝置耦合到另一個裝置，則該連接可以通過直接電子連接，或通過經由其他裝置和連結的間接電子連接。

第1圖是示出根據本發明的實施例360度虛擬實境（360-degree Virtual Reality，簡稱360VR）系統的示意圖。360 VR系統100包括源電子裝置102和目的地電子裝置104。源電子設備102包括視訊擷取裝置112，轉換電路114和視訊編碼器116。例如，視訊擷取裝置112可以是一全向攝影機。轉換電路114根據對應於球體的全向視訊幀S_IN生成具有360 VR投影佈局L_VR的基於投影的幀IMG，其中全向視訊幀S_IN包含球體的360度圖像內容。視訊編碼器116是編碼電路，其對基於投影的幀IMG（其具有打包在360VR投影佈局L_VR中的投影面）進行編碼以生成位元流BS的一部分，並藉由諸如有線/無線通訊鏈路或存儲介質的傳輸裝置103將位元流BS輸出到目的地電子裝置104。

目的地電子裝置104可以是頭戴式顯示器（head-mounted display, 簡稱HMD）設備。如第1圖所示，目的地電子裝置104包括視訊解碼器122，圖形渲染電路124和顯示裝置126。視訊解碼器122是從發送裝置103（例如，有線/無線通訊鏈路或存儲介質）接收位元流BS的解碼電路，並對接收的位元流BS的一部分進行解碼以生成解碼幀IMG'。在該實施例中，由視訊編碼器116編碼的幀IMG具有360VR投影佈局L_VR。因此，在視訊解碼器122對位元流BS的一部分進行解碼之後，解碼幀（即，重構幀）IMG'具有相同的360 VR投影佈局L_VR。換句話說，解碼幀IMG'也是基於投影的幀，其具有打包在360 VR投影佈局L_VR中的投影面。圖形渲染電路124被佈置為驅動顯示裝置126以顯示由使用者選擇的視埠區域的圖像內容。圖形渲染電路124包括轉換電路125，其被佈置為處理由解碼幀IMG'承載的360度圖像內容的一部分，以獲得與視埠區域的圖像內容相關聯的圖元資料。

在該實施例中，360 VR投影佈局L_VR是基於立方體的投影佈局。因此，從立方體的不同面導出的六個正方形投影面被打包在基於投影的幀IMG/解碼幀IMG'所採用的基於立方體的投影佈局中。關於源電子裝置102的轉換電路114，基於立方體的投影被用來在三維（three-dimensional, 簡稱3D）空間中生成立方體的正方形投影面。第2圖是示出根據本發明的實施例基於立方體的投影的示意圖。球體200上的360度圖像內容被投影到立方體201的六個面上，包括頂面（標記為“頂”），底面（標記為“底”），左面（標記為“左”），正面（標有“正”），右面（標有“右”）和背面（標有“背”）。如第2圖所示，球體200的北極區域的圖像內容被投影到頂面“頂”上，球體200的南極區域的圖像內容被投影到底面“底”上，並且圖像內容球200的赤道區域的投影被投射到左面“左”，正面“正”，右面“右”和背面“背”。

在由x軸，y軸和z軸限定的3D空間中，六個面上的每個點位於（x，y，z），其中。因此，正面“正”位於z平面上，z = 1，背面“背”位於z平面上，z = -1，頂面“頂”位於y平面上 y = 1，底面“底”位於y平面上，y = -1，左面“左”位於x平面上，x = 1，右面“右”位於x平面上，x = -1。

前向變換用於從3D空間（x，y，z）變換到2D平面（u，v）。因此，3D空間中立方體201的頂面“頂”，底面“底”，左面“左”，正面“正”，右面“右”和背面“背”被轉換為2D平面上的頂面（標有“2”），底面（標有“3”），左面（標有“5”），正面（標有“0”），右面（標有 “4”）和背面（標有“1”）。

逆變換用於從2D平面（u，v）變換到3D空間（x，y，z）。因此，2D平面上的頂面（標記為“2”），底面（標記為“3”），左面（標記為“5”），正面（標記為“0”），右面（標記為“4”）和背面（標記為“1”）被轉換為3D空間中的立方體201的頂面“頂”，底面“底”，左面“左”，正面“正”，右面“右”，以及背面“背”。

關於z = 1的正面“正”，x軸可被映射到u軸，以及y軸可被映射到v軸。關於z = -1的背面“背”，x軸可被映射到u軸，y軸可被映射到v軸。關於y = 1的頂面“頂”，z軸可被映射到u軸，以及x軸可被映射到v軸。關於y = -1的底面“底”，z軸可被映射到u軸，以及x軸可被映射到v軸。關於x = 1的左面“左”，z軸可被映射到u軸，以及y軸可被映射到v軸。關於x = -1的右面“右”，z軸可被映射到u軸，以及y軸可被映射到v軸。然而，這些僅用於說明目的，並不意味著是對本發明的限制。實際上，軸之間的映射可根據實際設計考慮來調整。

以正面的“正”的前向變換為例，以下映射函數可被用來獲得正面“0”。

以正面的“0”的逆變換爲例，以下映射函數可被用來獲得正面“正”。

第3圖是示出根據本發明的實施例3D空間中的立方體的正方形投影面與2D平面上的正方形投影面之間的映射的示意圖。對於在正面“0”上具有2D座標（u，v）的整數圖元q，2D座標（u，v）可被映射到正面“正”上的點p的3D座標（x，y，1）。因此，整數圖元q由點p設定。具體地，對於包括在正面“0”中的任一整數圖元，其在正面“正”中的對應位置可通過逆變換使用的2D到3D映射函數找到。以這種方式，2D平面上的正面“0”可藉由3D空間中的正面“正”的逆變換來確定。

源電子裝置102的轉換電路114可採用逆變換來產生頂面“2”，底面“3”，左面“5”，正面“0”，右面“ 4”和背面“1”。2D平面上的頂面“2”，底面“3”，左面“5”，正面“0”，右面“4”和背面“1”被打包以形成將由視訊編碼器116編碼的基於投影的幀IMG。將要編碼的基於投影的幀IMG必須是矩形的。如果基於立方體的投影佈局202直接被用於創建基於投影的幀IMG，則由於許多虛擬區域（例如，黑色區域，灰色區域或白色區域）填充在基於投影的幀IMG內，基於投影的幀IMG不會具有緊湊的佈局。或者，基於投影的幀IMG可具有佈置在緊湊的基於立方體的投影佈局204中的投影圖像資料，以避免使用虛擬區域（例如，黑色區域，灰色區域或白色區域）。

視訊解碼器122從傳輸裝置103接收位元流BS，並對接收的位元流BS的一部分進行解碼以生成解碼幀IMG'，其具有在編碼器側採用的相同投影佈局L_VR（例如，202或204）。關於目的地電子裝置104的轉換電路125，正向變換用來從3D空間（x，y，z）變換到2D平面（u，v），以確定以下任一中的圖元的圖元值：頂面“頂”，底面“底”，左面“左”，正面“正”，右面“右”以及背面“背”。

請再次參考第3圖。對於正面“正”中具有3D座標（x，y，1）的整數圖元P，3D座標（x，y，1）可被映射到正面“0”上的點Q的2D座標（u，v）。因此，整數圖元P由點Q設定。具體地，對於正面“正”中包括的任一整數圖元，其在正面“0”中的對應位置可通過前向變換使用的3D到2D映射函數找到。

假設傳統的立方體貼圖投影（cubemap，簡稱CMP）用於將球體200上的360度圖像內容投影到立方體201的六個面“頂”，“底”，“右”，“正”，“左”和“ 背”。立方體面中心附近的取樣速率遠低於立方體面邊界。本發明提出了一種改進的立方體貼圖投影設計，其可藉由在（u，v）上應用函數（例如，f_u （u）/ f_u （u，v）和f_v （v）/ f_v （u，v））來調整傳統CMP的採樣分佈以獲得更均勻的取樣速率。

在本發明的一些實施例中，編碼器側的轉換電路114被佈置為採用修改的立方體貼圖投影設計。根據修改的立方體貼圖投影設計，不同的2D到3D映射函數集合可被應用於不同的正方形投影面。轉換電路114生成與球體（例如，第2圖中的球體200）的360度圖像內容的基於立方體的投影相關聯的不同方形投影面（例如，第2圖中所示的面“0”到“5”）的圖元，其中第一正方形投影面的圖元（例如，第2圖中所示的面“2”和“3”之一）藉由利用第一2D到3D映射函數集合生成，第二正方形投影面的圖元（例如，第2圖中所示的面“0”，“1”，“4”和“5”之一）藉由利用第二2D到3D映射函數集合生成，並且該第二2D到3D映射函數集合與第一2D到3D映射功能集合不同。更具體地，轉換電路114根據3D空間中立方體的一正方形投影面（例如，第2圖所示的立方體201的“頂”和“底”之一）的圖元以及第一2D到3D映射函數集合設置2D平面上的第一正方形投影面的圖元。並根據3D空間中立方體的另一正方形投影面（例如，第2圖所示的立方體201的“正”, “背”, “右”和“左”之一）的圖元以及第二2D到3D映射函數集合設置2D平面上第二正方形投影面的圖元。

例如，轉換電路114可採用所提出的混合等角立方體貼圖投影（Hybrid equi-angular cubemap projection，簡稱HEC），其中第一2D到3D映射函數集合包括是等角映射函數的一2D到3D映射函數，並且第二2D到3D映射函數集合包括不是等角映射函數的一2D到3D映射函數。在一個示例性設計中，通過第一2D到3D映射函數集合（其包括是等角映射函數的一2D到3D映射函數）生成的第一正方形投影面可以是第2圖所示的頂面“2”和底面“3”之一，並且通過第二2D到3D映射函數集合生成的第二正方形投影面（其包括不是等角映射函數的一2D到3D映射函數）可以是左面“5”，正面“0”，右面“4”和背面“1”中之一。第4圖示出根據3D空間中的立方體的正方形投影面使用不同映射函數以在2D平面上設置方形投影面的示例的圖。

根據修改的立方體貼圖投影設計，應用於一正方形投影面的2D到3D映射函數集合可包括分別應用於不同軸的不同映射函數。例如，應用於一正方形投影面的2D到3D映射函數集合包括第一映射函數，該第一映射函數是等角映射函數並且被應用於第一軸，並且還包括第二映射函數，該第二映射函數不是等角映射函數並且被應用於與第一軸不同的第二軸。

在本發明的一些實施例中，解碼器側的轉換電路125被佈置為採用修改的立方體貼圖投影設計。根據修改的立方體貼圖投影設計，不同的3D到2D映射函數集合被應用於不同的正方形投影面。轉換電路125生成與球體（例如，第2圖所示的球體200）的360度圖像內容的基於立方體的投影有關聯的不同方形投影面（例如，第2圖所示的立方體201的面“正”，“背”，“頂”，“底”，“右”和“左”）的圖元，其中第一正方形投影面（例如，第2圖所示的面“頂”和“底”之一）的圖元藉由利用第一3D到2D映射函數集合來產生，以及第二正方形投影面（例如，第2圖所示的面“正”，“背”，“右”和“左”之一）的圖元藉由利用與第一3D到2D映射函數集合不相同的第二3D到2D映射函數集合來生成。更具體地，轉換電路125根據2D平面上的一正方形投影面（例如，第2圖所示的面“2”和“3”之一）的圖元以及第一3D到2D映射函數集合，設置3D空間中立方體的第一正方形投影面的圖元，並且根據2D平面上的另一正方形投影面（例如，第2圖所示的面“0”，“1”，“4”以及“5”之一）的圖元以及第二3D到2D映射函數集合，設置3D空間中立方體的第二正方形投影面的圖元。

例如，所提出的混合等角立方體貼圖投影可被轉換電路125採用，其中第一3D到2D映射函數集合包括一3D到2D映射函數，其是等角映射函數。第二3D到2D映射函數集合包括一3D到2D映射函數，其不是等角映射函數。在一個示例性設計中，通過第一3D到2D映射函數集合（其包括是等角映射函數的一3D到2D映射函數）生成的第一正方形投影面可以是如第2圖所示的頂面“頂”和底面“底”之一，通過第二3D到2D映射函數集合（其包括不是等角映射函數的一3D到2D映射函數）生成的第二正方形投影面可以是如第2圖所示的左面“左”,正面“正”，右面“右”，和背面“背”之一。第5圖示出根據2D平面上的方形投影面的圖元使用不同的映射函數以在3D空間中設置立方體的正方形投影面的圖元的示例的圖。

根據修改的立方體貼圖投影設計，應用於一正方形投影面的3D到2D映射函數集合可包括分別應用於不同軸的不同映射函數。例如，應用於一正方形投影面的3D到2D映射函數集合包括第一映射函數，該第一映射函數是等角映射函數並且被應用於第一軸，以及還包括第二映射函數，該第二映射函數不是等角映射函數並且被應用於與第一軸不同的第二軸。

在所提出的混合等角立方體貼圖投影被轉換電路114採用的情況下，根據3D空間中頂面和底面（例如，第2圖所示的面“Top”和“Bottom”）的圖元，一2D到3D映射函數集合用於在2D平面上設置頂面和底面（例如，第2圖所示的面“2”和“3”）的圖元，可以用以下公式表示。

根據3D空間中的右面，正面，左面和背面（例如，第2圖所示的面“右”,“正”,“左”和“背”），另一2D到3D映射函數集合由轉換電路114使用來在2D平面上設置右面，正面，左面和背面（例如，第2圖所示的面“4”，“0”，“5”和“1”）的圖元，可以用以下公式表示。

應該注意的是映射函數不是等角映射函數，並且在本發明的其他實施例中該映射函數可被替代，其中k, a, b, c, d是可調參數。

當前述2D到3D映射函數集合被應用於正面“0”以進行逆變換時，輸入（u，v）表示正面“0”的座標（u，v），輸出（f_u （u），f_v （u，v））表示z = 1的z平面上正面“正”的座標（x，y）。

當上述2D到3D映射函數集合被應用於背面“1”以進行逆變換時，輸入（u，v）表示背面“1”的座標（u，v），輸出（f_u （u），f_v （u，v））表示z = -1的z平面上正面“背”的座標（x，y）。

當上述2D到3D映射函數集合被應用於頂面“2”以進行逆變換時，輸入（u，v）表示頂面“2”的座標（u，v），輸出（f_u （u），f_v （v））表示y = 1的y平面上頂面“頂”的座標（z，x）。

當上述2D到3D映射函數集合被應用於底面“3”以進行逆變換時，輸入（u，v）表示底面“3”的座標（u，v），輸出（f_u （u），f_v （v））表示y = -1的y平面上底面“底”的座標（z，x）。

當上述2D到3D映射函數集合被應用於左面“5”以進行逆變換時，輸入（u，v）表示左面“5”的座標（u，v），輸出（f_u （u），f_v （v））表示x = 1的x平面上左面“左”的座標（z，y）。

當上述2D到3D映射函數集合被應用於右面“4”以進行逆變換時，輸入（u，v）表示右面“4”的座標（u，v），輸出（f_u （u），f_v （v））表示x = -1的x平面上右面“右”的座標（z，y）。

請參考第2圖並結合第6圖，第6圖示出根據本發明的實施例用於從2D平面到3D空間的逆變換的混合等角立方體貼圖投影的示意圖。根據混合等角立方體貼圖投影，不同的2D到3D映射函數被應用於不同的面，並且不同的2D到3D的映射函數被應用於不同的軸。關於頂面“2”和底面“3”中的每一個的逆變換，應用於不同軸的2D到3D映射函數是等角映射函數。關於右面“4”，正面“0”，左面“5”和背面“1”中的每一個的逆變換，應用於一個軸的一2D到3D映射函數是等角映射函數，而應用於另一個軸的另一2D到3D映射函數不是等角映射函數。

以用來從如第3圖的示例的正面“正”生成正面“0”的逆變換為例。根據混合等角立方體貼圖投影，在正面“0”上具有2D座標（u，v）的整數圖元q被映射到在正面“正”上具有3D座標（fu（u），fv（u，v），1）的點p，其中以及。

根據修改的立方體貼圖投影設計，所提出的混合等角立方體貼圖投影可被轉換電路125採用。根據2D平面上的頂面和底面（例如，第2圖所示的面“2”和“3”）的圖元，一3D到2D映射函數集合由轉換電路125用於設置3D空間中頂面和底面（例如，第2圖所示的面“頂”和“底”）的圖元，可以用以下公式表示。

根據2D平面上的右面，正面，左面和背面（例如，第2圖所示的面“4”，“0”，“5”和“1”）的圖元，另一3D到2D映射函數集合由轉換電路125用於設置3D空間中的右面，正面，左面和背面（例如，第2圖所示的面“右”，“正”，“左”和“背”）的圖元，可以用以下公式表示。

當上述3D到2D映射函數集合被應用於正面“正”以進行前向變換時，輸入（u，v）表示z = 1的z平面上正面“正”的座標（x，y），輸出（g_u （u），g_v （v））表示正面“0”的座標（u，v）。

當上述3D到2D映射函數集合被應用於背面“背”以進行前向變換時，輸入（u，v）表示z = -1的z平面上背面“背”的座標（x，y），輸出（g_u （u），gv（u，v））表示背面“1”的座標（u，v）。

當上述3D到2D映射函數集合被應用於頂面“頂”以進行前向變換時，輸入（u，v）表示y = 1的y平面上頂面“頂”的座標（z，x），輸出（g_u （u），g_v （v））表示頂面“2”的座標（u，v）。

當上述3D到2D映射函數集合被應用於底面“底”以進行前向變換時，輸入（u，v）表示y = -1的y平面上底面“底”的座標（z，x），輸出（g_u （u），g_v （v））表示底面“3”的座標（u，v）。

當上述3D到2D映射函數集合被應用於左面“左”以進行前向變換時，輸入（u，v）表示x = 1的x平面上左面“左”的座標（z，y），輸出（g_u （u），g_v （u，v））表示左面“5”的座標（u，v）。

當上述3D到2D映射函數集合被應用於右面“右”以進行前向變換時，輸入（u，v）表示x = -1的x平面上右面“右”的座標（z，y），輸出（g_u （u），g_v （u，v））表示右面“4”的座標（u，v）。

請參考第2圖並結合第7圖。第7圖示出根據本發明的實施例用於從3D空間到2D平面的前向變換的混合等角立方體貼圖投影的示意圖。根據混合等角立方體貼圖投影，不同的3D到2D映射函數應用於不同的面，並且不同的3D到2D映射函數應用於不同的軸。關於頂面“頂”和底面“底”中的每一個的前向變換，應用於不同軸的3D到2D映射函數是等角映射函數。關於右面“右”,正面“正”，左面“左”和背面“背”中的每一個的前向變換，應用於一個軸的一3D到2D映射函數是等角映射函數，而應用於另一個軸的另一3D到2D映射函數不是等角映射函數。關於頂面“頂”和底面“底” ，該等角映射函數應用於兩個軸以保持與其他面的連續性。

以被用以從第3圖的示例的正面“0”生成正面“正”的前向變換為例。根據混合等角立方體貼圖投影，在正面“正”上具有3D座標（u，v，1）的整數圖元P被映射到在正面“0”具有2D座標（gu（u），gv （u，v））的點Q，其中以及。

在本發明的一些實施例中，應用於軸的映射函數可以在任何位置改變。例如，應用於3D空間中的一個正方形投影面的3D到2D映射函數集合可具有應用於相同軸的不同3D到2D映射函數，並且應用於2D平面中的一正方形投影面的2D到3D映射函數集合可具有應用於相同軸的不同2D到3D映射函數。例如，應用於相同軸的不同3D到2D映射函數可包括是等角映射函數的第一3D到2D映射函數，以及不是等角映射函數的第二3D到2D映射函數。因此，2D平面上的正方形投影面具有根據3D空間的特定軸上的第一位置和第一3D到2D映射函數設置的第一圖元，並且具有根據3D空間的相同特定軸上的第二位置和第二3D到2D映射函數設置的第二圖元，其中第二位置與第一位置不同。

類似地，應用於相同軸的不同2D到3D映射函數可包括是等角映射函數的第一2D到3D映射函數，以及不是等角映射函數的第二2D到3D映射函數。因此，3D空間中的正方形投影面具有根據2D平面的特定軸上的第一位置和第一2D到3D映射函數設置的第一圖元，並且具有根據2D平面的相同特定軸的第二位置和第二2D到3D映射函數設置的第二圖元，其中第二位置與第一位置不同。

第8圖是示出根據本發明的實施例應用於相同軸的不同映射函數的示意圖。以從2D平面到3D空間的逆變換為例子説明。關於頂面“2”和底面“3”中任一的逆變換，應用於不同軸的2D到3D映射函數是等角映射函數。關於正面“0”的逆變換，不是等角映射函數的2D到3D映射函數被應用於不同的軸。關於背面“1”的逆變換，應用於一個軸的一2D到3D映射函數是等角映射函數，並且應用於另一個軸的另一2D到3D映射函數不是等角映射函數。關於右面“4”的逆變換，不是等角映射函數的2D到3D映射函數被應用於v軸，是等角映射函數的一2D到3D的映射函數在u≤u'的條件下被應用於u軸的位置u，而不是等角映射函數的另一2D-3D映射函數在u＞ u'的條件下被應用於u軸的位置u，其中u'是預定義的數字，以及。關於左面“5”的逆變換，不是等角映射函數的一2D到3D映射函數被應用於v軸，是等角的映射函數的一2D到3D的映射函數在u≥-u'的條件下被應用於u軸的位置u，而不是等角映射函數的另一2D-3D映射函數在u ＜-u'的條件下被應用於u軸的位置u，其中-u'是預定義的數字，以及。

在本發明的一些實施例中，應用於3D空間中的一個正方形投影面的3D到2D映射函數集合可以是映射函數集合的組合，包括一映射函數集合被佈置為應用另一映射函數集合的處理結果，應用於2D空間上的一個正方形投影面的2D到3D映射函數集合可以是映射函數集的組合，包括一映射函數集合被佈置為應用另一個映射函數集合的處理結果。例如，映射函數集合（例如，3D到2D映射函數集合或2D到3D映射函數集合）是第一映射函數集合和第二映射函數集合的組合，其中第一映射函數集合包括至少一等角映射函數，第二映射函數集合包括不是等角映射函數的至少一映射函數，以及第二映射函數集合應用於第一映射函數集合的處理結果。第9圖是示出根據本發明的實施例映射函數集合的組合的示意圖。在該實施例中，等角映射首先被用於變換，然後另一映射函數使用等角映射的結果來應用。

本領域之通常技術者可輕易觀察到，在保留本發明的教導之下，可以對裝置和方法進行許多修改和替換。因此，以上揭示之內容應該解釋為僅僅由所附的申請專利範圍的界限之限制。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100‧‧‧360度虛擬實境系統

102‧‧‧源電子裝置

103‧‧‧位元流

104‧‧‧目的地電子裝置

112‧‧‧視訊擷取裝置

114‧‧‧轉換電路

116‧‧‧視訊編碼器

122‧‧‧視訊解碼器

124‧‧‧圖形渲染電路

125‧‧‧轉換電路

126‧‧‧顯示裝置

200‧‧‧球體

201‧‧‧立方體

202、204‧‧‧投影佈局

第1圖示出根據本發明的實施例360度虛擬實境系統的示意圖。

第2圖示出根據本發明的實施例基於立方體投影的示意圖。

第3圖示出根據本發明的實施例在3D空間中的立方體的正方形投影面與2D平面上的正方形投影面之間的映射的示意圖。

第4圖示出根據3D空間中的立方體的正方形投影面使用不同映射函數以在2D平面上設置方形投影面的示例的圖。

第5圖示出根據2D平面上的方形投影面的圖元使用不同的映射函數以在3D空間中設置立方體的正方形投影面的圖元的示例的圖。

第6圖示出根據本發明的實施例用於從2D平面到3D空間的逆變換使用的混合等角立方體貼圖投影的示意圖。

第7圖示出根據本發明的實施例用於從3D空間到2D平面的前向變換使用的混合等角立方體貼圖投影的示意圖。

第8圖示出根據本發明的實施例應用於相同軸的不同映射函數的示意圖。

第9圖示出根據本發明的實施例映射函數集合的組合的示意圖。

Claims

一種基於立方體投影的方法，包括：藉由一轉換電路產生與一球體的一360度圖像內容的一基於立方體投影有關聯的不同正方形投影面的圖元，包括：藉由使用一第一映射函數集合產生一第一正方形投影面的圖元；以及藉由使用一第二映射函數集合產生一第二正方形投影面的圖元，其中該不同正方形投影面包括該第一正方形投影面和該第二正方形投影面，以及該第二映射函數集合不同於該第一映射函數集合。
如請求項1所述之基於立方體投影的方法，進一步包括：藉由將該基於立方體投影應用於該球體的該360度圖像內容產生在一三維空間中的一立方體的複數個正方形投影面；其中，產生該第一正方形投影面的圖元包括：根據在該三維空間中的該立方體的一正方形投影面的圖元以及該第一映射函數集合設置在二維平面中的該第一正方形投影面的該圖元；以及產生該第二正方形投影面的圖元包括：根據在該三維空間中的該立方體的另一正方形投影面的圖元以及該第二映射函數集合設置在二維平面中的該第二正方形投影面的該圖元。
如請求項2所述之基於立方體投影的方法，其中該第一映射函數集合包括是一等角映射函數的一映射函數，以及該第二映射函數集合包括不是一等角映射函數的一映射函數。
如請求項3所述之基於立方體投影的方法，其中該三維空間中的該立方體的該複數個正方形投影面包括一頂面，一底面，一左面，一正面，一右面和一背面，其中該球體的一北極區域的一圖像內容被投影到該頂面，該球體的一南極區域的一圖像內容被投影到該底面，以及該球體的一赤道區域的一圖像內容被投影到該左面，該正面，該右面和該背面；以及該三維空間中的該立方體的該正方形投影面是該頂面和該底面其中之一。
如請求項3所述之基於立方體投影的方法，其中該三維空間中的該立方體的該複數個正方形投影面包括一頂面，一底面，一左面，一正面，一右面和一背面，其中該球體的一北極區域的一圖像內容被投影到該頂面，該球體的一南極區域的一圖像內容被投影到該底面，並且該球體的一赤道區域的一圖像內容被投影到該左面，該正面，該右面和該背面；以及該三維空間中的該立方體的該另一正方形投影面是該左面，該正面，該右面和該背面其中之一。
如請求項3所述之基於立方體投影的方法，其中該第一映射函數集合包括：和；以及該第二映射函數集合包括：和。
如請求項1所述之基於立方體投影的方法，進一步包括：對一位元流的一部分進行解碼以獲得具有在一二維平面上以一立方體貼圖投影佈局打包的複數個正方形投影面的一基於投影的幀；其中藉由該球體的該基於立方體投影，將該球體的該360度圖像內容投影在一三維空間中的一立方體的不同正方形投影面上；其中產生該第一正方形投影面的圖元包括：根據在該二維平面上打包在該基於投影的幀的一正方形投影面的圖元設置在該三維空間中的該立方體的該第一正方形投影面的圖元；以及產生該第二正方形投影面的圖元包括：根據在該二維平面上打包在該基於投影的幀的另一正方形投影面的圖元設置在該三維空間中的該立方體的該第二正方形投影面的圖元。
如請求項7所述之基於立方體投影的方法，其中該第一映射函數集合包括一等角映射函數，以及該第二映射函數集合包括不是一等角映射函數的一映射函數。
如請求項8所述之基於立方體投影的方法，其中該三維空間中的該立方體的該不同正方形投影面包括一頂面，一底面，一左面，一正面，一右面和一背面，其中該球體的一北極區域的一圖像內容被投影到該頂面，該球體的一南極區域的一圖像內容被投影到該底面，以及該球體的一赤道區域的一圖像內容被投影到該左面，該正面，該右面和該背面；以及該第一正方形投影面是該頂面和該底面其中之一。
如請求項8所述之基於立方體投影的方法，其中該三維空間中的該立方體的該不同正方形投影面包括一頂面，一底面，一左面，一正面，一右面和一背面，其中該球體的一北極區域的一圖像內容被投影到該頂面，該球體的一南極區域的一圖像內容被投影到該底面，以及該球體的一赤道區域的一圖像內容被投影到該左面，該正面，該右面和該背面；以及該第二正方形投影面是該左面，該正面，該右面和該背面其中之一。
如請求項8所述之基於立方體投影的方法，其中該第一映射函數集合包括：和；以及該第二映射函數集合包括：和。
如請求項1所述之基於立方體投影的方法，其中該第二映射函數集合包括分別應用於不同軸的不同映射函數。
如請求項12所述之基於立方體投影的方法，其中該不同映射函數包括是一等角映射函數並且被應用於一第一軸的一第一映射函數，以及進一步包括不是一等角映射函數並且被應用於一第二軸的一第二映射函數，其中該第二軸不同於該第一軸。
如請求項1所述之基於立方體投影的方法，其中該第二映射函數集合包括應用於一相同軸的不同映射函數，該不同映射函數包括一第一映射函數和一第二映射函數，以及該第二正方形投影面具有根據該相同軸上的一第一位置和該第一映射函數設置的一第一圖元，和根據該相同軸上的一第二位置和該第二映射函數設置的一第二圖元，其中該第二位置不同於該第一位置。
如請求項14所述之基於立方體投影的方法，其中該第一映射函數是一等角映射函數，以及該第二映射函數不是一等角映射函數。
如請求項1所述之基於立方體投影的方法，其中該第一映射函數集合和該第二映射函數集合中至少一個是包括被用於另一映射函數集合的一處理結果的一映射函數集合的複數個映射函數集合的組合。
如請求項16所述之基於立方體投影的方法，其中該另一映射函數集合包括一等角映射函數，以及該映射函數集合包括不是一等角映射函數的一映射函數。
一種基於立方體投影的方法包括：藉由一轉換電路產生與一球體的一360度圖像內容的一基於立方體投影相關聯的不同正方形投影面的圖元，包括：藉由使用一映射函數集合產生該不同正方形投影面中之一的圖元，其中該映射函數集合包括分別應用於不同軸的不同映射函數。
一種基於立方體投影的方法包括：藉由一轉換電路產生與一球體的一360度圖像內容的一基於立方體投影相關聯的不同正方形投影面的圖元，包括：藉由使用一映射函數集合產生該不同正方形投影面中之一的圖元，其中該映射函數集合包括應用於一相同軸的不同映射函數，該不同映射函數包括一第一映射函數和一第二映射函數，以及該不同正方形投影面之一具有根據該相同軸上的一第一位置和該第一映射函數設置的第一圖元，和根據該相同軸上的一第二位置和該第二映射函數設置的第二圖元，其中該第二位置不同於該第一位置。