TW201840180A - 生成和編碼包括堆疊在360度虛擬實境投影佈局中的至少一個填充區域和至少一個投影面的基於投影的圖框的方法及裝置 - Google Patents

生成和編碼包括堆疊在360度虛擬實境投影佈局中的至少一個填充區域和至少一個投影面的基於投影的圖框的方法及裝置 Download PDF

Info

Publication number
TW201840180A
TW201840180A TW107108353A TW107108353A TW201840180A TW 201840180 A TW201840180 A TW 201840180A TW 107108353 A TW107108353 A TW 107108353A TW 107108353 A TW107108353 A TW 107108353A TW 201840180 A TW201840180 A TW 201840180A
Authority
TW
Taiwan
Prior art keywords
projection
projection plane
area
layout
plane
Prior art date
Application number
TW107108353A
Other languages
English (en)
Other versions
TWI673995B (zh
Inventor
李亞璇
李佳盈
林鴻志
林建良
張勝凱
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201840180A publication Critical patent/TW201840180A/zh
Application granted granted Critical
Publication of TWI673995B publication Critical patent/TWI673995B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Projection Apparatus (AREA)

Abstract

視訊處理方法，包括：接收對應於球體的全向內容；從該全向內容中獲得投影面；和透過生成填充區域並將該些投影面和該填充區域堆疊到360度虛擬實境投影佈局中，以創建基於投影的圖框。該些投影面包括第一投影面和第二投影面，其中如果該第一投影面連接於該第二投影面，則在該第一投影面與該第二投影面之間存在圖像內容不連續邊緣。該至少一個填充區域包括第一填充區域，其中該第一填充區域連接於該第一投影面和該第二投影面，以在該360度虛擬實境投影佈局中將該第一投影面與該第二投影面隔離。

Description

生成和編碼包括堆疊在360度虛擬實境投影佈局中的至少一個填充區域和至少一個投影面的基於投影的圖框的方法及裝置
相關申請的交叉引用：本發明主張在2017年03月13日提出的第62/470,425號的美國臨時專利申請的優先權，在此合併參考該申請案的申請標的。
本發明涉及處理全向圖像/視訊內容，且更具體而言，涉及生成和編碼包括堆疊（packed）在360度虛擬實境（360-degree virtual reality，360 VR）投影佈局中的至少一個填充區域和至少一個投影面的基於投影的圖框的方法及裝置。
具有頭戴式顯示（head-mounted display，HMD）的VR與不同的應用相關。向使用者顯示較寬區域的觀看內容的能力可以用於提供身臨其境的視覺體驗。必須在所有方向擷取現實世界環境，以得到對應於球體的全向圖像/視訊內容。隨著攝像機設備和HMD的發展，由於呈現這種360度圖像/視訊內容所需的高位元速率，所以VR內容的傳送可能很快變成瓶頸。當全向視訊的解析度是4k或者更高時，資料壓縮/編碼對降低位元速率是至關重要的。
通常，對應於球體的全向圖像/視訊內容被轉換成圖像序列，每個圖像是具有由排列在360VR投影佈局中的一個或複數個投影面所表示的360度圖像/視訊內容的基於投影的圖框，隨後，基於投影的圖框的序列被編碼成位元流以用於傳輸。如果所採用的360VR投影佈局設計不合理，則基於投影的圖框可能不緊湊和/或具有由投影面的堆疊引起的很多圖像內容不連續邊緣（image content continuity edge）。另外，壓縮之後的基於投影的圖框的邊界（boundary）和/或圖像內容不連續邊緣的圖像品質可能較差。
所要求保護的本發明的目的之一在於，提供一種生成和編碼包括堆疊在360度虛擬實境投影佈局中的至少一個填充區域和至少一個投影面的基於投影的圖框。用360度虛擬實境投影佈局的適當的填充設計，基於投影的圖框可以在壓縮後具有更好的圖像品質。
根據本發明的第一方面，公開了一種示例性視訊處理方法。該示例性視訊處理方法包括：接收對應於球體的全向內容；從球體的全向內容中獲得複數個投影面，其中球體的全向內容透過360度虛擬實境投影被映射到複數個投影面；以及轉換電路透過生成至少一個填充區域並將複數個投影面和至少一個填充區域堆疊到360度虛擬實境投影佈局中，創建一基於投影的圖框，其中堆疊在360度虛擬實境投影佈局中的複數個投影面包括第一投影面和第二投影面，其中如果第一投影面的一個邊連接於第二投影面的一個邊，則在第一投影面的一個邊與第二投影面的一個邊之間存在一圖像內容不連續邊緣；堆疊在360度虛擬實境投影佈局中的至少一個填充區域包括第一填充區域，其中第一填充區域連接於第一投影面的一個邊和第二投影面的一個邊，以用於在360度虛擬實境投影佈局中將第一投影面的一個邊與第二投影面的一個邊隔離。
根據本發明的第二方面，公開了一種示例性視訊處理方法。該示例性視訊處理方法包括：接收對應於球體的全向內容；從球體的全向內容中獲得至少一個投影面，其中球體的全向內容透過360度虛擬實境投影被映射到至少一個投影面；以及轉換電路透過生成至少一個填充區域並將至少一個投影面和至少一個填充區域堆疊在360度虛擬實境投影佈局中，創建一基於投影的圖框，其中堆疊在360度虛擬實境投影佈局中的至少一個投影面包括第一投影面；堆疊在360度虛擬實境投影佈局中的至少一個填充區域包括第一填充區域；第一填充區域連接於第一投影面，並形成360度虛擬實境投影佈局的一個邊界的至少部分。
根據本發明的第三方面，公開了一種示例性視訊處理裝置。該示例性視訊處理裝置包括轉換電路和視訊編碼器。轉換電路用於：接收對應於球體的全向內容；從球體的全向內容中獲得複數個投影面，其中球體的全向內容透過360度虛擬實境投影被映射到複數個投影面；以及轉換電路透過生成至少一個填充區域並將複數個投影面和至少一個填充區域堆疊到360度虛擬實境投影佈局中，創建一基於投影的圖框，其中堆疊在360度虛擬實境投影佈局中的複數個投影面包括第一投影面和第二投影面，其中如果第一投影面的一個邊連接於第二投影面的一個邊，則在第一投影面的一個邊與第二投影面的一個邊之間存在一圖像內容不連續邊緣；堆疊在360度虛擬實境投影佈局中的至少一個填充區域包括第一填充區域，其中第一填充區域連接於第一投影面的一個邊和第二投影面的一個邊，以用於在360度虛擬實境投影佈局中將第一投影面的一個邊與第二投影面的一個邊隔離。視訊編碼器用於編碼具有堆疊在360度虛擬實境投影佈局中的複數個投影面和至少一個填充區域的基於投影的圖框，以生成一位元流的一部分。
根據本發明的第四方面，公開了一種示例性視訊處理裝置。該示例性視訊處理裝置包括轉換電路和視訊編碼器。轉換電路用於：接收對應於球體的全向內容；從球體的全向內容中獲得至少一個投影面，其中球體的全向內容透過360度虛擬實境投影被映射到至少一個投影面；以及透過生成至少一個填充區域並將至少一個投影面和至少一個填充區域堆疊在360度虛擬實境投影佈局中，創建一基於投影的圖框，其中堆疊在360度虛擬實境投影佈局中的至少一個投影面包括第一投影面；堆疊在360度虛擬實境投影佈局中的至少一個填充區域包括第一填充區域；第一填充區域連接於第一投影面，並形成360度虛擬實境投影佈局的一個邊界的至少部分。視訊編碼器用於編碼具有堆疊在360度虛擬實境投影佈局中的至少一個投影面和至少一個填充區域的基於投影的圖框，以生成一位元流的一部分。
在閱讀以下對各圖及圖式中所例示的優選實施例的詳細說明之後，本發明的這些及其它目標無疑將對所屬領域的通常知識者顯而易見。
本說明書及專利申請範圍通篇中所用的某些用語指代特定組件。如所屬領域的通常知識者可以理解的是，電子設備製造商可利用不同名稱來指代同一個組件。本文並非以名稱來區分部件，而是以功能來區分部件。在以下說明書及專利申請範圍中，用語“包括”是開放式的限定詞語，因此其應被解釋為意指“包括但不限於…”。另外，用語“耦合”旨在意指間接電連接或直接電連接。因此，當一個裝置耦合到另一裝置時，則這種連接可以是直接電連接或透過其他裝置及連接部而實現的間接電連接。
第1圖是示出根據本發明實施例的360度虛擬實境系統的示意圖。360 VR 系統100包括兩個視訊處理裝置（例如源電子設備102和目標電子設備104）。源電子設備102包括視訊捕獲設備112、轉換電路114和視訊編碼器116。例如，視訊捕獲設備112可以是攝像機的集合，其用於提供對應於球體的全向圖像/視訊內容（例如，覆蓋整個周圍環境的複數個圖像）S_IN。轉換電路114耦接於視訊捕獲設備112與視訊編碼器116之間。轉換電路114根據全向圖像/視訊內容S_IN，生成具有360 VR投影佈局L_VR的基於投影的圖框IMG。例如，基於投影的圖框IMG可以是包括在從轉換電路114生成的基於投影的圖框序列中的一個圖框。視訊編碼器116是編碼電路，其用於編碼/壓縮基於投影的圖框IMG，以生成位元流BS的一部分。另外，視訊編碼器116透過傳輸裝置103將位元流BS輸出到目標電子設備104。例如，基於投影的圖框序列可以被編碼到位元流BS中，並且傳輸裝置103可以是有線/無線通訊鏈路或者存儲介質。
目標電子設備104可以是頭戴式顯示（head-mounted display，HMD）設備。如第1圖所示，目標電子設備104包括解碼電路122、圖像渲染電路124和顯示螢幕126。解碼電路122從傳輸裝置103（例如，有線/無線通訊鏈路或者存儲介質）接收位元流BS，並執行視訊解碼器功能以解碼接收到的位元流BS的一部分，以生成已解碼圖框IMG’。例如，解碼電路122透過解碼接收到的位元流BS，生成已解碼圖框序列，其中已解碼圖框IMG’是包括在已解碼圖框序列中的一個圖框。在本實施例中，待由在編碼器側的視訊編碼器116編碼的基於投影的圖框IMG具有360 VR投影格式與投影佈局。因此，在解碼器側處，位元流BS由解碼電路122解碼之後，已解碼圖框IMG’具有相同的360 VR投影格式和相同的投影佈局。圖像渲染電路124耦接於解碼電路122和顯示螢幕126之間。圖像渲染電路124根據已解碼圖框IMG’在顯示螢幕126上渲染並顯示輸出圖像資料。例如，與由已解碼圖框IMG’所承載的360度圖像/視訊內容的一部分相關的視埠區域可以透過圖像渲染電路124在顯示螢幕126上進行顯示。
如上所述，轉換電路114根據360 VR投影佈局L_VR和全向圖像/視訊內容S_IN，生成基於投影的圖框IMG。如果360 VR投影佈局L_VR是沒有填充的緊湊投影佈局，則投影面的堆疊可能導致相鄰投影面之間的圖像內容不連續邊緣。
第2圖是示出根據未旋轉八面體從球體的八面體投影而獲得的八面體投影格式的三角形投影面的示意圖。球體202的全向圖像/視訊內容被映射到未旋轉八面體204的八個三角形投影面（由參考數字“1”, “2”, “3”, “4”, “5”, “6”, “7”和“8”標記）。如第2圖所示，三角形投影面“1”-三角形投影面“8”被排列在八面體投影佈局206中。三角形投影面“1”-三角形投影面“8”中的每個的形狀是等邊三角形。對於三角形投影面“K” (K = 1-8)，該面有三個邊（side），其被標記為SK1、SK2和SK3。球體202由頂部半球體（例如，北半球）和底部半球體（例如，南半球）組成。由於基於未旋轉八面體204的八面體投影，所以三角形投影面“1”、三角形投影面“2”、三角形投影面 “3”和三角形投影面“4”均從頂部半球體推導出，三角形投影面“5”、三角形投影面“6”、 三角形投影面“7”和三角形投影面“8”均從底部半球體推導出，並且，如第2圖中的虛線所示，球體202的赤道208沿著三角形投影面“1”-三角形投影面“8”的邊S13、邊S23、邊S33、邊S43、邊S53、邊S63、邊S73和邊S83進行映射。
待編碼的基於投影的圖框IMG被要求是矩形。如果八面體投影佈局206直接用於創建基於投影的圖框IMG，那麼由於基於投影的圖框IMG中所填充的很多空區域（dummy area）（例如，黑色區域、灰色區域或者白色區域），基於投影的圖框IMG就不能具有緊湊圖框佈局。因此，需要可以避免使用空區域（例如，黑色區域、灰色區域或者白色區域）的緊湊八面體投影佈局。
請結合參考第2圖和第3圖。第3圖是示出根據本發明實施例的第一緊湊八面體投影佈局的示意圖。如第3圖中的虛線所示，球體202的赤道208沿著三角形投影面“1”-三角形投影面“8”的邊進行映射。緊湊八面體投影佈局310是採用三角形投影面旋轉和三角形投影面分割來從八面體投影佈局206推導出的。如第3圖的中間部分所示，八面體投影佈局206中的三角形投影面“1”被順時針旋轉60°，八面體投影佈局206中的三角形投影面“3”被逆時針旋轉60°，八面體投影佈局206中的三角形投影面“5”被逆時針旋轉60°，八面體投影佈局206中的三角形投影面“7”被順時針旋轉60°。因此，三角形投影面“2”的邊S21連接於三角形投影面“1”的邊S12，三角形投影面“2”的邊S22連接於三角形投影面“3”的邊S31，三角形投影面“6”的邊S62連接於三角形投影面“5”的邊S51，三角形投影面“6”的邊S61連接於三角形投影面“7”的邊S72。
如第3圖的中間部分所示，圖像內容連續邊界存在於三角形投影面“2”的邊S21與三角形投影面“1”的邊S12之間（即在三角形投影面“1”和三角形投影面“2”中內容是連續表示的），圖像內容連續邊界存在於三角形投影面“2”的邊S22與三角形投影面“3”的邊S31之間（即在三角形投影面“2”和三角形投影面“3”中內容是連續表示的），圖像內容連續邊界存在於三角形投影面“2”的邊S23與三角形投影面“6”的邊S63之間（即在三角形投影面“2”和三角形投影面“6”中內容是連續表示的），圖像內容連續邊界存在於三角形投影面“6”的邊S62與三角形投影面“5”的邊S51之間（即在三角形投影面“5”和三角形投影面“6”中內容是連續表示的），以及圖像內容連續邊界存在於三角形投影面“6”的邊S61與三角形投影面“7”的邊S72之間（即在三角形投影面“6”和三角形投影面“7”中內容是連續表示的）。
另外，八面體投影佈局206中的三角形投影面“8”被分割成兩個直角三角形狀部分（right-triangle-shaped part），即302和304，並且，八面體投影佈局206中的三角形投影面“4”被分割成兩個直角三角形狀部分，即306和308。如第3圖的底部部分所示，三角形投影面“8”的直角三角形狀部分304和三角形投影面“4”的直角三角形狀部分308分別連接到三角形投影面“7”和三角形投影面“3”；以及三角形投影面“8”的直角三角形狀部分302和三角形投影面“4”的直角三角形狀部分306分別被重新定位且連接到三角形投影面“5”和三角形投影面“1”。
三角形投影面“8”的直角三角形狀部分302具有三個邊，即S811、S812和S83_1，其中邊S811是三角形投影面“8”的邊S81，邊S83_1是三角形投影面“8”的邊S83的第一部分。三角形投影面“8”的直角三角形狀部分304具有三個邊，即S821、S822和S83_2，其中邊S821是三角形投影面“8”的邊S82，邊S83_2是三角形投影面“8”的邊S83的第二部分。
三角形投影面“4”的直角三角形狀部分306具有三個邊，即S421、S422和S43_1，其中邊S421是三角形投影面“4”的邊S42，邊S43_1是三角形投影面“4”的邊S43的第一部分。三角形投影面“4”的直角三角形狀部分308具有三個邊，即S411、S412和S43_2，其中邊S411是三角形投影面“4”的邊S41，邊S43_2是三角形投影面“4”的邊S43的第二部分。
根據緊湊八面體投影佈局310，三角形投影面“8”的直角三角形狀部分304的邊S821連接於三角形投影面“7”的邊S73，三角形投影面“8”的直角三角形狀部分304的邊S83_2連接於三角形投影面“4”的直角三角形狀部分308的邊S43_2，三角形投影面“4”的直角三角形狀部分308的邊S411連接於三角形投影面“3”的邊S33，三角形投影面“8”的直角三角形狀部分302的邊S811連接於三角形投影面“5”的邊S53，三角形投影面“8”的直角三角形狀部分302的邊S83_1連接於三角形投影面“4”的直角三角形狀部分306的邊S43_1，三角形投影面“4”的直角三角形狀部分306的邊S421連接於三角形投影面“1”的邊S13。
圖像內容連續邊界存在於三角形投影面“8”的直角三角形狀部分304的邊S83_2與三角形投影面“4”的直角三角形狀部分308的邊S43_2之間。圖像內容連續邊界存在於三角形投影面“8”的直角三角形狀部分302的邊S83_1與三角形投影面“4”的直角三角形狀部分306的邊S43_1之間。也就是說，在三角形投影面“4”和三角形投影面“8”中內容是連續表示的。此外，圖像內容不連續邊緣存在於三角形投影面“8”的直角三角形狀部分304的邊S821與三角形投影面“7”的邊S73之間，圖像內容不連續邊緣存在於三角形投影面“4”的直角三角形狀部分308的邊S411與三角形投影面“3”的邊S33之間，圖像內容不連續邊緣存在於三角形投影面“8”的直角三角形狀部分302的邊S811與三角形投影面“5”的邊S53之間，圖像內容不連續邊緣存在於三角形投影面“4”的直角三角形狀部分306的邊S421與三角形投影面“1”的邊S13之間。
如第3圖的底部部分所示，由緊湊八面體投影佈局310設置的360 VR投影佈局L_VR是沒有任何空區域（例如黑色區域或白色區域）的矩形。另外，360度圖像/視訊內容的一部分在三角形投影面“1”、三角形投影面“2”、三角形投影面“3”、三角形投影面“5”、三角形投影面“6”、三角形投影面“7”中是連續表示的，而沒有圖像內容不連續。然而，不可避免地，一些圖像內容不連續邊緣仍然存在於緊湊八面體投影佈局310中。因此，如果360 VR投影佈局L_VR由緊湊八面體投影佈局310來設置，則壓縮之後的圖像內容不連續邊緣附近的圖像品質可能比較差。
當第2圖中所示的三角形投影面“1”-三角形投影面“8”被重新排列且堆疊在緊湊八面體投影佈局310中時，一些三角形投影面必須被分割且重新定位，從而導致基於投影的圖框IMG中的赤道208的圖像內容不連續。通常，球體202的頂部區域和底部區域通常分別表示“天空”和“大地”，周圍環境中的移動物體大部分位於球體202的赤道208處。如果表示在基於投影的圖框IMG中的赤道208具有圖像不連續，則編碼效率和圖像品質會顯著下降。如果球體202的赤道208沿著三角形投影面的中間或者除了三角形投影面的邊之外的任何位置進行映射，則編碼效率和圖像品質可以被提高。
第4圖是示出根據已旋轉八面體從球體的八面體投影而獲得的八面體投影格式的三角形投影面的示意圖。球體202的全向圖像/視訊內容被映射到已旋轉八面體404的八個三角形投影面（由參考編號“1”, “2”, “3”, “4”, “5”, “6”, “7”和“8”標記）上。第4圖中所示的已旋轉八面體404可以透過將90度旋轉應用到八面體204上來獲得。如第4圖所示，三角形投影面“1”-三角形投影面“8”被堆疊在八面體投影佈局406中。三角形投影面“1”-三角形投影面“8”中的每個的形狀是等邊三角形。對於三角形投影面“K” (K = 1-8)，該面有三個邊（side），其被標記為SK1、SK2和SK3。球體202由左半球體和右半球體組成。三角形投影面“1”、三角形投影面“2”、三角形投影面“3”和三角形投影面“4”均從右半球體推導出，三角形投影面“5”、三角形投影面“6”、三角形投影面“7”和三角形投影面“8”均從左半球體推導出。由於已旋轉八面體404上的八面體投影，球體202的赤道208不沿著每個三角形投影面的任何邊進行映射。在本實施例中，如第4圖中的虛線所示，球體202的赤道208沿著三角形投影面“2”、三角形投影面“4”、三角形投影面“6”和三角形投影面“8”的中間進行映射。如上所述，待編碼的基於投影的圖框IMG被要求是矩形。因此，緊湊八面體投影佈局應該由基於投影的圖框IMG來使用。
請結合參考第4圖和第5圖。第5圖是示出根據本發明實施例的第二緊湊八面體投影佈局的示意圖。如第5圖中的虛線所示，球體202的赤道208沿著三角形投影面“2”、三角形投影面“4”、三角形投影面“6”和三角形投影面“8”的中間進行映射。緊湊八面體投影佈局510是從具有三角形投影面旋轉和三角形投影面分割的八面體投影佈局406中推導出的。如第5圖的中間部分所示，八面體投影佈局406中的三角形投影面“7”被順時針旋轉60°，八面體投影佈局406中的三角形投影面“5”被逆時針旋轉60°，八面體投影佈局406中的三角形投影面“3”被逆時針旋轉60°，八面體投影佈局406中的三角形投影面“1”被順時針旋轉60°。因此，三角形投影面“7”的邊S72連接於三角形投影面“6”的邊S61，三角形投影面“5”的邊S51連接於三角形投影面“6”的邊S62，三角形投影面“3”的邊S31連接於三角形投影面“2”的邊S22，三角形投影面“1”的邊S12連接於三角形投影面“2”的邊S21。
如第5圖的中間部分所示，圖像內容連續邊界存在於三角形投影面“7”的邊S72與三角形投影面“6”的邊S61之間（即在三角形投影面“6”和三角形投影面“7”中內容是連續表示的），圖像內容連續邊界存在於三角形投影面“5”的邊S51與三角形投影面“6”的邊S62之間（即在三角形投影面“5”和三角形投影面“6”中內容是連續表示的），圖像內容連續邊界存在於三角形投影面“3”的邊S31與三角形投影面“2”的邊S22之間（即在三角形投影面“3”和三角形投影面“2”中內容是連續表示的），圖像內容連續邊界存在於三角形投影面“1”的邊S12與三角形投影面“2”的邊S21之間（即在三角形投影面“1”和三角形投影面“2”中內容是連續表示的），以及圖像內容連續邊界存在於三角形投影面“2”的邊S23與三角形投影面“6”的邊S63之間（即在三角形投影面“2”和三角形投影面“6”中內容是連續表示的）。
另外，八面體投影佈局406中的三角形投影面“4”被分割成兩個直角三角形狀部分，即502和504，並且，八面體投影佈局406中的三角形投影面“8”被分割成兩個直角三角形狀部分，即506和508。如第5圖的右側部分所示，三角形投影面“4”的直角三角形狀部分504和三角形投影面“8”的直角三角形狀部分508分別連接到三角形投影面“1”和三角形投影面“5”；以及三角形投影面“4”的直角三角形狀部分502和三角形投影面“8”的直角三角形狀部分506分別被重新定位且連接到三角形投影面“3”和三角形投影面“7”。
三角形投影面“4”的直角三角形狀部分502具有三個邊，即S411、S412和S43_1，其中邊S411是三角形投影面“4”的邊S41，邊S43_1是三角形投影面“4”的邊S43的第一部分。三角形投影面“4”的直角三角形狀部分504具有三個邊，即S421, S422和S43_2，其中邊S421是三角形投影面“4”的邊S42，邊S43_2是三角形投影面“4”的邊S43的第二部分。
三角形投影面“8”的直角三角形狀部分506具有三個邊，即S821、S822和S83_1，其中邊S821是三角形投影面“8”的邊S82，邊S83_1是三角形投影面“8”的邊S83的第一部分。三角形投影面“8”的直角三角形狀部分508具有三個邊，即S811、S812和S83_2，其中邊S811是三角形投影面“8”的邊S81，邊S83_2是三角形投影面“8”的邊S83的第二部分。
根據緊湊八面體投影佈局510，三角形投影面“4”的直角三角形狀部分504的邊S421連接於三角形投影面“1”的邊S13，三角形投影面“1”的直角三角形狀部分504的邊S43_2連接於三角形投影面“8”的直角三角形狀部分508的邊S83_2，三角形投影面“8”的直角三角形狀部分508的邊S811連接於三角形投影面“5”的邊S53，三角形投影面“4”的直角三角形狀部分502的邊S411連接於三角形投影面“3”的邊S33，三角形投影面“4”的直角三角形狀部分502的邊S43_1連接於三角形投影面“8”的直角三角形狀部分506的邊S83_1，三角形投影面“8”的直角三角形狀部分506的邊S821連接於三角形投影面“7”的邊S73。
圖像內容連續邊界（image content continuity boundary）存在於三角形投影面“4”的直角三角形狀部分504的邊S43_2與三角形投影面“8”的直角三角形狀部分508的邊S83_2之間。圖像內容連續邊界存在於三角形投影面“4”的直角三角形狀部分502的邊S43_1與三角形投影面“8”的直角三角形狀部分506的邊S83_1之間。也就是說，在三角形投影面“4”和三角形投影面“8”中內容是連續表示的。此外，圖像內容不連續邊緣存在於三角形投影面“4”的直角三角形狀部分504的邊S421與三角形投影面“1”的邊S13之間，圖像內容不連續邊緣存在於三角形投影面“8”的直角三角形狀部分508的邊S811與三角形投影面“5”的邊S53之間，圖像內容不連續邊緣存在於三角形投影面“4”的直角三角形狀部分502的邊S411與三角形投影面“3”的邊S33之間，圖像內容不連續邊緣存在於三角形投影面“8”的直角三角形狀部分506的邊S821與三角形投影面“7”的邊S73之間。
在第5圖的右側部分中，由緊湊八面體投影佈局510的形狀所排列的360 VR投影佈局L_VR是沒有任何空區域（例如黑色區域，灰色區域或白色區域）的矩形。另外，360度圖像/視訊內容的一部分在三角形投影面“1”、三角形投影面“2”、三角形投影面“3”、三角形投影面“5”、三角形投影面“6”、三角形投影面“7”中是連續表示的，而沒有圖像內容不連續。此外，由基於投影圖像IMG（其使用緊湊八面體投影佈局510）中的三角形投影面“2”、三角形投影面“4”、三角形投影面“6”和三角形投影面“8”所表示的赤道208沒有由三角形投影面分割而引起的圖像內容不連續。然而，不可避免地，一些圖像內容不連續邊緣仍然存在於緊湊八面體投影佈局510中。因此，如果360 VR投影佈局L_VR由緊湊八面體投影佈局510來設置，則壓縮之後的圖像內容不連續邊緣附近的圖像品質可能比較差。
為了解決上述圖像品質下降問題，本發明提供了一種具有填充的新型的360 VR投影佈局設計，其能提高壓縮之後位於投影面的邊緣處的圖像品質。例如360 VR投影佈局L_VR可以由具有填充的緊湊正六面體映射佈局或者具有填充的緊湊八面體佈局來設置。具體地，轉換電路114從視訊捕獲設備112接收球體202的全向圖像/視訊內容，並從球體202的全向圖像/視訊內容中獲得複數個投影面，其中球體202的全向圖像/視訊內容透過所選擇的360 VR投影（例如，正六面體映射投影或者八面體投影）被映射到投影面上。如第1圖所示，轉換電路114具有填充電路115，其被配置為生成至少一個填充區域。轉換電路114透過將投影面和至少一個填充區域堆疊在360 VR投影佈局L_VR（例如，具體填充的緊湊正六面體映射佈局或者具體填充的緊湊八面體佈局）中，創建基於投影的圖框IMG。
例如，360 VR投影佈局L_VR中所堆疊的投影面包括第一投影面和第二投影面，其中如果第一投影面的第一邊連接於第二投影面的第一邊，則第一投影面的第一邊與第二投影面的第一邊之間存在圖像內容不連續邊緣。360 VR投影佈局L_VR中所堆疊的至少一個填充區域包括第一填充區域，其中第一填充區域連接於第一投影面的第一邊和第二投影面的第一邊，以用於在360 VR投影佈局L_VR中將第一投影面的第一邊與第二投影面的第一邊隔離。第一填充區域被故意地插入以提供壓縮程式的更多資訊。這樣，壓縮後的第一投影面的第一邊和第二投影面的第一邊的圖像品質可以被提高。
第6圖是示出根據本發明實施例的具有填充的第一緊湊八面體投影佈局的示意圖。轉換電路114所採用的360 VR投影佈局L_VR可以由第6圖中所示的緊湊八面體投影佈局310’來設置。緊湊八面體佈局310’可以是從第3圖中所示的緊湊八面體投影佈局310中推導出的。關於第3圖中所示的緊湊八面體投影佈局310，圖像內容不連續邊緣存在於三角形投影面“8”的直角三角形狀部分304的邊S821與三角形投影面“7”的邊S73之間，圖像內容不連續邊緣存在於三角形投影面“4”的直角三角形狀部分308的邊S411與三角形投影面“3”的邊S33之間，圖像內容不連續邊緣存在於三角形投影面“8”的直角三角形狀部分302的邊S811與三角形投影面“5”的邊S53之間，圖像內容不連續邊緣存在於三角形投影面“4”的直角三角形狀部分306的邊S421與三角形投影面“1”的邊S13之間。如第6圖所示，第一填充區域PR_1被插入以連接於三角形投影面“4”的直角三角形狀部分306的邊S421（其也是投影面“4”的邊S42）和投影面“1”的邊S13，第二填充區域PR_2被插入以連接於三角形投影面“4”的直角三角形狀部分308的邊S411（其也是投影面“4”的邊S41）和投影面“3”的邊S33，第三填充區域PR_3被插入以連接於三角形投影面“8”的直角三角形狀部分302的邊S811（其也是投影面“8”的邊S81）和投影面“5”的邊S53，以及第四填充區域PR_4被插入以連接於三角形投影面“8”的直角三角形狀部分304的邊S821（其也是投影面“8”的邊S82）和投影面“7”的邊S73。假設每個填充區域的寬度為D，且第3圖中所示的緊湊八面體投影佈局310具有寬度W和高度H，則第6圖中所示的緊湊八面體投影佈局310’具有寬度W+2D和高度H。例如每個填充區域的寬度D可以是16個像素。
第7圖是示出根據本發明實施例的具有填充的第二緊湊八面體投影佈局的示意圖。轉換電路114所採用的360 VR投影佈局L_VR可以由第7圖中所示的緊湊八面體投影佈局510’來設置。緊湊八面體佈局510’可以是從第5圖中所示的緊湊八面體投影佈局510中推導出的。關於第5圖中所示的緊湊八面體投影佈局510，圖像內容不連續邊緣存在於三角形投影面“8”的直角三角形狀部分506的邊S821與三角形投影面“7”的邊S73之間，圖像內容不連續邊緣存在於三角形投影面“4”的直角三角形狀部分502的邊S411與三角形投影面“3”的邊S33之間，圖像內容不連續邊緣存在於三角形投影面“8”的直角三角形狀部分508的邊S811與三角形投影面“5”的邊S53之間，圖像內容不連續邊緣存在於三角形投影面“4”的直角三角形狀部分504的邊S421與三角形投影面“1”的邊S13之間。如第7圖所示，第一填充區域PR_1被插入以連接於三角形投影面“4”的直角三角形狀部分504的邊S421（其也是投影面“4”的邊S42）和投影面“1”的邊S13，第二填充區域PR_2被插入以連接於三角形投影面“4”的直角三角形狀部分502的邊S411（其也是投影面“4”的邊S41）和投影面“3”的邊S33，第三填充區域PR_3被插入以連接於三角形投影面“8”的直角三角形狀部分508的邊S811（其也是投影面“8”的邊S81）和投影面“5”的邊S53，以及第四填充區域PR_4被插入以連接於三角形投影面“8”的直角三角形狀部分506的邊S821（其也是投影面“8”的邊S82）和投影面“7”的邊S73。假設每個填充區域的高度為D，且第5圖中所示的緊湊八面體投影佈局510具有寬度W和高度H，則第7圖中所示的緊湊八面體投影佈局510’具有寬度W和高度H+2D。例如每個填充區域的高度D可以是16個像素。
在一個示例性填充實施方式中，填充電路115透過基於包括在與填充區域連接的相鄰投影面中的像素的像素值的插值，設置包括在填充區域中的像素的像素值。關於第6圖中所示的緊湊八面體投影佈局310’和第7圖中所示的緊湊八面體投影佈局510’中的每個，包括在第一填充區域PR_1中的像素的像素值是透過基於包括在相鄰投影面“1”和“4”中的像素的像素值的插值來獲得的，包括在第二填充區域PR_2中的像素的像素值是透過基於包括在相鄰投影面“3”和“4”中的像素的像素值的插值來獲得的，包括在第三填充區域PR_3中的像素的像素值是透過基於包括在相鄰投影面“3”和“5”中的像素的像素值的插值來獲得的，以及包括在第四填充區域PR_4中的像素的像素值是透過基於包括在相鄰投影面“7”和“8”中的像素的像素值的插值來獲得的。
所採用的插值可以是最近鄰插值（nearest neighbor interpolation）、線性插值、雙線性插值或者其他合適的插值演算法。所採用的插值使用的樣本點可以從單個方向或不同方向來獲得。第8圖是示出由第1圖中所示的填充電路115所執行的插值的示例。填充區域PR被要求以被插入到從選擇的球體的360 VR投影來獲得的相鄰投影面A1與相鄰投影面A2之間，其中如果投影面A1連接於投影面A2，則圖像內容不連續邊緣存在於相鄰投影面A1與相鄰投影面A2之間。如第8圖的子示意圖(A)所示，對垂直方向上從相鄰投影面A1和相鄰投影面A2中獲得的樣本點（即像素）P1和樣本點P2執行插值。因此，插值樣本點（即插值像素）S是根據樣本點P1和樣本點P2的樣本值、樣本點P1與插值樣本點S之間的距離以及樣本點P2與插值樣本點S之間的距離來確定的。
如第8圖的子示意圖(B)所示，對水平方向上從相鄰投影面A1和相鄰投影面A2中獲得的樣本點（即像素）Q1和樣本點Q2執行插值。因此，插值樣本點（即插值像素）S是根據樣本點Q1和樣本點Q2的樣本值、樣本點Q1與插值樣本點S之間的距離以及樣本點Q2與插值樣本點S之間的距離來確定的。
如第8圖的子示意圖(C)所示，對垂直方向上從相鄰投影面A1和相鄰投影面A2中獲得的樣本點（即像素）P1和樣本點P2以及水平方向上從相鄰投影面A1和相鄰投影面A2中獲得的樣本點（即像素）Q1和樣本點Q2執行插值。因此，插值樣本點（即插值像素）S是根據樣本點P1、樣本點P2、樣本點Q1和樣本點Q2的樣本值、樣本點P1與插值樣本點S之間的距離、樣本點P2與插值樣本點S之間的距離、樣本點Q1與插值樣本點S之間的距離以及樣本點Q2與插值樣本點S之間的距離來確定的。
在另一個示例性填充實施方式中，填充電路115將第一幾何填充應用到相鄰投影面之一以確定包括在填充區域中的像素的第一像素值，將第二幾何填充應用到其他相鄰投影面以確定包括在填充區域中的像素的第二像素值，並透過將從第一幾何填充中推導的第一像素值和從第二幾何填充中推導的第二像素值進行混合來設置包括在填充區域中的像素的像素值。第9圖是示出由第1圖中所示的填充電路115所執行的幾何填充的示例。填充區域PR被要求以被插入到從選擇的球體的360 VR投影來獲得的相鄰投影面A1與相鄰投影面A2之間，其中如果投影面A1連接於投影面A2，則圖像內容不連續邊緣存在於相鄰投影面A1與相鄰投影面A2之間。應用到投影面A1的第一幾何填充確定幾何映射區域A1_GP，其中幾何映射區域A1_GP是透過將球體（例如第2圖/第4圖中所示的球體202）上的區域的內容映射到填充區域PR來獲得的，其中球體上的區域相鄰於從投影面A1中獲得的區域。因此，投影面A1和幾何映射區域A1_GP之間存在圖像內容連續邊界（即在投影面A1和幾何映射區域A1_GP中內容是連續表示的）。
應用到投影面A2的第二幾何填充確定另一幾何映射區域A2_GP，其中幾何映射結果A2_GP是透過將球體（例如第2圖/第4圖中所示的球體202）上的區域的內容映射到填充區域PR來獲得的，其中球體上的該區域相鄰於從投影面A2中獲得的區域。因此，投影面A2和幾何映射區域A2_GP之間存在圖像內容連續邊界（即在投影面A2和幾何映射區域A2_GP中內容是連續表示的）。
在獲得與同一填充區域PR相關的幾何映射區域A1_GP和幾何映射區域A2_GP之後，填充電路115混合幾何映射區域A1_GP和幾何映射區域A2_GP以確定包括在填充區域PR中的像素的像素值。也就是說，PR = f(A1_GP, A2_GP)，其中f()是混合函數。例如，混合函數f()可以是平均函數。關於填充區域PR中的每個像素，填充區域PR中的像素的像素值由幾何映射區域A1_GP中的像素的第一像素值和幾何映射區域A2_GP中的像素的第二像素值的平均值來設置。
在又一示例性填充實施方式中，填充電路115透過複製包括在從選擇的球體的360 VR投影中所獲得的相鄰投影面中的像素的像值素來設置包括在填充區域中的像素的像素值。例如位於投影面A1的邊處的邊界像素被複製以創建沿著投影面A1的邊延伸的填充像素，並且位於投影面A2的邊處的邊界像素被複製以創建沿著投影面A2的邊延伸的填充像素。換句話說，填充區域PR的第一部分包括填充像素，每個填充像素是投影面A1的一個邊界像素的複製，並且填充區域PR的第二部分包括填充像素，每個填充像素是投影面A2的一個邊界像素的複製。
在插入在第一投影面和第二投影面之間的一個填充區域的説明下，其中在第一投影面的第一邊連接於第二投影面的第一邊時第一投影面的第一邊與第二投影面的第一邊之間存在圖像內容不連續邊緣，可以提高壓縮後的第一投影面的第一邊的圖像品質和壓縮後的第二投影面的第一邊的圖像品質。包括在由解碼電路122生成的已解碼圖框IMG’中的投影面可以具有更好的圖像品質。如上所述，圖像渲染電路214根據已解碼圖框IMG’在顯示螢幕126上渲染並顯示輸出圖像資料。由於已解碼圖框IMG’中的填充區域是額外添加的，且可能是不可顯示的，所以在解碼電路122生成已解碼圖框IMG’之後，已解碼圖框IMG’中的填充區域可以被圖像渲染電路124丟棄/忽略。
如第6圖和第7圖所示，填充被添加到緊湊八面體投影佈局，以為了圖像內容不連續邊緣處的壓縮的圖像品質提高。然而，這些僅用於示意的目的，並不用於限制本發明。實際上，填充可以被添加到其他360 VR投影佈局，以為了圖像內容不連續邊緣處的壓縮的圖像品質提高。這些可選的具有填充的投影設計均落入本發明的範圍之內。
第10圖是根據本發明實施例的具有填充的緊湊正六面體映射投影佈局的示意圖。球體的全向圖像/視訊內容透過正六面體映射投影被映射到六個正方形投影面，其中正方形投影面包括由“L”標記的左投影面、由“FR”標記的前投影面、由“R”標記的右投影面、由“T”標記的頂投影面、由“BK”標記的後投影面和由“B”標記的底投影面。在沒有填充的緊湊正六面體映射投影佈局中，如果左投影面“L”的底邊連接於底投影面“B”的頂邊，則左投影面“L”與底投影面“B”之間存在圖像內容不連續邊緣。在沒有填充的緊湊正六面體映射投影佈局中，如果前投影面FR的底邊連接於後投影面BK的頂邊，則前投影面FR與後投影面BK之間存在圖像內容不連續邊緣。在沒有填充的緊湊正六面體映射投影佈局中，如果右投影面R的底邊連接於頂投影面T的頂邊，則右投影面R與頂投影面T之間存在圖像內容不連續邊緣。根據第10圖中所示的緊湊正六面體映射投影佈局1002，第一填充區域PR_1被插入到左投影面L與頂投影面T之間，第二填充區域PR_2被插入到前投影面FR和後投影面BK之間，第三填充區域PR_3被插入到右投影面R和底投影面B之間。填充區域PR_1-填充區域PR_3可以透過使用上述插值方式、幾何填充方式和複製方式中的一個來生成。
例如，由提出的填充技術所使用的複製方式可以展開投影面的邊界像素。因此，插入在第一投影面和第二投影面之間的填充區域的第一部分包括填充像素，其中每個填充像素是第一投影面的一個邊界像素的複製，插入在第一投影面和第二投影面之間的填充區域的第二部分包括填充像素，其中每個填充像素是第二投影面的一個邊界像素的複製。
又例如，由提出的填充技術所使用的複製方式可以透過複製包括在第一投影面和第二投影面中但不連接於插入在第一投影面和第二投影面之間的填充區域的像素的像素值，設置包括在填充區域中的像素的像素值。在由提出的填充技術所使用的複製方式獲得投影面中的部分區域的複製的情況中，插入在第一投影面和第二投影面之間的填充區域的第一部分是第一投影面的部分區域的複製，並且插入在第一投影面和第二投影面之間的填充區域的第二部分是第二投影面的部分區域的複製，其中第一投影面的部分區域和第二投影面的部分區域均不連接於插入在第一投影面與第二投影面之間的填充區域。
又例如，由提出的填充技術所使用的複製方式可以透過複製包括在不同於第一投影面和第二投影面的至少一個投影面中的像素的像素值，設置包括在插入在第一投影面與第二投影面之間的填充區域中的像素的像素值。以第10圖中所示的緊湊正六面體映射投影佈局1002為例，插入在左投影面L與底投影面B之間的第一填充區域PR_1可以透過複製不是左投影面L和底投影面B中任何的至少一個投影面（例如FR、BK、R和/或T）中的像素（例如部分區域的像素）來設置，插入在前投影面FR與後投影面BK之間的第二填充區域PR_2可以透過複製不是前投影面FR和後投影面BK中任何的至少一個投影面（例如L、B、R和/或T）中的像素（例如部分區域的像素）來設置，和/或插入在右投影面R與頂投影面T之間的第三填充區域PR_3可以透過複製不是右投影面R和頂投影面T中任何的至少一個投影面（例如L、B、FR和/或BK）中的像素（例如部分區域的像素）來設置。
第11圖是示出根據本發明實施例的具有填充的第三緊湊八面體投影佈局的示意圖。球體的全向圖像/視訊內容透過八面體投影被映射到八個三角形投影面（由參考編號“1”, “2”, “3”, “4”, “5”, “6”, “7”和“8”標記）。三角形投影面“8”被分割成兩個直角三角形狀部分。在沒有填充的緊湊八面體投影佈局中，如果三角形投影面“8”的一個直角三角形狀部分的一個邊連接於三角形投影面“1”的一個邊，則圖像內容不連續邊緣存在於三角形投影面“8”和三角形投影面“1”之間。在沒有填充的緊湊八面體投影佈局中，如果三角形投影面“1”的另一個邊連接於三角形投影面“5”的一個邊，則圖像內容不連續邊緣存在於三角形投影面“1”和三角形投影面“5”之間。在沒有填充的緊湊八面體投影佈局中，如果三角形投影面“5”的另一個邊連接於三角形投影面“2”的一個邊，則圖像內容不連續邊緣存在於三角形投影面“5”和三角形投影面“2”之間。在沒有填充的緊湊八面體投影佈局中，如果三角形投影面“2”的另一個邊連接於三角形投影面“6”的一個邊，則圖像內容不連續邊緣存在於三角形投影面“2”和三角形投影面“6”之間。在沒有填充的緊湊八面體投影佈局中，如果三角形投影面“6”的另一個邊連接於三角形投影面“3”的一個邊，則圖像內容不連續邊緣存在於三角形投影面“6”和三角形投影面“3”之間。在沒有填充的緊湊八面體投影佈局中，如果三角形投影面“3”的另一個邊連接於三角形投影面“7”的一個邊，則圖像內容不連續邊緣存在於三角形投影面“3”和三角形投影面“7”之間。在沒有填充的緊湊八面體投影佈局中，如果三角形投影面“7”的另一個邊連接於三角形投影面“4”的一個邊，則圖像內容不連續邊緣存在於三角形投影面“7”和三角形投影面“4”之間。在沒有填充的緊湊八面體投影佈局中，如果三角形投影面“8”的另一直角三角形狀部分的一邊連接於三角形投影面“4”的另一個邊，則圖像內容不連續邊緣存在於三角形投影面“8”和三角形投影面“4”之間。
根據第11圖中所示的緊湊八面體投影佈局1102，第一填充區域PR_1被插入在三角形投影面“1”和三角形投影面“8”的一個直角三角形狀部分之間，第二填充區域PR_2被插入在三角形投影面“1”和三角形投影面“5”之間，第三填充區域PR_3被插入在三角形投影面“5”和三角形投影面“2”之間，第四填充區域PR_4被插入在三角形投影面“2”和三角形投影面“6”之間，第五填充區域PR_5被插入在三角形投影面“6”和三角形投影面“3”之間，第六填充區域PR_6被插入在三角形投影面“3”和三角形投影面“7”之間，第七填充區域PR_7被插入在三角形投影面“7”和三角形投影面“4”之間，以及第八填充區域PR_8被插入在三角形投影面“4”和三角形投影面“8”的另一直角三角形狀部分之間。填充區域PR_1-填充區域PR_8中的每個可以是透過使用上述的插值方式、幾何填充方式和複製方式中的一個來生成的。
除了壓縮後的圖像內容不連續邊緣的圖像品質之外，壓縮後的佈局邊界的圖像品質可以透過所提出的填充技術來提高。例如，當球體的全向圖像/視訊內容透過等距柱狀投影（equirectangular projection，ERP）或等面積投影（equal-area projection，EAP）被映射時，僅單個投影面被生成且排列在ERP/EAP佈局中。如果視埠（viewport）的視角（viewing angle）是180度，位於ERP/EAP佈局的左邊界處的已解碼部分區域被選擇且組合以形成待顯示的視埠區域。由於典型的ERP/EAP佈局的位於左邊界處的塊和位於右邊界處的塊被單獨編碼，所以視埠區域沿著位於ERP/EAP佈局的左邊界處的已解碼部分區域和位於ERP/EAP佈局的右邊界處的已解碼部分區域進行組合而得到的邊緣可能具有偽影。為了解決這個問題，本發明還提出了將填充區域添加到佈局邊界以提供壓縮流程的更多資訊。
第12圖是示出根據本發明實施例的具有填充的第一ERP/EAP佈局的示意圖。具有頂邊S_T、底邊S_B、左邊S_L和右邊S_R的單個的投影面A被排列在沒有填充的ERP/EAP佈局1202中。頂邊S_T、底邊S_B、左邊S_L和右邊S_R是ERP/EAP佈局1202的四個邊界。此外，ERP/EAP佈局1202中的投影面A具有第一部分區域P_L和第二部分區域P_R，其中第一部分區域P_L包括位於左邊S_L處的邊界像素，第二部分區域P_R包括位於右邊S_R處的邊界像素。轉換電路114所採用的360 VR投影佈局L_VR可以由第12圖中所示的ERP/EAP佈局1202’來設置。ERP/EAP佈局1202’可從ERP/EAP佈局1202中推導而來。投影面A透過球體的等距柱狀投影/等面積投影來獲得。投影面A、第一填充區域PR_L和第二填充區域PR_R被堆疊在ERP/EAP佈局1202’中，如第12圖所示，第一填充區域PR_L連接於投影面A的左邊S_L，並形成ERP/EAP佈局1202’的左邊界，以及第二填充區域PR_R連接於投影面A的右邊S_R，並形成ERP/EAP佈局1202’的右邊界。例如，第一填充區域PR_L的寬度可以是8個像素，第二填充區域PR_R的寬度可以是8個像素。由於投影面A的左邊S_L和右邊S_R是相對邊，所以第一填充區域PR_L不連接於投影面A的右邊S_R，且第二填充區域PR_R不連接於投影面A的左邊S_L。
在本實施例中，第一填充區域PR_L是投影面A的第二部分區域P_R的複製，第二填充區域PR_R是投影面A的第一部分區域P_L的複製。因此，第一填充區域PR_L的像素包括位於投影面A的右邊S_R處的邊界像素，但不包括位於投影面A的左邊S_L處的邊界像素；以及第二填充區域PR_R的像素包括位於投影面A的左邊S_L處的邊界像素，但不包括位於投影面A的右邊S_R處的邊界像素。由於等距柱狀投影/等面積投影的內在特性，第一填充區域PR_L與堆疊在ERP/EAP佈局1202’的投影面A之間存在圖像內容連續邊界（即在投影面A和第一填充區域PR_L中內容是連續表示的），並且第二填充區域PR_R與堆疊在ERP/EAP佈局1202’的投影面A之間存在圖像內容連續邊界（即在投影面A和第二填充區域PR_R中是內容連續表示的）。
除了被添加到透過等距柱狀投影/等面積投影而獲得的投影面的左邊和右邊的填充區域之外，填充區域可以被添加到投影面的頂邊和底邊以提供壓縮流程的更多資訊。
第13圖是示出根據本發明實施例的具有填充的第二ERP/EAP佈局的示意圖。具有頂邊S_T、底邊S_B、左邊S_L和右邊S_R的單個的投影面A被排列在沒有填充的ERP/EAP佈局1302中。頂邊S_T、底邊S_B、左邊S_L和右邊S_R是ERP/EAP佈局1302的四個邊界。此外，ERP/EAP佈局1302中的投影面A具有複數個圖像區域（由參考數位“1”, “2”, “3”, “4”, “5”, “6”, “7”和“8”標記）。圖像區域“1”-圖像區域“3”形成一個部分區域，並包括位於頂邊S_T處的邊界像素。圖像區域“3”-圖像區域“5”形成一個部分區域，並包括位於右邊S_R處的邊界像素。圖像區域“5”-圖像區域“7”形成一個部分區域，並包括位於底邊S_B處的邊界像素。圖像區域“1”、圖像區域“8”和圖像區域“7” 形成一個部分區域，並包括位於左邊S_L處的邊界像素。
轉換電路114所採用的360 VR投影佈局L_VR可以由第13圖中所示的ERP/EAP佈局1302’來設置。ERP/EAP佈局1302’可以是從ERP/EAP佈局1302中推導的。投影面A透過球體的等距柱狀投影/等面積投影來獲得。如第13圖所示，連接於投影面A的左邊S_L的第一填充區域是透過複製投影面A的圖像區域“3”-圖像區域“5”來生成的，連接於投影面A的右邊S_R的第二填充區域是透過複製投影面A的圖像區域“1”、圖像區域“8”和圖像區域“7”來生成的，連接於投影面A的頂邊S_T的第三填充區域是透過複製投影面A的圖像區域“1”-圖像區域“3”以獲得已複製部分區域並翻轉已複製部分區域來生成的，連接於投影面A的底邊S_B的第四填充區域是透過複製投影面A的圖像區域“5”-圖像區域“7”以獲得已複製部分區域並翻轉已複製部分區域來生成的。
為了使得ERP/EAP佈局1302’變成矩形，左上角填充區域透過複製圖像區域“3”以獲得已複製填充區域並翻轉已複製填充區域來生成，右上角填充區域透過複製圖像區域“1”以獲得已複製填充區域並翻轉已複製填充區域來生成，左下角填充區域透過複製圖像區域“5”以獲得已複製填充區域並翻轉已複製填充區域來生成，以及右下角填充區域透過複製圖像區域“7”以獲得已複製填充區域並翻轉已複製填充區域來生成。
由於等距柱狀投影/等面積投影的內在特性，左上角填充區域與第一填充區域之間存在圖像內容連續邊界，左上角填充區域與第三填充區域之間存在圖像內容連續邊界，右上角填充區域與第二填充區域之間存在圖像內容連續邊界，右上角填充區域與第三填充區域之間存在圖像內容連續邊界，左下角填充區域與第一填充區域之間存在圖像內容連續邊界，左下角填充區域與第四填充區域之間存在圖像內容連續邊界，右下角填充區域與第二填充區域之間存在圖像內容連續邊界，以及右下角填充區域與第四填充區域之間存在圖像內容連續邊界。
如第13圖所示，連接於投影面A的左邊S_L的第一填充區域形成ERP/EAP佈局1302’的左邊界的一部分，連接於投影面A的右邊S_R的第二填充區域形成ERP/EAP佈局1302’的右邊界的一部分，連接於投影面A的頂邊S_T的第三填充區域形成ERP/EAP佈局1302’的頂邊界的一部分，以及連接於投影面A的底邊S_B的第四填充區域形成ERP/EAP佈局1302’的底邊界的一部分。由於等距柱狀投影/等面積投影的內在特性，第一填充區域與堆疊在ERP/EAP佈局1302’中的投影面A之間存在圖像內容連續邊界（即在第一填充區域和投影面A中內容是連續表示的），第二填充區域與堆疊在ERP/EAP佈局1302’中的投影面A之間存在圖像內容連續邊界（即在第二填充區域和投影面A中內容是連續表示的），第三填充區域與堆疊在ERP/EAP佈局1302’中的投影面A之間存在圖像內容連續邊界（即在第三填充區域和投影面A中內容是連續表示的），以及第四填充區域與堆疊在ERP/EAP佈局1302’中的投影面A之間存在圖像內容連續邊界（即在第四填充區域和投影面A中內容是連續表示的）。
第14圖是示出根據本發明實施例的具有填充的第三ERP/EAP佈局的示意圖。具有頂邊S_T、底邊S_B、左邊S_L和右邊S_R的單個的投影面A被排列在沒有填充的ERP/EAP佈局1402中。頂邊S_T、底邊S_B、左邊S_L和右邊S_R是ERP/EAP佈局1402的四個邊界。此外，ERP/EAP佈局1402中的投影面A具有複數個圖像區域（由參考數位“1”, “2”, “3”, “4”, “5”, “6”, “7”和“8”標記）。圖像區域“1”-圖像區域“3”形成一個部分區域，並包括位於頂邊S_T處的邊界像素。圖像區域“3”-圖像區域“5”形成一個部分區域，並包括位於右邊S_R處的邊界像素。圖像區域“5”-圖像區域“7”形成一個部分區域，並包括位於底邊S_B處的邊界像素。圖像區域“7”-圖像區域“8”和圖像區域“1”形成一個部分區域，並包括位於左邊S_L處的邊界像素。
轉換電路114所採用的360 VR投影佈局L_VR可以由第14圖中所示的ERP/EAP佈局1402’來設置。ERP/EAP佈局1402’可以是從ERP/EAP佈局1402中推導的。投影面A透過球體的等距柱狀投影/等面積投影來獲得。如第14圖所示，連接於投影面A的左邊S_L的第一填充區域是透過複製投影面A的圖像區域“3”-圖像區域“5”來生成的，連接於投影面A的右邊S_R的第二填充區域是透過複製投影面A的圖像區域“1”、圖像區域“8”和圖像區域“7”來生成的，連接於投影面A的頂邊S_T的第三填充區域是透過複製投影面A的圖像區域“1”-圖像區域“3”以獲得已複製部分區域並旋轉已複製部分區域180°來生成的，連接於投影面A的底邊S_B的第四填充區域是透過複製投影面A的圖像區域“5”-圖像區域“7”以獲得已複製部分區域並旋轉已複製部分區域180°來生成的。
為了使得ERP/EAP佈局1402’變成矩形，左上角填充區域透過複製圖像區域“1”以獲得已複製填充區域並旋轉已複製填充區域180°來生成，右上角填充區域透過複製圖像區域“3”以獲得已複製填充區域並旋轉已複製填充區域180°來生成，左下角填充區域透過複製圖像區域“7”以獲得已複製填充區域並旋轉已複製填充區域180°來生成，以及右下角填充區域透過複製圖像區域“5”以獲得已複製填充區域並旋轉已複製填充區域180°來生成。
由於等距柱狀投影/等面積投影的內在特性，左上角填充區域與第一填充區域之間存在圖像內容連續邊界，左上角填充區域與第三填充區域之間存在圖像內容連續邊界，右上角填充區域與第二填充區域之間存在圖像內容連續邊界，右上角填充區域與第三填充區域之間存在圖像內容連續邊界，左下角填充區域與第一填充區域之間存在圖像內容連續邊界，左下角填充區域與第四填充區域之間存在圖像內容連續邊界，右下角填充區域與第二填充區域之間存在圖像內容連續邊界，以及右下角填充區域與第四填充區域之間存在圖像內容連續邊界。
如第14圖所示，連接於投影面A的左邊S_L的第一填充區域形成ERP/EAP佈局1402’的左邊界的一部分，連接於投影面A的右邊S_R的第二填充區域形成ERP/EAP佈局1402’的右邊界的一部分，連接於投影面A的頂邊S_T的第三填充區域形成ERP/EAP佈局1402’的頂邊界的一部分，以及連接於投影面A的底邊S_B的第四填充區域形成ERP/EAP佈局1402’的底邊界的一部分。由於等距柱狀投影/等面積投影的內在特性，第一填充區域與堆疊在ERP/EAP佈局1402’中的投影面A之間存在圖像內容連續邊界（即在第一填充區域和投影面A中內容是連續表示的），第二填充區域與堆疊在ERP/EAP佈局1402’中的投影面A之間存在圖像內容連續邊界（即在第二填充區域和投影面A中內容是連續表示的），第三填充區域與堆疊在ERP/EAP佈局1402’中的投影面A之間存在圖像內容連續邊界（即在第三填充區域和投影面A中內容是連續表示的），以及第四填充區域與堆疊在ERP/EAP佈局1402’中的投影面A之間存在圖像內容連續邊界（即在第四填充區域和投影面A中內容是連續表示的）。
如第12圖-第14圖所示，填充被添加到ERP/EAP佈局，以為了位於佈局邊界處的壓縮的圖像品質提高。然而，這些僅用於示意目的，並不用於限制本發明。實際上，填充可以被添加到其他360 VR投影佈局，以為了位於佈局邊界處的壓縮的圖像品質提高。這些可選的具有填充的投影設計均落入本發明的範圍內。
第15圖是示出根據本發明實施例的具有填充的八面體投影佈局的示意圖。第16圖是示出根據本發明實施例的具有填充的正六面體映射投影佈局的示意圖。第17圖是示出根據本發明實施例的具有填充的第四緊湊八面體投影佈局的示意圖。第18圖是示出根據本發明實施例的具有填充的緊湊正六面體映射投影佈局的示意圖。堆疊在投影佈局1502/1602/1702/1802中的填充區域可以由上述幾何填充方式來生成，幾何填充方式將幾何填充應用到投影面以確定包括在連接於投影面的填充區域中的像素的像素值，或者可以透過上述複製方式來生成，複製方式透過複製投影面的邊界像素的像素值，或者透過複製包括在投影面中但不連接於填充區域的像素的像素值，或者透過複製不包括在投影面中的像素的像素值來設置包括在連接於投影面的填充區域中的像素的像素值。
應注意的是，上述佈局示例僅用於示意目的，並不用於限制並發明。在本發明的其他實施例中，具有填充的360 VR投影佈局可以透過將填充區域添加到其他投影格式的佈局來獲得，例如，等角四稜錐投影佈局、四面體投影佈局、基於四角石英（tetragon quartz-based）投影佈局、二十面體投影佈局或者基於六角石英投影佈局。
在添加到投影佈局的邊界的填充區域的説明下，壓縮後的邊界的圖像品質可以被提高。如上所述，圖像渲染電路124根據已解碼圖框IMG’在顯示螢幕126上渲染並顯示輸出圖像資料。由於已解碼圖框IMG’中的填充區域是額外添加的，且可以是不可顯示的，所以在解碼電路122生成已解碼圖框IMG’之後，已解碼圖框IMG’中的填充區域可以被圖像渲染電路124丟棄或忽略。
所屬領域的通常知識者可輕易得知，可在保持本發明的教示內容的同時對設備及方法作出諸多修改及變動。因此，以上公開內容應被視為僅受隨附專利申請範圍的限制。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100‧‧‧360 VR系統
102‧‧‧源電子設備
103‧‧‧傳輸裝置
104‧‧‧目標電子設備
112‧‧‧視訊捕獲設備
114‧‧‧轉換電路
115‧‧‧填充電路
116‧‧‧視訊編碼器
122‧‧‧解碼電路
124‧‧‧圖像渲染電路
126‧‧‧顯示螢幕
202‧‧‧球體
204‧‧‧未旋轉八面體
206、406‧‧‧八面體投影佈局
208‧‧‧赤道
S11-S13~S81-S83‧‧‧邊
S411-S412、S421-S422、S43_1-S43_2‧‧‧邊
S811-S812、S821-S822、S83_1-S83_2‧‧‧邊
302~308、502~508‧‧‧直角三角形狀部分
310、310’、510、510’、1102‧‧‧緊湊八面體投影佈局
404‧‧‧已旋轉八面體
PR_1~PR_8‧‧‧第一填充區域~第八填充區域
A1、A2‧‧‧投影面
PR‧‧‧填充區域
A1_GP、A2_GP‧‧‧幾何映射區域
1002‧‧‧緊湊正六面體映射投影佈局
1202、1202’、1302、1302’、1402、1402’‧‧‧ERP/EAP佈局
S_T‧‧‧頂邊
S_B‧‧‧底邊
S_L‧‧‧左邊
S_R‧‧‧右邊
P_L‧‧‧第一部分區域
P_R‧‧‧第一部分區域
PR_L‧‧‧第一填充區域
PR_R‧‧‧第二填充區域
1502、1602、1702、1802‧‧‧投影佈局
S_T‧‧‧頂邊
S_B‧‧‧底邊
S_L‧‧‧左邊
S_R‧‧‧右邊
P_L‧‧‧第一部分區域
P_R‧‧‧第一部分區域
PR_L‧‧‧第一填充區域
PR_R‧‧‧第二填充區域
1502、1602、1702、1802‧‧‧投影佈局
S_T‧‧‧頂邊
S_B‧‧‧底邊
S_L‧‧‧左邊
S_R‧‧‧右邊
P_L‧‧‧第一部分區域
P_R‧‧‧第一部分區域
PR_L‧‧‧第一填充區域
PR_R‧‧‧第二填充區域
1502、1602、1702、1802‧‧‧投影佈局
第1圖是示出根據本發明實施例的360度虛擬實境系統的示意圖。 第2圖是示出根據未旋轉八面體從球體的八面體投影而獲得的八面體投影格式的三角形投影面的示意圖。 第3圖是示出根據本發明實施例的第一緊湊八面體投影佈局的示意圖。 第4圖是示出根據已旋轉八面體從球體的八面體投影而獲得的八面體投影格式的三角形投影面的示意圖。 第5圖是示出根據本發明實施例的第二緊湊八面體投影佈局的示意圖。 第6圖是示出根據本發明實施例的具有填充的第一緊湊八面體投影佈局的示意圖。 第7圖是示出根據本發明實施例的具有填充的第二緊湊八面體投影佈局的示意圖。 第8圖是示出由第1圖中所示的填充電路所執行的插值的示例。 第9圖是示出由第1圖中所示的填充電路所執行的幾何填充的示例。 第10圖是根據本發明實施例的具有填充的緊湊正六面體映射投影佈局的示意圖。 第11圖是示出根據本發明實施例的具有填充的第三緊湊八面體投影佈局的示意圖。 第12圖是示出根據本發明實施例的具有填充的第一ERP/EAP佈局的示意圖。 第13圖是示出根據本發明實施例的具有填充的第二ERP/EAP佈局的示意圖。 第14圖是示出根據本發明實施例的具有填充的第三ERP/EAP佈局的示意圖。 第15圖是示出根據本發明實施例的具有填充的八面體投影佈局的示意圖。 第16圖是示出根據本發明實施例的具有填充的正六面體映射（cubemap）投影佈局的示意圖。 第17圖是示出根據本發明實施例的具有填充的第四緊湊八面體投影佈局的示意圖。 第18圖是示出根據本發明實施例的具有填充的緊湊正六面體映射投影佈局的示意圖。

Claims (21)

  1. 一種視訊處理方法，包括： 接收對應於球體的全向內容； 從該球體的該全向內容中獲得複數個投影面，其中該球體的該全向內容透過360度虛擬實境投影被映射到該些投影面；以及 轉換電路透過生成至少一個填充區域並將該些投影面和該至少一個填充區域堆疊到360度虛擬實境投影佈局中，創建一基於投影的圖框，其中堆疊在該360度虛擬實境投影佈局中的該些投影面包括第一投影面和第二投影面，其中如果該第一投影面的一個邊連接於該第二投影面的一個邊，則在該第一投影面的該一個邊與該第二投影面的該一個邊之間存在一圖像內容不連續邊緣；堆疊在該360度虛擬實境投影佈局中的該至少一個填充區域包括第一填充區域，其中該第一填充區域連接於該第一投影面的該一個邊和該第二投影面的該一個邊，以用於在該360度虛擬實境投影佈局中將該第一投影面的該一個邊與該第二投影面的該一個邊隔離。
  2. 如申請專利範圍第1項所述之視訊處理方法，其中，生成該至少一個填充區域包括： 透過基於包括在該第一投影面和該第二投影面中的複數個像素的複數個像素值的插值，設置包括在該第一填充區域中的複數個像素的複數個像素值。
  3. 如申請專利範圍第1項所述之視訊處理方法，其中，生成該至少一個填充區域包括： 將第一幾何填充應用到該第一投影面，以確定包括在該第一填充區域中的複數個像素的複數個第一像素值； 將第二幾何填充應用到該第二投影面，以確定包括在該第一填充區域中的該些像素的複數個第二像素值；以及 透過混合從該第一幾何填充推導的該些第一像素值與從該第二幾何填充推導的該些第二像素值，設置包括在該第一填充區域中的該些像素的複數個像素值。
  4. 如申請專利範圍第1項所述之視訊處理方法，其中，生成該至少一個填充區域包括： 透過複製包括在該第一投影面和該第二投影面中的複數個像素的複數個像素值，設置包括在該第一填充區域中的複數個像素的複數個像素值。
  5. 如申請專利範圍第1項所述之視訊處理方法，其中堆疊在該360度虛擬實境投影佈局中的該些投影面還包括不同於該第一投影面和該第二投影面的至少一個投影面；以及生成該至少一個填充區域包括： 透過複製包括在該至少一個投影面中的複數個像素的複數個像素值，設置包括在該第一填充區域中的複數個像素的複數個像素值。
  6. 如申請專利範圍第1項所述之視訊處理方法，還包括： 編碼具有堆疊在該360度虛擬實境投影佈局中的該些投影面和該至少一個填充區域的該基於投影的圖框，以生成一位元流的一部分。
  7. 如申請專利範圍第1項所述之視訊處理方法，其中該360度虛擬實境投影是一八面體投影，該360度虛擬實境投影佈局是一八面體投影佈局，該些投影面是複數個三角形投影面，以及該球體的赤道不沿著該些三角形投影面中的每個的任何邊進行映射。
  8. 如申請專利範圍第7項所述之視訊處理方法，其中： 堆疊在該360度虛擬實境投影佈局中的該些投影面還包括第三投影面、第四投影面、第五投影面和第六投影面，其中： 如果該第一投影面的另一個邊連接於該第三投影面的一個邊，則該第一投影面的該另一個邊與該第三投影面的該一個邊之間存在一圖像內容不連續邊緣， 如果該第四投影面的一個邊連接於該第五投影面的一個邊，則在該第四投影面的該一個邊與該第五投影面的一個邊之間存在一圖像內容不連續邊緣，以及 如果該第四投影面的另一個邊連接於該第六投影面的一個邊，則該第四投影面的該另一個邊與該第六投影面的該一個邊之間存在一圖像內容不連續邊緣；以及 堆疊在該360度虛擬實境投影佈局中的該至少一個填充區域還包括第二填充區域、第三填充區域和第四填充區域，其中： 該第二填充區域連接於該第一投影面的該另一個邊和該第三投影面的該一個邊，以用於在該360度虛擬實境投影佈局中將該第一投影面的該另一個邊與該第三投影面的該一個邊隔離， 該第三填充區域連接於該第四投影面的該一個邊和該第五投影面的該一個邊，以用於在該360度虛擬實境投影佈局中將該第四投影面的該一個邊與該第五投影面的該一個邊隔離，以及 該第四填充區域連接於該第四投影面的該另一個邊和該第六投影面的該一個邊，以用於在該360度虛擬實境投影佈局中將該第四投影面的該另一個邊與該第六投影面的該一個邊隔離。
  9. 如申請專利範圍第1項所述之視訊處理方法，其中， 該360度虛擬實境投影佈局的形狀是一矩形； 堆疊在該360度虛擬實境投影佈局中的該些投影面還包括第七投影面和第八投影面； 該第一投影面被分割成第一直角三角形狀部分和第二直角三角形狀部分，該第一直角三角形狀部分具有作為該第一投影面的該一個邊的第一邊和作為該第一投影面的又一個邊的第一部分的第二邊，該第二直角三角形狀部分具有作為該第一投影面的該另一個邊的第一邊和作為該第一投影面的該又一個邊的第二部分的第二邊； 該第四投影面被分割成第三直角三角形狀部分和第四直角三角形狀部分，該第三直角三角形狀部分具有作為該第四投影面的該一個邊的第一邊和作為該第四投影面的又一個邊的第一部分的第二邊，該第四直角三角形狀部分具有作為該第四三角形面的該另一個邊的第一邊和作為該第四三角形投影面的該又一個邊的第二部分的第二邊； 該第一填充區域連接於該第一直角三角形狀部分的該第一邊和該第二投影面的該一個邊； 該第二投影面的另一個邊連接於該第七投影面的一個邊，其中該第二投影面的該另一個邊與該第七投影面的該一個邊之間存在一圖像內容連續邊界； 該第七投影面的另一個邊連接於該第三投影面的另一個邊，其中第七投影面的該另一個邊與該第三投影面的該另一個邊之間存在一圖像內容連續邊界； 該第二填充區域連接於該第二直角三角形狀部分的該第一邊和該第三投影面的該一個邊； 該第三填充區域連接於該第三直角三角形狀部分的該第一邊和該第五投影面的該一個邊； 該第五投影面的另一個邊連接於該第八投影面的一個邊，其中該第五投影面的該另一個邊與該第八投影面的該一個邊之間存在一圖像內容連續邊界； 該第八投影面的另一個邊連接於該第六投影面的另一個邊，其中該第八投影面的該另一個邊與該第六投影面的該另一個邊之間存在一圖像內容連續邊界；以及 該第四填充區域連接於該第四直角三角形狀部分的該第一邊和該第六投影面的該一個邊。
  10. 如申請專利範圍第9項所述之視訊處理方法，其中， 該球體的赤道被映射到該第一投影面、第四投影面、第七投影面和第八投影面。
  11. 一種視訊處理方法，包括： 接收對應於球體的全向內容； 從該球體的該全向內容中獲得至少一個投影面，其中該球體的該全向內容透過360度虛擬實境投影被映射到該至少一個投影面；以及 轉換電路透過生成至少一個填充區域並將該至少一個投影面和該至少一個填充區域堆疊在360度虛擬實境投影佈局中，創建一基於投影的圖框，其中堆疊在該360度虛擬實境投影佈局中的該至少一個投影面包括第一投影面；堆疊在該360度虛擬實境投影佈局中的該至少一個填充區域包括第一填充區域；該第一填充區域連接於該第一投影面，並形成該360度虛擬實境投影佈局的一個邊界的至少部分。
  12. 如申請專利範圍第11項所述之視訊處理方法，其中，生成該至少一個填充區域包括： 將幾何填充應用到該第一投影面，以確定包括在該第一填充區域中的複數個像素的複數個像素值。
  13. 如申請專利範圍第11項所述之視訊處理方法，其中，生成該至少一個填充區域包括： 透過複製包括在該第一投影面中的複數個特定像素的複數個像素值，設置包括在該第一填充區域中的複數個像素的複數個像素值。
  14. 如申請專利範圍第13項所述之視訊處理方法，其中， 該第一填充區域連接於該第一投影面的一個邊，該些特定像素包括位於該第一投影面的該一個邊處的複數個邊界像素。
  15. 如申請專利範圍第14項所述之視訊處理方法，其中， 該360度虛擬實境投影是等距柱狀投影和等面積投影中的一個，第一投影面包括一部分區域，該部分區域包括位於該第一投影面的該一個邊處的該些邊界像素，該第一填充區域是透過複製該部分區域以獲得已複製部分區域並翻轉該已複製部分區域而生成的，以及堆疊在該360度虛擬實境投影佈局中的該第一填充區域與該第一投影面之間存在一圖像內容連續邊界。
  16. 如申請專利範圍第14項所述之視訊處理方法，其中， 該360度虛擬實境投影是等距柱狀投影和等面積投影中的一個，第一投影面包括一部分區域，該部分區域包括位於該第一投影面的該一個邊處的該些邊界像素，該第一填充區域是透過複製該部分區域以獲得已複製部分區域並旋轉該已複製部分區域而生成的，以及堆疊在該360度虛擬實境投影佈局中的該第一填充區域與該第一投影面之間存在一圖像內容連續邊界。
  17. 如申請專利範圍第11項所述之視訊處理方法，其中， 該第一填充區域連接於該第一投影面的一個邊，該些特定像素不包括位於該第一投影面的該一個邊處的複數個邊界像素。
  18. 如申請專利範圍第17項所述之視訊處理方法，其中， 該360度虛擬實境投影是等距柱狀投影和等面積投影中的一個，第一投影面包括一部分區域，該第一填充區域不連接於該第一投影面的另一個邊，該第一投影面的該一個邊和該第一投影面的該另一個邊是該第一投影面的相對邊，該第一投影面包括一部分區域，該部分區域包括位於該第一投影面的該另一個邊處的複數個邊界像素，該第一填充區域是透過複製該部分區域而生成的，以及堆疊在該360度虛擬實境投影佈局中的該第一填充區域與該第一投影面之間存在一圖像內容連續邊界。
  19. 如申請專利範圍第11項所述之視訊處理方法，還包括： 編碼具有堆疊在該360度虛擬實境投影佈局中的該至少一個投影面和該至少一個填充區域的該基於投影的圖框，以生成一位元流的一部分。
  20. 一種視訊處理裝置，包括： 轉換電路，用於： 接收對應於球體的全向內容； 從該球體的該全向內容中獲得複數個投影面，其中該球體的該全向內容透過360度虛擬實境投影被映射到該些投影面；以及 透過生成至少一個填充區域並將該些投影面和該至少一個填充區域堆疊到360度虛擬實境投影佈局中，創建一基於投影的圖框，其中堆疊在該360度虛擬實境投影佈局中的該些投影面包括第一投影面和第二投影面，其中如果該第一投影面的一個邊連接於該第二投影面的一個邊，則在該第一投影面的該一個邊與該第二投影面的一個邊之間存在一圖像內容不連續邊緣；堆疊在該360度虛擬實境投影佈局中的該至少一個填充區域包括第一填充區域，其中該第一填充區域連接於該第一投影面的該一個邊和該第二投影面的該一個邊，以用於在該360度虛擬實境投影佈局中將該第一投影面的該一個邊與該第二投影面的該一個邊隔離；以及 視訊編碼器，用於編碼具有堆疊在該360度虛擬實境投影佈局中的該些投影面和該至少一個填充區域的該基於投影的圖框，以生成一位元流的一部分。
  21. 一種視訊處理裝置，包括： 轉換電路，用於： 接收對應於球體的全向內容； 從該球體的該全向內容中獲得至少一個投影面，其中該球體的該全向內容透過360度虛擬實境投影被映射到該至少一個投影面；以及 透過生成至少一個填充區域並將該至少一個投影面和該至少一個填充區域堆疊在360度虛擬實境投影佈局中，創建一基於投影的圖框，其中堆疊在該360度虛擬實境投影佈局中的該至少一個投影面包括第一投影面；堆疊在該360度虛擬實境投影佈局中的該至少一個填充區域包括第一填充區域；該第一填充區域連接於該第一投影面，並形成該360度虛擬實境投影佈局的一個邊界的至少部分；以及 視訊編碼器，用於編碼具有堆疊在該360度虛擬實境投影佈局中的該至少一個投影面和該至少一個填充區域的該基於投影的圖框，以生成一位元流的一部分。
TW107108353A 2017-03-13 2018-03-13 生成和編碼包括堆疊在360度虛擬實境投影佈局中的至少一個填充區域和至少一個投影面的基於投影的圖框的方法及裝置 TWI673995B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762470425P 2017-03-13 2017-03-13
US62/470,425 2017-03-13
US15/917,844 2018-03-12
US15/917,844 US11057643B2 (en) 2017-03-13 2018-03-12 Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout

Publications (2)

Publication Number Publication Date
TW201840180A true TW201840180A (zh) 2018-11-01
TWI673995B TWI673995B (zh) 2019-10-01

Family

ID=63445237

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107108353A TWI673995B (zh) 2017-03-13 2018-03-13 生成和編碼包括堆疊在360度虛擬實境投影佈局中的至少一個填充區域和至少一個投影面的基於投影的圖框的方法及裝置

Country Status (6)

Country Link
US (1) US11057643B2 (zh)
CN (1) CN110383842B (zh)
DE (1) DE112018000177T8 (zh)
GB (1) GB2575175B (zh)
TW (1) TWI673995B (zh)
WO (1) WO2018166430A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10643370B2 (en) 2016-10-07 2020-05-05 Mediatek Inc. Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in octahedron projection layout
WO2018064967A1 (en) 2016-10-07 2018-04-12 Mediatek Inc. Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus
US10380715B2 (en) 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US20180288436A1 (en) * 2017-04-03 2018-10-04 Gopro, Inc. Methods and apparatus for providing in-loop padding techniques for rotated sphere projections
US10356386B2 (en) 2017-04-05 2019-07-16 Mediatek Inc. Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US11494870B2 (en) 2017-08-18 2022-11-08 Mediatek Inc. Method and apparatus for reducing artifacts in projection-based frame
US20190182462A1 (en) * 2017-12-08 2019-06-13 Gopro, Inc. Methods and apparatus for projection conversion decoding for applications eco-systems
CN110956583B (zh) * 2018-09-26 2022-05-10 华为技术有限公司 球面图像处理方法、装置及服务器
JP7271672B2 (ja) * 2018-12-14 2023-05-11 中興通訊股▲ふん▼有限公司 没入型ビデオビットストリーム処理
US20200213570A1 (en) * 2019-01-02 2020-07-02 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067227A (ja) 1998-08-25 2000-03-03 Canon Inc 画像表示装置、方法および記憶媒体
JP3306397B2 (ja) 1999-11-25 2002-07-24 株式会社ソニー・コンピュータエンタテインメント エンタテインメント装置、画像生成方法および記憶媒体
AU2003295582A1 (en) 2002-11-15 2004-06-15 Warner Bros. Entertainment Inc. Reverse-rendering method for digital modeling
US7308131B2 (en) 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
KR100732958B1 (ko) 2004-08-13 2007-06-27 경희대학교 산학협력단 20면체 파노라마 영상의 부호화 및 복호화를 위한 방법 및장치
JP4680104B2 (ja) 2006-03-22 2011-05-11 日本電信電話株式会社 パノラマ画像作成方法
CN100542298C (zh) 2007-09-29 2009-09-16 中国科学院计算技术研究所 一种柱面全景视频编码的块尺寸计算方法和传输方法
US8638327B2 (en) 2007-11-14 2014-01-28 Microsoft Corporation Tiled projections for planar processing of round earth data
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US9245373B2 (en) 2012-12-04 2016-01-26 Nintendo Co., Ltd. Caching in map systems for displaying panoramic images
KR20140100656A (ko) 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
US10257494B2 (en) * 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
CN104219584B (zh) 2014-09-25 2018-05-01 广东京腾科技有限公司 基于增强现实的全景视频交互方法和系统
JP6685995B2 (ja) 2015-03-05 2020-04-22 ソニー株式会社 画像処理装置および画像処理方法
EP3267688A4 (en) 2015-03-05 2018-08-01 Sony Corporation Image processing device and image processing method
KR102313485B1 (ko) 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
EP3088018A1 (de) * 2015-04-30 2016-11-02 ECP Entwicklungsgesellschaft mbH Rotor für eine fluidpumpe sowie verfahren und giessform für seine herstellung
US20160353146A1 (en) 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
KR102013403B1 (ko) 2015-05-27 2019-08-22 구글 엘엘씨 구면 영상 스트리밍
US9858706B2 (en) 2015-09-22 2018-01-02 Facebook, Inc. Systems and methods for content streaming
US10701396B2 (en) 2015-11-23 2020-06-30 Electronics And Telecommunications Research Institute Multi-viewpoint video encoding/decoding method
CN205545713U (zh) 2016-01-26 2016-08-31 天津市商久盛源科技股份有限公司 基于全息金字塔的3d全息投影装置
US10225546B2 (en) 2016-02-26 2019-03-05 Qualcomm Incorporated Independent multi-resolution coding
GB2548358A (en) 2016-03-15 2017-09-20 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video
US10319071B2 (en) 2016-03-23 2019-06-11 Qualcomm Incorporated Truncated square pyramid geometry and frame packing structure for representing virtual reality video content
US9721393B1 (en) 2016-04-29 2017-08-01 Immersive Enterprises, LLC Method for processing and delivering virtual reality content to a user
CN205721064U (zh) 2016-05-04 2016-11-23 北京红辣椒信息科技有限公司 旋转屏幕的3d投影装置
CN106056531B (zh) 2016-05-13 2019-07-16 杭州当虹科技股份有限公司 一种360度全景视频球面展开到平面的显示方法
CN105898254B (zh) 2016-05-17 2018-10-23 北京金字塔虚拟现实科技有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、系统
CN105915907B (zh) 2016-06-07 2019-07-26 北京圣威特科技有限公司 全景图的压缩方法、装置及系统
KR102506480B1 (ko) 2016-06-14 2023-03-07 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR20230051319A (ko) 2016-07-08 2023-04-17 브이아이디 스케일, 인크. 지오메트리 투영을 이용한 360도 비디오 코딩
CN106162139B (zh) 2016-08-04 2018-03-30 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置
CN106358033B (zh) 2016-08-25 2018-06-19 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
US20190253624A1 (en) 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
US10643370B2 (en) 2016-10-07 2020-05-05 Mediatek Inc. Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in octahedron projection layout
CN106686381A (zh) 2016-12-05 2017-05-17 乐视控股（北京）有限公司 一种视频解码方法、装置和电子设备
EP3334164B1 (en) 2016-12-09 2019-08-21 Nokia Technologies Oy A method and an apparatus and a computer program product for video encoding and decoding
CN106846245B (zh) 2017-01-17 2019-08-02 北京大学深圳研究生院 基于主视点的全景视频映射方法
US10924747B2 (en) * 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10979663B2 (en) 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
US10621767B2 (en) 2017-06-12 2020-04-14 Qualcomm Incorporated Fisheye image stitching for movable cameras
US20190005709A1 (en) 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
CN107622474B (zh) 2017-09-26 2021-03-30 北京大学深圳研究生院 基于主视点的全景视频映射方法
EP3724858A4 (en) 2017-12-14 2021-01-13 Samsung Electronics Co., Ltd. PROCEDURE AND DEVICE FOR MANAGING IMMERSIVE DATA

Also Published As

Publication number Publication date
CN110383842B (zh) 2022-02-11
GB2575175A (en) 2020-01-01
GB2575175B (en) 2022-04-13
CN110383842A (zh) 2019-10-25
WO2018166430A1 (en) 2018-09-20
DE112018000177T5 (de) 2019-09-19
US11057643B2 (en) 2021-07-06
US20180262775A1 (en) 2018-09-13
TWI673995B (zh) 2019-10-01
DE112018000177T8 (de) 2020-02-20
GB201908248D0 (en) 2019-07-24

Similar Documents

Publication Publication Date Title
TWI673995B (zh) 生成和編碼包括堆疊在360度虛擬實境投影佈局中的至少一個填充區域和至少一個投影面的基於投影的圖框的方法及裝置
US11004173B2 (en) Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
CN107454468B (zh) 对沉浸式视频进行格式化的方法、装置和流
US10356386B2 (en) Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
TWI702567B (zh) 用於處理包括封裝在360度虛擬現實投影佈局中的至少一個投影面的基於投影的圖框的方法
TWI666912B (zh) 具有由封包於分段球體投影設計並以投影面表示之360度內容之投影訊框生成及編碼之方法及裝置
US10825229B2 (en) Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in triangle-based projection layout
TWI690728B (zh) 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法
TWI681662B (zh) 用於減少基於投影的圖框中的偽影的方法和裝置
US10963987B2 (en) Method and apparatus for decoding projection based frame with 360-degree content represented by triangular projection faces packed in triangle-based projection layout
TWI782342B (zh) 一種視訊解碼方法
CN109716776B (zh) 用于生成且编码全向内容视频的方法及设备
CN109845270B (zh) 一种视频处理方法和装置
US10652516B2 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by base projection face and lateral projection faces packed in pyramid projection layout