TW201921917A - 用於減少基於投影的圖框中的偽影的方法和裝置 - Google Patents

用於減少基於投影的圖框中的偽影的方法和裝置 Download PDF

Info

Publication number
TW201921917A
TW201921917A TW107128750A TW107128750A TW201921917A TW 201921917 A TW201921917 A TW 201921917A TW 107128750 A TW107128750 A TW 107128750A TW 107128750 A TW107128750 A TW 107128750A TW 201921917 A TW201921917 A TW 201921917A
Authority
TW
Taiwan
Prior art keywords
projection
layout
area
projection surface
pixel
Prior art date
Application number
TW107128750A
Other languages
English (en)
Other versions
TWI681662B (zh
Inventor
林建良
王鵬
李亞璇
林鴻志
張勝凱
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201921917A publication Critical patent/TW201921917A/zh
Application granted granted Critical
Publication of TWI681662B publication Critical patent/TWI681662B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Architecture (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種示例性視訊處理方法包括：接收對應於球體的全向內容； 根據金字塔投影從球體的全向內容中獲得複數個投影面； 創建至少一個填充區域； 通過將投影面和至少一個填充區域封裝成金字塔投影佈局來生成基於投影的圖框。在金字塔投影佈局中封裝複數個投影面，其中包括第一投影面。在金字塔投影佈局中封裝至少一個填充區域，其中包括第一填充區域。第一填充區域至少與第一投影面連接，並至少形成金字塔投影佈局的一個邊界的一部分。

Description

用於減少基於投影的圖框中的偽影的方法和裝置
相關申請的交叉引用：本發明主張在2017年08月18日提出的第62/547,126號的美國臨時專利申請和在2017年09月27日提出的第62/563,787號的美國臨時專利申請的優先權。相關申請的全部內容，包括第62/547,126號的美國臨時專利申請和第62/563,787號的美國臨時專利申請，在此引入作為參考。
本發明的所公開實施例涉及處理全向圖像/視訊內容，且更具體而言，涉及用於減少基於投影的圖框中的偽影的方法和裝置。
具有頭戴式顯示器（head-mounted displays，HMDs）的虛擬現實（VR）與各種應用相關聯。向用戶顯示寬視野內容的能力可用於提供沉浸式視覺體驗。必須在所有方向上捕獲真實世界環境，從而產生對應於球體的全向圖像/視訊內容。隨著攝像機裝備和HMDs的進步，由於表示這種360度圖像/視訊內容所需的高位元率，VR內容的傳送可能很快成為瓶頸。當全向視訊的分辨率為4K或更高時，資料壓縮/編碼對於降低位元率至關重要。
通常，對應於球體的全向圖像/視訊內容被變換為圖像序列，每個圖像是基於投影的圖框，其具有由在360度虛擬現實（360 VR）投影佈局中排列的一個或複數個投影面表示的360度圖像/視訊內容，然後基於投影的圖框的序列被編碼成位元流以進行傳輸。如果未正確設計所採用的360 VR投影佈局，則可能通過基於投影的圖框的編碼和/或基於投影的圖框的投影佈局轉換引入偽影，從而導致圖像質量劣化。
本發明的目的之一是提供一種用於減少基於投影的圖框中的偽影的方法和裝置。
根據本發明的第一方面，公開了一種示例性視訊處理方法。該示例性視訊處理方法包括：接收對應於球體的全向內容；根據金字塔投影從該球體的該全向內容中獲得複數個投影面；通過填充電路產生至少一個填充區域；通過封裝在金字塔投影佈局中的該些投影面和該至少一個填充區域來生成基於投影的圖框，其中封裝在該金字塔投影佈局中的該些投影面包括第一投影面；封裝在該金字塔投影佈局中的該至少一個填充區域包括第一填充區域；該第一填充區域至少與該第一投影面連接，並至少形成該金字塔投影佈局的某個邊界的一部分。
根據本發明的第二方面，公開了一種示例性視訊處理方法。該示例性視訊處理方法包括：根據360度虛擬現實投影從球體的全向內容獲得複數個投影面，其中該些投影面包括第一投影面和第二投影面。如果該第一投影面的一個邊與該第二投影面的一個邊連接，則在該第一投影面的該一個邊與該第二投影面的該一個邊之間存在圖像內容連續性邊緣；通過填充電路產生至少一個填充區域，其中該至少一個填充區域包括第一填充區域；以及該至少一個填充區域和該些投影面被封裝在投影佈局中，其中該第一填充區域與該第一投影面的該一個邊連接，並且第一填充區域同時與該第二投影面的該一個邊連接，該第一填充區域用於將該第一投影面與該第二投影面隔離開。
根據本發明的第三方面，公開了一種示例性視訊處理方法。該示例性視訊處理方法包括：接收對應於球體的全向內容；從該球體的該全向內容獲得複數個投影面，其中該些投影面包括對應於主視圖的第一投影面和對應於非主視圖的至少一個第二投影面；以及通過將該些投影面封裝在基於視埠的投影佈局中並至少對該至少一個第二投影面的一部分應用平滑濾波，來生成基於投影的圖框。
在閱讀了各個附圖和附圖中示出的優選實施例的以下詳細描述之後，本發明的這些和其他目的無疑將對所屬領域中具有習知技術者變得顯而易見。
在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有習知技術者應可理解，電子裝置製造商可能會用不同的名詞來稱呼同一個元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的準則。在通篇說明書及後續的請求項當中所提及的「包含」係為開放式的用語，故應解釋成「包含但不限定於」。以外，「耦接」一詞在此係包含任何直接及間接的電氣連接手段。因此，若文中描述第一裝置耦接到第二裝置，則代表該第一裝置可直接電氣連接於該第二裝置，或透過其他裝置或連接手段間接地電氣連接至該第二裝置。
第1圖是根據本發明的實施例的第一種360度虛擬現實（360 VR）系統的示意圖。 360 VR系統100包括兩個視訊處理裝置（例如，源電子設備102和目的電子設備104）。源電子設備102包括視訊捕獲設備112，轉換電路114和視訊編碼器116。例如，視訊捕獲設備112可以是用於提供對應於球體的全向圖像/視訊內容（例如，覆蓋整個周圍環境的複數個圖像）S_IN的一組相機。轉換電路114耦接在視訊捕獲設備112和視訊編碼器116之間。轉換電路114根據全向圖像/視訊內容S_IN生成具有360度虛擬現實投影佈局L_VR的基於投影的圖框IMG。基於投影的圖框IMG可以是包括在從轉換電路114生成的基於投影的圖框的序列中的一個圖框。視訊編碼器116是用於編碼/壓縮基於投影的圖框IMG以生成位元流BS的一部分的編碼電路。此外，視訊編碼器116經由傳輸裝置103將位元流BS輸出到目的電子設備104。例如，可以將基於投影的圖框的序列編碼到位元流BS中，並且傳輸裝置103可以是有線/無線通訊鏈路或存儲介質。
目的電子設備104可以是頭戴式顯示器（HMD）裝置。如第1圖所示，目的電子設備104包括解碼電路122、圖形渲染電路124和顯示螢幕126。解碼電路122從傳輸裝置103（例如，有線/無線通訊鏈路或存儲介質）接收位元流BS，然後，執行視訊解碼器功能，用於解碼所接收的位元流BS的一部分以生成解碼圖框IMG'。例如，解碼電路122通過對接收的位元流BS進行解碼來生成解碼圖框的序列，其中解碼圖框IMG'是包括在解碼圖框的序列中的一個圖框。在該實施例中，由編碼器側的視訊編碼器116編碼的基於投影的圖框IMG具有360 VR投影格式和投影佈局。因此，在解碼器側的解碼電路122對位元流BS進行解碼之後，解碼圖框IMG'具有相同的360 VR投影格式和相同的投影佈局。換句話說，解碼圖框IMG'是解碼的基於投影的圖框（decoded projection-based frame），其具有由轉換電路114採用的相同的360 VR投影佈局L_VR。圖形渲染電路124耦接在解碼電路122和顯示螢幕126之間。圖形渲染電路124根據解碼圖框IMG'在顯示螢幕126上渲染並顯示輸出圖像資料。例如，與由解碼圖框IMG'承載的360度圖像/視訊內容的一部分相關聯的視埠區域可以經由圖形渲染電路124顯示在顯示螢幕126上。
在該實施例中，360 VR投影佈局L_VR可以是具有邊界填充的金字塔投影佈局。第2圖是根據本發明的實施例的金字塔投影方法的示意圖。第3圖是根據本發明的實施例的基於視埠的金字塔投影佈局的示意圖。根據示例性金字塔投影類型，金字塔204完全位於球體202內，其中金字塔204由基部（base）206和複數個側部投影面（lateral projection face）208組成。在該示例中，基部206的形狀是正方形，每個側部投影面208的形狀是三角形。球體202的全向圖像/視訊內容被映射/投影到金字塔204的基部206和側部投影面208上，從而產生包括一個基部投影面（標記為“FR”）和四個側部投影面（標記為“U”，“L”，“B”和“R”）的五個投影面。
如第3圖的頂部所示，基部投影面FR的形狀是正方形，並且每個側部投影面U，L，B和R的形狀是三角形。另外，基部投影面FR和側部投影面U，L，B和R佈置在對應於展開的金字塔的金字塔投影佈局300中，使得側部投影面U，L，B和R分別連接基部投影面FR的四個邊/邊緣。值得注意的是，在側部投影面U和基部投影面FR之間存在圖像內容連續性邊緣，在側部投影面L和基部投影面FR之間存在圖像內容連續性邊緣，在側部投影面B和基部投影面FR之間存在圖像內容連續性邊緣，並且在側部投影面R和基部投影面FR之間存在圖像內容連續性邊緣。每個側部投影面U / B / L / R的寬度（即三角形底邊的長度）為W，每個側部投影面U / B / L / R的高度（即三角形頂部到三角形底邊的距離）為H。值得注意的是，每個側部投影面U / B / L / R的寬度W等於基部投影面FR的邊緣長度。
基於視埠的金字塔投影佈局302可以藉由投影面重採樣（re-sampling）（例如，投影面縮小（down-scaling））來從金字塔投影佈局300導出。如第3圖的中間部分所示，側部投影面U'是通過利用預定義的重採樣因子s（s = H/ h）對側部投影面U在其高度方向上重採樣（例如，縮小）而獲得的重採樣投影面，側部投影面B'是通過利用預定義的重採樣因子s（s= H / h）對側部投影面B在其高度方向上重採樣（例如，縮小）而獲得的重採樣投影面，側部投影面L'是通過利用預定義的重採樣因子s（s = H / h）對側部投影面L在其高度方向上重採樣（例如，縮小）而獲得的重採樣投影面，並且側部投影面R'是通過利用預定義的採樣因子s（s = H / h）對側部投影面R在其高度方向上重採樣（例如，縮小）獲得的重採樣的投影面。可以通過均勻映射或非均勻映射來執行重採樣，這取決於實際的設計考慮。
在該示例中，基部投影面FR的形狀是正方形，並且每個側部投影面U'，B'，L'和R'的形狀是直角三角形。具體而言，基部投影面FR具有四個邊S11，S12，S13和S14；側部投影面U'具有一個斜邊S21和兩個直角邊（腿）S22和S23；側部投影面L'具有一個斜邊S31和兩個直角邊（腿）S32和S33；側部投影面B'具有一個斜邊S41和兩個直角邊（腿）S42和S43；側部投影面R'具有一個斜邊S51和兩個直角邊（腿）S52和S53。
此外，金字塔投影佈局300中的基部投影面FR對應於用戶的視埠（即，主視圖），並且可以直接用作基於視埠的金字塔投影佈局302所需的基部投影面。基部投影面FR（對應於主視圖的正方形投影面）和四個側部投影面U'，B'，L'和R'（對應於非主視圖的直角三角形投影面）封裝（pack）在基於視埠的金字塔投影佈局302中。如第3圖的底部所示，側部投影面R'的斜邊S51與基部投影面FR的邊S14連接，側部投影面R'的直角邊S52與側部投影面U'的直角邊S23連接，側部投影面R'的直角邊S53與側部投影面B'的直角邊S42連接，側部投影面L'的直角邊 S33與側部投影面U'的直角邊S22連接，並且側部投影面L'的直角邊S32與側部投影面B'的直角邊S43連接。
如上所述，金字塔投影佈局300對應於展開的金字塔，其中在側部投影面U和基部投影面FR之間存在圖像內容連續性邊緣，在側部投影面L和基部投影面FR之間存在圖像內容連續性邊緣，在側部投影面B和基部投影面FR之間存在圖像內容連續性邊緣，並且在側部投影面R和基部投影面FR之間存在圖像內容連續性邊緣。由於側部投影面U'是側部投影面U的重採樣版本，側部投影面B'是側部投影面B的重採樣版本，側部投影面L'是側部投影面L的重採樣版本，以及側部投影面R'是側部投影面R的重採樣版本，因此，在側部投影面R'的斜邊S51和基部投影面FR的邊S14之間存在圖像內容連續性邊緣，在側部投影面R'的直角邊S52與側部投影面U'的直角邊S23之間存在圖像內容連續性邊緣，在側部投影面R'的直角邊S53和側部投影面B'的直角邊S42之間存在圖像內容連續性邊緣，在側部投影面L'的直角邊S33和側部投影面U'的直角邊S22之間存在圖像內容連續性邊緣，以及在側部投影面L'的直角邊S32和側部投影面B'的直角邊S43之間存在圖像內容連續性邊緣。
與金字塔投影佈局300相比，由於基於視埠的金字塔投影佈局302的形狀是矩形的事實，基於視埠的金字塔投影佈局302更緊湊。通過這種方式，實現了基於視埠的緊湊型金字塔投影佈局（compact viewport-based pyramid projection layout），並且可以由基於投影的圖框IMG使用，以避免在基於投影的圖框IMG中使用虛擬區域（例如，黑色區域，灰色區域或白色區域）。此外，360度圖像/視訊內容連續地表示在基部投影面FR和側部投影面U'，B'，L'和R'中，沒有圖像內容不連續。也就是說，沒有由投影面的封裝引起的圖像內容不連續邊緣。以這種方式，基於視埠的金字塔投影佈局302不會降低編碼效率。
然而，編碼之後的基於投影的圖框IMG可能由於基於視埠的金字塔投影佈局302的不連續邊界而具有偽影。如第3圖所示，金字塔投影佈局300中的基部投影面FR與側部投影面U之間的圖像內容連續性邊緣在基於視埠的金字塔投影佈局302中不存在，使得基部投影面FR的邊S11和側部投影面U'的斜邊S21形成基於視埠的金字塔投影佈局302的不連續的頂部邊界。類似地，金字塔投影佈局300中的基部投影面FR與側部投影面L之間的圖像內容連續性邊緣在基於視埠的金字塔投影佈局302中不存在，使得基部投影面FR的邊S12形成基於視埠的金字塔投影佈局302的不連續的左邊界，並且，側部投影面L'的斜邊S31形成基於視埠的金字塔投影佈局302的不連續的右邊界；金字塔投影佈局300中的基部投影面FR與側部投影面B之間的圖像內容連續性邊緣在基於視埠的金字塔投影佈局302中不存在，使得基部投影面FR的邊S13和側部投影面B'的斜邊S41形成基於視埠的金字塔投影佈局302的不連續的底部邊界。
為解決上述問題，本發明提出了一種創新的具有邊界填充的金字塔投影佈局設計，其能夠在編碼之後減少金字塔投影佈局（例如，基於視埠的金字塔投影佈局302）的邊界處的偽影。例如，轉換電路114從視訊捕獲設備112接收球體202的全向圖像/視訊內容，並根據金字塔投影從球202的全向圖像/視訊內容獲得複數個投影面（例如，基部投影面FR和側部投影面U'，B'，L '，R'）。如第1圖所示，轉換電路114具有填充電路115，其被設置為產生至少一個填充區域。轉換電路114通過在所提出的具有邊界填充的金字塔投影佈局中封裝投影面（例如，基部投影面FR和側部投影面U'，B'，L'，R'）和至少一個填充區域（例如，四個填充），來創建基於投影的圖框IMG。例如，在所提出的具有邊界填充的金字塔投影佈局中封裝的投影面包括第一投影面。在所提出的金字塔投影佈局中封裝的至少一個填充區域包括第一填充區域。第一填充區域至少與第一投影面連接，並至少形成所提出的金字塔投影佈局的一個邊界的一部分（即，部分或全部）。
第4圖是根據本發明的實施例的具有邊界填充的基於視埠的金字塔投影佈局的示意圖。由轉換電路114使用的360 VR投影佈局L_VR可以由第4圖中所示的所提出的金字塔投影佈局400來設置。填充電路115將填充區域PR_T添加到基於視埠的金字塔投影佈局302的頂部邊界，將填充區域PR_B添加到基於視埠的金字塔投影佈局302的底部邊界，將填充區域PR_L添加到基於視埠的金字塔投影佈局302的左邊界，並且將填充區域PR_R添加到基於視埠的金字塔投影佈局302的右邊界。因此，添加的填充區域PR_T形成基於視埠的金字塔投影佈局400的頂部邊界，添加的填充區域PR_B形成基於視埠的金字塔投影佈局400的底部邊界，添加的填充區域PR_L形成基於視埠的金字塔投影佈局400的左邊界，並且添加的填充區域PR_R形成基於視埠的金字塔投影佈局400的右邊界。
在第一種示例性邊界填充設計中，填充電路115將幾何填充（geometry padding）應用於投影面，以確定包括在與投影面連接的填充區域中的像素的像素值。因此，填充區域PR_T包括左側幾何映射區域和右側幾何映射區域。球體上（例如，第2圖中所示的球體202）部分區域的內容被映射到填充區域PR_T的左側幾何映射區域，其中球體上的該部分區域與獲得基部投影面FR的區域相鄰。另外，球體上（例如，第2圖中所示的球體202）部分區域的內容被映射到填充區域PR_T的右側幾何映射區域，其中球體上的該部分區域與獲得側部投影面U'的區域相鄰。因此，在基部投影面FR與填充區域PR_T的左側幾何映射區域之間存在圖像內容連續性，並且在側部投影面U'和填充區域PR_T的右側幾何映射區域之間存在圖像內容連續性。即，內容在基部投影面FR和填充區域PR_T的左側幾何映射區域中連續地表示，並且內容在側部投影面U'和填充區域PR_T的右側幾何映射區域中連續地表示。
填充區域PR_B包括左側幾何映射區域和右側幾何映射區域。球體上（例如，第2圖中所示的球體202）部分區域的內容被映射到填充區域PR_B的左側幾何映射區域，其中球體上的該部分區域與獲得基部投影面FR的區域相鄰。類似地，球體上（例如，第2圖中所示的球體202）部分區域的內容被映射到填充區域PR_B的右側幾何映射區域，其中球體上的該部分區域與獲得側部投影面B'的區域相鄰。因此，在基部投影面FR與填充區域PR_B的左側幾何映射區域之間存在圖像內容連續性，並且在側部投影面B'和填充區域PR_B的右側幾何映射區域之間存在圖像內容連續性。也就是說，內容在基部投影面FR和填充區域PR_B的左側幾何映射區域中連續地表示，並且內容在側部投影面B'和填充區域PR_B的右側幾何映射區域中連續地表示。
填充區域PR_L包括單個幾何映射區域。球體上（例如，第2圖中所示的球體202）部分區域的內容被映射到填充區域PR_L的單個幾何映射區域，其中球體上的該部分區域與獲得基部投影面FR的區域相鄰。因此，在基部投影面FR和填充區域PR_L之間存在圖像內容連續性。也就是說，內容在基部投影面FR和填充區域PR_L中連續地表示。
填充區域PR_R包括單個幾何映射區域。球體上（例如，第2圖中所示的球體202）部分區域的內容被映射到填充區域PR_R的單個幾何映射區域，其中球體上的區域與獲得側部投影面L'的區域相鄰。因此，在側部投影面L'和填充區域PR_R之間存在圖像內容連續性。也就是說，內容在側部投影面L'和填充區域PR_R中連續地表示。
在第二種示例性邊界填充設計中，填充電路115通過複製包括在與填充區域連接的投影面中的像素的像素值來設置填充區域中包括的像素的像素值。第5圖是根據本發明實施例的通過像素複製生成的邊界填充區域的示意圖。圖像IMG_A由在基於視埠的金字塔投影佈局302中封裝的基部投影面和複數個側部投影面表示，沒有填充。基於視埠的金字塔投影佈局302具有頂部邊緣（top side）S_T，底部邊緣S_B，左側邊緣S_L和右側邊緣S_R。頂部邊緣S_T，底部邊緣S_B，左側邊緣S_L和右側邊緣S_R是基於視埠的金字塔投影佈局302的四個邊界。另外，圖像IMG_A具有複數個圖像區域（由標記為參考數字“1”， “2”，“3”，“4”，“5”，“6”，“7”和“8”）。圖像區域“1” - “3”形成一個部分區域，並包括頂部邊緣S_T處的邊界像素。圖像區域“3” - “5”形成一個部分區域，並且包括右側邊緣S_R處的邊界像素。圖像區域“5” - “7”形成一個部分區域，並包括底部邊緣S_B處的邊界像素。圖像區域“7” - “8”和“1”形成一個部分區域，並且包括左側邊緣S_L處的邊界像素。
轉換電路114採用的360 VR投影佈局L_VR可以通過具有填充的基於視埠的金字塔投影佈局來設置（例如，第4圖中所示的基於視埠的金字塔投影佈局400）。如第5圖所示，基於視埠的金字塔投影佈局400是通過像素複製從基於視埠的金字塔投影佈局302導出的。通過複製圖像IMG_A的圖像區域“3” - “5”來生成與圖像IMG_A的左側邊緣S_L連接的第一填充區域（例如，第4圖中所示的填充區域PR_L的至少一部分）。通過複製圖像IMG_A的圖像區域“1”，“8”和“7”，生成與圖像IMG_A的右側邊緣S_R連接的第二填充區域（例如，第4圖所示的填充區域PR_R的至少一部分）。通過複製圖像IMG_A的圖像區域“1” - “3” 以獲得複製的部分區域，然後將複製的部分區域旋轉180°來生成與圖像IMG_A的頂部邊緣S_T連接的第三填充區域（例如，填充區域PR_T的至少一部分）。通過複製與圖像IMG_A的圖像區域“5” -“7” 以獲得複製的部分區域，然後將複製的部分區域旋轉180°來生成與圖像IMG_A的底部邊緣S_B連接的第四填充區域（例如，填充區域PR_B的至少一部分）。
為了使基於視埠的金字塔投影佈局400的形狀變為矩形，通過複製圖像區域“1” 以獲得複製的填充區域，然後將複製的填充區域旋轉180°來生成左上角填充區域；通過複製圖像區域“3”以獲得複製的填充區域，然後將複製的填充區域旋轉180°來生成右上角填充區域；通過複製圖像區域“ 7” 以獲得複製的填充區域，然後將複製的填充區域旋轉180°來生成左下角填充區域；並通過複製圖像區域 “5”以獲得複製的填充區域，然後旋轉複製的填充區域180°來生成右下角填充區域。
如上所述，解碼電路122從傳輸裝置103（例如，有線/無線通訊鏈路或存儲介質）接收位元流BS，並執行視訊解碼器功能，用於解碼接收的位元流BS的一部分以生成解碼圖框IMG'，解碼圖框IMG'是解碼的基於投影的圖框，其具有由轉換電路114採用的相同的360 VR投影佈局L_VR。在360 VR投影佈局L_VR是由具有邊界填充的金字塔投影佈局（例如，如第4圖所示的基於視埠的金字塔投影佈局400）設置的情況下，解碼圖框IMG'具有位於金字塔投影佈局的邊界處的填充區域。在一個實施例中，解碼電路122可以裁剪（crop）填充區域，使得僅重構原始區域（例如，第5圖中所示的圖像IMG_A）。在替代設計中，可以修改解碼電路122以在重建原始區域（例如，第5圖中所示的圖像IMG_A）時將填充區域與原始區域中的對應像素（例如，第5圖中所示的圖像IMG_A）混合。
第6圖是根據本發明的實施例的第二種360 VR系統的示意圖。 360 VR系統100和600之間的主要區別在於目的電子設備604的解碼電路622具有混合電路624，其被配置為在解碼之後執行混合。解碼電路622被佈置為解碼位元流BS的一部分，以生成具有封裝在360 VR投影佈局L_VR（如第4圖所示基於視埠的金字塔投影佈局400）中的投影面（例如，第4圖中所示的基部投影面FR和側部投影面U'，B'，L'，R'）和填充區域（例如，第4圖中所示的填充區域PR_T，PR_B，PR_L，PR_LR）的解碼圖框（即，解碼的基於投影的圖框）IMG'。在生成解碼圖框IMG'的解碼處理期間，解碼電路622解碼得到來自投影面（例如，基部投影面FR和側部投影面U'，B'，L'，R'中的一個）中的第一個位置的像素和來自填充區域（例如，填充區域PR_T，PR_B，PR_L，PR_R中的一個）中的第二個位置的像素，並通過使用混合電路624來混合兩個位置的像素，來重建屬於投影面的第一位置的像素。舉例說明第一位置和第二位置像素的關係，包含在編碼/壓縮前的基於投影的圖框IMG封裝中的填充區域中的第二位置的像素，是通過複製包含在基於投影的圖框IMG中封裝的投影面中的第一位置的像素來生成的。在一個實施例中，混合電路624可以採用基於距離的加權方案（distance-based weighting scheme）。
第7圖是根據本發明的實施例的水平混合操作的示意圖。假設第4圖中所示的填充區域PR_T，PR_B，PR_L，PR_R是基於像素複製來生成，如第5圖所示。因此，在編碼器側（例如，第6圖中所示的源電子設備102），與圖像IMG_A的左側邊緣連接的一個填充區域（例如，第4圖中所示的填充區域PR_L的至少一部分），是通過複製圖像IMG_A的圖像區域“3” - “5”來生成的，以及與圖像IMG_A的右側邊緣連接的另一個填充區域（例如，第4圖中所示的填充區域PR_R的至少一部分），是通過複製圖像IMG_A的圖像區域“1”，“8”和“7”來生成的。具體地，在編碼器側（例如，第6圖中所示的源電子設備102），複製位於原始區域中的圖像區域“8”的左上角的8×8區塊，以設置位於右側填充區域中的圖像區域“8”的左上角的8×8區塊。因此，在解碼器側（例如，第6圖中所示的目的電子設備604），位於原始區域（即，圖像IMG_A）中的圖像區域“8”的左上角的8×8區塊中的解碼像素可以與位於右側填充區域中的圖像區域“8”的左上角的8×8區塊中的解碼像素混合。如第7圖中所示的像素“A”的重建像素值可以使用如下所示的基於水平距離的加權來計算。(1)
在上面的公式（1）中，AREC 表示第一位置像素（例如，第7圖中所示的像素“A”）的重建像素值，A表示第一位置像素的解碼像素值，B表示第二位置像素（例如，第7圖中所示的像素“B”）的解碼像素值，M表示填充/混合寬度，N表示第一位置像素和與相鄰填充區域連接的相關投影面的邊界之間的距離。在第7圖中，水平距離N由8×8區塊中標記為“1” - “3”的像素表示。在該示例中，對於水平混合，M = 8並且N = 3。
第8圖是根據本發明的實施例的垂直混合操作的示意圖。假設第4圖中所示的填充區域PR_T，PR_B，PR_L，PR_R是基於像素複製生成的，如第5圖所示。因此，在編碼器側（例如，第6圖中所示的源電子設備102），通過複製圖像IMG_A的圖像區域“1” - “3”以獲得複製的部分區域，然後將複製的部分區域旋轉180°，來生成與圖像IMG_A的頂部邊緣S_T連接的一個填充區域（例如，填充區域PR_T的至少一部分）；並且通過複製圖像IMG_A的圖像區域“5” - “7”以獲得複製的部分區域，然後將複製的部分區域旋轉180°，來生成與圖像IMG_A的底部邊緣S_B連接的另一個填充區域（例如，填充區域PR_B的至少一部分）。具體地，在編碼器側（例如，第6圖中所示的源電子設備102），位於原始區域（即，圖像IMG_A）中的圖像區域“2”的左上角的8×8區塊被複製，以設置位於頂部填充區域中的180°旋轉圖像區域“2”的右下角的8×8區塊。因此，在解碼器側（例如，第6圖中所示的目的電子設備604），位於原始區域（即，圖像IMG_A）中的圖像區域“2”的左上角的8×8區塊中的解碼像素可以與位於頂部填充區域中的180°旋轉圖像區域“2”的右下角的8×8區塊中的解碼像素相混合。第8圖中所示的像素“C”的重建像素值可以使用如下所示的基於垂直距離的加權來計算。(2)
在上面的公式（2）中，CREC 表示第一位置像素的重建像素值（例如，第8圖中所示的像素“C”），C表示第一位置像素的解碼像素值，D表示第二位置像素（例如，第8圖中所示的像素“D”）的解碼像素值，M表示填充/混合寬度，N表示第一像素和與相鄰的填充區域連接的相關投影面的邊界之間的距離。在第8圖中，垂直距離N由8×8區塊中標記為“1” - “5”的像素來表示。在該示例中，對於垂直混合，M = 8並且N = 5。
對於某些應用，可以在目的電子設備中實施轉換電路，以將具有第一種360 VR投影佈局的解碼圖框轉換為投影佈局不同的第二種360 VR投影佈局的轉換圖框。例如，從解碼電路生成的解碼圖框可以是將投影面封裝為金字塔投影佈局的圖框，通過轉換電路生成並由圖形渲染電路使用的轉換圖框可以是將投影面封裝在等矩形投影（equirectangular projection，ERP）佈局中的圖框。
位於轉換圖框中的整數位置（即（x，y），其中x和y是整數）的像素可能被映射到位於解碼圖框中的非整數位置（即（x'，y'），其中x'不是整數和/或y'不是整數）的像素。也就是說，當執行投影佈局轉換時，轉換電路需要通過位於解碼圖框中的非整數位置的像素來設置位於轉換圖框中的整數位置處的像素。由於位於非整數位置像素的像素值在解碼圖框中不可直接獲得，因此轉換電路可通過使用插值濾波器處理位於解碼圖框中的整數位置的像素，來確定位於解碼圖框中的非整數位置像素的像素值。在具有非整數位置的像素處於在解碼圖框中封裝的第一投影面和第二投影面之間的邊緣處或附近的情況下，插值濾波器使用的像素可以包括從第一投影面中選擇的至少一個像素和從第二投影面選擇的至少一個像素。如果第一種360度投影佈局中的第一投影面和第二投影面是在連接邊緣處具有圖像內容連續性的連續面，由於採用360 VR投影，則跨越第一投影面和第二投影面之間的邊緣的物體可能會嚴重失真。如此一來，插值濾波器使用的像素可能屬於不同的對象，從而導致轉換圖框中產生偽影。
為解決上述問題，本發明提出了一種創新的投影佈局設計，其在連續投影面之間創建並插入邊緣填充，以減少由用於投影佈局轉換的插值而引入的偽影。第9圖是根據本發明的實施例的第三種360 VR系統的示意圖。轉換電路923包括在目的電子設備904中，以將具有一種360 VR投影佈局的解碼圖框IMG'轉換為具有不同的360 VR投影佈局的轉換圖框IMG''。例如，解碼圖框IMG'可以是將投影面封裝為金字塔投影佈局的圖框，轉換後的圖框IMG''可以是將投影面封裝為等矩形投影（ERP）佈局的圖框。源電子設備902中的轉換電路914用於根據全向圖像/視訊內容S_IN生成具有360VR投影佈局L_VR的基於投影的圖框IMG。值得注意的是，解碼圖框IMG'是解碼的基於投影的圖框，其具有由轉換電路914採用的相同的360 VR投影佈局L_VR。在該實施例中，360 VR投影佈局L_VR由具有連續投影面之間的邊緣填充的創新投影佈局來設置。具體地，填充電路915包括在轉換電路914中，並且被設置為在連續投影面之間創建並插入一個填充區域，以減少由錯誤插值抽頭引起的偽影。
請結合參考第3圖和第10圖。第10圖是在第3圖所示的基於視埠的金字塔投影佈局302中，跨越兩個連續投影面連接邊緣的複數個對象的示意圖。關於第3圖中所示的基於視埠的金字塔投影佈局302，在側部投影面R'的斜邊S51和基部投影面FR的邊S14之間存在圖像內容連續性邊緣，在側部投影面R'的直角邊S52和側部投影面U'的直角邊S23之間存在圖像內容連續性邊緣，在側部投影面R'的直角邊S53和側部投影面B'的直角邊 S42之間存在圖像內容連續性邊緣，在側部投影面L'的直角邊S33和側部投影面U'的直角邊S22之間存在圖像內容連續性邊緣，在側部投影面L'的直角邊S32和側部投影面B'的直角邊S43之間存在圖像內容連續性邊緣。假設當由視訊捕獲設備112捕獲時，對象1002，1004，1006，1008，和1010中的每一個為直（straight）的形狀。由於金字塔投影的固有特性，對象1002在側部投影面R'和基部投影面FR之間的圖像內容連續性邊緣處彎曲（bent），對象1004在側部投影面R'和U'之間的圖像內容連續性邊緣處彎曲，對象1006在側部投影面B'和L'之間的圖像內容連續性邊緣處彎曲，對象1008在側部投影面B'和R'之間的圖像內容連續性邊緣處彎曲，並且對象1010在側部投影面L'和U'之間的圖像內容連續性邊緣處彎曲。當將具有基於視埠的金字塔投影佈局302的解碼圖框轉換為具有不同投影佈局的轉換圖框時，針對任何圖像內容連續性邊緣執行的垂直/水平插值，都可能由於使用位於垂直/水平方向的相鄰像素設置的錯誤的插值抽頭，而將偽影引入轉換圖框中。
為了有效地減少偽影，可以在投影佈局中的連續投影面之間的每個圖像內容連續性邊緣周圍引入填充，並且用於投影格式轉換的插值抽頭可以使用填充的像素。例如，通過360-VR投影將全向圖像/視訊內容映射到投影面上，其中投影面包括第一投影面和第二投影面，如果第一投影面的第一邊與第二投影面的第一邊連接，則在第一投影面的第一邊和第二投影面的第一邊之間存在圖像內容連續性邊緣。填充電路915產生至少一個填充區域，其中包括第一填充區域。轉換電路914組合上述投影面和該至少一個填充區域，其中該第一填充區域與第一投影面的第一邊和第二投影面的第一邊連接，用於將第一投影面的第一邊和第二投影面的第一邊隔離開。
第11圖是根據本發明的實施例的在連續投影面之間具有邊緣填充的基於視埠的金字塔投影佈局的示意圖。例如，轉換電路914使用的360 VR投影佈局L_VR可以由第11圖所示的提出的金字塔投影佈局1102來設置。填充電路915將填充區域PR_1添加到側部投影面R'和基部投影面FR之間的圖像內容連續性邊緣處，將填充區域PR_2添加到側部投影面R'和U'之間的圖像內容連續性邊緣處，將填充區域PR_3添加到側部投影面U'和L'之間的圖像內容連續性邊緣處，將填充區域PR_4添加到側部投影面B'和L'之間的圖像內容連續性邊緣處，並添加填充區域PR_5到側部投影面B'和R'之間的圖像內容連續性邊緣處。
在第一種示例性邊緣填充設計中，填充電路915將幾何填充應用於基部投影面FR和側部投影面R'，以確定填充區域PR_1中包括的像素的像素值；將幾何填充應用於側部投影面R '和U'，以確定填充區域PR_2中包括的像素的像素值；將幾何填充應用於側部投影面U'和L'，以確定填充區域PR_3中包括的像素的像素值；將幾何填充應用於側部投影面對L'和B'，以確定填充區域PR_4中包括的像素的像素值；並將幾何填充應用於側部投影面B'和R'，以確定填充區域PR_5中包括的像素的像素值。
因此，填充區域PR_1包括從基部投影面FR的一個邊延伸的一個幾何映射區域（geometry mapping region）和從側部投影面R'的一個邊延伸的另一個幾何映射區域；填充區域PR_2包括從側部投影面R'的一個邊延伸的一個幾何映射區域和從側部投影面U'的一個邊延伸的另一幾何映射區域；填充區域PR_3包括從側部投影面U'的一個邊延伸的一個幾何映射區域和從側部投影面L'的一個邊延伸的另一幾何映射區域；填充區域PR_4包括從側部投影面L'的一個邊延伸的一個幾何映射區域和從側部投影面B'的一個邊延伸的另一幾何映射區域；填充區域PR_5包括從側部投影面B'的一個邊延伸的一個幾何圖形區域和從側部投影面R'的一個邊延伸的另一幾何圖形區域。如上所述，通過將球體（例如，第2圖中所示的球體202）上的區域的內容映射到幾何映射區域上，來獲得從投影面的一個邊延伸的幾何映射區域，其中位於球體上的該區域與獲得投影面的區域相鄰。
在第二種示例性邊緣填充設計中，填充電路915通過複製包括在基部投影面FR中的像素的像素值和包括在側部投影面R'中的像素的像素值來設置填充區域PR_1中包括的像素的像素值，通過複製包括在側部投影面R'中的像素的像素值和包括在側部投影面U'中的像素的像素值來設置填充區域PR_2中包括的像素的像素值，通過複製包括在側部投影面U'中的像素的像素值和包括在側部投影面L'中的像素的像素值來設置包括在填充區域PR_3中的像素的像素值，通過複製包括在側部投影面L'中的像素的像素值和包括在側部投影面B'中的像素的像素值來設置包括在填充區域PR_4中的像素的像素值，並通過複製包括在側部投影面B'中的像素的像素值和包括在側部投影面R'中的像素的像素值來設置包括在填充區域PR_5中的像素的像素值。
因此，填充區域PR_1包括從基部投影面FR的一個邊延伸的一個複製區域和從側部投影面R'的一個邊延伸的另一複製區域；填充區域PR_2包括從側部投影面R'的一個邊延伸的一個複製區域和從側部投影面U'的一個邊延伸的另一個複製區域；填充區域PR_3包括從側部投影面U'的一個邊延伸的一個複製區域和從側部投影面L'的一個邊延伸的另一複製區域；填充區域PR_4包括從側部投影面L'的一個邊延伸的一個複製區域和從側部投影面B'的一個邊延伸的另一個複製區域；填充區域PR_5包括從側部投影面B'的一個邊延伸的一個複製區域和從側部投影面R'的一個邊延伸的另一個複製區域。
如上所述，可以在投影佈局中的連續投影面之間的每個圖像內容連續性邊緣周圍的引入填充，並且用於投影格式轉換的插值抽頭可以使用填充的像素。值得注意的是，第11圖中所示的基於視埠的金字塔投影佈局1102僅僅是一個例子。實際上，添加填充到連續投影面之間的圖像內容連續性邊緣的概念可以應用於其他投影佈局，包括基於立方體的投影佈局，基於三角形的投影佈局，赤道圓柱投影佈局等。
第12圖是根據本發明的實施例的在連續投影面之間具有邊緣填充的赤道圓柱投影佈局的示意圖。第13圖是根據本發明的實施例的在連續投影面之間具有邊緣填充的四面體投影佈局的示意圖。第14圖是根據本發明的實施例的在連續投影面之間具有邊緣填充的八面體投影佈局的示意圖。第15圖是根據本發明的實施例的在連續投影面之間具有邊緣填充的立方體投影佈局的示意圖。第16圖是根據本發明的實施例的在連續投影面之間具有邊緣填充的截斷的正方形金字塔投影佈局的示意圖。第17圖是根據本發明的實施例的在連續投影面之間具有邊緣填充的基於視埠的立方體投影佈局的示意圖。所提出的投影佈局中的邊緣填充區域如第12-17圖中的粗線所示。
如果第一投影面的第一邊與第二投影面的第一邊連接，則在第一投影面的第一邊和第二投影面的第一邊之間存在圖像內容連續性邊緣。但是，跨越投影佈局中連續投影面的物體可能會遇到嚴重的失真。結果，投影格式轉換所使用的插值可能由於錯誤的插值抽頭而引入偽影。如上所述，可以使用幾何映射來創建填充區域，該填充區域與第一投影面的第一邊和第二投影面的第一邊連接，以將第一投影面的第一邊與第二投影面的第一邊隔離開。填充區域包括從第一投影面的第一邊延伸的第一幾何映射區域和從第二投影面的第一邊延伸的第二幾何映射區域。通過將球體（例如，第2圖中所示的球體202）上的區域的內容映射到幾何映射區域上，來獲得從投影面的一個邊延伸的幾何映射區域，其中球體上的區域與獲得投影面的區域相鄰。如果第一幾何映射區域與第二幾何映射區域連接，則在填充區域的第一幾何映射區域和第二幾何映射區域之間會出現圖像內容不連續邊緣，並且可能對編碼效率產生影響。為了減輕由幾何映射生成的邊緣填充引起的編碼效率降低，可以創建混合區域並將其插入填充區域中的第一幾何映射區域和第二幾何映射區域之間。
第18圖是根據本發明的實施例的在連續投影面之間具有邊緣填充的另一基於視埠的金字塔投影佈局的示意圖。類似於第11圖中所示的基於視埠的金字塔投影佈局1102，基於視埠的金字塔投影佈局1802包括插入在基部投影面FR和側部投影面R'之間的填充區域，插入在側部投影面R'和U'之間的填充區域，插入在側部投影面U'和L'之間的填充區域，插入在側部投影面L'和B'之間的填充區域，以及插入在側部投影面B'和R'之間的填充區域。在該實施例中，插入在基部投影面FR和側部投影面R'之間的填充區域包括從基部投影面FR的一個邊延伸的一個幾何映射區域PR_11，從側部投影面R'的一個邊延伸的另一個幾何映射區域PR_12，以及插入在幾何映射區域PR_11和PR_12之間的一個混合區域BL_1；插入在側部投影面R'和U'之間的填充區域包括從側部投影面R'的一個邊延伸的一個幾何映射區域PR_21，從側部投影面U'的一個邊延伸的另一個幾何映射區域PR_22，以及插入在幾何映射區域PR_21和PR_22之間的一個混合區域BL_2；插入在側部投影面U'和L'之間的填充區域包括從側部投影面U'的一個邊延伸的一個幾何映射區域PR_31，從側部投影面L'的一個邊延伸的另一個幾何映射區域PR_32，以及插入在幾何映射區域PR_31和PR_32之間的一個混合區域BL_3；插入在側部投影面B'和L'之間的填充區域包括從側部投影面B'的一個邊延伸的一個幾何映射區域PR_41，從側部投影面L'的一個邊延伸的另一個幾何映射區域PR_42，以及插入在幾何映射區域PR_41和PR_42之間的一個混合區域BL_4；插入在側部投影面R'和B'之間的填充區域包括從側部投影面R'的一個邊延伸的一個幾何映射區域PR_51，從側部投影面B'的一個邊延伸的另一個幾何映射區域PR_52，以及插入在幾何映射區域PR_51和PR_52之間的一個混合區域BL_5。
在一個示例性混合設計中，可以通過對從幾何映射區域（例如，PR_11和PR_12）獲得的像素進行混合（插值）來生成混合區域（例如，BL_1）。在另一示例性混合設計中，可以通過將混合區域的第一幾何映射結果和混合區域的第二幾何映射結果進行混合來生成混合區域（例如，BL_1），其中混合區域的第一幾何映射結果是從一個幾何映射區域（例如，PR_11）擴展得到的，並且混合區域的第二幾何映射結果是從另一個幾何映射區域（例如，PR_12）擴展得到的。然而，這些僅用於說明目的，並不意味著是對本發明的限制。
如第9圖所示，填充電路915包括在編碼器側（即，源電子設備902）的轉換電路914中。因此，在編碼之前執行邊緣填充。在替代設計中，可以在編碼之後執行邊緣填充。也就是說，填充電路可以實現在解碼器側，用於將邊緣填充添加到解碼圖框，該解碼圖框具有封裝在不具有邊緣填充的投影佈局中的複數個投影面。
第19圖是根據本發明的實施例的第四種360 VR系統的示意圖。 360 VR系統900和1900之間的主要區別在於，編碼器側（即，源電子設備1902）的轉換電路1914沒有用於邊緣填充的填充電路，以及解碼器側（即，目的電子設備1904）的轉換電路1923具有用於邊緣填充的填充電路1924。轉換電路1914採用的360 VR投影佈局L_VR由不具有邊緣填充的投影佈局來設置。因此，從解碼電路122生成的解碼圖框IMG'是基於投影的圖框，其具有封裝在不具有邊緣填充的投影佈局中的複數個投影面。填充電路1924的功能和操作與填充電路915的功能和操作相同/相似。例如，填充電路1924生成一個填充區域，該填充區域被添加到在解碼圖框IMG'中封裝的連續投影面之間的圖像內容連續性邊緣。具體地，封裝在解碼圖框IMG'中的投影面包括第一投影面和第二投影面，其中第一投影面的第一邊與第二投影面的第一邊連接，並且在第一投影面的第一邊和第二投影面的第一邊之間存在圖像內容連續性邊緣。填充電路1924產生至少一個填充區域，其中包括第一填充區域。轉換電路1923將由解碼電路122產生的解碼圖框IMG'中的投影面和由填充電路1924產生的填充區域組合起來，其中第一填充區域與第一投影面的第一邊和第二投影面的第一邊連接，用於將第一投影面的第一邊與第二投影面的第一邊隔離開。在生成具有邊緣填充的投影佈局（例如，第11-17圖中所示的投影佈局之一）的圖框之後，轉換電路1923將具有邊緣填充的投影佈局（例如，具有邊緣填充的金字塔投影佈局）的圖框轉換為具有不同投影佈局的轉換圖框IMG''（例如，不具有邊緣填充的典型ERP佈局）。
如上所述，由於在連續投影面之間的邊緣上的物體可能被所採用的360 VR投影嚴重扭曲的事實，可能由錯誤的插值抽頭引入偽影。為解決這個問題，一種解決方案是使用在連續投影面之間具有邊緣填充的投影佈局設計，以減少由用於投影佈局轉換的插值引入的偽影。本發明還提出了一種替代解決方案，其改變插值方向以實現減少由用於投影佈局轉換的插值引入的偽影的相同目的。
第20圖是根據本發明的實施例的投影佈局轉換的示意圖。由轉換電路923/1923執行的投影佈局轉換包括用於將第一種360 VR投影格式的投影佈局L_VR1轉換為第二種360 VR投影格式的投影佈局L_VR2的格式轉換操作。例如，投影佈局L_VR1可以是基於視埠的金字塔投影佈局，並且投影佈局L_VR2可以是ERP佈局。在第20圖中，位於具有投影佈局L_VR2的轉換圖框IMG''中的整數位置（即（x，y），其中x和y是整數位置）的像素P被映射到位於具有投影佈局L_VR1的解碼圖框中的非整數位置（即（x'，y'），其中x'不是整數位置和/或y'不是整數位置）的像素Q。也就是說，轉換電路923/1923可以將轉換圖框中的像素P由解碼圖框中的像素Q轉換得到。轉換電路923/1923可以通過使用插值濾波器來處理位於解碼圖框中的整數位置處的像素，以確定於解碼圖框中的非整數位置處的像素Q的像素值。
假設具有非整數位置的像素Q位於具有投影佈局L_VR1的解碼圖框中封裝的第一投影面和第二投影面之間的邊緣處或附近，插值濾波器使用的像素可以包括從第一投影面選擇的至少一個像素和從第二投影面選擇的至少一個像素。如果在第一投影佈局L_VR1中封裝的第一投影面和第二投影面是在兩者之間的邊緣處具有圖像內容連續性的連續面，則由於採用360 VR投影，跨越第一投影面和第二投影面之間的邊緣的物體可能會嚴重失真。例如，像素P1，P2和P3位於具有投影佈局L_VR1的解碼圖框中的整數位置，其中像素P1和P3位於沿著投影的方向並且屬同一對象，並且像素P2和P3位於沿著直線方向（例如，垂直方向）並且屬於不同的物體。如果通過沿垂直方向對像素（包括P2和P3）執行垂直插值來確定像素Q的像素值，則由於錯誤的插值抽頭而在像素P的整數位置處引入偽影。為解決該問題，轉換電路923/1923被佈置為改變插值方向，使得通過沿投影方向對像素（包括P1和P3）執行插值來確定像素Q的像素值。在該示例中，投影方向不是作為直線方向的原始插值方向。
在基於視埠的投影佈局（例如，基於視埠的金字塔投影佈局，截斷的正方形金字塔投影佈局或基於視埠的立方體投影佈局）中封裝的投影面包括對應於用戶的視埠（即，主視圖）的第一投影面和對應於非主視圖的第二投影面。例如，採用第3圖中所示的基於視埠的金字塔投影佈局302作為示例，基部投影面FR對應於主視圖，並且四個側部投影面U'，B'，L'和R'對應於非主視圖。由於用戶關注的內容是主視圖投影面中表示的圖像內容，因此在主視圖投影面中表示的圖像內容比在非主視圖投影面中表示的圖像內容更重要。基於這樣的觀察，本發明提出將平滑濾波應用於在非主視圖投影面中表示的圖像內容的至少一部分（即，部分或全部），以減少偽影並提高編碼效率。
第21圖是根據本發明的實施例的第五種360 VR系統的示意圖。編碼器側（即，源電子設備2102）的轉換電路2111根據全向圖像/視訊內容S_IN生成具有360VR投影佈局L_VR的基於投影的圖框IMG。在該實施例中，360VR投影佈局L_VR由基於視埠的投影佈局（例如，基於視埠的金字塔投影佈局，截斷的正方形金字塔投影佈局或基於視埠的立方體投影佈局）設置。因此，基於投影的圖框IMG具有封裝在基於視埠的投影佈局中的主視圖投影面和複數個非主視圖投影面。源電子設備2102還具有耦接在轉換電路2111和視訊編碼器116之間的平滑濾波器2112。平滑濾波器2112被佈置為對在非主視圖投影面中所表示的圖像內容的至少一部分（即，部分或全部）應用平滑濾波，並輸出平滑濾波圖框IMG''到視訊編碼器116。例如，平滑濾波器2112可以是能夠應用不同平滑濾波操作（例如，具有不同強度的平滑濾波）到在非主視圖投影面中表示的圖像內容中的不同區域的自適應平滑濾波器。視訊編碼器116是用於編碼/壓縮平滑濾波圖框IMG''以產生位元流BS的一部分的編碼電路。此外，視訊編碼器116經由傳輸裝置103將位元流BS輸出到目的電子設備104。平滑濾波器（例如，自適應平滑濾波器）2112的進一步細節描述如下。
第22圖是根據本發明的實施例的基於視埠的金字塔投影佈局中的經度線和緯度線的分佈的示意圖。經度和緯度ERP地圖（longitude and latitude ERP map）將轉換為基於視埠的金字塔投影佈局。部分圖像2202由對應於主視圖的基部投影面表示，並且部分圖像2204由對應於非主視圖的四個側部投影面表示。不同的水平視場（field of view，FOV）範圍可以由第22圖中所示的經度線定義。不同的垂直FOV範圍可以由第22圖中所示的緯度線定義。因此，可以根據FOV範圍將非主視圖的部分圖像2204劃分為若干區域。
第23圖是根據本發明的實施例的非主視圖的部分圖像2204的第一分區設計的示意圖。部分圖像2204中的區域可以由垂直FOV範圍（vFOV）和水平FOV範圍（hFOV）來定義。在該實施例中，部分圖像2204被劃分為複數個區域RA，RB，RC和RD。區域RA具有由vFOV≥180°和hFOV≥180°限定的FOV範圍。區域RB具有由180°＞vFOV≥150°和180°＞hFOV≥150°限定的FOV範圍。區域RC具有由150°＞vFOV≥120°和150°＞hFOV≥120°限定的FOV範圍。區域RD具有由120°＞vFOV≥90°和120°＞hFOV≥90°限定的FOV範圍。然而，這僅用於說明目的，並不意味著是對本發明的限制。實際上，可以根據FOV範圍的不同組合將部分圖像2204劃分成複數個區域。
區域RD中表示的圖像內容比區域RC中表示的圖像內容更接近主視圖，區域RC中表示的圖像內容比區域RB中表示的圖像內容更接近主視圖，並且區域RB中表示的圖像內容比區域RA中表示的圖像內容更接近主視圖。因此，平滑濾波器2112將具有第一平滑濾波強度S1的第一平滑濾波操作應用於區域RD，將具有第二平滑濾波強度S2的第二平滑濾波操作應用於區域RC，將具有第三平滑濾波強度S3的第三平滑濾波操作應用到區域RB，並且將具有第四平滑濾波強度S4的第四平滑濾波操作應用於區域RA，其中S4＞ S3＞ S2＞ S1。當採用更強的平滑濾波強度時，從平滑濾波器2112輸出更模糊的區域，並且可以使用更少數量的位元來編碼。當採用較弱的平滑濾波強度時，從平滑濾波器2112輸出較少模糊的區域，並且可以使用較大數量的位元對其進行編碼。
為了簡化平滑濾波器2112的實際實現，可以採用矩形邊界來定義部分圖像2204中的複數個區域。第24圖是根據本發明的實施例的非主視圖的部分圖像2204的第二分區設計的示意圖。可以從垂直FOV範圍（vFOV）和水平FOV範圍（hFOV）計算部分圖像2204中的區域的矩形邊界。在該實施例中，根據矩形邊界將部分圖像2204劃分為複數個區域RA'，RB'，RC'和RD'。例如，第24圖中所示的區域RA'可以與第23圖中所示的區域RA相同。因此，區域RA'是具有由vFOV≥180°和hFOV≥180°定義的FOV範圍的正方形區域。第24圖中所示的區域RB'小於第23圖中所示的區域RB，其中區域RB'的外矩形邊界完全在由180°＞vFOV≥150°和180°＞hFOV≥150°限定的FOV範圍內。第24圖中所示的區域RC'小於第23圖中所示的區域RC，其中區域RC'的外矩形邊界完全在由150°＞vFOV≥120°和150°＞hFOV≥120°限定的FOV範圍內。第24圖中所示的區域RD'大於第23圖中所示的區域RD，其中區域RD'的內矩形邊界不完全在由120°＞vFOV≥90°和120°＞hFOV≥90°限定的FOV範圍內。
區域RD'中表示的圖像內容比區域RC'中表示的圖像內容更接近主視圖，區域RC'中表示的圖像內容比區域RB'中表示的圖像內容更接近主視圖，並且在區域RB'中表示的圖像內容比在區域RA'中表示的圖像內容更接近主視圖。因此，平滑濾波器2112將具有第一平滑濾波強度S1'的第一平滑濾波操作應用於區域RD'，將具有第二平滑濾波強度S2'的第二平滑濾波操作應用於區域RC'，將具有第三平滑濾波強度S3'的第三平滑濾波操作應用於區域RB'，並將具有第四平滑濾波強度S4'的第四平滑濾波操作應用於區域RA'，其中S4'＞ S3'＞ S2'＞ S1'。當採用更強的平滑濾波強度時，從平滑濾波器2112輸出更模糊的區域，並且可以使用更少數量的位元來編碼。當採用較弱的平滑濾波強度時，從平滑濾波器2112輸出較少模糊的區域，並且可以使用較大數量的位元對其進行編碼。
第25圖是根據本發明的實施例的從ERP佈局導出的基於視埠的投影佈局的示意圖。ERP佈局2502可以直接轉換為所提出的基於視埠的投影佈局2504。可以通過球體（例如，第2圖中所示的球體202）的全向圖像/視訊內容的等角矩形投影獲得單個投影面。可以通過ERP佈局2502的經度來定義不同的水平FOV範圍。可以通過ERP佈局2502的緯度來定義不同的垂直FOV範圍。因此，ERP佈局2502中的單個投影面根據FOV範圍被劃分為複數個區域（用字母標記為 “A”，“B”，“C”，“D”，“E”和“F”）。在該實施例中，區域“A”的圖像內容對應於用戶的視埠（即，主視圖），並且區域“B” - “F”的圖像內容對應於非主視圖。第25圖中的符號“vFOV 90”表示vFOV = 90°。第25圖中的符號“vFOV 180”表示vFOV = 180°。第25圖中的符號“hFOV 90” 符號表示hFOV = 90°，並且第25圖中的符號“hFOV 180”表示hFOV = 180°。在該示例中，區域“A”具有由vFOV 90和hFOV 90定義的FOV範圍。然而，區域“A”可以是可調節的，其中hFOV和vFOV可在{0°，180°}的範圍內調節。
在ERP佈局2502中的單個投影面被劃分為區域“A” - “F”之後，對區域“B” - “F”中的每一個進行適當的重採樣以調整其形狀和/或尺寸，然後區域“A”和重採樣區域“B” - “F”被封裝到基於視埠的投影佈局2504中。值得注意的是字母“A”/“B”/“C” /“D”/“E”/“F”的方向，表示由字母“A”/“B”/“C”/“D”/“E”/“F”標記的相應區域的方向。
所屬領域中具有習知技術者將容易地觀察到，可以在不偏離本發明的範圍和精神的情況下，可以對裝置和方法進行各種變形。因此，上述公開內容應被解釋為僅受所附申請專利範圍的範圍和界限的限制。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100、600、900‧‧‧360 VR系統
102、902、1902、2102‧‧‧源電子設備
103‧‧‧傳輸裝置
104、604、904、1904‧‧‧目的電子設備
112‧‧‧視訊捕獲設備
114、914、1914、2111‧‧‧轉換電路
115、915、1924‧‧‧填充電路
116‧‧‧視訊編碼器
122、622‧‧‧解碼電路
124‧‧‧圖形渲染電路
126‧‧‧顯示螢幕
202‧‧‧球體
204‧‧‧金字塔
206‧‧‧基部
208‧‧‧側部投影面
300、400‧‧‧金字塔投影佈局
302、1802‧‧‧基於視埠的金字塔投影佈局
624‧‧‧混合電路
923、1923‧‧‧轉換電路
1002、1004、1006、1008、1010‧‧‧對象
1102‧‧‧金字塔投影佈局
2112‧‧‧平滑濾波器
2202、2204‧‧‧部分圖像
2502‧‧‧ERP佈局
2504‧‧‧基於視埠的投影佈局
第1圖是根據本發明的實施例的第一種360度虛擬現實（360 VR）系統的示意圖。 第2圖是根據本發明的實施例的金字塔投影（pyramid projection ）方法的示意圖。 第3圖是根據本發明的實施例的基於視埠的金字塔投影佈局（viewport-based pyramid projection layout）的示意圖。 第4圖是根據本發明的實施例的具有邊界填充的基於視埠的金字塔投影佈局的示意圖。 第5圖是根據本發明實施例的通過像素複製生成的邊界填充區域的示意圖。 第6圖是根據本發明的實施例的第二種360 VR系統的示意圖。 第7圖是根據本發明的實施例的水平混合操作的示意圖。 第8圖是根據本發明的實施例的垂直混合操作的示意圖。 第9圖是根據本發明的實施例的第三種360 VR系統的示意圖。 第10圖是在第3圖所示的基於視埠的金字塔投影佈局中，跨越兩個連續投影面連接邊緣的複數個對象的示意圖。 第11圖是根據本發明的實施例的在連續投影面之間具有邊緣填充的基於視埠的金字塔投影佈局的示意圖。 第12圖是根據本發明的實施例的在連續投影面之間具有邊緣填充的赤道圓柱投影佈局（equatorial cylindrical projection layout）的示意圖。 第13圖是根據本發明的實施例的在連續投影面之間具有邊緣填充的四面體（tetrahedron）投影佈局的示意圖。 第14圖是根據本發明的實施例的在連續投影面之間具有邊緣填充的八面體（octahedron）投影佈局的示意圖。 第15圖是根據本發明的實施例的在連續投影面之間具有邊緣填充的立方體（cubemap）投影佈局的示意圖。 第16圖是根據本發明的實施例的在連續投影面之間具有邊緣填充的截斷的正方形（truncated square）金字塔投影佈局的示意圖。 第17圖是根據本發明的實施例的在連續投影面之間具有邊緣填充的基於視埠的立方體投影佈局的示意圖。 第18圖是根據本發明的實施例的在連續投影面之間具有邊緣填充的另一基於視埠的金字塔投影佈局的示意圖。 第19圖是根據本發明的實施例的第四種360 VR系統的示意圖。 第20圖是根據本發明的實施例的投影佈局轉換的示意圖。 第21圖是根據本發明的實施例的第五種360 VR系統的示意圖。 第22圖是根據本發明的實施例的基於視埠的金字塔投影佈局中的經度線（longitude line）和緯度線（latitude line）的分佈的示意圖。 第23圖是根據本發明的實施例的非主視圖的部分圖像的第一種分區設計的示意圖。 第24圖是根據本發明的實施例的非主視圖的部分圖像的第二種分區設計的示意圖。 第25圖是根據本發明的實施例的從ERP佈局導出的基於視埠的投影佈局的示意圖。

Claims (20)

  1. 一種視訊處理方法，包括： 接收對應於球體的全向內容； 根據金字塔投影從該球體的該全向內容中獲得複數個投影面； 通過填充電路產生至少一個填充區域； 以及 通過封裝在金字塔投影佈局中的該些投影面和該至少一個填充區域，來產生基於投影的圖框，其中封裝在該金字塔投影佈局的該些投影面包括第一投影面；封裝在該金字塔投影佈局中的該至少一個填充區域包括第一填充區域；該第一填充區域至少與該第一投影面連接，並至少形成該金字塔投影佈局的一個邊界的一部分。
  2. 如申請專利範圍第1項所述之視訊處理方法，其中，該些投影面包括封裝在該金字塔投影佈局中的基部投影面，第一側部投影面，第二側部投影面，第三側部投影面和第四側部投影面；該基部投影面的第一邊與該第一側部投影面的第一邊連接；該第一側部投影面的第二邊與該第二側部投影面的第一邊連接；該第二側部投影面的第二邊與該第三側部投影面的第一邊連接；該第三側部投影面的第二邊與該第四側部投影面的第一邊連接；該第四側部投影面的第二邊與該第一側部投影面的第三邊連接；以及該第一投影面是該基部投影面，該第一側部投影面，該第二側部投影面，該第三側部投影面和該第四側部投影面中的一個。
  3. 如申請專利範圍第2項所述之視訊處理方法，其中，在該金字塔投影佈局中封裝的該至少一個填充區域還包括第二填充區域，第三填充區域和第四填充區域；該第一填充區域與該基部投影面的第二邊和該第二側部投影面的第三邊連接，並形成該金字塔投影佈局的第一邊界；該第二填充區域與該第三側部投影面的第三邊連接，並形成該金字塔投影佈局的第二邊界；該第三填充區域與該基部投影面的第三邊連接，並形成該金字塔投影佈局的第三邊界；該第四填充區域與該基部投影面的第四邊和該第四側部投影面的第三邊連接，並形成該金字塔投影佈局的第四邊界。
  4. 如申請專利範圍第1項所述之視訊處理方法，其中，該產生至少一個填充區域的步驟包括： 將幾何填充應用於該第一投影面，以確定包括在該第一填充區域中的像素的像素值。
  5. 如申請專利範圍第1項所述之視訊處理方法，其中，該產生至少一個填充區域的步驟包括： 通過複製包括在該第一投影面中的特定像素的像素值，來設置包括在該第一填充區域中的像素的像素值。
  6. 如申請專利範圍第5項所述之視訊處理方法，其中，該第一填充區域與該第一投影面的一個邊連接，並且該特定像素包括位於該第一投影面的該一個邊的邊界像素。
  7. 如申請專利範圍第5項所述之視訊處理方法，其中，該第一填充區域與該第一投影面的一個邊連接，並且該特定像素不包括位於該第一投影面的該一個邊的邊界像素。
  8. 如申請專利範圍第1項所述之視訊處理方法，還包括： 編碼具有封裝在該金字塔投影佈局中的該些投影面和該至少一個填充區的該基於投影的圖框，以生成位元流的一部分。
  9. 如申請專利範圍第8項所述之視訊處理方法，還包括： 解碼該位元流的一部分以生成解碼的基於投影的圖框，該解碼的基於投影的圖框具有封裝在該金字塔投影佈局中的該些投影面和該至少一個填充區域，包括： 通過混合在該第一投影面中的第一個位置的像素的解碼像素值和在該至少一個填充區域中的第二個位置的像素的解碼像素值，重建該第一個位置的像素。
  10. 如申請專利範圍第9項所述之視訊處理方法，其中，在編碼/壓縮前，在該基於投影的圖框中的至少一個填充區域中的該第二個位置的像素的像素值是通過複製該第一投影面中的該第一個位置的像素的像素值來生成的。
  11. 如申請專利範圍第10項所述之視訊處理方法，其中，通過使用以下公式計算該第一個位置的像素的重建像素值：，其中，SREC 表示該第一個位置的像素的該重建像素值，S表示該第一個位置的像素的該解碼像素值，T表示該第二個位置的像素的該解碼像素值，M表示混合寬度，以及N表示該第一個位置的像素和與該第一填充區域連接的該第一投影面的邊界之間的距離。
  12. 一種視訊處理方法，包括： 根據360度虛擬現實投影從球體的全向內容中獲得複數個投影面，其中包括第一投影面和第二投影面，如果該第一投影面的一個邊與該第二投影面的一個邊連接，則在該第一投影面的該一個邊與該第二投影面的該一個邊之間存在圖像內容連續性邊緣； 通過填充電路產生至少一個填充區域，其中包括第一填充區域；以及 該至少一個填充區域和該些投影面被封裝在投影佈局中，其中該第一填充區域與該第一投影面的該一個邊連接，並且該第一填充區域與該第二投影面的一個邊連接，該第一填充區域用於將該第一投影面與該第二投影面隔離開。
  13. 如申請專利範圍第12項所述之視訊處理方法，還包括： 編碼具有封裝在該360度虛擬現實投影佈局中的該至少一個填充區域和該些投影面的基於投影的圖框，以生成位元流的一部分。
  14. 如申請專利範圍第12項所述之視訊處理方法，其中獲得複數個投影面的步驟包括： 解碼位元流的一部分以獲得封裝在該360度虛擬現實投影佈局中的該些投影面，其中根據該360度虛擬現實投影佈局，該第一投影面的一個邊與該第二投影面的該一個邊連接。
  15. 如申請專利範圍第12項所述之視訊處理方法，其中，生成至少一個填充區域的步驟包括： 將幾何填充應用於該第一投影面和該第二投影面，以確定包括在該第一填充區域中的像素的像素值。
  16. 如申請專利範圍第12項所述之視訊處理方法，生成至少一個填充區域的步驟包括： 通過複製包括在該第一投影面中的第一個位置的像素的像素值和包括在該第二投影面中的第二個位置的像素的像素值，來設置包括在該第一填充區域中的像素的像素值。
  17. 如申請專利範圍第12項所述之視訊處理方法，其中，第一種基於投影的圖框包括封裝在第一種360度虛擬現實投影佈局中的該至少一個填充區域和該些投影面，將具有該第一360度虛擬現實投影佈局的該第一種基於投影的圖框轉換為具有第二種360度虛擬現實投影佈局的第二種基於投影的圖框時，在該至少一個填充區域中的像素會被用於插值計算，其中該第二種360度虛擬現實投影佈局與該第一種360度虛擬現實投影佈局不同。
  18. 如申請專利範圍第12項所述之視訊處理方法，其中，第一種基於投影的圖框包括封裝在第一種360度虛擬現實投影佈局中的該至少一個填充區域和該些投影面，並且具有該第一種360度虛擬現實投影佈局的該第一種基於投影的圖框被轉換為具有第二種360度虛擬現實投影佈局的第二種基於投影的圖框，其中該第二種360度虛擬現實投影佈局不同於該第一種360度虛擬現實投影佈局；通過對該第一種基於投影的圖框中的像素執行插值來確定該第二種基於投影的圖框中的像素，其中插值來源的像素沿著投影方向定位，該投影方向不一定是直線方向。
  19. 一種視訊處理方法，包括： 接收對應於球體的全向內容； 從該球體的該全向內容獲得複數個投影面，其中包括對應於主視圖的第一投影面和對應於非主視圖的至少一個第二投影面；以及 通過將該些投影面封裝在基於視埠的投影佈局中並至少對該至少一個第二投影面的一部分應用平滑濾波，來生成基於投影的圖框。
  20. 如申請專利範圍第19項所述之視訊處理方法，其中，該至少一個第二投影面包括對應於不同視場範圍的第一區域和第二區域；以及應用平滑濾波的步驟包括：將具有第一平滑濾波強度的第一平滑濾波操作應用於該第一區域；以及 將具有第二平滑濾波強度的第二平滑濾波操作應用於該第二區域，其中該第二平滑濾波強度不同於該第一平滑濾波強度。
TW107128750A 2017-08-18 2018-08-17 用於減少基於投影的圖框中的偽影的方法和裝置 TWI681662B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762547126P 2017-08-18 2017-08-18
US62/547,126 2017-08-18
US201762563787P 2017-09-27 2017-09-27
US62/563,787 2017-09-27
??PCT/CN2018/100933 2018-08-17
PCT/CN2018/100933 WO2019034131A1 (en) 2017-08-18 2018-08-17 METHOD AND APPARATUS FOR REDUCING ARTIFACTS IN A PROJECTION-BASED FRAME
WOPCT/CN2018/100933 2018-08-17

Publications (2)

Publication Number Publication Date
TW201921917A true TW201921917A (zh) 2019-06-01
TWI681662B TWI681662B (zh) 2020-01-01

Family

ID=65362778

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107128750A TWI681662B (zh) 2017-08-18 2018-08-17 用於減少基於投影的圖框中的偽影的方法和裝置

Country Status (5)

Country Link
US (1) US11494870B2 (zh)
CN (1) CN111034191A (zh)
DE (1) DE112018002432T5 (zh)
TW (1) TWI681662B (zh)
WO (1) WO2019034131A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
GB2586095B (en) * 2018-03-22 2023-03-01 Mediatek Inc Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067227A (ja) 1998-08-25 2000-03-03 Canon Inc 画像表示装置、方法および記憶媒体
JP3306397B2 (ja) 1999-11-25 2002-07-24 株式会社ソニー・コンピュータエンタテインメント エンタテインメント装置、画像生成方法および記憶媒体
WO2004047009A2 (en) 2002-11-15 2004-06-03 Esc Entertainment, A California Corporation Method for digitally rendering skin or like materials
US7308131B2 (en) 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
KR100732958B1 (ko) 2004-08-13 2007-06-27 경희대학교 산학협력단 20면체 파노라마 영상의 부호화 및 복호화를 위한 방법 및장치
JP4680104B2 (ja) 2006-03-22 2011-05-11 日本電信電話株式会社 パノラマ画像作成方法
CN100542298C (zh) 2007-09-29 2009-09-16 中国科学院计算技术研究所 一种柱面全景视频编码的块尺寸计算方法和传输方法
US8638327B2 (en) 2007-11-14 2014-01-28 Microsoft Corporation Tiled projections for planar processing of round earth data
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US9245373B2 (en) 2012-12-04 2016-01-26 Nintendo Co., Ltd. Caching in map systems for displaying panoramic images
KR20140100656A (ko) 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
CN104219584B (zh) * 2014-09-25 2018-05-01 广东京腾科技有限公司 基于增强现实的全景视频交互方法和系统
EP3267688A4 (en) * 2015-03-05 2018-08-01 Sony Corporation Image processing device and image processing method
WO2016140060A1 (ja) 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法
KR102313485B1 (ko) 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
CN107439010B (zh) 2015-05-27 2022-01-04 谷歌公司 流传输球形视频
US20160353146A1 (en) 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
US9665978B2 (en) * 2015-07-20 2017-05-30 Microsoft Technology Licensing, Llc Consistent tessellation via topology-aware surface tracking
US9858706B2 (en) 2015-09-22 2018-01-02 Facebook, Inc. Systems and methods for content streaming
CN108293110B (zh) 2015-11-23 2022-07-05 韩国电子通信研究院 多视点视频编码/解码方法
CN205545713U (zh) * 2016-01-26 2016-08-31 天津市商久盛源科技股份有限公司 基于全息金字塔的3d全息投影装置
US10225546B2 (en) 2016-02-26 2019-03-05 Qualcomm Incorporated Independent multi-resolution coding
GB2548358A (en) 2016-03-15 2017-09-20 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video
US10319071B2 (en) 2016-03-23 2019-06-11 Qualcomm Incorporated Truncated square pyramid geometry and frame packing structure for representing virtual reality video content
US10645362B2 (en) * 2016-04-11 2020-05-05 Gopro, Inc. Systems, methods and apparatus for compressing video content
US9721393B1 (en) 2016-04-29 2017-08-01 Immersive Enterprises, LLC Method for processing and delivering virtual reality content to a user
CN205721064U (zh) * 2016-05-04 2016-11-23 北京红辣椒信息科技有限公司 旋转屏幕的3d投影装置
CN106056531B (zh) 2016-05-13 2019-07-16 杭州当虹科技股份有限公司 一种360度全景视频球面展开到平面的显示方法
CN105898254B (zh) 2016-05-17 2018-10-23 北京金字塔虚拟现实科技有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、系统
EP3761645A1 (en) * 2016-05-26 2021-01-06 Vid Scale, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
CN105915907B (zh) 2016-06-07 2019-07-26 北京圣威特科技有限公司 全景图的压缩方法、装置及系统
KR102506480B1 (ko) 2016-06-14 2023-03-07 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
TWI775760B (zh) 2016-07-08 2022-09-01 美商Ｖｉｄ衡器股份有限公司 使用幾何投影360度視訊編碼
CN106162139B (zh) * 2016-08-04 2018-03-30 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置
CN106358033B (zh) 2016-08-25 2018-06-19 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
KR102545195B1 (ko) * 2016-09-12 2023-06-19 삼성전자주식회사 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
US20180098131A1 (en) * 2016-09-30 2018-04-05 Avago Technologies General Ip (Singapore) Pte. Ltd. Apparatus and methods for adaptive bit-rate streaming of 360 video
US20190253624A1 (en) 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
US10643370B2 (en) 2016-10-07 2020-05-05 Mediatek Inc. Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in octahedron projection layout
CN106686381A (zh) 2016-12-05 2017-05-17 乐视控股（北京）有限公司 一种视频解码方法、装置和电子设备
EP3334164B1 (en) 2016-12-09 2019-08-21 Nokia Technologies Oy A method and an apparatus and a computer program product for video encoding and decoding
US10560660B2 (en) * 2017-01-04 2020-02-11 Intel Corporation Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission
CN106846245B (zh) 2017-01-17 2019-08-02 北京大学深圳研究生院 基于主视点的全景视频映射方法
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US10979663B2 (en) 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
GB2573951A (en) 2017-04-05 2019-11-20 Mediatek Inc Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
US10375375B2 (en) * 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same
US20180342043A1 (en) * 2017-05-23 2018-11-29 Nokia Technologies Oy Auto Scene Adjustments For Multi Camera Virtual Reality Streaming
US10621767B2 (en) 2017-06-12 2020-04-14 Qualcomm Incorporated Fisheye image stitching for movable cameras
EP3422724B1 (en) * 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
US20190005709A1 (en) 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10679415B2 (en) * 2017-07-05 2020-06-09 Qualcomm Incorporated Enhanced signaling of regions of interest in container files and video bitstreams
CN107622474B (zh) 2017-09-26 2021-03-30 北京大学深圳研究生院 基于主视点的全景视频映射方法
EP3724858A4 (en) 2017-12-14 2021-01-13 Samsung Electronics Co., Ltd. PROCEDURE AND DEVICE FOR MANAGING IMMERSIVE DATA

Also Published As

Publication number Publication date
DE112018002432T5 (de) 2020-01-23
US20200234399A1 (en) 2020-07-23
WO2019034131A1 (en) 2019-02-21
CN111034191A (zh) 2020-04-17
US11494870B2 (en) 2022-11-08
TWI681662B (zh) 2020-01-01

Similar Documents

Publication Publication Date Title
CN110383842B (zh) 一种视频处理方法和装置
US10356386B2 (en) Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
US11004173B2 (en) Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
TWI666912B (zh) 具有由封包於分段球體投影設計並以投影面表示之360度內容之投影訊框生成及編碼之方法及裝置
TWI702567B (zh) 用於處理包括封裝在360度虛擬現實投影佈局中的至少一個投影面的基於投影的圖框的方法
TWI690728B (zh) 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法
US10825229B2 (en) Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in triangle-based projection layout
TWI681662B (zh) 用於減少基於投影的圖框中的偽影的方法和裝置
US10573076B2 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport-based cube projection layout
US11405629B2 (en) Video decoding method for decoding part of bitstream to generate projection-based frame with constrained guard band size and/or constrained projection face size and associated electronic device
CN109845270B (zh) 一种视频处理方法和装置