TWI690728B - 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法 - Google Patents

用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法 Download PDF

Info

Publication number
TWI690728B
TWI690728B TW108106860A TW108106860A TWI690728B TW I690728 B TWI690728 B TW I690728B TW 108106860 A TW108106860 A TW 108106860A TW 108106860 A TW108106860 A TW 108106860A TW I690728 B TWI690728 B TW I690728B
Authority
TW
Taiwan
Prior art keywords
projection
primitive
zoom
projection surface
area
Prior art date
Application number
TW108106860A
Other languages
English (en)
Other versions
TW201945790A (zh
Inventor
李亞璇
林建良
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201945790A publication Critical patent/TW201945790A/zh
Application granted granted Critical
Publication of TWI690728B publication Critical patent/TWI690728B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

一種視訊處理方法，包括：根據基於立方體的投影從球體的全向內容中獲取複數個正方形投影面，分別縮放該等正方形投影面，生成複數個縮放投影面，創建至少一個填充區域，通過在該基於立方體的投影的投影佈局中堆疊該等縮放投影面和該至少一個填充區域來生成基於投影的圖框，並且對該基於投影的圖框進行編碼以生成位元流的一部分。

Description

用於處理包括堆疊在具有填充的基於立方體的投影佈局 中的投影面的基於投影的圖框的方法
本申請案主張於2018年3月2日提交的美國臨時申請號62/637,425、於2018年7月31日提交的美國臨時申請號62/712,290之權利。相關申請的全部內容，包括美國臨時申請號62/637,425和美國臨時申請號62/712,290，在此以引用方式併入本文中。
本發明涉及處理全向圖像/視訊內容，更具體地，涉及一種用於處理基於投影的圖框的方法，該基於投影的圖框包括堆疊在具有填充的基於立方體的投影佈局中的複數個投影面。
具有頭戴式顯示器(head-mounted display，HMD)的虛擬實境(VR)與各種應用相關。向使用者顯示較寬區域的觀看內容的能力可以用於提供身臨其境的視覺體驗。必須在所有方向擷取現實世界環境，得到對應於球體的全向圖像/視訊內容。隨著攝像機設備和HMD的發展，由於呈現這種360度圖像/視訊內容所需的高位元速率，所以VR內容的傳送可能很快變成瓶頸。當全向視訊的解析度是4k或者更高時，資料壓縮/編碼對降低位元速率是至關重要的。
通常，對應於球體的全向視訊內容被變換為圖像序列，每個圖像是 具有由排列在360度虛擬實境(360VR)中的一個或複數個投影面所表示的360度圖像內容的基於投影的圖框，然後基於投影的圖框序列被編碼成位元流以用於傳輸。基於投影的圖框可以在佈局邊界和/或面邊緣處具有圖像內容不連續性。如此一來，壓縮之後的佈局邊界和/或面邊緣周圍的圖像質量可能較差。此外，藉由解碼的基於投影的圖框的投影佈局轉換可能引入偽影，從而導致轉換的基於投影的圖框的圖像質量劣化。
本發明的目的之一是提供一種用於處理基於投影的圖框的方法，該基於投影的圖框包括堆疊在具有填充的基於立方體的投影佈局中的投影面。
根據本發明的第一方面，公開了一種示例性視訊處理方法。該示例性視訊處理方法包括：根據基於立方體的投影從球體的全向內容獲得複數個正方形投影面；分別縮放該等正方形投影面以生成複數個縮放投影面；通過填充電路生成至少一個填充區域；通過在該基於立方體的投影的投影佈局中堆疊該等縮放投影面和該至少一個填充區域來生成基於投影的圖框；並對該基於投影的圖框進行編碼以生成位元流的一部分。
根據本發明的第二方面，公開了一種示例性視訊處理方法。該示例性視訊處理方法包括：接收位元流的一部分，並對該位元流的一部分進行解碼，以生成解碼的基於投影的圖框，其具有堆疊在基於立方體的投影的投影佈局中的複數個投影面和至少一個填充區域。解碼該位元流的一部分的步驟包括：通過混合針對第一圖元獲得的解碼圖元值和針對第二圖元獲得的解碼圖元值來重構第一圖元，以生成該第一圖元的更新的圖元值。該混合步驟包括：通過混合電路將第一加權因子應用於針對該第一圖元獲得的該解碼圖元值，並且通過該混合電路將第二加權因子應用於針對該第二圖元獲得的該解碼圖元值，其中，該第一圖元和該第二圖元中的其中一個包括在該等投影面中的一個裡，該第一 圖元和該第二圖元中的另一個包括在該至少一個填充區域中，以及該第一加權因子和該第二加權因子的設置與該至少一個填充區域的填充尺寸不相關。
在結合下面附圖閱讀本發明的推薦實施例的如下詳細描述後，本發明之內容對於本領域之通常技術者而言無疑將是顯而易見的。
100:360度虛擬實境系統
102、104:來源/目標電子設備
103:傳輸裝置
112:視訊擷取裝置
114:轉換電路
116:視訊編碼器
122:視訊解碼電路
124:圖形呈現電路
126:顯示設備
117:縮放電路
118:填充電路
127:混合電路
200:球體
201:立方體
202:立方體投影佈局
204:緊湊立方體投影佈局
300:具有填充的緊湊立方體投影佈局
400、600、700:具有填充和面縮放的緊湊立方體投影佈局
902-914、1102-1110:步驟
1202:部分區域
第1圖是示出根據本發明的實施例的360度虛擬實境(360VR)系統的示意圖。
第2圖是示出根據本發明的實施例的基於立方體的投影的示意圖。
第3圖是示出根據本發明的實施例的具有填充的基於立方體的投影佈局的示意圖。
第4圖是示出根據本發明的實施例的第一種具有填充和面縮放(face scaling)的基於立方體的投影佈局的示意圖。
第5圖是示出根據本發明的實施例的為每個正方形投影面定義的u軸和v軸的示意圖。
第6圖是示出根據本發明的實施例的第二種具有填充和面縮放的基於立方體的投影佈局的示意圖。
第7圖是示出根據本發明的實施例的第三種具有填充和面縮放的基於立方體的投影佈局的示意圖。
第8圖是示出根據本發明的實施例的為面圖元找到對應的填充圖元的過程的示意圖。
第9圖是示出根據本發明的實施例的用於生成面圖元的更新的圖元值的混合方法的流程圖。
第10圖是示出根據本發明的實施例的為填充圖元找到對應的面圖元的過程的 示意圖。
第11圖是示出根據本發明的實施例的用於生成填充圖元的更新的圖元值的混合方法的流程圖。
第12圖是圖示根據本發明的實施例的第一種解碼器側混合操作的示意圖。
第13圖是圖示根據本發明的實施例的第二種解碼器側混合操作的示意圖。
第14圖是圖示根據本發明的實施例的第三種解碼器側混合操作的示意圖。
第15圖是示出檢查對應圖元的位置以選擇性地啟用用於更新目標圖元的圖元值的解碼器側混合計算的示例的示意圖。
以下說明及專利申請範圍之敘述中，使用到的部分詞彙將用來指涉某個具體的元件。如同本領域之通常技術者所熟知地，電子設備製造者可能使用不同的名稱來指涉同一個元件。此份檔無意區別那些在名稱上有所差別、但在功能上並無差異的元件。在以下說明及專利申請範圍之敘述中，「包含」、「包括」等詞彙係用來做為開放性之敘述，故皆應被解讀為「包含，但不限於......」之意。此外，在本文中「耦合」一詞係有意被用於指涉直接或是間接的電子連接。據此而言，如果將一裝置耦接至另一裝置，其之間之連接可能係透過一直接的電子連接，或者係透過其他裝置及連結間接進行連接。
第1圖是示出根據本發明的實施例的360度虛擬實境(360VR)系統的示意圖。360VR系統100包括兩個視訊處理裝置(例如，源電子設備102和目標電子設備104)。源電子設備102包括視訊擷取裝置112，轉換電路114和視訊編碼器116。例如，視訊擷取裝置112可以是攝像機的集合，其用於提供對應於球體的全向圖像內容(例如，覆蓋整個周圍環境的複數個圖像)S_IN。轉換電路114耦接於視訊擷取裝置112與視訊編碼器116之間。轉換電路114根據全向圖像內 容S_IN，生成具有360度虛擬實境(360VR)投影佈局L_VR的基於投影的圖框IMG。例如，基於投影的圖框IMG可以是包括在從轉換電路114生成的基於投影的圖框序列中的一個圖框。視訊編碼器116是編碼電路，其用於編碼/壓縮基於投影的圖框IMG，以生成位元流BS的一部分。另外，視訊編碼器116透過傳輸裝置103將位元流BS輸出到目標電子設備104。例如，基於投影的圖框序列可以被編碼到位元流BS中，並且傳輸裝置103可以是有線/無線通訊鏈路或者存儲介質。
目標電子設備104可以是頭戴式顯示器(HMD)設備。如第1圖所示，目標電子設備104包括視訊解碼器122，圖形呈現電路124和顯示設備126。視訊解碼器122是解碼電路，用於從傳輸裝置103(例如，有線/無線通信鏈路或存儲介質)接收位元流BS，並對接收的位元流BS的一部分進行解碼，以生成解碼的圖框IMG'。例如，視訊解碼器122通過對接收的位元流BS進行解碼來生成解碼的圖框序列，其中解碼的圖框IMG'是包括在解碼的圖框序列中的一個圖框。在該實施例中，由編碼器側的視訊編碼器116編碼的基於投影的圖框IMG具有360VR投影佈局L_VR。因此，在解碼器側，視訊解碼器122對位元流BS的一部分進行解碼之後，解碼的圖框IMG'是具有相同360VR投影佈局L_VR的解碼的基於投影的圖框。圖形呈現電路124耦接在視訊解碼器122和顯示設備126之間。圖形呈現電路124根據解碼的圖框IMG'在顯示設備126上呈現並顯示輸出圖像資料。例如，與由解碼的圖框IMG'承載的360度圖像內容的一部分相關的視埠區域可以經由圖形呈現電路124顯示在顯示設備126上。
如上所述，轉換電路114根據360VR投影佈局L_VR和全向圖像內容S_IN生成基於投影的圖框IMG。在360VR投影佈局L_VR是基於立方體的投影佈局的情況下，球體上的全向圖像內容S_IN投影至基於立方體的投影面上，從立方體的不同投影面導出六個正方形投影面。第2圖是示出根據本發明的實施例的基於立方體的投影的示意圖。球體200上的360度圖像內容被投影到立方體201的 六個面上，包括頂面，底面，左面，正面，右面和背面。具體地，球體200的北極區域的圖像內容被投影到立方體201的頂面上，球體200的南極區域的圖像內容被投影到立方體201的底面上，並且球體200的赤道區域的圖像內容被投影到立方體201的左面，正面，右面和背面上。
堆疊在基於立方體的投影佈局中的正方形投影面是從立方體201的六個面導出的。例如，二維(2D)平面上的正方形投影面(標記為“Top”)是從三維(3D)空間中的立方體201的頂面導出的，2D平面上的正方形投影面(標記為“Back”)是從3D空間中的立方體201的背面導出的，2D平面上的正方形投影面(標記為“Bottom”)是從3D空間中的立方體201的底面導出的，2D平面上的正方形投影面(標記為“Right”)是從在3D空間中的立方體201的右面導出的，2D平面上的正方形投影面(標記為“Front”)是從3D空間中的立方體201的正面導出的，以及2D平面上的正方形投影面(標記為“Left”)是從3D空間中的立方體201的左面導出的。每個正方形投影面“Top”，“Back”，“Bottom”，“Right”，“Front”和“Left”具有相同的面寬度fw和相同的面高度fh，其中fw=fh。因此，正方形投影面“Top”，“Back”，“Bottom”，“Right”，“Front”和“Left”具有相同的尺寸fw * fh。
當360VR投影佈局L_VR由第2圖中所示的立方體投影(cubemap projection，CMP)佈局202來設置時，正方形投影面“Top”，“Back”，“Bottom”，“Right”，“Front”和“Back”被堆疊在對應於展開的立方體的CMP佈局202中。然而，要編碼的基於投影的圖框IMG必需是矩形的。如果CMP佈局202直接用於創建基於投影的圖框IMG，則基於投影的圖框IMG必須填充有虛擬區域(例如，黑色區域，灰色區域或白色區域)以形成用於編碼的矩形圖框。或者，基於投影的圖框IMG可以具有以緊湊投影佈局佈置的投影圖像資料，以避免使用虛擬區域(例如，黑色區域，灰色區域或白色區域)。如第2圖所示，正方形投影面“Top”，“Back”和“Bottom”被旋轉，然後被堆疊在緊湊CMP佈局204中。標記“Right”， “Front”，“Left”，“Top”，“Back”和“Bottom”的方向表示投影圖像內容的方向。因此，正方形投影面“Top”，“Back”，“Bottom”，“Right”，“Front”和“Back”佈置在緊湊CMP佈局204中，其是3×2立方體佈局。以這種方式，可以提高編碼效率。
緊湊CMP佈局204是緊湊的基於立方體的投影佈局，其不具有填充。 因此，正方形投影面的堆疊可能導致相鄰正方形投影面之間的圖像內容產生不連續邊緣(image content discontinuity edge)。關於由緊湊CMP佈局204中水平地堆疊的正方形投影面“Right”，“Front”和“Left”組成的一個3×1投影面列(face row)，在正方形投影面“Right”的右邊與正方形投影“Front”的左側之間存在圖像內容連續性邊緣(image content continuity edge)，在正方形投影面“Front”的右邊和正方形投影面“Left”的左側之間存在圖像內容連續性邊緣。關於由緊湊CMP佈局204中水平堆疊的正方形投影面“Bottom”，“Back”和“Top”組成的另一個3×1投影面列，在正方形投影面“Bottom”的右邊與正方形投影面“Back”的左側之間存在圖像內容連續性邊緣，在正方形投影面“Back”的右邊和正方形投影面“Top”的左側之間存在圖像內容連續性邊緣。
此外，緊湊CMP佈局204具有頂部不連續邊界(其由正方形投影面“Right”，“Front”和“Left”的頂邊組成)，底部不連續邊界(其由正方形投影面“Bottom”，“Back”和“Top”的底邊組成)，左側不連續邊界(其由正方形投影面“Right”和“Bottom”的左邊組成)和右邊不連續邊界(其由正方形投影面“Left”和“Top”右邊組成)。
如果通過緊湊CMP佈局204設置360VR投影佈局L_VR，則圖像內容不連續邊緣和/或不連續佈局邊界附近的圖像質量壓縮後可能較差。更具體地，編碼之後的基於投影的圖框IMG可能由於緊湊CMP佈局204的不連續佈局邊界和/或緊湊CMP佈局204的不連續邊緣而具有偽影。
在不連續的佈局邊界和/或不連續的面邊緣周圍，可插入圖元填充以 減少偽影。第3圖是示出根據本發明的實施例的具有填充的基於立方體的投影佈局的示意圖。具有填充的緊湊CMP佈局300能夠改善壓縮後的不連續佈局邊界處和不連續面邊緣的圖像質量。例如，轉換電路114從視訊擷取裝置112接收球體200的全向圖像內容，並從球體200的全向圖像內容的基於立方體的投影中獲得複數個正方形投影面“Top”，“Back”，“Bottom”，“Right”，“Front”，和“Left”。 如第1圖所示，轉換電路114具有填充電路118，其用於生成至少一個填充區域。 當通過具有填充的緊湊CMP佈局300來設置360VR投影佈局L_VR時，填充電路118被啟用。轉換電路114通過在具有填充的緊湊CMP佈局300中堆疊正方形投影面和填充區域來創建基於投影的圖框IMG。正方形投影面“Top”，“Back”，“Bottom”，“Right”，“Front”和“Left”被分為第一組和第二組。第一組包括正方形投影面“Right”，“Front”和“Left”，並且表示其內容是連續的第一矩形分段。第二組包括正方形投影面“Top”，“Back”和“Bottom”，並且表示其內容是連續的第二矩形分段。
填充電路118是電子電路。在一個示例性設計中，填充電路118可以由專用硬件來實現，用於處理填充功能。在另一示例性設計中，填充電路118可以由執行用於處理填充功能的程序代碼的處理器來實現。然而，這些僅用於說明目的，並不意味著是對本發明的限制。
根據具有填充的緊湊CMP佈局300，填充電路118創建第一矩形分段的頂部填充區域PR11(其包括從正方形投影面“Right”的頂邊延伸的一個填充區域，從正方形投影面“Front”的頂邊延伸的一個填充區域，以及從正方形投影面“Left”的頂邊延伸的一個填充區域)，左填充區域PR12(其包括從正方形投影面“Right”的左邊延伸的一個填充區域)，底部填充區域PR13(其包括從正方形投影面“Right”的底邊延伸的一個填充區域，從正方形投影面“Front”的底邊延伸的一個填充區域，以及從正方形投影面“Left”的底邊延伸的一個填充區域)，和右填 充區域PR14(包括從正方形投影面“Left”的右邊延伸的一個填充區域)，並且創建第二矩形分段的頂部填充區域PR21(其包括從正方形投影面“Bottom”的頂邊延伸的一個填充區域，從正方形投影面“Back”的頂邊延伸的一個填充區域，和從正方形投影面“Top”的頂邊延伸的一個填充區域)，左填充區域PR22(其包括從正方形投影面“Bottom”的左邊延伸的一個填充區域)，底部填充區域PR23(其包括從正方形投影面“Bottom”的底邊延伸的一個填充區域，從正方形投影面“Back”的底邊延伸的一個填充區域，以及從正方形投影面“Top”的底邊延伸的一個填充區域)，和右填充區域PR24(其包括從正方形投影面“Top”的右邊延伸的一個填充區域)，其中每個填充區域具有相同的填充尺寸p(例如，p=4)。
在一個示例性填充實現中，填充電路118將幾何填充應用於正方形投影面，以確定包括在至少與正方形投影面連接的填充區域中的圖元的圖元值。 例如，採用具有填充的緊湊CMP佈局300為例，頂部填充區域PR11包括左幾何映射區域，中間幾何映射區域和右幾何映射區域。頂部填充區域PR11的左幾何映射區域是通過將球體200上的區域的圖像內容映射到左幾何映射區域而獲得的，其中球體200上的該區域與獲得正方形投影面“Right”的區域相鄰。因此，在正方形投影面“Right”和從正方形投影面“Right”延伸的左幾何映射區域之間存在圖像內容連續性(即，圖像內容在正方形投影面“Right”和左幾何映射區域中是連續表示的)。類似地，頂部填充區域PR11的中間幾何映射區域是通過將球體200上的區域的圖像內容映射到中間幾何圖形區域而獲得的，其中球體200上的該區域與獲得正方形投影面“Front”的區域相鄰。因此，在正方形投影面“Front”和從正方形投影面“Front”延伸的中間幾何映射區域之間存在圖像內容連續性(即，圖像內容在正方形投影面“Front”和中間幾何映射區域中是連續表示的)。另外，頂部填充區域PR11的右幾何映射區域是通過將球體200上的區域的圖像內容映射到右幾何映射區域而獲得的，其中球體200上的該區域與獲得正方形投影面 “Left”的區域相鄰。因此，在正方形投影面“Left”和從正方形投影面“Left”延伸的右幾何映射區域之間存在圖像內容連續性(即，圖像內容在正方形投影面“Left”和右幾何映射區域中是連續表示的)。
在另一示例性填充實現中，填充電路118通過複製包括在與填充區域連接的正方形投影面中的特定圖元的圖元值來設置填充區域中包括的圖元的圖元值。例如，採用具有填充的緊湊CMP佈局300為例，頂部填充區域PR11包括左複製區域，中間複製區域和右複製區域。關於頂部填充區域PR11的左複製區域的生成，正方形投影面“Right”的頂邊處的邊緣圖元被複製以創建從正方形投影面“Right”的頂邊延伸的填充圖元。關於頂部填充區域PR11的中間複製區域的生成，正方形投影面“Front”的頂邊處的邊緣圖元被複製以創建從正方形投影面“Front”的頂邊延伸的填充圖元。關於頂部填充區域PR11的右複製區域的生成，正方形投影面“Left”的頂邊處的邊緣圖元被複製以創建從正方形投影面“Left”的頂邊延伸的填充圖元。
在又一示例性填充實現中，填充電路118通過複製包括在第二正方形投影面中的特定圖元的圖元值來設置包括在從第一正方形投影面的一邊延伸的填充區域中的圖元的圖元值。例如，第一正方形投影面是從球體上的第一區域的圖像內容獲得的，第二正方形投影面是從球體上的第二區域的圖像內容獲得的，其中球體上的第二區域與第一區域相鄰。從第一正方形投影面的一邊延伸的填充區域可以通過複製第二正方形投影面的部分區域來獲得。例如，採用具有填充的緊湊CMP佈局300為例，頂部填充區域PR11包括左複製區域，中間複製區域和右複製區域。通過複製正方形投影面“Top”的第一部分區域來設置頂部填充區域PR11的左複製區域。通過複製正方形投影面“Top”的第二部分區域來設置頂部填充區域PR11的中間複製區域。通過複製正方形投影面“Top”的第三部分區域來設置頂部填充區域PR11的右複製區域。
當基於投影的圖框IMG為具有如第2圖中所示的緊湊CMP佈局204時，基於投影的圖框IMG具有圖框寬度W=3*fw和圖框高度H=2*fh。然而，當基於投影的圖框IMG為如第3圖中所示的具有填充的緊湊CMP佈局300時，基於投影的圖框IMG具有圖框寬度W'=3*fw+2*p和圖框高度H'=2*fh+4*p，其中W'>W且H'>H。由於基於投影的圖框IMG的尺寸由於填充區域PR11-PR14和PR21-PR24的插入而增加，所以視訊編碼器116的編碼負擔和視訊解碼器122的解碼負擔不可避免地增加。
為了解決該問題，本發明提出了一種具有填充和面縮放的基於立方體的投影佈局。第4圖是示出根據本發明的實施例的第一種具有填充和面縮放的基於立方體的投影佈局的示意圖。與具有填充的緊湊CMP佈局300一樣，具有填充和面縮放的緊湊CMP佈局400也能夠在壓縮後的不連續的佈局邊界和不連續面邊緣處改善圖像質量。與具有填充的緊湊CMP佈局300相比，具有填充和面縮放的緊湊CMP佈局400具有更小的尺寸。例如，具有填充和面縮放的緊湊CMP佈局400的尺寸與不具有填充的緊湊CMP佈局(例如，第2圖中所示的緊湊CMP佈局204)的尺寸相同。
當通過具有填充和面縮放的緊湊CMP佈局400來設置360VR投影佈局L_VR時，在轉換電路114中實現的縮放電路117和填充電路118都被啟用。例如，轉換電路114從視訊擷取裝置112接收球體200的全向圖像內容，並從球體200的全向圖像內容的基於立方體的投影中獲得複數個正方形投影面“Top”，“Back”，“Bottom”，“Right”，“Front”，以及“Left”，其中正方形投影面“Top”，“Back”，“Bottom”，“Right”，“Front”和“Left”具有相同的面寬度fw和相同的面高度fh。縮放電路117被用於縮放正方形投影面“Top”，“Back”，“Bottom”，“Right”，“Front”和“Left”以生成複數個縮放投影面(分別標記為“T”，“BK”，“B”，“R”，“F”和“L”)。標記“T”，“BK”，“B”，“R”，“F”和“L”的方向表示投影圖像內容的 方向。另外，填充電路118用於生成至少一個填充區域。轉換電路114通過在具有填充和面縮放的緊湊CMP佈局400中堆疊縮放投影面和填充區域來創建基於投影的圖框IMG。
縮放電路117是電子電路。在一個示例性設計中，縮放電路117可以由專用硬件來實現，用於處理縮放功能。在另一示例性設計中，縮放電路117可以由執行用於處理縮放功能的程序代碼的處理器來實現。然而，這些僅用於說明目的，並不意味著是對本發明的限制。
縮放投影面“T”，“BK”，“B”，“R”，“F”和“L”被分類為第一組和第二組。第一組包括縮放投影面“R”，“F”和“L”，並且表示其內容是連續的第一矩形分段。第二組包括縮放投影面“T”，“BK”和“B”，並且表示其內容是連續的第二矩形分段。根據具有填充和面縮放的緊湊CMP佈局400，填充電路118創建第一矩形分段的頂部填充區域PR31(其包括從縮放投影面“R”的頂邊延伸的一個填充區域，從縮放投影面“F”的頂邊延伸的一個填充區域和從縮放投影面“L”的頂邊延伸的一個填充區域)，左填充區域PR32(其包括從縮放投影面“R”的左邊延伸的一個填充區域)，底部填充區域PR33(其包括從縮放投影面“R”的底邊延伸的一個填充區域，從縮放投影面“F”的底邊延伸的一個填充區域，以及從縮放投影面“L”的底邊延伸的一個填充區域)，以及右填充區域PR34(其包括從縮放投影面“L”的右邊延伸的一個填充區域)，並且創建第二矩形分段的頂部填充區域PR41(其包括從縮放投影面“B”的頂邊延伸的一個填充區域，從縮放投影面“BK”的頂邊延伸的一個填充區域，以及從縮放投影面“T”的頂邊延伸的一個填充區域)，左填充區域PR42(其包括從縮放投影面“B”的左側延伸的一個填充區域)，底部填充區域PR43(其包括從縮放投影面“B”的底邊延伸的一個填充區域，從縮放投影面“BK”的底邊延伸的一個填充區域，以及從縮放投影面“T”的底邊延伸的一個填充區域)，以及右填充區域PR44(其包括從縮放投影面“T”的右邊延伸的 一個填充區域)，其中每個填充區域具有相同的填充尺寸p(例如，p=4)。
如第4圖所示，頂部填充區域PR31形成具有填充和面縮放的緊湊CMP佈局400的頂部邊界的至少一部分，左填充區域PR32/PR42形成具有填充和面縮放的緊湊CMP佈局400的左邊界的至少一部分，底部填充區域PR43形成具有填充和面縮放的緊湊CMP佈局400的底部邊界的至少一部分，並且右填充區域PR34/PR44形成具有填充和面縮放的緊湊CMP佈局400的右邊界的至少一部分。。
如果縮放投影面“R”的底邊與縮放投影面“B”的頂邊連接，則在縮放投影面“R”的底邊與縮放投影面“B”的頂邊之間存在圖像內容不連續邊緣。如果縮放投影面“F”的底邊與縮放投影面“BK”的頂邊連接，則在縮放投影面“F”的底邊與縮放投影面“BK”的頂邊之間存在圖像內容不連續邊緣。如果縮放投影面“L”的底邊與縮放投影面“T”的頂邊連接，則在縮放投影面“L”的底邊與縮放投影面“T”的頂邊之間存在圖像內容不連續邊緣。底部填充區域PR33和頂部填充區域PR41在投影佈局的中間形成水平填充區域，其中水平填充區域與縮放投影面“R”的底邊和縮放投影面“B”的頂邊連接，以將縮放投影面“R”的底邊與縮放投影面“B”的頂邊隔離開來；水平填充區域與縮放投影面“F”的底邊和縮放投影面“BK”的頂邊連接，以將縮放投影面“BK”的頂邊與縮放投影面“F”的底邊隔離開來；並且水平填充區域與縮放投影面“L”的底邊和縮放投影面“T”的頂邊連接，以將縮放投影面“T”的頂邊與縮放投影面“L”的底邊隔離開來。
在該實施例中，所有縮放投影面“T”，“BK”，“B”，“R”，“F”和“L”不具有相同的尺寸。更具體地，基於與從正方形投影面獲得的縮放投影面相關的填充區域分佈來配置正方形投影面的縮放操作。請結合第4圖和第5圖。第5圖是示出根據本發明的實施例的為每個正方形投影面定義的u軸和v軸的示意圖。 縮放投影面“F”是通過將縮放因子1應用於正方形投影面“Front”的u軸並將縮放 因子s2應用於正方形投影面“Front”的v軸而生成的，其中
Figure 108106860-A0305-02-0016-12
。 縮放投影面“BK”是通過將縮放因子s2應用於正方形投影面“Back”的u軸並將縮放因子1應用於正方形投影面“Back”的v軸來生成的。縮放投影面“R”是通過將縮放因子s1應用於正方形投影面“Right”的u軸並將縮放因子s2應用於正方形投影面“Right”的v軸而生成的，其中
Figure 108106860-A0305-02-0016-14
。縮放投影面“L”是通過將縮放因子s1應用於正方形投影面“Left”的u軸並將縮放因子s2應用於正方形投影面“Left”的v軸來生成的。縮放投影面“T”是通過將縮放因子s1應用於正方形投影面“Top”的u軸並將縮放因子s2應用於正方形投影面“Top”的v軸來生成的。縮放投影面“B”是通過將縮放因子s1應用於正方形投影面“Bottom”的u軸並將縮放因子s2應用於正方形投影面“Bottom”的v軸來生成。下表列出了不同正方形投影面的縮放因子的設置。
Figure 108106860-A0305-02-0016-1
如第4圖所示，縮放投影面“F”和“BK”的尺寸為fw*(fh-2*p)，並且縮放投影面“R”，“L”，“B”和“T”的尺寸為(fw-p)*(fh-2*p)。當基於投影的圖框IMG為具有填充和面縮放的緊湊CMP佈局400時，基於投影的圖框IMG的圖框寬度W=3*fw和圖框高度H=2*fh。因此，使用具有填充和面縮放的緊湊CMP佈局400的基於投影的圖框的尺寸保持與使用不具有填充的緊湊CMP佈局的基於投 影的圖框的尺寸相同(例如，緊湊CMP佈局204)。
如第4圖所示，在兩個3×1投影面列周圍應用填充。然而，這僅用於說明目的，並不意味著是對本發明的限制。在一種替代設計中，填充可以僅應用於圖框的中間以分離兩個不連續的3×1投影面列。第6圖是示出根據本發明的實施例的第二種具有填充和面縮放的基於立方體的投影佈局的示意圖。具有填充和面縮放的緊湊CMP佈局600能夠在壓縮後改善不連續面邊緣處的圖像質量。與具有填充的緊湊CMP佈局300相比，具有填充和面縮放的緊湊CMP佈局600具有更小的尺寸。例如，具有填充和面縮放的緊湊CMP佈局600的尺寸與不具有填充的緊湊CMP佈局(例如，第2圖中所示的緊湊CMP佈局204)的尺寸相同。
當通過具有填充和面縮放的緊湊CMP佈局600來設置360VR投影佈局L_VR時，在轉換電路114中實現的縮放電路117和填充電路118都被啟用。例如，轉換電路114從視訊擷取裝置112接收球體200的全向圖像內容，並從含有球體200的全向圖像內容的基於立方體的投影中獲得複數個正方形投影面“Top”，“Back”，“Bottom”，“Right”，“Front”，以及“Left”，其中正方形投影面“Top”，“Back”，“Bottom”，“Right”，“Front”和“Left”具有相同的面寬度fw和相同面高度fh。縮放電路117被用於縮放正方形投影面“Top”，“Back”，“Bottom”，“Right”，“Front”和“Left”以生成複數個縮放投影面(分別標記為“T”，“BK”，“B”，“R”，“F”和“L”)。標記“T”，“BK”，“B”，“R”，“F”和“L”的方向表示投影圖像內容的方向。另外，填充電路118用於生成至少一個填充區域。轉換電路114通過在具有填充和面縮放的緊湊CMP佈局600中堆疊縮放投影面“T”，“BK”，“B”，“R”，“F”和“L”以及至少一個填充區域來創建基於投影的圖框IMG。
縮放投影面“T”，“BK”，“B”，“R”，“F”和“L”被分類為第一組和第二組。第一組包括縮放投影面“R”，“F”和“L”，並且表示其內容是連續的第一矩形分段。第二組包括正方形投影面“T”，“BK”和“B”，並且表示其內容是連續的 第二矩形分段。根據具有填充和面縮放的緊湊CMP佈局600，填充電路118為第一矩形分段創建底部填充區域PR51，並為第二矩形分段創建頂部填充區域PR61，其中每個填充區域具有相同的填充尺寸p(例如，p=4)。
如果縮放投影面“R”的底邊與縮放投影面“B”的頂邊連接，則在縮放投影面“R”的底邊與縮放投影面“B”的頂邊之間存在圖像內容不連續邊緣。如果縮放投影面“F”的底邊與縮放投影面“BK”的頂邊連接，則在縮放投影面“F”的底邊與縮放投影面“BK”的頂邊之間存在圖像內容不連續邊緣。如果縮放投影面“L”的底邊與縮放投影面“T”的頂邊連接，則在縮放投影面“L”的底邊與縮放投影面“T”的頂邊之間存在圖像內容不連續邊緣。底部填充區域PR51和頂部填充區域PR61在投影佈局的中間形成水平填充區域，其中水平填充區域與縮放投影面“R”的底邊和縮放投影面“B”的頂邊連接，以將縮放投影面“B”的頂邊與縮放投影面“R”的底邊隔離開來；水平填充區域與縮放投影面“F”的底邊和縮放投影面“BK”的頂邊連接，以將縮放投影面“BK”的頂邊與縮放投影面“F”的底邊隔離開來；以及水平填充區域與縮放投影面“L”的底邊和縮放投影面“T”的頂邊連接，以將縮放投影面“T”的頂邊與縮放投影面“L”的底邊隔離開來。
在該實施例中，所有縮放投影面“T”，“BK”，“B”，“R”，“F”和“L”具有相同的尺寸。更具體地，基於與從正方形投影面獲得的縮放投影面相關的填充區域分佈來配置正方形投影面的縮放操作。請結合參考第6圖和第5圖。通過將縮放因子1應用於正方形投影面“Front”的u軸並將縮放因子s應用於正方形 投影面“Front”的v軸來生成縮放投影面“F”，其中，
Figure 108106860-A0305-02-0018-2
。通過將縮 放因子s應用於正方形投影面“Back”的u軸並將縮放因子1應用於正方形投影面“Back”的v軸來生成縮放投影面“BK”。通過將縮放因子1應用於正方形投影面“Right”的u軸並將縮放因子s應用於正方形投影面“Right”的v軸來生成縮放投影 面“R”。通過將縮放因子1應用於正方形投影面“Left”的u軸並將縮放因子s應用於正方形投影面“Left”的v軸來生成縮放投影面“L”。通過將縮放因子1應用於正方形投影面“Top”的u軸並將縮放因子s應用於正方形投影面“Top”的v軸來生成縮放投影面“T”。通過將縮放因子1應用於正方形投影面“Bottom”的u軸並將縮放因子s應用於正方形投影面“Bottom”的v軸來生成縮放投影面“B”。下表列出了不同正方形投影面的縮放因子的設置。
Figure 108106860-A0305-02-0019-4
在第6圖中，每個縮放投影面“R”，“F”，“L”，“B”，“BK”和“T”的尺寸為fw*(fh-p)。當基於投影的圖框IMG為具有填充和面縮放的緊湊CMP佈局600時，基於投影的圖框IMG具有圖框寬度W=3*fw和圖框高度H=2*fh。因此，使用具有填充和面縮放的緊湊CMP佈局600的基於投影的圖框的尺寸保持與使用不具有填充的緊湊CMP佈局的基於投影的圖框的尺寸相同(例如，第2圖中所示的緊湊CMP佈局204)。
在另一替代設計中，可以在每個面周圍應用填充。在本發明的一些實施例中，可以在目標電子設備104處執行投影佈局轉換，以將具有一個投影佈局的解碼圖像轉換為具有不同投影佈局的轉換圖像。可以對解碼圖像的整數圖元的圖元值執行插值，以確定分配給轉換圖像的整數圖元的圖元值。為了減少由投影佈局轉換引入的偽影，也可以將填充應用於相鄰投影面之間的圖像內容連續性邊緣。
第7圖是示出根據本發明的實施例的第三種具有填充和面縮放的基於立方體的投影佈局的示意圖。與具有填充的緊湊CMP佈局300一樣，具有填充和面縮放的緊湊CMP佈局700能夠在壓縮後的不連續佈局邊界和不連續面邊緣處改善圖像質量。另外，根據具有填充和面縮放的緊湊CMP佈局700，將填充應用於連續面邊緣。與具有填充的緊湊CMP佈局300相比，具有填充和面縮放的緊湊CMP佈局700具有更小的尺寸。例如，具有填充和面縮放的緊湊CMP佈局700的尺寸與不具有填充的緊湊CMP佈局(例如，第2圖中所示的緊湊CMP佈局204)的尺寸相同。
當通過具有填充和面縮放的緊湊CMP佈局700來設置360VR投影佈局L_VR時，在轉換電路114中實現的縮放電路117和填充電路118都被啟用。例如，轉換電路114從視訊擷取裝置112接收球體200的全向圖像內容，並從球體200的全向圖像內容的基於立方體的投影獲得複數個正方形投影面“Top”，“Back”，“Bottom”，“Right”，“Front”，以及“Left”，其中正方形投影面“Top”，“Back”，“Bottom”，“Right”，“Front”和“Left”具有相同的面寬度fw和相同的面高度fh。縮放電路117被用於縮放正方形投影面“Top”，“Back”，“Bottom”，“Right”，“Front”和“Left”以生成複數個縮放投影面(分別標記為“T”，“BK”，“B”，“R”，“F”和“L”)。 標記“T”，“BK”，“B”，“R”，“F”和“L”的方向表示投影圖像內容的方向。另外，填充電路118用於生成至少一個填充區域。轉換電路114通過在具有填充和面縮放的CMP佈局700中堆疊縮放投影面和填充區域來創建基於投影的圖框IMG。
根據具有填充和面縮放的緊湊CMP佈局700，填充電路118為每個縮放投影面創建頂部填充區域，左填充區域，底部填充區域和右填充區域，其中每個填充區域具有相同的填充尺寸p(例如，p=4)。以縮放投影面“R”為例，它被頂部填充區域PR71，左填充區域PR72，底部填充區域PR73和右填充區域PR74包圍。
與具有填充和面縮放的緊湊CMP佈局400相比，具有填充和面縮放的緊湊CMP佈局700還包括應用於連續面邊緣的填充。如果縮放投影面“R”的右邊與縮放投影面“F”的左邊連接，則在縮放投影面“R”的右邊和縮放投影面“F”的左邊之間存在圖像內容連續性邊緣。如果縮放投影面“F”的右邊與縮放投影面“L”的左邊連接，則在縮放投影面“F”的右邊和縮放投影面“L”的左邊之間存在圖像內容連續性邊緣。如果縮放投影面“B”的右邊與縮放投影面“BK”的左邊連接，則在縮放投影面“B”的右邊和縮放投影面“BK”的左邊之間存在圖像內容連續性邊緣。如果縮放投影面“BK”的右邊與縮放投影面“T”的左邊連接，則在縮放投影面“BK”的右邊和縮放投影面“T”的左邊之間存在圖像內容連續性邊緣。從縮放投影面“R”的右邊延伸的右填充區域和從縮放投影面“F”的左邊延伸的左填充區域形成一個垂直填充區域的一部分，以將縮放投影面“F”的左邊與縮放投影面“R”的右邊隔離開來。從縮放投影面“F”的右邊延伸的右填充區域和從縮放投影面“L”的左邊延伸的左填充區域形成一個垂直填充區域的一部分，以將縮放投影面“F”的右邊與縮放投影面“L”的左邊隔離開來。從縮放投影面“B”的右邊延伸的右填充區域和從縮放投影面“BK”的左邊延伸的左填充區域形成一個垂直填充區域的一部分，以將縮放投影面“B”的右邊和縮放投影面“BK”的左邊隔離開來。從縮放投影面“BK”的右邊延伸的右填充區域和從縮放投影面“T”的左邊延伸的左填充區域形成一個垂直填充區域的一部分，以將縮放投影面“T”的左邊與縮放投影面“BK”的右邊隔離開來。
在該實施例中，所有縮放投影面“T”，“BK”，“B”，“R”，“F”和“L”具有相同的尺寸。更具體地，基於與從正方形投影面獲得的縮放投影面相關的填充區域分佈來配置正方形投影面的縮放操作。請結合參考第7圖和第5圖。縮放投影面“F”是通過將縮放因子s'應用於正方形投影面“Front”的u軸和v軸兩者而 生成的，其中，
Figure 108106860-A0305-02-0022-5
。縮放投影面“BK”是通過將縮放因子s'應用 於正方形投影面“Back”的u軸和v軸兩者來生成的。縮放投影面“R”是通過將縮放因子s'應用於正方形投影面“Right”的u軸和v軸兩者來生成的。縮放投影面“L”是通過將縮放因子s'應用於正方形投影面“Left”的u軸和v軸兩者來生成的。縮放投影面“T”是通過將縮放因子s'應用於正方形投影面“Top”的u軸和v軸兩者來生成的。縮放投影面“B”是通過將縮放因子s'應用於正方形投影面“Bottom”的u軸和v軸兩者來生成的。下表列出了不同正方形投影面的縮放因子設置。
Figure 108106860-A0305-02-0022-6
如第7圖所示，每個縮放投影面“R”，“F”，“L”，“B”，“BK”和“T”的尺寸為(fw-2*p)*(fh-2*p)。當基於投影的圖框IMG為具有填充和面縮放的緊湊CMP佈局700時，基於投影的圖框IMG具有圖框寬度W=3*fw和圖框高度H=2*fh。因此，使用具有填充和面縮放的緊湊CMP佈局700的基於投影的圖框的尺寸保持與使用不具有填充的緊湊CMP佈局的基於投影的圖框的尺寸相同(例如，第2圖中所示的緊湊CMP佈局204)。
在一個示例性填充實現中，填充電路118將幾何填充應用於縮放投影面，以確定包括在至少與縮放投影面連接的填充區域中的圖元的圖元值。例如，採用具有填充和面縮放的緊湊CMP佈局400，頂部填充區域PR31包括左幾何映射區域，中間幾何映射區域和右幾何映射區域。頂部填充區域PR31的左幾何映射區域是通過將球體200上的區域的圖像內容映射到左幾何映射區域而獲得的，其中球體200上的該區域與獲得縮放投影面“R”的區域相鄰。因此，在縮放投影面 “R”和從縮放投影面“R”延伸的左幾何映射區域之間存在圖像內容連續性(即，圖像內容在縮放投影面“R”和左幾何映射區域中是連續表示的)。類似地，頂部填充區域PR31的中間幾何映射區域是通過將球體200上的區域的圖像內容映射到中間幾何映射區域而獲得的，其中球體200上的該區域與獲得縮放投影面“F”的區域相鄰。因此，在縮放投影面“F”和從縮放投影面“F”延伸的中間幾何映射區域之間存在圖像內容連續性(即，圖像內容在縮放投影面“F”和中間幾何映射區域中是連續表示的)。另外，頂部填充區域PR31的右幾何映射區域是通過將球體200上的區域的圖像內容映射到右幾何映射區域而獲得的，其中球體200上的該區域與獲得縮放投影面“L”的區域相鄰。因此，在縮放投影面“L”和從縮放投影面“L”延伸的右幾何映射區域之間存在圖像內容連續性(即，圖像內容在縮放投影面“L”和右幾何映射區域中是連續表示的)。
在另一示例性填充實現中，填充電路118通過複製包括在與填充區域連接的縮放投影面中的特定圖元的圖元值來設置填充區域中包括的圖元的圖元值。例如，採用具有填充和面縮放的緊湊CMP佈局400為例，頂部填充區域PR31包括左複製區域，中間複製區域和右複製區域。關於頂部填充區域PR31的左複製區域的生成，縮放投影面“R”的頂邊的邊緣圖元被複製以創建從縮放投影面“R”的頂邊延伸的填充圖元。關於頂部填充區域PR31的中間複製區域的生成，縮放投影面“F”的頂邊處的邊緣圖元被複製以創建從縮放投影面“F”的頂邊延伸的填充圖元。關於頂部填充區域PR31的右複製區域的生成，縮放投影面“L”的頂邊處的邊緣圖元被複製以創建從縮放投影面“L”的頂邊延伸的填充圖元。
在又一示例性填充實現中，填充電路118通過複製包括在第二縮放投影面中的特定圖元的圖元值來設置包括在從第一縮放投影面的一邊延伸的填充區域中的圖元的圖元值。例如，從球體上的第一區域的圖像內容獲得第一縮放投影面，並且從球體上的第二區域的圖像內容獲得第二縮放投影面，其中第二 區域與第一區域相鄰。從第一縮放投影面的一邊延伸的填充區域可以通過複製第二縮放投影面的部分區域來獲得。例如，採用具有填充和面縮放的緊湊CMP佈局400為例，頂部填充區域PR31包括左複製區域，中間複製區域和右複製區域。通過複製縮放投影面“T”的第一部分區域來設置頂部填充區域PR31的左複製區域。通過複製縮放投影面“T”的第二部分區域來設置頂部填充區域PR31的中間複製區域。通過複製縮放投影面“T”的第三部分區域來設置頂部填充區域PR31的右複製區域。
如上所述，目標電子設備104的視訊解碼器122從發送裝置103接收位元流BS，並執行視訊解碼功能，用於解碼接收的位元流BS的一部分以生成解碼的圖框IMG'，解碼的圖框IMG'是解碼的基於投影的圖框，其具有由源電子設備102的轉換電路114採用的相同的360VR投影佈局L_VR。在360VR投影佈局L_VR由具有填充的基於立方體的投影佈局設置的情況下(例如，具有填充的緊湊CMP佈局300或具有填充和面縮放的緊湊CMP佈局400/600/700)，解碼的圖框IMG'具有位於投影佈局的不連續佈局邊界，不連續面邊緣和/或連續面邊緣的填充區域。在一個實施例中，視訊解碼器122可以裁剪填充區域，使得僅重構非填充區域(例如，最初從基於立方體的投影獲得的正方形投影面，或者從最初從基於立方體的投影獲得的縮放正方形投影面導出的縮放投影面)。在替代設計中，視訊解碼器122可啟用混合電路127，其用於在編碼之後執行混合。混合電路127執行混合功能，該混合功能是基於填充區域中的填充圖元和投影面中的面圖元(即，非填充圖元)。因此，在生成解碼的圖框IMG'的解碼過程期間，視訊解碼器122通過混合針對第一圖元獲得的解碼圖元值和針對第二圖元獲得的解碼圖元值來重構第一圖元，以生成第一圖元的更新的圖元值，其中第一圖元和第二圖元中的一個包括在投影面中，並且第一圖元和第二圖元中的另一個包括在填充區域中。
混合電路127是電子電路。在一個示例性設計中，混合電路127可以由專用硬件來實現，用於處理混合功能。在另一示例性設計中，混合電路127可以由執行用於處理混合功能的程序代碼的處理器來實現。然而，這些僅用於說明目的，並不意味著是對本發明的限制。
例如，可以通過將面圖元的原始解碼圖元值與填充區域中的對應填充圖元的解碼圖元值混合來更新投影面(非填充區域)中的面圖元(非填充圖元)的圖元值。在編碼器側的填充電路118採用幾何映射的情況下，需要從面圖元到其對應的填充圖元的映射。第8圖是示出根據本發明的實施例的為面圖元找到對應的填充圖元的過程的示意圖。首先將面圖元T映射到球體200上的3D點S。 接著，通過基於立方體的投影將球體200上的3D點S投影到第二最近面，以找到對應的填充圖元T'。在填充區域中找到的對應填充圖元T'可以不在整數位置。如果對應的填充圖元T'的u軸坐標u和v軸坐標v中的至少一個是非整數位置，則視訊解碼器122中的插值濾波器(未示出)(具體地，混合電路127)可以應用於對應填充圖元T'周圍的整數圖元的解碼圖元值，以導出對應填充圖元T'的解碼圖元值。
第9圖是示出根據本發明的實施例的用於生成面圖元的更新的圖元值的混合方法的流程圖。在步驟902，混合電路127從堆疊在基於立方體的投影佈局(例如，具有填充的緊湊CMP佈局300或具有填充和面縮放的緊湊CMP佈局400/600/700)中的一個投影面中選擇面圖元。在步驟904，混合電路127應用映射函數以找到對應的圖元，其中要更新的面圖元和對應的圖元被映射到3D空間中的球體上的相同3D點。在步驟906，混合電路127檢查對應的圖元是否在基於立方體的投影佈局中堆疊的填充區域內。也就是說，混合電路127檢查對應的圖元是否是填充圖元。如果對應的圖元不是填充圖元，則流程進行到步驟908。在步驟908，中止當前選擇面圖元的混合處理，並且混合電路127從堆疊在基於立 方體的投影佈局中的一個投影面中選擇將要更新的下一個面圖元。
如果對應圖元是填充圖元，則流程前進到步驟910。在步驟910，混合電路127檢查在填充區域中找到的對應填充圖元是否是非整數點。如果在填充區域中找到的對應填充圖元是整數點，則流程前進到步驟914。如果在填充區域中找到的對應填充圖元是非整數點，則混合電路127通過插值重新採樣對應的填充圖元(步驟912)。也就是說，混合電路127中的插值濾波器(未示出)用於將插值應用於對應的填充圖元(其是非整數圖元)周圍的整數圖元的解碼圖元值，以導出對應的填充圖元的解碼圖元值。在步驟914，混合電路127將面圖元的解碼圖元值與對應填充圖元的解碼圖元值混合，以生成面圖元的更新的圖元值。 在本發明的一些實施例中，混合電路127可以採用基於距離的加權方案。
作為另一示例，可以通過將填充區域中的填充圖元的原始解碼圖元值與在投影面(非填充區域)中的對應面圖元(非填充圖元)的圖元值進行混合，來更新填充區域中的填充圖元的圖元值。在編碼器側的填充電路118採用幾何映射的情況下，需要從填充圖元到其對應的面圖元的映射。第10圖是示出根據本發明的實施例的為填充圖元找到對應的面圖元的過程的示意圖。填充圖元T'首先被映射到球體200上的3D點S。接下來，球體200上的3D點S被投影到最近的面以找到對應的面圖元T。在投影面中找到的對應的面圖元T可能不在整數位置。如果對應的面圖元T的u軸坐標u和v軸坐標v中的至少一個是非整數位置，則視訊解碼器122中的插值濾波器(未示出)(具體地，混合電路127)可以應用於對應的面圖元T周圍的整數圖元的解碼圖元值，以導出對應的面圖元T的解碼圖元值。
第11圖是示出根據本發明的實施例的用於生成填充圖元的更新的圖元值的混合方法的流程圖。在步驟1102，混合電路127從堆疊在基於立方體的投影佈局(例如，具有填充的緊湊CMP佈局300或具有填充和面縮放的緊湊CMP 佈局400/600/700)中的一個填充區域中選擇填充圖元。在步驟1104，混合電路127應用映射函數以找到對應的面圖元，其中要更新的填充圖元和對應的面圖元被映射到3D空間中的球體上的相同3D點。在步驟1106，混合電路127檢查在投影面中找到的對應面圖元是否是非整數點。如果在投影面中找到的對應面圖元是整數點，則流程進行到步驟1110。如果在投影面中找到的對應面圖元是非整數點，則混合電路127通過插值重新採樣對應的面圖元(步驟1108)。也就是說，混合電路127中的插值濾波器(未示出)用於將插值應用於對應的面圖元(其是非整數圖元)周圍的整數圖元的解碼圖元值，以導出對應的面圖元的解碼圖元值。在步驟1110，混合電路127將填充圖元的解碼圖元值與對應面圖元的解碼圖元值混合，以生成填充圖元的更新的圖元值。在本發明的一些實施例中，混合電路127可以採用基於距離的加權方案。
第12圖是圖示根據本發明的實施例的第一種解碼器側混合操作的示意圖。如第12圖所示，在3x1投影面列周圍應用填充。例如，填充電路118可以採用第3圖/第4圖中所示的示例性填充設計。因此，3×1投影面列可以包括從立方體的右面，正面和左面獲得的投影面，或者可以包括從立方體的底面，背面和頂面獲得的投影面。在3×1投影面列的右上角處的部分區域1202被放大以示出由混合電路127採用的第一混合方法。在編碼之後，可以應用如下所示的基於距離的加權函數的混合，通過與由映射函數找到的對應圖元進行混合來更新目標圖元。
Figure 108106860-A0305-02-0027-7
在上面的公式(1)中，A表示針對目標圖元獲得的解碼圖元值，Aupdate表示目標圖元的更新的圖元值，A'表示針對對應圖元獲得的解碼圖元值，D表示會被混合的圖元的寬度，d表示從目標圖元到填充邊界的距離。例如，參數d可 以由從目標圖元的中心到填充邊界計數的非整數值來設置。
混合電路127將第一加權因子
Figure 108106860-A0305-02-0028-15
應用於針對目標圖元獲得的解碼圖元值A，並將第二加權因子
Figure 108106860-A0305-02-0028-17
應用於針對對應圖元獲得的解碼圖元值A'，其中第一加權因子和第二加權因子的設置都取決於將要更新的目標圖元的位置，並且與填充區域的填充尺寸無關。
假設需要通過混合來更新同一圖元行(pixel column)中的面圖元(非填充圖元)Y1和Y2以及填充圖元Y3，Y4，Y5。參數D可以設置為5。當將要更新的目標圖元是面圖元Y1時，參數d可以設置為4.5。當將要更新的目標圖元是面圖元Y2時，參數d可以設置為3.5。當將要更新的目標圖元是填充圖元Y3時，參數d可以設置為2.5。當將要更新的目標圖元是填充圖元Y4時，參數d可以設置為1.5。當將要更新的目標圖元是填充圖元Y5時，參數d可以設置為0.5。
第13圖是圖示根據本發明的實施例的第二種解碼器側混合操作的示意圖。如第13圖所示，在兩個3×1投影面列周圍應用填充。一個3x1投影面列包括右面(標記為“4”)，正面(標記為“0”)和左面(標記為“5”)。另一個3×1投影面列包括底面(標記為“3”)，背面(標記為“1”)和頂面(標記為“2”)。標記“0”-“5”的方向表示投影圖像內容的方向。例如，填充電路118可以採用第3/4圖中所示的示例性填充設計。可以通過使用以下公式計算的更新的圖元值來設置投影面中的目標圖元(其是面圖元)的重構圖元值。
Figure 108106860-A0305-02-0028-8
在上面的公式(2)中，A表示針對目標圖元(其是面圖元)獲得的解碼圖元值，Aupdate表示目標圖元的更新的圖元值，A'表示針對對應圖元(其是通過映射函數找到的填充圖元)獲得的解碼圖元值，pad表示填充區域的填充尺寸，d表示對應圖元與投影面(非填充區域)的一邊之間的距離。具體地，混合 電路127將第一加權因子
Figure 108106860-A0305-02-0029-18
應用於針對對應圖元(其為填充圖元)獲得的解碼圖元值A'，並將第二加權因子
Figure 108106860-A0305-02-0029-20
應用於針對目標圖元(其為面圖元)獲得的解碼圖元值A，其中第一加權因子和第二加權因子的設置都取決於對應圖元的位置和填充區域的填充尺寸。
第14圖是圖示根據本發明的實施例的第三種解碼器側混合操作的示意圖。如第14圖所示，在兩個3×1投影面列周圍應用填充。一個3x1投影面列包括右面(標記為“4”)，正面(標記為“0”)和左面(標記為“5”)。另一個3×1投影面列包括底面(標記為“3”)，背面(標記為“1”)和頂面(標記為“2”)。標記“0”-“5”的方向表示投影圖像內容的方向。例如，填充電路118可以採用第3/4圖中所示的示例性填充設計。填充區域中的目標圖元(其為填充圖元)的重構圖元值可以通過使用以下公式計算的更新的圖元值。
Figure 108106860-A0305-02-0029-9
在上面的公式(3)中，A表示針對目標圖元(其為填充圖元)獲得的解碼圖元值，Aupdate表示目標圖元的更新的圖元值，A'表示針對對應圖元(其是通過映射函數找到的面圖元)獲得的解碼圖元值，pad表示填充區域的填充尺寸，d表示目標圖元與投影面(其為非填充區域)的一邊之間的距離。具體地，混合電路127將第一加權因子
Figure 108106860-A0305-02-0029-21
應用於針對對應圖元(其為面圖元)獲得的解碼圖元值A'，並將第二加權因子
Figure 108106860-A0305-02-0029-22
應用於針對目標圖元(其為填充圖元)獲得的解碼圖元值A，其中第一加權因子和第二加權因子的設置都取決於目標圖元的位置和填充區域的填充尺寸。
關於具有填充和/或面縮放的基於立方體的投影佈局(例如，具有填充的緊湊CMP佈局300或具有填充和面縮放的緊湊CMP佈局400/600/700)，在從不同的投影面延伸的兩個相鄰填充區域之間存在不連續邊緣。當視訊編碼器116 採用基於區塊的編碼方案時，靠近不連續邊緣並位於不連續邊緣的一邊的圖元的解碼圖元值可能受到靠近不連續邊緣並位於不連續邊緣的另一邊的圖元的影響。如上所述，將混合應用於目標圖元的解碼圖元值和對應圖元的解碼圖元值，以更新目標圖元的解碼圖元。如果對應圖元在不連續邊緣附近，則編碼之後的對應圖元的解碼圖元值可能大大偏離在編碼之前的對應圖元的原始圖元值。如此一來，通過混合更新的目標圖元可能導致圖像質量下降。為了解決該問題，本發明提出了部分跳過的混合方案。根據部分跳過的混合方案，混合電路127將圖像內容不連續邊緣和針對將要更新的目標圖元找到的對應圖元之間的距離與預定閾值進行比較。在距離超過預定閾值的條件下，執行針對目標圖元獲得的解碼圖元值和針對對應圖元獲得的解碼圖元值的混合。換句話說，當距離小於預定閾值時，跳過針對目標圖元獲得的解碼圖元值和針對對應圖元獲得的解碼圖元值的混合。
第15圖是示出檢查對應圖元的位置以選擇性地啟用用於更新目標圖元的圖元值的解碼器側混合計算的示例的示意圖。在此示例中，填充僅應用於圖框的中間以分隔兩個不連續的3x1投影面列。因此，一個水平填充區域PR_B包括從堆疊在具有填充和/或面縮放的基於立方體的投影佈局中的右面(標記為“4”)，正面(標記為“0”)和左面(標記為“5”)的底邊延伸的填充區域，以及另一個水平填充區域PR_T包括從堆疊在具有填充和/或面縮放的基於立方體的投影佈局中的底面(標記為“3”)，背面(標記為“1”)和頂面(標記為“2”)的頂邊延伸的填充區域。在水平填充區域PR_B和PR_T之間存在不連續的邊緣EG_D。 假設採用幾何填充來設置水平填充區域PR_B和PR_T中的填充圖元。當將要更新的目標圖元是面圖元A時，通過映射函數在水平填充區域PR_B中找到對應的填充圖元A'。混合電路127將對應的填充圖元A'和不連續邊緣EG_D之間的距離與預定閾值TH進行比較。由於對應的填充圖元A'與不連續邊緣EG_D之間的距離小於 預定閾值TH，因此意味著對應的填充圖元A'在不連續邊緣EG_D附近。因此，混合電路127跳過更新面圖元A的解碼圖元值的混合處理。更具體地，當對應圖元位於由預定閾值TH限定的區域R_PSB內時，跳過目標圖元的混合。
可以通過位元流BS從源電子設備102向目標電子設備104發信控制信息。例如，旗標FL1-FL5中的至少一個包括在從源電子設備102發送到目標電子設備104的位元流BS中。
在本發明的一些實施例中，可以選擇性地啟用縮放電路117。當360VR投影佈局L_VR由具有填充的基於立方體的投影佈局(例如，具有填充的緊湊CMP佈局300)設置時，縮放電路117被禁用。當360VR投影佈局L_VR由具有填充和面縮放的基於立方體的投影佈局(例如，具有填充和面縮放的緊湊CMP佈局400/600/700)設置時，縮放電路117被啟用。旗標FL1可以被添加到位元流BS中，其中發信的旗標FL1指示在投影佈局中堆疊的投影面是否被縮放。
在本發明的一些實施例中，填充電路118可以支持複數個填充佈置，包括“圍繞兩個3×1投影面列的填充”，“僅應用於圖框的中間的填充”，“圍繞每個面的填充”，和“禁用填充”。旗標FL2和旗標FL3中的一個或兩個可以被添加到位元流BS中，其中發信的旗標FL2指示在投影佈局中堆疊的填充區域的填充佈置，並且發信的旗標FL3指示堆疊在投影佈局中的每個填充區域的填充尺寸。
在本發明的一些實施例中，可以選擇性地啟用混合電路127。另外，混合電路127可以支持不同的混合方法，包括“混合方法1(其採用上述公式(1))”，“混合方法2(其採用上述公式(2)和(3))”，和“完全跳過混合”。 可以將旗標FL4添加到位元流BS中，其中，發信的旗標FL4指示將被分配給混合電路127的混合方法。例如，視訊解碼器122從位元流BS導出發信的旗標FL4，並且，然後混合電路127參考由發信的旗標FL4指示的混合方法，以計算目標圖元的更新的圖元值，其中目標圖元可以是包括在一個投影面中的面圖元或包括在 一個填充區域中的填充圖元。
此外，混合電路127可以支持“部分跳過混合”的混合方法。可以將旗標FL5添加到位元流BS中，其中發信的旗標FL5指示是否應該啟用混合方法“部分跳過混合”。例如，視訊解碼器122從位元流BS導出發信的旗標FL5，然後混合電路127參考發信的旗標FL5以確定是否啟用混合方法“部分跳過混合”，以計算目標圖元的更新的圖元值，其中目標圖元可以是包括在一個投影面中的面圖元或包括在一個填充區域中的填充圖元。
本領域之通常技術者可輕易觀察到在維持本發明的教導的同時，仍可對於此裝置及方法進行各種修改及變更。據此，上述揭露之內容應被解釋為僅受所附之專利申請範圍的界限之限制。
400:具有填充和面縮放的緊湊立方體投影佈局

Claims (26)

  1. 一種視訊處理方法，包括：根據基於立方體的投影從球體的全向內容獲得複數個正方形投影面；分別縮放該等正方形投影面以生成複數個縮放投影面；通過填充電路生成至少一個填充區域；通過在該基於立方體的投影的投影佈局中堆疊該等縮放投影面和該至少一個填充區域來生成基於投影的圖框；以及對該基於投影的圖框進行編碼以生成位元流的一部分。
  2. 如申請專利範圍第1項所述之視訊處理方法，其中堆疊在該投影佈局中的該等縮放投影面包括第一縮放投影面；堆疊在該投影佈局中的該至少一個填充區域包括第一填充區域；該第一填充區域至少與該第一縮放投影面連接，並形成該投影佈局的一個邊界的至少一部分。
  3. 如申請專利範圍第2項所述之視訊處理方法，其中，該等縮放投影面還包括第二縮放投影面；如果該第一縮放投影面的一邊與該第二縮放投影面的一邊連接，則在該第一縮放投影面的該一邊與該第二縮放投影面的該一邊之間存在圖像內容不連續邊緣；該至少一個填充區域還包括第二填充區域；該第二填充區域與該第一縮放投影面的該一邊和該第二縮放投影面的該一邊連接，用於將該投影佈局中的該第一縮放投影面的該一邊與該第二縮放投影面的該一邊隔離開來。
  4. 如申請專利範圍第2項所述之視訊處理方法，其中，該等縮放投影面還包括第二縮放投影面；如果該第一縮放投影面的一邊與該第二縮放投影面的一邊連接，則在該第一縮放投影面的該一邊與該第二縮放投影面的該一邊之間存在圖像內容連續性邊緣；該至少一個填充區域還包括第二填充區域；該第二填充區域與該第一縮放投影面的該一邊和該第二縮放投影面 的該一邊連接，用於將該投影佈局中的該第一縮放投影面的該一邊與該第二縮放投影面的該一邊隔離開來。
  5. 如申請專利範圍第1項所述之視訊處理方法，其中，每個填充區域僅位於該基於投影的圖框的中間。
  6. 如申請專利範圍第5項所述之視訊處理方法，其中，該等縮放投影面包括第一縮放投影面和第二縮放投影面，如果該第一縮放投影面的一邊與該第二縮放投影面的一邊連接，則在該第一縮放投影面的該一邊與該第二縮放投影面的該一邊之間存在圖像內容不連續邊緣；該至少一個填充區域包括第一填充區域；該第一填充區域與該第一縮放投影面的該一邊和該第二縮放投影面的該一邊連接，用於將該投影佈局中的該第一縮放投影面的該一邊與該第二縮放投影面的該一邊隔離開來。
  7. 如申請專利範圍第1項所述之視訊處理方法，其中，該等縮放投影面包括具有不同尺寸的第一縮放投影面和第二縮放投影面。
  8. 如申請專利範圍第1項所述之視訊處理方法，其中，所有的該等縮放投影面具有相同的尺寸。
  9. 如申請專利範圍第1項所述之視訊處理方法，其中，堆疊在該投影佈局中的該等縮放投影面包括第一縮放投影面；堆疊在該投影佈局中的該至少一個填充區域包括第一填充區域，該第一填充區域至少與該第一縮放投影面連接；以及生成該至少一個填充區域的步驟包括：將幾何填充應用於該第一縮放投影面以確定包括在該第一填充區域中的圖元的圖元值。
  10. 如申請專利範圍第1項所述之視訊處理方法，其中，堆疊在該投影佈局中的該等縮放投影面包括第一縮放投影面；堆疊在該投影佈局中的該至少一個填充區域包括第一填充區域，該第一填充區域至少與該第一縮放投 影面連接；以及生成該至少一個填充區域的步驟包括：通過複製包括在該第一縮放投影面中的特定圖元的圖元值來設置包括在該第一填充區域中的圖元的圖元值。
  11. 如申請專利範圍第1項所述之視訊處理方法，其中，堆疊在該投影佈局中的該等縮放投影面包括第一縮放投影面和第二縮放投影面，堆疊在該投影佈局中的該至少一個填充區域包括第一填充區域，該第一填充區域至少與該第一縮放投影面連接；以及生成該至少一個填充區域的步驟包括：通過複製包括在該第二縮放投影面中的特定圖元的圖元值來設置包括在該第一填充區域中的圖元的圖元值。
  12. 如申請專利範圍第1項所述之視訊處理方法，其中，縮放該等正方形投影面以生成該等縮放投影面的步驟包括：對於包括在第一組縮放投影面中的每個縮放投影面，根據第一縮放因子僅將縮放應用於該縮放投影面的高度方向和寬度方向中的一個；以及對於包括在第二組縮放投影面中的每個縮放投影面，根據該第一縮放因子將縮放應用於該縮放投影面的高度方向和寬度方向中的一個，並根據與該第一縮放因子不同的第二縮放因子將縮放應用於該縮放投影面的高度方向和寬度方向中的另一個。
  13. 如申請專利範圍第1項所述之視訊處理方法，其中縮放該等正方形投影面以生成該等縮放投影面的步驟包括：對於包括在該等縮放投影面中的每個縮放投影面，根據縮放因子僅將縮放應用於該縮放投影面的高度方向和寬度方向中的一個。
  14. 如申請專利範圍第1項所述之視訊處理方法，其中縮放該等正方形投影面以生成該等縮放投影面的步驟包括：對於包括在該等縮放投影面中的每個縮放投影面，根據相同縮放因子對該 縮放投影面的高度方向和寬度方向兩者應用縮放。
  15. 如申請專利範圍第1項所述之視訊處理方法，其中，還包括：向位元流中添加旗標，其中該旗標指示堆疊在該投影佈局中的該至少一個填充區域的填充佈置。
  16. 如申請專利範圍第1項所述之視訊處理方法，其中，還包括：向位元流添加旗標，其中該旗標指示是否縮放堆疊在該投影佈局中的複數個投影面。
  17. 如申請專利範圍第1項所述之視訊處理方法，其中，還包括：向位元流添加旗標，其中該旗標指示堆疊在該投影佈局中的該至少一個填充區域的填充尺寸。
  18. 一種視訊處理方法，包括：接收位元流的一部分；以及解碼該位元流的一部分以生成解碼的基於投影的圖框，其具有堆疊在基於立方體的投影的投影佈局中的複數個投影面和至少一個填充區域，包括：通過混合針對第一圖元獲得的解碼圖元值和針對第二圖元獲得的解碼圖元值來重構第一圖元，以生成該第一圖元的更新的圖元值，包括：通過混合電路將第一加權因子應用於針對該第一圖元獲得的該解碼圖元值；以及通過該混合電路將第二加權因子應用於針對該第二圖元獲得的該解碼圖元值；其中，該第一圖元和該第二圖元中的一個包括在該等投影面中的一個中，該第一圖元和該第二圖元中的另一個包括在該至少一個 填充區域中，以及該第一加權因子和該第二加權因子的設置獨立於該至少一個填充區域的填充尺寸。
  19. 如申請專利範圍第18項所述之視訊處理方法，其中，通過使用以下公式來計算該第一圖元的該更新的圖元值：
    Figure 108106860-A0305-02-0038-10
    ，其中Aupdate表示該第一圖元的該更新的圖元值，A表 示針對該第一圖元獲得的該解碼圖元值，A'表示針對該第二圖元獲得的該解碼圖元值，D表示要混合的圖元的寬度，並且d表示從該第一圖元到填充邊界的距離。
  20. 如申請專利範圍第18項所述之視訊處理方法，其中，混合針對該第一圖元獲得的該解碼圖元值和針對該第二圖元獲得的該解碼圖元值的步驟還包括：執行混合方法，包括：將圖像內容不連續邊緣和該第二圖元之間的距離與預定閾值進行比較；以及在該距離超過該預定閾值的條件下，混合針對該第一圖元獲得的該解碼圖元值和針對該第二圖元獲得的該解碼圖元值。
  21. 如申請專利範圍第20項所述之視訊處理方法，其中，還包括：從該位元流導出旗標，其中該旗標指示是否啟用了該混合方法。
  22. 如申請專利範圍第18項所述之視訊處理方法，其中，還包括：從該位元流導出旗標，其中該旗標指示混合方法，並且通過使用由該旗標指示的該混合方法來計算該第一圖元的該更新的圖元值。
  23. 一種視訊處理方法，包括：接收位元流的一部分；以及 解碼該位元流的一部分以生成解碼的基於投影的圖框，其具有堆疊在基於立方體的投影的投影佈局中的複數個縮放投影面和至少一個填充區域，其中複數個正方形投影面是根據基於立方體的投影從球體的全向內容獲得，該複數個縮放投影面是藉由分別縮放該等正方形投影面獲得。
  24. 如申請專利範圍第23項所述之視訊處理方法，其中，還包括：從位元流中導出旗標，其中該旗標指示堆疊在該投影佈局中的該至少一個填充區域的填充佈置。
  25. 如申請專利範圍第23項所述之視訊處理方法，其中，還包括：從位元流中導出旗標，其中該旗標指示是否縮放堆疊在該投影佈局中的複數個投影面。
  26. 如申請專利範圍第23項所述之視訊處理方法，其中，還包括：從位元流中導出旗標，其中該旗標指示堆疊在該投影佈局中的該至少一個填充區域的填充尺寸。
TW108106860A 2018-03-02 2019-02-27 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法 TWI690728B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862637425P 2018-03-02 2018-03-02
US62/637,425 2018-03-02
US201862712290P 2018-07-31 2018-07-31
US62/712,290 2018-07-31

Publications (2)

Publication Number Publication Date
TW201945790A TW201945790A (zh) 2019-12-01
TWI690728B true TWI690728B (zh) 2020-04-11

Family

ID=67768153

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108106860A TWI690728B (zh) 2018-03-02 2019-02-27 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法

Country Status (6)

Country Link
US (1) US11069026B2 (zh)
CN (2) CN111713103A (zh)
DE (1) DE112019000203T5 (zh)
GB (1) GB2582475B (zh)
TW (1) TWI690728B (zh)
WO (1) WO2019166008A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
CN113228658B (zh) * 2018-12-14 2023-10-17 中兴通讯股份有限公司 沉浸式视频比特流处理
CN110855965B (zh) * 2019-10-28 2021-07-13 安徽信捷智能科技有限公司 一种基于微距投影的广角对空成像系统
US11743440B2 (en) * 2021-04-19 2023-08-29 Apple Inc. Transmission and consumption of multiple image subframes via superframe

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI527433B (zh) * 2010-04-12 2016-03-21 意大利希思衛電子發展股份公司 用於產生和重建立體相容視頻串流之方法與相關編碼和解碼裝置
WO2017118377A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus of image formation and compression of cubic images for 360 degree panorama display
CN107113414A (zh) * 2014-11-14 2017-08-29 三星电子株式会社 使用区域自适应平滑的360度视频的编码
TWI611689B (zh) * 2012-04-26 2018-01-11 新力股份有限公司 視頻解碼方法、電腦軟體、機器可讀取非暫態儲存媒體、編碼設備、視頻解碼設備以及視頻捕獲、顯示、傳輸、接收及／或儲存設備
WO2018035721A1 (en) * 2016-08-23 2018-03-01 SZ DJI Technology Co., Ltd. System and method for improving efficiency in encoding/decoding a curved view video

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140100656A (ko) * 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
GB2524249B (en) * 2014-03-17 2021-01-20 Sony Interactive Entertainment Inc Image Processing
US9986154B2 (en) * 2014-05-21 2018-05-29 Here Global B.V. Developing a panoramic image
US20170026659A1 (en) * 2015-10-13 2017-01-26 Mediatek Inc. Partial Decoding For Arbitrary View Angle And Line Buffer Reduction For Virtual Reality Video
US20170118475A1 (en) * 2015-10-22 2017-04-27 Mediatek Inc. Method and Apparatus of Video Compression for Non-stitched Panoramic Contents
US20170230668A1 (en) * 2016-02-05 2017-08-10 Mediatek Inc. Method and Apparatus of Mode Information Reference for 360-Degree VR Video
WO2017165417A1 (en) * 2016-03-21 2017-09-28 Hulu, LLC Conversion and pre-processing of spherical video for streaming and rendering
US10319071B2 (en) * 2016-03-23 2019-06-11 Qualcomm Incorporated Truncated square pyramid geometry and frame packing structure for representing virtual reality video content
FI20165256L (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
US10249019B2 (en) 2016-05-06 2019-04-02 Mediatek Inc. Method and apparatus for mapping omnidirectional image to a layout output format
KR102506480B1 (ko) * 2016-06-14 2023-03-07 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US20170374364A1 (en) 2016-06-23 2017-12-28 Mediatek Inc. Method and Apparatus of Face Independent Coding Structure for VR Video
US10264282B2 (en) 2016-06-27 2019-04-16 Mediatek Inc. Method and apparatus of inter coding for VR video using virtual reference frames
TWI637356B (zh) * 2016-06-30 2018-10-01 聯發科技股份有限公司 將全向圖像映射到佈局輸出格式的方法和裝置
US10277886B2 (en) * 2016-07-19 2019-04-30 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
US20190253624A1 (en) * 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
US10339627B2 (en) * 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US10404960B2 (en) * 2016-10-10 2019-09-03 Samsung Electronics Co., Ltd. System and method to prevent boundary artifacts
CN106529419B (zh) 2016-10-20 2019-07-26 北京航空航天大学 视频显著性堆栈式聚合的对象自动检测方法
CN106686381A (zh) 2016-12-05 2017-05-17 乐视控股（北京）有限公司 一种视频解码方法、装置和电子设备
EP3334164B1 (en) 2016-12-09 2019-08-21 Nokia Technologies Oy A method and an apparatus and a computer program product for video encoding and decoding
WO2018124819A1 (ko) * 2017-01-02 2018-07-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10313664B2 (en) * 2017-01-11 2019-06-04 Qualcomm Incorporated Adjusting field of view of truncated square pyramid projection for 360-degree video
CN106780317B (zh) 2017-01-25 2020-08-11 北京数码视讯科技股份有限公司 全景投影方法及装置
US10839480B2 (en) 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
EP3586315B1 (en) * 2017-03-28 2024-06-26 Samsung Electronics Co., Ltd. Method and apparatus for displaying image based on user motion information
GB2573951A (en) 2017-04-05 2019-11-20 Mediatek Inc Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
US10467775B1 (en) * 2017-05-03 2019-11-05 Amazon Technologies, Inc. Identifying pixel locations using a transformation function
KR102707768B1 (ko) 2017-05-25 2024-09-19 브이아이디 스케일, 인크. 360도 비디오 코딩을 위한 하이브리드 큐브 맵 투사
US10798417B2 (en) 2017-07-05 2020-10-06 Qualcomm Incorporated Deblock filtering for 360-degree video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI527433B (zh) * 2010-04-12 2016-03-21 意大利希思衛電子發展股份公司 用於產生和重建立體相容視頻串流之方法與相關編碼和解碼裝置
TWI611689B (zh) * 2012-04-26 2018-01-11 新力股份有限公司 視頻解碼方法、電腦軟體、機器可讀取非暫態儲存媒體、編碼設備、視頻解碼設備以及視頻捕獲、顯示、傳輸、接收及／或儲存設備
CN107113414A (zh) * 2014-11-14 2017-08-29 三星电子株式会社 使用区域自适应平滑的360度视频的编码
WO2017118377A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus of image formation and compression of cubic images for 360 degree panorama display
WO2018035721A1 (en) * 2016-08-23 2018-03-01 SZ DJI Technology Co., Ltd. System and method for improving efficiency in encoding/decoding a curved view video

Also Published As

Publication number Publication date
GB2582475B (en) 2022-10-05
WO2019166008A1 (en) 2019-09-06
US20190272616A1 (en) 2019-09-05
CN111713103A (zh) 2020-09-25
GB2582475A (en) 2020-09-23
DE112019000203T5 (de) 2020-08-06
TW201945790A (zh) 2019-12-01
US11069026B2 (en) 2021-07-20
CN114615485B (zh) 2023-07-25
GB202007700D0 (en) 2020-07-08
CN114615485A (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
TWI690728B (zh) 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法
TWI728633B (zh) 用於處理包括以360度虛擬實境投影佈局封裝的至少一個投影面和至少一個填充區域的基於投影的幀的方法
CN110383842B (zh) 一种视频处理方法和装置
US10264282B2 (en) Method and apparatus of inter coding for VR video using virtual reference frames
US11004173B2 (en) Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
KR102307819B1 (ko) 레거시 및 몰입형 렌더링 디바이스를 위한 몰입형 비디오를 포맷팅하는 방법, 장치 및 스트림
TWI685244B (zh) 用於重構的基於投影的幀的適應性環路濾波方法
CN109906468B (zh) 用于处理包括封装在360度虚拟现实投影布局中的至少一个投影面的基于投影的帧的方法
TWI666912B (zh) 具有由封包於分段球體投影設計並以投影面表示之360度內容之投影訊框生成及編碼之方法及裝置
TWI681662B (zh) 用於減少基於投影的圖框中的偽影的方法和裝置
CN111936929B (zh) 用于重构的基于投影的帧的样本适应性偏移滤波方法
TWI736851B (zh) 一種基於立方體的投影方法
TWI782342B (zh) 一種視訊解碼方法
WO2021136372A1 (en) Video decoding method for decoding bitstream to generate projection-based frame with guard band type specified by syntax element signaling
Choi et al. Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11