TWI702832B - 虛擬現實視訊處理的邊界填充的方法與裝置 - Google Patents

虛擬現實視訊處理的邊界填充的方法與裝置 Download PDF

Info

Publication number
TWI702832B
TWI702832B TW106118825A TW106118825A TWI702832B TW I702832 B TWI702832 B TW I702832B TW 106118825 A TW106118825 A TW 106118825A TW 106118825 A TW106118825 A TW 106118825A TW I702832 B TWI702832 B TW I702832B
Authority
TW
Taiwan
Prior art keywords
cube
boundary
area
frame
filled
Prior art date
Application number
TW106118825A
Other languages
English (en)
Other versions
TW201804798A (zh
Inventor
林建良
林鴻志
李佳盈
黃昭智
張勝凱
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201804798A publication Critical patent/TW201804798A/zh
Application granted granted Critical
Publication of TWI702832B publication Critical patent/TWI702832B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明公開了圖像序列的視訊編碼或處理方法和裝置，該圖像序列對應於虛擬現實(VR)視訊。根據本發明的實施例，使用一個或複數個擴展立方體面填充在一個立方體面圖框的一個立方體面圖框邊界之外的填充區域，以形成填充的立方體面圖框，其中該一個立方體面圖框中的至少一個邊界立方體面一個填充區域，該一個填充區域使用從相同的立方體面圖框中的一個擴展的立方體面導出的像素資料。

Description

虛擬現實視訊處理的邊界填充的方法與裝置 【相關申請的交叉引用】
本申請要求2016年6月7日遞交的申請號為62/346,597的美國臨時案的優先權，在此合併參考該申請案的申請標的。
本發明涉及圖像和視訊編碼和處理。特別地，本發明涉及用於視訊編碼或處理的填充立方體面圖框(padding cubic face frames)，其需要在立方體面圖框邊界之外的像素資料。
360度視訊(也稱為沉浸式視訊)是一種新興技術，其可以提供“感覺身臨其境(feeling as sensation of present)”。通過圍繞用戶覆蓋全景的環繞場景，特別是360度視野，使用戶獲得沉浸感。通過立體渲染可以進一步提高“感覺身臨其境”。因此，全景視訊在虛擬現實(Virtual Reality，VR)應用中被廣泛使用。
沉浸式視訊涉及使用複數個相機來捕獲一個場景，以覆蓋全景，例如360度視野。沉浸式相機通常使用一組相機，可以捕獲360度視野。通常，沉浸式相機使用兩個或複 數個相機。所有視訊必須被同時拍攝，並記錄場景的分離片段(也稱為單獨視角)。此外，該組相機通常被佈置成水平地捕獲視圖，然而相機的其它佈置是可以的。
360度全景相機捕獲周圍的場景，並且拼接的球面圖像(stitched spherical image)是用來表示在水平方向上連續的VR視訊的一種方式。換句話說，球面圖像的左端的內容與右端是連續的。球面圖像也可以投影到立方體的六個面，作為替代的360度格式。可以通過投影轉換來執行轉換，以導出表示立方體的六個面的六個面圖像(face image)。在立方體的面上，這六個圖像在立方體的邊緣處連接。在第1圖中，圖像110對應於沒有任何空白區域的組合的矩形立方體面圖框，其中組合的圖框由1x6的立方體面組成。在第1圖中，圖像120對應於具有使用虛擬資料填充的空白區域的展開的(unfold)立方體面圖框，其也稱為具有空白區域的立方體面網格(cubic net)。如第1圖所示，展開的立方體面圖框被填入到覆蓋六個展開的立方體面圖框的最小矩形中。
立方體面組合圖框通常需要額外的處理，例如視訊/圖像壓縮或圖像濾波。例如，在傳統的視訊編碼系統中，運動估計(ME)和運動補償(MC)的處理可能需要在參考圖框的圖框邊界外或跨越圖框邊界的圖像資料。與常規2D視訊不同，與360度視訊相關聯的圖框在相鄰立方體面之間具有連續性。視訊/圖像系統通過利用這些資訊應該能夠更好地執行立方體面之間的連續性的感知。在本發明中，公開了VR視訊的邊界處理，以利用立方體面之間的連續性的知識。
本發明公開了圖像序列的視訊編碼或處理方法和裝置，該圖像序列對應於虛擬現實(VR)視訊。根據本發明的實施例，使用一個或複數個擴展立方體面填充在一個立方體面圖框的一個立方體面圖框邊界之外的填充區域，以形成填充的立方體面圖框，其中該一個立方體面圖框中的至少一個邊界立方體面具有一個填充區域，該一個填充區域使用從相同的立方體面圖框中的一個擴展的立方體面導出的像素資料。該一個立方體面圖框可以對應於一個1x6立方體佈局，2x3立方體佈局，3×2立方體佈局或具有空白區域的立方體面網格。該編碼該當前立方體面圖框使用圖框間預測，並且該一個立方體面圖框對應於在該當前立方體面圖框之前編碼的一個參考立方體面圖框。
根據一個實施例，對於目標邊界立方體面邊緣，將與對應的邊界立方體面共享該目標邊界立方體面邊緣的一個擴展立方體面複製到該對應的邊界立方體面的對應的填充區域。如果在該填充區域的角處的一個或複數個角區域沒有對應的邊界立方體面以導出填充資料，則使用一個或複數個相鄰邊界立方體面來導出一個角區域中的像素資料。可以使用基於線的填充，基於圓弧的填充，基於點的填充或基於區域的填充，來導出該填充區域的一個角中的該像素資料。當使用基於線的填充時，連接來自一個角區域的兩個相鄰立方體面的兩個對應的邊界像素的線被分配相同的像素值。當使用基於圓弧的填充時，連接來自一個角區域的兩個相鄰立方體面的兩個對應的邊界像素的圓弧曲線被分配相同的像素值，並且其中該相同 的像素值對應於該兩個對應的邊界像素中的一個的像素值或該兩個對應的邊界像素的加權和。當使用基於點的填充時，將對應於一個角區域的角像素或兩個相鄰立方體面中的另一像素的相同的像素值分配給該一個角區域。該像素值對應於濾波後的一個邊界像素。當使用基於區域的填充時，使用一個角區域的兩個相鄰立方體面中的一個來填充該一個角區域，或者該一個角區域被分成兩個子角區域，並使用該兩個相鄰立方體面的對應的子立方體面來填充。
根據一個實施例，公開了連續填充，其中使用與一個或複數個對應的邊界立方體面共享一個或複數個邊界立方體面邊緣的目標擴展立方體面，來導出該對應的邊界立方體面的目標側的對應的填充區域，並且其中該一個或複數個邊界立方體面邊緣與該對應的邊界立方體面的該目標側對準。該目標擴展立方體面被分割成複數個區域，並且每個區域包括該目標擴展立方體面的一個立方體面邊緣，並且其中該每個區域用於填充與該每個區域共享相同的立方體面邊緣的邊界立方體面的對應的填充區域。從該圖框邊界測量的該複數個區域的高度被調整為相同的高度。可以通過使用來自兩個填充區域的兩個對應的邊界像素進行內插或者使用連接該兩個填充區域的兩個對應的邊界像素的每條線的相同的值，來填充該兩個填充區域之間的空白區域，並且其中該相同的值對應於該兩個填充區域的兩個邊界像素的兩個像素值的中的一個。
在連續填充中，根據一個或複數個相鄰立方體面的邊界像素或角像素，使用基於線的填充，基於圓的填充或基 於點的填充，來填充與一個擴展立方體面和由該目標擴展立方體面的一個區域填充的一個填充區域相鄰的角區域。如果該一個或複數個對應的邊界立方體面和該目標擴展立方體面共享的不同邊界立方體面邊緣的總數為三個：將該目標擴展立方體面分割為一個第一三角形和兩個第二三角形，其中該第一三角形對應於等腰三角形，其具有一個邊界立方體面邊緣作為底邊並且具有等於一個立方體面邊緣的長度的等腰三角形的第一高度；每個第二三角形對應於一個直角三角形，其具有以一個邊界立方體面邊緣作為直角的長相鄰邊並且與該直角相鄰的短相鄰邊的長度等於一個立方體面邊緣的長度的一半，其中，當該長相鄰邊被認為是底邊以填充共享一個立方體面邊緣的一個邊界立方體面的填充區域時，該第二三角形具有等於一個立方體面邊緣的長度的一半的第二高度；並且將第一高度和第二高度調整為相同。如果該一個或複數個對應的邊界立方體面和該目標擴展立方體面共享的不同邊界立方體面邊緣的總數為四個：將該目標擴展立方體面分割為四個相同尺寸的等腰三角形，其中每個三角形具有一個邊界立方體面邊緣作為底邊，並且具有等於一個立方體面邊緣的一半長度的等腰三角形的第一高度。
如果該立方體面圖框對應於具有空白區域的立方體面網格，則使用一個擴展的立方體面來填充至少一個空白區域。對於正在編碼或處理的目標邊界立方體面中的目標區塊，該一個擴展立方體面用於填充該至少一個空白區域，其中該一個擴展立方體面被選擇為與該目標邊界立方體面共享相同的 立方體面邊緣。在一個實施例中，該一個空白區域被分割為複數個空白範圍，並且每個空白範圍使用與該每個空白範圍共享一個立方邊緣的一個對應的邊界立方體面進行填充。該一個對應的邊界立方體面的對應的範圍用於填充該每個空白範圍。在另一個實施例中，對於每個空白區域，沿著從該一個對應的邊界立方體面的對應的邊界立方體面邊緣到位於該一個空白區域的中心的該每個空白範圍的角的一條線分配相同的值。
在一個實施例中，如果立方體面圖框對應於具有空白區域的立方體面網格，則根據基於線的填充，基於圓弧的填充或基於點的填充，使用來自相鄰立方體面的像素資料來填充至少一個空白區域。當使用一個擴展的立方體面來填充一個空白區域或部分空白區域時，可以沿著兩個相鄰的共享立方體面邊緣施加α混合。根據到擴展的起始點的垂直距離來確定用於α混合的加權因子。
在另一個實施例中，該方法還可以包括發信或解析分配給每個填充區域或範圍的一個或複數個填充模式。可以確定相鄰立方體面的填充模式，並且僅當當前填充模式不明確時，才發信或解析當前立方體面的該當前填充模式。
110、120、210、220:圖像
310、320:圖框
330:圖框間/圖框內預測
410:1x6立方體面組合圖框
432、414、416、418:角
420:區域
422:目標立方體面
512、514、516、518:區域
610:右上角區域
620:垂直邊緣
622:水平邊緣
632:對角線
642:角像素
710、720:立方體面
712、722:旋轉的立方體面
714、724:左邊緣
716、726:底部邊緣
910:2x3立方體面組合圖框
920:方框
932、934、936、938:角區域
1210:2x3立方體面組合圖框
1212:立方體面
1220:圖像
1230、1232:橢圓
1310:目標立方體面
1320:圖像
1410:圖像
1412、1414:橢圓
1420:圖像
1430:立方體面
1510:分割的立方體面
1520:圖像
1610、1612、1620、1622、1630、1632:角區域
1710:等腰三角形
1720:分割範圍
1810:立方體面網格
1812、1814、1816、1818:空白區域
1910:區域
1912:立方體面
1920:當前區塊
1930:邊界
2010:空白區域
2110、2210:空白區域
2120、2122、2124:範圍
2210:立方體面網格
2310、2410、2510:區域
2320:角像素
2610:區塊
2620:運動向量
2710、2720:圖像
2712:矩形
2722、2724:偽影
d1、d2:距離
2910、2912:相鄰立方體面
2920:混合立方體面
3210、3220、3230:步骤
第1圖為不具有任何空白區域的組合矩形立方體面圖框和具有使用虛擬資料填充的空白區域的展開立方體面圖框的示例。
第2圖為在第1圖中的不具有任何空白區域的組合矩形立 方體面圖框和具有使用虛擬資料填充的空白區域的展開立方體面圖框的圓形立方體面邊緣(circular cubic face edge)的示例。
第3圖為用於VR視訊編碼的填充處理的示例，其中對應於3×2的組合圖框的輸入立方體面圖框被填充到填充圖框(padded frame)中。
第4圖為根據本發明的實施例的1x6立方體面組合圖框的填充的示例。
第5圖為在填充具有擴展立方體面的填充區域之後的填充區域的未填充角(unfilled corner)的示例。
第6A圖為使用基於線的填充來填充右上角的未填充角的示例，其中每條線被分配來自單個像素(例如邊界像素)的一值。
第6B圖為使用基於線的填充來填充右上角的未填充角的示例，其中每個垂直線被分配來自一個像素的一值，並且每個水平線被分配來自另一個像素的另一值。
第6C圖為使用基於圓形的填充來填充右上角的未填充角的示例，其中每個圓弧曲線被分配來自兩個邊界的單個像素的值或兩個像素的加權和。
第6D圖為使用基於點的填充來填充右上角的未填充角的示例，其中角像素被擴展到未填充的角區域。
第7A圖為通過將角區域的底部邊緣上的立方體面逆時針旋轉90度來填充未填充的角區域，並且使用旋轉的立方體面來填充該區域的示例。
第7B圖為通過將角區域的左邊緣上的立方體面順時針旋轉90度來填充未填充的角區域，並且使用旋轉的立方體面來填充該區域的示例。
第8A圖為使用來自角區域下方的旋轉的立方體面的左上半部分來填充角區域的左上半部分的示例。
第8B圖為使用來自角區域的左側的旋轉的立方體面的右下半部分來填充角區域的右下半部分的示例。
第9圖為根據本發明的實施例的用於填充具有擴展立方體面的填充區域之後的2x3立方體面組合圖框和填充區域的未填充角的填充的示例。
第10圖為填充1x6立方體面組合圖框的情況，其中用於填充(fill)填充區域(padded area)的任何兩個相鄰的擴展立方體面之間的邊界總是不連續的，如虛線橢圓所示。
第11圖為填充2x3立方體面組合圖框的情況，其中用於填充填充區域的任何兩個相鄰的擴展立方體面之間的邊界總是不連續的，如虛線橢圓所示。
第12圖為在填充2x3立方體面組合圖框期間的不連續性的示例，其中用於填充填充區域的任何兩個相鄰的擴展立方體面之間的邊界是不連續的，如虛線橢圓所示。
第13圖為根據本發明的實施例的連續填充的示例，其中目標立方體面與立方體面圖框的底部立方體面共享相同的立方體面邊緣，並且將目標立方體面分割成複數個範圍(region)以進行連續填充。
第14圖為在填充立方體面組合圖框期間的不連續性的示 例，其中用於填充填充區域的任何兩個相鄰的擴展立方體面之間的邊界是不連續的，如虛線橢圓所示。
第15圖為根據本發明的實施例的連續填充的示例，其中目標立方體面與立方體面圖框的底部立方體面共享相同的立方體面邊緣，並且將目標立方體面分割成複數個範圍以進行連續填充。
第16A圖為基於線的填充的示例，以填充兩個角區域。
第16B圖為基於圓弧的填充的示例，以填充兩個角區域。
第16C圖為基於點的填充的示例，以填充兩個角區域。
第17圖為另一種連續填充技術，其中立方體面被等分成四個相同大小的等腰三角形，並且每個三角形的底邊與圖像的右側立方邊界上的一個立方體面邊緣相關聯。
第18圖為具有空白區域的展開的立方體面網格的空白區域所需的填充的示例，其中沿著箭頭所示的線使用內插或複製來填充空白區域。
第19圖為使用旋轉的相鄰立方體面在展開的立方體面網格中填充空白區域的示例。
第20圖為通過將空白區域分割成複數個範圍並且每個範圍被獨立地填充，來填充展開的立方體面網格中的空白區域的另一示例。
第21圖為將展開的立方體面網格中的空白區域分割為複數個範圍並使用邊界立方體面來填充每個範圍的示例。
第22圖為將展開的立方體面網格中的空白區域分割為四個範圍並且通過對空白區域中的每條線使用相同的像素 值來填充每個範圍的示例。
第23圖為展開的立方體面網格中的空白區域的基於點的填充，其中角像素的值或預定義值用於填充空白區域。
第24圖為展開的立方體面網格中的空白區域的基於線的填充，其中使用邊界像素值沿著線執行內插以填充空白區域。
第25圖為展開的立方體面網格中的空白區域的基於圓弧的填充，其中可以使用邊界像素值沿著圓弧線執行內插以填充空白區域。
第26圖為指向1x6立方體面組合圖框外的大運動向量的示例，其中使用填充技術作為在立方體面圖框邊界之外生成所需的資料的示例。
第27圖為具有偽影的填充的立方體面圖框(padded cubic-face frame)的示例。
第28圖為確定α混合(alpha blending)的權重的示例。
第29圖為將α混合應用於兩個相鄰立方體面以形成混合立方體面的示例。
第30圖為在佈局方案中為每個填充範圍分配填充模式的示例，其中虛線區塊表示要填充的範圍或區域。
第31圖為分配填充模式的另一示例，其中每個面被獨立地編碼並創建填充。
第32圖為根據本發明實施例的對應於虛擬現實(virtual reality，VR)視訊的圖像序列的視訊編碼或處理的示例性流程圖。
以下描述為本發明的較佳實施例。以下實施例僅用來舉例闡釋本發明的技術特徵，並非用以限定本發明。本發明的保護範圍當視權利要求書所界定為准。
如前所述，常規視訊/圖像編碼或常規圖像處理將球面圖像和立方體面圖框視為來自常規視訊/圖像相機的常規圖框。當需要邊界外的像素資料時，外部的像素資料通常被視為不可用資料。因此，不可用像素資料通常可以用其他方式生成，例如使用預定義資料來填充或擴展邊界附近的現有像素。然而，對於立方體面組合圖框，立方體面邊界之外的資料確實具有連續性。在本發明中，公開了通過考慮跨越立方體面邊界的連續性的各種資料填充技術。
如第1圖所示，這六個立方體面以一定的方式相互連接，因為這六個立方體面在立方體的表面上相互連接。因此，立方體上的每個邊緣由兩個立方體面共享。換句話說，x，y和z方向上的每四個面是圓形連續的。不具有空白區域(即第1圖中的圖像110)的1x6立方體面組合圖框的圓形邊緣(circular edge)由第2圖中的圖像210示出。對於每個編號的邊緣，存在來自另一立方體面的對應的邊緣。例如，左側的第一個立方體面的頂部的邊緣# 1與從右側開始的第二個立方體面的頂部的邊緣# 1相連接。對於圖像110的中間的四個立方體面，沒有標記邊緣，因為這四個立方體面是連續的，並且在任何兩個相鄰立方體面圖框之間沒有可見的邊緣。然而，對於這四個立方體面，最左邊的立方體面圖框的左邊緣(即，邊緣# 3)環繞以連接 到最右邊的立方體面圖框的右邊緣(即邊緣# 3)。具有空白區域的立方體面組合圖框(即，第1圖中的圖像120)的圓形邊緣由第2圖中的圖像220來示出。
在VR編碼視訊中，可以從其他立方體面獲得圖框邊界外的資訊。第3圖為用於VR視訊編碼的填充處理的示例，其中對應於3×2的組合圖框的輸入立方體面圖框310(也稱為立方體面佈局或立方體佈局)被填充到填充圖框320中。在填充處理之後中，常規的圖框間/圖框內預測330隨後可用於有效地對視訊進行編碼。具體地，根據本發明的實施例，從其他面獲得圖像/視訊邊界外的像素，其共享相同的立方體面邊界。
第4圖為根據本發明的實施例的1x6立方體面組合圖框410的填充的示例。對於圖框邊界的每個立方體面邊緣，識別對應的邊緣和相關聯的立方體面。例如，在組合圖框的左邊界上存在立方體面邊緣# 7。相關聯的立方體面412將用於在左邊界之外產生所需的填充資料。與立方體面圖框邊界相鄰的任何立方體面稱為邊界立方體面(boundary cubic face)。對於1x6立方體面圖框，每個立方體面都是邊界立方體面。立方體面412和立方體面422共享相同的立方體面邊緣(即# 7)。用於導出在目標立方體面422之外的擴展像素資料的立方體面412，是與目標立方體面422不同的立方體面。在本發明中，立方體面412也被稱為擴展立方體面(extended cubic face)。類似地，可以識別邊界處的所有其他立方體面。通常，在邊界附近只有有限數量的像素將被填充。因此，僅需要填充區域420和1x6立方體面組合圖框410之間的像素。然而，對於填充區域的四個角 (即432，414，416和418)，沒有來自相鄰立方體面的可用資料。因此，如第5圖中的區域512，514，516和518所示，這四個未填充角必須用填充資料來填充。
本發明公開了為填充區域的四個未填充角產生填充資料的各種技術。根據一個實施例，通過沿著每條線分配相同的值來使用基於線的填充(line-based padding)。例如，如第6A圖所示，可以從當前面的邊界或相鄰面的邊界獲得線，用於右上角區域610的填充。該線被示為連接兩個相鄰的立方體面邊緣的箭頭線(arrowed line)。像素值可以沿著箭頭線從垂直邊緣620或從水平邊緣622的像素來複製。該線可以被分配來自單個像素或複數個像素的一值。例如，第6B圖為對於每條線使用兩個像素的示例，其中線在對角線632的上方範圍中沿水平方向移動，並且在對角線632的下方範圍中沿垂直方向移動。對於水平方向，該線從垂直邊緣620複製像素，並且對於垂直方向，該線從水平邊緣622複製像素。
在另一個實施例中，如第6C圖所示，通過沿著每個圓弧線分配一相同的值來使用基於圓弧的填充(circular-based padding)。該值可以從兩個邊界(即620和622)之一或兩個邊界(即620或622)的兩個像素的加權和導出。在另一個實施例中，如第6D圖所示，通過將角像素642擴展到未填充的角區域來使用基於點的填充(point-based padding)，以生成填充資料。在這種情況下，填充區域中的像素的像素值與角像素642相同。
在用於填充角區域的上述實施例中，填充值可以 是濾波的邊界像素。換句話說，可以對邊界像素應用濾波，然後使用濾波的像素來生成填充資料。
本發明還公開了基於區域的填充(area-based padding)技術，用於生成未填充的角區域的填充資料。在一個實施例中，兩個邊界立方體面中的一個用於填充未填充的角區域。例如，如第7A圖所示，角區域的底部邊緣上的立方體面710用於填充角區域。在這種情況下，立方體面710逆時針旋轉90度以形成旋轉的立方體面712，並且用於填充角空間。此外，如第7B圖所示，角區域的左邊緣上的立方體面720可以用於填充角區域。在這種情況下，立方體面720順時針旋轉90度以形成旋轉的立方體面722，並用於填充未填充的角區域。注意，在第7A圖中，填充區域在左邊緣714上是連續的，但是在底部邊緣716上是不連續的。另一方面，在第7B圖中，填充區域在底部邊緣726上是連續的，但是在左邊緣724上是不連續的。
在第7A圖中，填充區域的左上部分與立方體面邊界連續。另一方面，在第7B圖中，填充區域的右下部分從立方體面邊界連續。因此，在另一個實施例中，如第8A圖和第8B圖所示，使用角區域的兩個邊緣的每個立方體面的一半來填充角區域。立方體面712的位於對角線上方的左上半部分用於填充如第8A圖所示的角區域的位於對角線上方的左上半部分。另一方面，如第8B圖所示，立方體面722的位於對角線下方的右下半部分用於填充角區域的位於對角線下方的右下半部分。
除了1x6立方體面組合圖框之外，還可以使用2x3立方體面組合圖框。第9圖為用於2x3立方體面組合圖框910的 填充的示例。類似於第5圖中的1x6立方體面組合圖框的情況，共享相同立方體面邊緣的立方體面圍繞著2x3立方體面組合圖框910的邊界。方框920與2x3立方體面組合圖框910之間的區域將被填充。此外，在待填充區域的四個角落處，四個角區域(932，934，936和938)沒有可用於填充填充區域的相鄰立方體面。第6A-6D圖，第7A-7B圖和第8A-8B圖所示的填充技術也適用於第9圖的情況。
通過使用共享共同邊緣的擴展立方體面的填充技術將得到跨越圖框邊界的連續圖像。然而，用於填充邊界區域的兩個相鄰立方體面之間的區域可能不是連續的。第10圖為填充1x6立方體面組合圖框的情況。如第10圖所示，用於填充填充區域的任何兩個相鄰的擴展立方體面之間的邊界總是不連續的，如虛線橢圓所示。第11圖為填充2x3立方體面組合圖框的情況。如第11圖所示，用於填充填充區域的任何兩個相鄰的擴展立方體面之間的區域總是不連續的，如虛線橢圓所示。
為了克服如第10圖和第11圖所示的不連續性問題，公開了連續填充技術，其能夠產生從一個擴展立方體面到另一個擴展立方體面的連續的填充區域。第12圖為基於立方體面1212(指定為目標立方體面)的連續填充的示例。立方體面1212具有三個共享立方體面邊緣，其具有2x3立方體面組合圖框1210的底部邊界。立方體面1212可用於產生2x3立方體面組合圖框1210的底部區域1222的填充資料。在2×3立方體面組合圖框1210的底部的一列，目標立方體面1212具有與三個立方體面共享的三個邊緣(在第12圖中標記為“A”，“B”和“C”)。但是， 如圖像1220所示，立方體面1212的兩個邊緣與相鄰的立方體面不連續，如橢圓1230和1232所示。產生連續填充的各種技術如下所述。
在第一示例中，立方體面1212被分割成複數個範圍。如第12圖所示，目標立方體面的三個邊緣(即，“A”，“B”和“C”)與立方體面圖框1210的底部立方體面共享相同的立方體面邊緣。因此，如第13圖所示，將目標立方體面1310分割為範圍1，2和3。如圖像1320所示，將三個分割範圍放置在立方體面圖框的下方。分割的目標立方體面1310由一個等腰三角形(即範圍2)和兩個直角三角形(即範圍1和3)组成。等腰三角形具有共同的立方體面邊緣(即，如對應於第12圖所示的邊緣B)。該側被認為是底邊(base side)，等腰三角形的高度h1由箭頭指示。每個直角三角形具有與直角相鄰的長邊(即，如第12圖所示的邊緣A或邊緣C)和短邊。長邊的長度等於立方體面邊緣的長度。短邊的長度h2等於立方體面邊緣長度的一半。在填充區域1320中，三個三角形被調整為具有相同的高度。換句話說，如第13圖所示，調整高度h1'與調整高度h2'相同。分割範圍之間的區域可以如箭頭所示進行內插。此外，分割範圍之間的區域可以沿著箭頭所示的每條線分配相同的像素值，其中像素值可以對應於兩個相鄰分割範圍之一的邊界的像素值。
第14圖為使用目標立方體面的連續填充的另一示例。第14圖中的圖像1410對應於填充有共享共同邊緣的擴展立方體面的圖像。如橢圓1412和1414所示，兩個相鄰的擴展立方體面之間存在不連續性。可以應用如第13圖所示的連續填充技 術。在立方體面圖框的右側的目標立方體面邊緣被標記(即，“A”，“B”，“C”和“D”)。這四個邊緣對應於立方體面圖框1430的四個邊緣。類似於第13圖的示例，立方體面1430被分割成複數個範圍。如第15圖所示，目標立方體面1430被分割為範圍1，2和3，其中展示了分割的立方體面1510。三個分割範圍被放置在立方體面圖框的右側，如圖像1520所示。分割範圍之間的區域可以如箭頭所示進行內插。另外，分割範圍之間的區域可以沿著箭頭所示的每條線分配相同的像素值，其中像素值可以對應於兩個相鄰分割範圍之一的邊界的像素值。
在第15圖中，對於立方體面邊緣D的右側的區域沒有轉換的立方體面，這是與第4圖和第5圖所示的類似的問題。第6A圖至第6D圖可以應用於解決該問題。因此，在第16A圖中顯示了基於線的填充，以填充角區域1610和1612；在第16B圖中顯示了基於圓弧的填充，以填充角區域1620和1622；並且在第16C圖中顯示了基於點的填充，以填充角區域1630和1632。
第17圖為另一種連續填充技術，其中立方體面被等分成四個相等大小的等腰三角形1710，並且每個三角形的底邊(標記為A，B，C或D)與圖像1420的右側立方體邊界上的一個立方體面邊緣相關聯。因此，這四個分割範圍1720被填充到立方體面圖框1420的右側。分割範圍之間的區域可以使用內插來填充。
第18圖為展開的立方體面網格1810所需的填充的另一示例。在填充與對應的立方體面的共享立方體面邊緣相鄰的區域之後，存在空白區域(1812至1818)。在一個實施例中， 可以使用內插來填充空白區域。例如，來自邊緣的邊界像素可以用於沿著區域1812所示的線進行內插或複製。
在另一個實施例中，可以使用立方體面來填充如第19圖所示的空白區域。在該示例中，立方體面1912順時針旋轉並且被放置在區域1910中。旋轉的立方體面1910在跨越邊界1930處是連續的。對於待處理的當前區塊1920，可以使用跨越邊界1930的周圍資料。
在另一個實施例中，空白區域可以被分割成複數個範圍，並且每個範圍被獨立地填充，如第20圖所示，其中空白區域2010被分割為四個範圍(區域1，2，3，以及空白區域)。
空白區域還可以使用每個立方體面邊緣的邊界立方體面(稱為填充面)來填充。例如，邊界面的區域中的像素可用於填充空白區域的範圍。第21圖為將空白區域分割為複數個範圍並使用邊界立方體面來填充每個範圍的示例。在第21圖中，待填充的空白區域2110，以與第20圖所示相同的方式將空白區域分割成四個範圍。對於區域1，2和3，對應的邊界立方體面的範圍(2120，2122或2124)被擴展以填充對應的空白範圍(即分別為範圍1，2或3)。在一個示例中，對應的邊界立方體面的範圍(2120，2122或2124)可以相對於由曲線箭頭指示的相應立方邊緣進行翻轉，並且分別填充對應的空白範圍(即，範圍1，2或3)。
第22圖為使用邊界立方體面填充空白區域的另一示例。在第22圖中，以與第20圖所示的相同的方式將空白區分割成四個範圍。對於空白區域的每個範圍，為空白區域中的每 條線分配相同的像素值。像素值可以是對應的邊界像素值或預定義值。
前面提到的其他填充技術也可以應用於這種情況。例如，第23圖為基於點的填充，其中角像素2320的值或預定義值可用於填充區域2310。第24圖為基於線的填充，其中可以使用邊界像素值沿著線執行內插來填充區域2410。另外，邊界像素值或預定義值可以用於每條線以填充區域2410。第25圖為基於圓弧的填充，其中可以使用邊界像素值沿著圓弧線執行內插以填充區域2510。另外，邊界像素值或預定義值可以用於每個圓弧線以填充區域2510。
填充技術通常填充邊界周圍的相鄰區域，使得當需要圖框邊界外的像素資料時，所需的資料將可用於處理。例如，濾波處理可能需要當前像素上方周圍的相鄰像素。如果當前像素接近或位於圖像的邊界處，則某些相鄰資料可能不可用。填充處理將生成所需的相鄰資料。對於視訊編碼中的圖框間預測，可以使用由運動向量表示的參考資料可作為參考資料。當當前區塊在邊界附近時，所需的參考資料可能在圖像邊界之外。填充處理可以幫助生成所需的參考資料。然而，可能會發生大的運動，這將指向超出填充區域的資料。第26圖為大運動向量的示例，其中使用第5圖中的填充技術來作為示例。區塊2610對應於當前區塊。當前區塊的運動向量2620指向超過填充範圍420的較遠的區域。根據一個實施例，如果運動向量在立方體填充範圍420之外，則從立方體填充圖像的邊界像素複製參考像素。
在立方體面表示中，不同的立方體面可能是被不同的相機捕獲的和/或經歷了不同的處理，這可能導致在填充中沿著立方體面圖框邊界產生偽影。本發明還公開了利用濾波來減少沿著立方體面圖框邊界的可見偽影的填充技術。濾波可以對應於平滑濾波或去區塊。第27圖為具有偽影的填充立方體面圖框(padded cubic-face frame)的示例。圖像2710對應於填充立方體面圖框，其中矩形2712表示立方體面圖框的邊界。圖像2720表示填充的立方體面圖框中的一些偽影(2722和2724)。
在一個實施例中，使用α混合(alpha blending)來減少偽影。特別地，應用α混合沿著不同的方向擴展立方體面。使用加權和來確定濾波像素值。第28圖為確定α混合的權重的示例。對於像素“X”，從邊界像素P1到當前像素“X”的距離為d1，從另一邊界像素P2到當前像素“X”的距離為d2。權重因子分別被導出為d2/(d1+d2)和d1/(d1+d2)。第29圖為將α混合應用於兩個相鄰立方體面(2910和2912)以形成混合立方體面2920的示例。
本發明還公開了一種發信填充模式的技術。如上所述，有各種填充技術可用於生成填充立方體面圖框。沒有特定的填充技術可以保證始終提供最好的結果。因此，本發明的實施例允許編碼器為模糊的立方體面(ambiguous cubic face)選擇最佳填充，其中最佳填充是未知的。第30圖為在佈局方案中為每個填充範圍分配填充模式的示例，其中虛線區塊表示要填充的範圍或區域。第31圖為分配填充模式的另一示例。在這個例子中，每個面都被獨立地編碼及創建填充。當前面(current face)的四個相鄰面首先被連接，並為其他範圍分配填充模式。
以上公開的發明技術可以以各種形式包含到各種視訊編碼或解碼系統中。例如，可以使用基於硬體的方法來實現本發明，例如專用集體電路(IC)，現場可編程邏輯陣列(FPGA)，數位信號處理器(DSP)，中央處理單元(CPU)等。本發明可以也可以使用能在計算機，膝上型計算機或移動設備(諸如智能電話)上執行的軟體代碼或韌體代碼來實現。此外，軟體代碼或韌體代碼可以在諸如具有專用處理器(例如，視訊編碼引擎或協處理器)的CPU的混合型平台上執行。
第32圖為根據本發明的實施例的對應於虛擬現實(VR)視訊的圖像序列的視訊編碼或處理的示例性流程圖。根據該方法，在步驟3210中，接收對應於虛擬現實視訊的圖像序列，其中，圖像序列包括立方體面圖框，並且每個立方體面圖框包括來自立方體的表面的複數個立方體面，並且其中每個立方體面圖框的圖框邊界包括複數個邊界立方體面邊緣，複數個邊界立方體面邊緣對應於與圖框邊界相鄰的複數個邊界立方體面。在步驟3220中，使用一個或複數個擴展立方體面填充在一個立方體面圖框的一個立方體面圖框邊界之外的填充區域，以形成填充的立方體面圖框，其中所述一個立方體面圖框中的至少一個邊界立方體面具有使用來自相同立方體面圖框中的一個擴展立方體面的像素資料的一個填充區域，並且其中所述一個擴展立方體面是與所述至少一個邊界立方體面是不同的立方體面。然後在步驟3230中，使用填充的立方體面圖框對當前立方體面圖框進行編碼或處理。
本發明所公開的上述流程圖可以對應於將在計算機、移動設備、數字信號處理器或可編程設備上執行的軟體程式代碼。程式代碼可以用諸如C++的各種編程語言來編寫。該流程圖還可以對應於基於硬體的實現，其中硬體可以是一個或多個電子電路(例如，ASIC(專用集體電路)和FPGA(現場可編程邏輯陣列))或處理器(例如，DSP(數位信號處理器))。
以上的描述是使所屬領域中具有習知技術者在本文提供的特定應用和需求下能夠實踐本發明。所屬領域中具有習知技術者將容易地觀察到，在不脫離本發明的精神和範圍內，可以進行多種修改和變動。因此，本發明並非限定在所示和描述的特定的實施例上，而本發明公開是為了符合原則和新穎性的最廣泛的範圍。在上述詳細的描述中，各種具體的細節，用以提供對本發明的透徹的瞭解。儘管如此，將被所屬領域中具有習知技術者理解的是，本發明能夠被實踐。
如上述所述的本發明的實施例，可以使用硬體、軟體或其組合來實現。例如，本發明的一實施例可以是集成到視訊壓縮芯片中的電路或集成到視訊壓縮軟體中的程式代碼，以執行所描述的處理。本發明的實施例也可以是將在數字信號處理器上執行的程式代碼來執行所描述的處理。本發明還涉及一系列的由計算機處理器、數字信號處理器、微處理器和現場可編程門陣列(FPGA)執行的功能。根據本發明，這些處理器可以被配置為執行特定任務，通過執行定義特定方法的計算機可讀軟體代碼或韌體代碼來實現。軟體代碼或韌體代碼可以用不同的編程語言和不同的格式或樣式來開發。軟體代碼也可 以為不同的目標平臺所編譯。然而，軟體代碼的不同的代碼格式、風格和語言，以及配置代碼的其他方式以執行任務，均不脫離本發明之精神和範圍。
本發明可以以其它具體形式實施而不背離其精神或本質特徵。所描述的實施例在所有方面都僅是說明性的而不是限制性。本發明的範圍因此由所附權利要求為准而不是由前面的描述所界定。因此，各種修改、改編以及所描述的實施例的各種特徵的組合可以在不脫離本發明的範圍如權利要求書中闡述的情況下實施。
3210、3220、3230‧‧‧步骤

Claims (28)

  1. 一種圖像序列的視訊編碼或處理的方法，該圖像序列對應於虛擬現實視訊，所述方法包括：接收對應於虛擬現實視訊的該圖像序列，其中該圖像序列包括複數個立方體面圖框，並且每個立方體面圖框包括來自立方體的表面的複數個立方體面，並且其中該每個立方體面圖框的圖框邊界包括複數個邊界立方體面邊緣，該複數個邊界立方體面邊緣對應於與該圖框邊界相鄰的複數個邊界立方體面；使用一個或複數個擴展立方體面填充在一個立方體面圖框的一個立方體面圖框邊界之外的填充區域，以形成填充的立方體面圖框，其中該一個立方體面圖框中的至少一個邊界立方體面具有一個填充區域，該一個填充區域使用從相同的立方體面圖框中的一個擴展立方體面導出的像素資料，並且其中該一個擴展立方體面是與該至少一個邊界立方體面不同的立方體面；以及使用該填充的立方體面圖框來編碼或處理當前立方體面圖框。
  2. 如申請專利範圍第1項所述之方法，其中該一個立方體面圖框對應於一個1x6立方體佈局，2x3立方體佈局，3×2立方體佈局或具有空白區域的立方體面網格。
  3. 如申請專利範圍第1項所述之方法，其中該編碼該當前立方體面圖框使用圖框間預測，並且該一個立方體面圖框對應於在該當前立方體面圖框之前編碼的一個參考立方體面圖框。
  4. 如申請專利範圍第1項所述之方法，其中，如果使用圖框間預測對該當前立方體面圖框中的當前區塊進行編碼，並且該當前區塊的運動向量指向該填充的立方體面圖框之外的參考像素，則從該填充的立方體面圖框的一個或複數個邊界像素複製該填充的立方體面圖框之外的該參考像素。
  5. 如申請專利範圍第1項所述之方法，其中對於目標邊界立方體面邊緣，將與對應的邊界立方體面共享該目標邊界立方體面邊緣的一個擴展立方體面複製到該對應的邊界立方體面的對應的填充區域。
  6. 如申請專利範圍第5項所述之方法，其中如果在該填充區域的角處的一個或複數個角區域沒有對應的邊界立方體面以導出填充資料，則使用一個或複數個相鄰邊界立方體面來導出一個角區域中的像素資料。
  7. 如申請專利範圍第6項所述之方法，其中使用基於線的填充，基於圓弧的填充，基於點的填充或基於區域的填充，來導出該填充區域的一個角中的該像素資料。
  8. 如申請專利範圍第6項所述之方法，其中當使用基於線的填充時，連接來自一個角區域的兩個相鄰立方體面的兩個對應的邊界像素的線被分配相同的像素值。
  9. 如申請專利範圍第6項所述之方法，其中當使用基於圓弧的填充時，連接來自一個角區域的兩個相鄰立方體面的兩個對應的邊界像素的圓弧曲線被分配相同的像素值，並且其中該相同的像素值對應於該兩個對應的邊界像素中的一個的像素值或該兩個對應的邊界像素的加權和。
  10. 如申請專利範圍第6項所述之方法，其中當使用基於點的填充時，將對應於一個角區域的角像素或兩個相鄰立方體面中的另一像素的相同的像素值分配給該一個角區域。
  11. 如申請專利範圍第10項所述之方法，其中該像素值對應於濾波後的一個邊界像素。
  12. 如申請專利範圍第5項所述之方法，其中當使用基於區域的填充時，使用一個角區域的兩個相鄰立方體面中的一個來填充該一個角區域，或者該一個角區域被分成兩個子角區域，並使用該兩個相鄰立方體面的對應的子立方體面來填充。
  13. 如申請專利範圍第1項所述之方法，其中使用與一個或複數個對應的邊界立方體面共享一個或複數個邊界立方體面邊緣的目標擴展立方體面，來導出該對應的邊界立方體面的目標側的對應的填充區域，並且其中該一個或複數個邊界立方體面邊緣與該對應的邊界立方體面的該目標側對準。
  14. 如申請專利範圍第13項所述之方法，其中該目標擴展立方體面被分割成複數個區域，並且每個區域包括該目標擴展立方體面的一個立方體面邊緣，並且其中該每個區域用於填充與該每個區域共享相同的立方體面邊緣的邊界立方體面的對應的填充區域。
  15. 如申請專利範圍第14項所述之方法，其中從該圖框邊界測量的該複數個區域的高度被調整為相同的高度。
  16. 如申請專利範圍第14項所述之方法，其中通過使用來自兩個填充區域的兩個對應的邊界像素進行內插或者使用連接 該兩個填充區域的兩個對應的邊界像素的每條線的相同的值，來填充該兩個填充區域之間的空白區域，並且其中該相同的值對應於該兩個填充區域的兩個邊界像素的兩個像素值的中的一個。
  17. 如申請專利範圍第14項所述之方法，其中，根據一個或複數個相鄰立方體面的邊界像素或角像素，使用基於線的填充，基於圓的填充或基於點的填充，來填充與一個擴展立方體面和由該目標擴展立方體面的一個區域填充的一個填充區域相鄰的角區域。
  18. 如申請專利範圍第14項所述之方法，其中如果該一個或複數個對應的邊界立方體面和該目標擴展立方體面共享的不同邊界立方體面邊緣的總數為三個：將該目標擴展立方體面分割為一個第一三角形和兩個第二三角形，其中該第一三角形對應於等腰三角形，其具有一個邊界立方體面邊緣作為底邊並且具有等於一個立方體面邊緣的長度的等腰三角形的第一高度；每個第二三角形對應於一個直角三角形，其具有以一個邊界立方體面邊緣作為直角的長相鄰邊並且與該直角相鄰的短相鄰邊的長度等於一個立方體面邊緣的長度的一半，其中，當該長相鄰邊被認為是底邊以填充共享一個立方體面邊緣的一個邊界立方體面的填充區域時，該第二三角形具有等於一個立方體面邊緣的長度的一半的第二高度；並且將第一高度和第二高度調整為相同。
  19. 如申請專利範圍第14項所述之方法，其中如果該一個或複數個對應的邊界立方體面和該目標擴展立方體面共享的不 同邊界立方體面邊緣的總數為四個：將該目標擴展立方體面分割為四個相同尺寸的等腰三角形，其中每個三角形具有一個邊界立方體面邊緣作為底邊，並且具有等於一個立方體面邊緣的一半長度的等腰三角形的第一高度。
  20. 如申請專利範圍第1項所述之方法，其中如果該立方體面圖框對應於具有空白區域的立方體面網格，則使用一個擴展的立方體面來填充至少一個空白區域。
  21. 如申請專利範圍第20項所述之方法，其中對於正在編碼或處理的目標邊界立方體面中的目標區塊，該一個擴展立方體面用於填充該至少一個空白區域，其中該一個擴展立方體面被選擇為與該目標邊界立方體面共享相同的立方體面邊緣。
  22. 如申請專利範圍第20項所述之方法，其中該一個空白區域被分割為複數個空白範圍，並且每個空白範圍使用與該每個空白範圍共享一個立方邊緣的一個對應的邊界立方體面進行填充。
  23. 如申請專利範圍第22項所述之方法，其中該一個對應的邊界立方體面的對應的範圍用於填充該每個空白範圍。
  24. 如申請專利範圍第1項所述之方法，其中當使用一個擴展的立方體面來填充一個空白區域或部分空白區域時，沿著兩個相鄰的共享立方體面邊緣應用α混合。
  25. 如申請專利範圍第24項所述之方法，其中，根據到擴展的起始點的垂直距離來確定用於α混合的加權因子。
  26. 如申請專利範圍第1項所述之方法，還包括發信或解析分配 給每個填充區域或範圍的一個或複數個填充模式。
  27. 如申請專利範圍第26項所述之方法，其中確定相鄰立方體面的填充模式，並且僅當當前填充模式不明確時，才發信或解析當前立方體面的該當前填充模式。
  28. 一種圖像序列的視訊編碼或處理的裝置，該圖像序列對應於虛擬現實視訊，該裝置包括一個或複數個電子器件或處理器，用於執行以下步驟：接收對應於虛擬現實視訊的該圖像序列，其中該圖像序列包括複數個立方體面圖框，並且每個立方體面圖框包括來自立方體的表面的複數個立方體面，並且其中該每個立方體面圖框的圖框邊界包括複數個邊界立方體面邊緣，該複數個邊界立方體面邊緣對應於與該圖框邊界相鄰的複數個邊界立方體面；使用一個或複數個擴展立方體面填充在一個立方體面圖框的一個立方體面圖框邊界之外的填充區域，以形成填充的立方體面圖框，其中該一個立方體面圖框中的至少一個邊界立方體面具有一個填充區域，該一個填充區域使用從相同的立方體面圖框中的一個擴展立方體面導出的像素資料，並且其中該一個擴展立方體面是與該至少一個邊界立方體面不同的立方體面；以及使用該填充的立方體面圖框來編碼或處理當前立方體面圖框。
TW106118825A 2016-06-07 2017-06-07 虛擬現實視訊處理的邊界填充的方法與裝置 TWI702832B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662346597P 2016-06-07 2016-06-07
US62/346,597 2016-06-07
US15/614,754 US20170353737A1 (en) 2016-06-07 2017-06-06 Method and Apparatus of Boundary Padding for VR Video Processing
US15/614,754 2017-06-06

Publications (2)

Publication Number Publication Date
TW201804798A TW201804798A (zh) 2018-02-01
TWI702832B true TWI702832B (zh) 2020-08-21

Family

ID=60483890

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106118825A TWI702832B (zh) 2016-06-07 2017-06-07 虛擬現實視訊處理的邊界填充的方法與裝置

Country Status (6)

Country Link
US (1) US20170353737A1 (zh)
CN (1) CN109314781A (zh)
DE (1) DE112017002851B4 (zh)
GB (1) GB2565702B (zh)
TW (1) TWI702832B (zh)
WO (1) WO2017211294A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180000279A (ko) * 2016-06-21 2018-01-02 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
CN109076215A (zh) * 2016-08-23 2018-12-21 深圳市大疆创新科技有限公司 用于提高对弯曲视图视频进行编码/解码的效率的系统和方法
CN115022626A (zh) 2016-10-04 2022-09-06 有限公司B1影像技术研究所 图像数据编码/解码方法和计算机可读记录介质
KR20200062365A (ko) 2016-10-04 2020-06-03 김기백 영상 데이터 부호화/복호화 방법 및 장치
US20190238888A1 (en) * 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
US12035049B2 (en) 2016-10-06 2024-07-09 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
KR20180080120A (ko) * 2017-01-02 2018-07-11 주식회사 케이티 비디오 신호 처리 방법 및 장치
US20180192074A1 (en) * 2017-01-03 2018-07-05 Mediatek Inc. Video processing method for processing projection-based frame with 360-degree content represented by projection faces packed in 360-degree virtual reality projection layout
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US20180288436A1 (en) * 2017-04-03 2018-10-04 Gopro, Inc. Methods and apparatus for providing in-loop padding techniques for rotated sphere projections
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
WO2019135447A1 (ko) * 2018-01-02 2019-07-11 삼성전자 주식회사 움직임 예측에 의한 패딩 기법을 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US20190281273A1 (en) * 2018-03-08 2019-09-12 Mediatek Inc. Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US20190289327A1 (en) * 2018-03-13 2019-09-19 Mediatek Inc. Method and Apparatus of Loop Filtering for VR360 Videos
US20190289316A1 (en) * 2018-03-19 2019-09-19 Mediatek Inc. Method and Apparatus of Motion Vector Derivation for VR360 Video Coding
GB2586095B (en) * 2018-03-22 2023-03-01 Mediatek Inc Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US10986371B2 (en) 2018-03-22 2021-04-20 Mediatek Inc. Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
KR102549936B1 (ko) 2018-03-29 2023-07-03 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 패딩을 위한 화면내-예측 모드 선택을 위한 장치
CN112703734A (zh) * 2018-09-14 2021-04-23 Vid拓展公司 用于灵活网格区域的方法和装置
CN113302943B (zh) * 2019-02-11 2023-01-06 华为技术有限公司 用于环绕视图视频编解码的方法、设备、装置及存储介质
CN112464801B (zh) * 2020-11-26 2023-04-18 配天机器人技术有限公司 一种机器人数据处理方法和装置
CN114827555B (zh) 2021-01-28 2024-05-31 中强光电股份有限公司 显示环景影像的显示系统及其操作方法
TWI769681B (zh) * 2021-01-28 2022-07-01 中強光電股份有限公司 顯示環景影像的顯示系統及其操作方法
WO2022174783A1 (en) * 2021-02-20 2022-08-25 Beijing Bytedance Network Technology Co., Ltd. On boundary padding sample filtering in image/video coding
CN112991170B (zh) * 2021-03-05 2024-07-02 Oppo广东移动通信有限公司 图像超分辨率重建的方法、装置、终端及存储介质
CN115150625B (zh) * 2021-03-30 2024-08-06 中国电信股份有限公司 图像处理方法、系统、编码端和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120082216A1 (en) * 2010-10-01 2012-04-05 General Instrument Corporation Coding and decoding utilizing picture boundary padding in flexible partitioning
US20140218354A1 (en) * 2013-02-06 2014-08-07 Electronics And Telecommunications Research Institute View image providing device and method using omnidirectional image and 3-dimensional data
US20150341552A1 (en) * 2014-05-21 2015-11-26 Here Global B.V. Developing a Panoramic Image
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6486908B1 (en) * 1998-05-27 2002-11-26 Industrial Technology Research Institute Image-based method and system for building spherical panoramas
KR100677142B1 (ko) * 2004-08-13 2007-02-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
WO2014078068A1 (en) * 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9900505B2 (en) * 2014-07-23 2018-02-20 Disney Enterprises, Inc. Panoramic video from unstructured camera arrays with globally consistent parallax removal
JP6450589B2 (ja) * 2014-12-26 2019-01-09 株式会社モルフォ 画像生成装置、電子機器、画像生成方法及びプログラム
US9858706B2 (en) * 2015-09-22 2018-01-02 Facebook, Inc. Systems and methods for content streaming
US10602191B2 (en) * 2016-05-13 2020-03-24 Gopro, Inc. Apparatus and methods for video compression
EP3466075A1 (en) 2016-05-26 2019-04-10 VID SCALE, Inc. Geometric conversion for 360-degree video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120082216A1 (en) * 2010-10-01 2012-04-05 General Instrument Corporation Coding and decoding utilizing picture boundary padding in flexible partitioning
US20140218354A1 (en) * 2013-02-06 2014-08-07 Electronics And Telecommunications Research Institute View image providing device and method using omnidirectional image and 3-dimensional data
US20150341552A1 (en) * 2014-05-21 2015-11-26 Here Global B.V. Developing a Panoramic Image
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing

Also Published As

Publication number Publication date
TW201804798A (zh) 2018-02-01
WO2017211294A1 (en) 2017-12-14
DE112017002851T5 (de) 2019-02-21
CN109314781A (zh) 2019-02-05
GB201819285D0 (en) 2019-01-09
GB2565702A (en) 2019-02-20
US20170353737A1 (en) 2017-12-07
DE112017002851B4 (de) 2023-10-12
GB2565702B (en) 2021-09-08

Similar Documents

Publication Publication Date Title
TWI702832B (zh) 虛擬現實視訊處理的邊界填充的方法與裝置
CN109417634B (zh) 使用虚拟参考帧的用于虚拟现实视频的帧间编码方法及装置
US10614609B2 (en) Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images
CN109076232B (zh) 视频编码或解码方法与装置
US20190222862A1 (en) Encoding apparatus and method, and decoding apparatus and method
KR20210025732A (ko) 영상 데이터 부호화/복호화 방법 및 장치
TWI666913B (zh) 用於將虛擬實境圖像映射成分段球面投影格式的方法以及裝置
TW201916685A (zh) 用於處理360°vr幀序列的方法及裝置
TWI690728B (zh) 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法
JP7457861B2 (ja) 画像データ符号化／復号化方法及び装置
WO2019179418A1 (en) Method and apparatus of motion vector derivation for vr360 video coding
TWI688258B (zh) 一種用於重構的基於投影的幀的解塊方法
TW201834453A (zh) 自適應視頻解碼方法及其裝置
CN111418213B (zh) 用于沉浸式视频编解码的信令语法的方法以及装置
US20180338160A1 (en) Method and Apparatus for Reduction of Artifacts in Coded Virtual-Reality Images
CN111936929A (zh) 采用360°虚拟现实投影的投影布局的重构的基于投影的帧的样本适应性偏移滤波方法用于重构的基于投影的帧的样本适应性偏移滤波方法
US20240161380A1 (en) Mpi layer geometry generation method using pixel ray crossing
KR20240066108A (ko) 픽셀 레이 크로싱 기반 다시점 mpi 기하생성 방법