TWI679883B - 處理360度虛擬現實圖像之方法和裝置 - Google Patents

處理360度虛擬現實圖像之方法和裝置 Download PDF

Info

Publication number
TWI679883B
TWI679883B TW107124957A TW107124957A TWI679883B TW I679883 B TWI679883 B TW I679883B TW 107124957 A TW107124957 A TW 107124957A TW 107124957 A TW107124957 A TW 107124957A TW I679883 B TWI679883 B TW I679883B
Authority
TW
Taiwan
Prior art keywords
frame
projection
sphere
bands
virtual reality
Prior art date
Application number
TW107124957A
Other languages
English (en)
Other versions
TW201909644A (zh
Inventor
施正軒
Cheng Hsuan Shih
李佳盈
Chia Ying Li
李亞璇
Ya Hsuan Lee
林鴻志
Hung Chih Lin
林建良
Jian Ling Lin
張勝凱
Shen Kai Chang
Original Assignee
聯發科技股份有限公司
Mediatek Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司, Mediatek Inc. filed Critical 聯發科技股份有限公司
Publication of TW201909644A publication Critical patent/TW201909644A/zh
Application granted granted Critical
Publication of TWI679883B publication Critical patent/TWI679883B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了處理360度虛擬現實圖像之方法和裝置。根據一種方法，2D(二維)訊框被分成多個塊。通過將對應於3D球體上的兩個相鄰塊的任何兩個塊的差量量化參數限制在門檻值內，使用量化參數對多個塊進行編碼或解碼。根據另一實施例，將一個或多個保護帶添加到一個或多個邊緣，所述邊緣在2D訊框中是不連續的但在3D球體中是連續的。將消褪過程應用於所述一個或多個保護帶以產生一個或多個消褪的保護帶。在解碼器側，通過裁剪所述一個或多個解碼的消褪保護帶或通過混合所述一個或多個解碼的消褪保護帶和重建的複製區域，從解碼的擴展2D訊框生成重建的2D訊框。

Description

處理360度虛擬現實圖像之方法和裝置
本發明有關於360度虛擬現實(virtual reality，簡寫為VR)圖像的圖像處理。更具體而言，本發明有關於通過使用後處理濾波(post-processing filtering)來降低已編碼VR圖像中的不連續邊界處的假影(artifact)。
360度視訊，亦稱為沉浸式視訊，是一種新興技術，可提供“身臨其境的感覺(feeling as sensation of present)”。通過對用戶圍繞覆蓋全景視圖的環繞場景，特別是360度視野來實現沉浸感。通過立體渲染可以進一步改善“身臨其境的感覺”。因此，全景視訊被廣泛用於虛擬現實(VR)應用中。
沉浸式視訊涉及使用多個相機捕獲場景以覆蓋全景視圖，例如360度視野。沉浸式相機通常使用全景相機或一組相機布置來捕捉360度視野。通常，兩個或更多個相機用做沉浸式相機。所有視訊必須同時拍攝，並記錄場景的單獨片段(亦稱為單獨的視角)。此外，該組攝像機通常被布置成水平地捕獲視圖，攝像機也可能是其他布置。
可以使用360度球形全景相機捕獲360度虛擬現 實(VR)圖像，或者布置多個圖像以覆蓋360度的所有視野。使用傳統的圖像/視訊處理設備難以處理或存儲三維(3D)球形圖像。因此，通常使用3D到2D投影方法將360度VR圖像轉換為二維(2D)格式。例如，等距離長方圓柱體投影(ERP)和立方體貼圖投影(cubemap projection，簡寫為CMP)一直是常用的投影方法。因此，可以以等距離長方圓柱體投影格式存儲360度圖像(image)。等距離長方圓柱體投影將球體的整個表面映射到平面圖像上。縱軸是緯度，橫軸是經度。第1A圖示出了根據等距離長方圓柱體投影將球體110投射到矩形圖像120中的示例，其中每個經度綫被映射到ERP圖片(picture)的垂直綫。第1B圖示出了ERP圖片130的示例。對於ERP投影，球體的北極和南極的區域比赤道附近的區域拉伸得更嚴重(即，從單個點到綫)。此外，由於拉伸引起的失真，特別是在兩極附近，預測編碼工具經常無法做出良好的預測，導致編碼效率降低。第2圖示出了具有六個面的立方體210，其中可以根據立方體貼圖投影將360度虛擬現實(VR)圖像投影到立方體上的六個面。有多種方法可以將六個面從立方體上取出(lift the six faces off the cube)並將它們重新裝入矩形圖片中。第2圖所示的例子將六個面分成兩個部分(220a和220b)，其中每個部分由三個連接面組成。這兩個部分可以展開成兩個條帶(strip)(230a和230b)，其中每個條帶對應於連續的圖片。根據如第2圖所示的一個CMP布局，兩個條帶可以連接以形成矩形圖片240(其中兩個條帶240a和240b分別對應於條帶230a和230b)。然而，由於存在一些空白區域，所以布局不 是非常有效。因此，使用緊凑布局250，其中在兩個條帶(250a和250b)之間存在指示的邊界252。但是，圖像內容在每個條帶內是連續的。
除了ERP和CMP格式之外，還有各種其他VR投影格式，例如八面體投影(octahedron projection，簡寫為OHP)、二十面體投影(icosahedron projection，簡寫為ISP)、分段球體投影(segmented sphere projection，簡寫為SSP)和旋轉球體投影(rotated sphere projection，簡寫為RSP)，它們在該領域被廣泛使用。
第3A圖示出了八面體投影(OHP)的示例，其中球體投影到8面的八面體310的面上。從八面體310拿出(lifted from)的八個面320可通過切開面1和5之間的面邊緣以及旋轉面1和5以分別連接至面2和6，並對面3和7應用類似的處理，來將八個面轉換為中間格式330。中間格式可以打包(pack)成矩形圖片340。第3B圖示出了八面體投影(OHP)圖片350的示例，其中指示了不連續的面邊緣352和354。如布局格式340所示，不連續面邊緣352和354對應於如布局320中所示的面1和面5之間的共用面邊緣。
第4A圖示出了二十面體投影(ISP)的示例，其中球體投影到20面的二十面體410的面上。來自二十面體410的二十個面420可被打包成矩形圖片430(稱為投影布局)，其中不連續的面邊界由粗虛綫432指示。在第4B圖中示出了經由ISP的經轉換之矩形圖片440的示例，其中不連續的面邊界由白色虛綫442指示。
在JVET-E0025(Zhang等人，“AHG8：Segmented Sphere Projection for 360-degree video”，聯合視訊研究組(Joint Video Exploration Team，簡寫為JVET)ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11，第5次會議：日內瓦，CH，2017年1月12日至20日，文件：JVET-E0025)中已經公開了分段球體投影(SSP)作為將球形圖像轉換為SSP格式的方法。第5A圖示出了分段球體投影的示例，其中球形圖像500被映射到北極圖像510、南極圖像520和赤道分段圖像530。3個區段的邊界對應於緯度45°N(502)和45°S(504)，其中0°對應於赤道(506)。北極和南極映射到2個圓形區域(即510和520)，赤道段的投影可以與ERP或等面積投影(equal-area projection，簡寫為EAP)相同。圓的直徑等於赤道段的寬度，因為極段(Pole segment)和赤道段具有90°緯度跨度。如第5B圖中的示例所示，北極圖像510、南極圖像520和赤道分段圖像530可以被打包成矩形圖像540，其中指示了不同分段之間的不連續邊界542、544和546。
第5C圖示出了旋轉球體投影(RSP)的示例，其中球體550被劃分為中間270°x90°區域552和剩餘部分554。這兩個RSP部分可以在頂側和底側進一步拉伸以產生變形部分556，其在頂部和底部具有橢圓形邊界557和558，如虛綫所示。第5D圖示出了RSP圖片560的示例，其中由虛綫指示兩個旋轉分段之間的不連續邊界562和564。
由於與虛擬現實相關聯的圖像或視訊可能需要大量空間來存儲或者需要大量頻寬來傳輸，因此通常使用圖像/ 視訊壓縮來減少所需的存儲空間或傳輸頻寬。然而，當三維(3D)虛擬現實圖像被轉換為二維(2D)圖片時，通過各種投影方法，在打包的圖片(packed picture)中可能存在面之間的一些邊界。例如，根據第2圖中的CMP，水平邊界252存在於轉換圖像250的中間。面之間的邊界也通過其他投影方法(如第3圖至第5圖所示)存在於轉換圖片中。如所屬領域具有通常指示者所知，圖像/視訊編碼通常導致原始圖像/視訊與重建圖像/視訊之間的一些失真，其在重建的圖像/視訊中表現出可見的假影。
第6A圖示出了用於ERP的球體上的重建3D圖片中的假影的示例。將原始3D球面圖像610投影到2D訊框620以進行壓縮，這可以引入假影。重建的2D訊框被投射回3D球面圖像630。在該示例中，圖片內容從左邊緣到右邊緣是連續的。但是，使用的視訊壓縮技術通常忽略了這一事實。當兩個邊緣被投射回3D球面圖像時，對應於兩個邊緣的接縫處的不連續性可能變得明顯，如具有十字綫632的綫所示。第6B圖示出了在不連續邊界的接縫處如箭頭所示的可見的假影的示例。當該接縫投影到2D ERP訊框，接縫投影到2D ERP訊框的非邊界部分時，該假影將是明顯的。對於其他投影，2D訊框內存在一個或多個不連續邊界。
因此，期望開發能够減輕不連續邊界的接縫處的假影的可見性的方法。
公開了處理360度虛擬現實圖像的方法和裝置。 根據一種方法，接收2D(二維)訊框的輸入資料，其中使用目標投影從3D(三維)球體投影2D訊框。2D訊框被分成多個塊。通過將對應於3D球體上的兩個相鄰塊的任何兩個塊的差量量化參數限制在門檻值內，使用量化參數對多個塊進行編碼或解碼。
在一個實施例中，差量量化參數被限制為±x，其中x是大於0並且小於2D訊框的整個訊框中的任何兩個塊的最大差量量化的整數。目標投影可對應於等距離長方圓柱體投影(ERP)和立方體貼圖投影(CMP)、調整的立方體貼圖投影(ACP)、等面積投影(EAP)、八面體投影(OHP)、二十面體投影(ISP)、分段球體投影(SSP)、旋轉球體投影(RSP)或圓柱體投影(CLP)。
根據另一種方法，接收2D(二維)訊框的輸入資料，其中使用目標投影從3D(三維)球體投影2D訊框。將一個或多個保護帶添加到在2D訊框中不連續但在3D球體中連續的一個或多個邊緣，其中所述一個或多個保護帶填充有填充資料。將消褪處理應用於所述一個或多個保護帶，以生成一個或多個消褪的保護帶。利用一個或多個消褪的保護帶對2D訊框進行編碼或解碼。
對於該方法，使用幾何填充來填充所述一個或多個保護帶，並且其中幾何填充使用3D球體上的相鄰樣本在2D訊框的所述一個或多個邊緣之外延伸樣本。可以通過擴展所述一個或多個邊緣的邊界樣本來填充所述一個或多個保護帶。所述一個或多個保護帶可以填充有來自所述一個或多個邊 緣的相應邊緣區域的複製樣本。當存在重叠區域時，消褪過程可用於通過將所述一個或多個保護帶與重叠區域混合(blend)來產生所述一個或多個消褪保護帶，當重叠區域不存在時，消褪過程可用於通過將所述一個或多個保護帶與預定義區域混合來可用於產生所述一個或多個消褪保護帶。目標投影可對應於等距離長方圓柱體投影(ERP)和立方體貼圖投影(CMP)、調整立方體貼圖投影(ACP)、等面積投影(EAP)、八面體投影(OHP)、二十面體投影(ISP)、分段球體投影(SSP)、旋轉球體投影(RSP)或圓柱體投影(CLP)。
公開了一種處理解碼器側的360度虛擬現實圖像的方法。接收包括具有一個或多個消褪保護帶的2D(二維)訊框的擴展2D訊框的編碼資料，其中2D訊框使用目標投影從3D(三維)球體投影。編碼資料被解碼成解碼的擴展2D訊框，其包括具有一個或多個解碼的消褪保護帶的解碼的2D訊框。從解碼的擴展2D訊框導出重建的2D訊框。
可以通過裁剪所述一個或多個解碼的消褪保護帶從解碼的擴展2D訊框生成重建的2D訊框。當一個或多個保護帶填充有來自一個或多個邊緣的相應邊緣區域的樣本的複製區域時，通過混合所述一個或多個解碼的漸變保護帶和重建的複製區域，可以從解碼的擴展2D訊框生成重建的2D訊框，並且其中通過將所述一個或多個保護帶與複製區域混合來產生一個或多個消褪保護帶。目標投影可對應於等距離長方圓柱體投影(ERP)和立方體貼圖投影(CMP)、調整的立方體貼圖投影(ACP)、等面積投影(EAP)、八面體投影(OHP)、二十 面體投影(ISP)、分段球體投影(SSP)、旋轉球體投影(RSP)或圓柱體投影(CLP)。
110、998‧‧‧球體
120、240、340、430、440‧‧‧矩形圖像
130‧‧‧ERP圖片
210‧‧‧立方體
220a、220b‧‧‧部分圖片
230a、230b、240a、240b、250a和250b、1267、1268‧‧‧條帶
250‧‧‧布局
310‧‧‧八面體
320、420、1110、1120、1130、1140‧‧‧面
330‧‧‧中間格式
352、354‧‧‧面邊緣
410‧‧‧二十面體
432‧‧‧粗虛綫
442‧‧‧白色虛綫
500‧‧‧球形圖像
502‧‧‧緯度45°N
504‧‧‧緯度45°S
506‧‧‧赤道
510‧‧‧北極圖像
520‧‧‧南極圖像
530‧‧‧赤道分段圖像
542、544、546、562、564‧‧‧不連續邊界
552‧‧‧270°x90°區域
554‧‧‧剩餘部分
556‧‧‧變形部分
557、558‧‧‧橢圓形邊界
560‧‧‧RSP圖片
610‧‧‧球面圖像
620、710、810、910、930、940、950、960、970、980、1010、1220、1230、1240、1250、1260、1270、1280、1320、1330、1340、1350、1360‧‧‧訊框
630‧‧‧球面圖像
632‧‧‧十字綫
712、714、716、724、726、812、814、816、824、826、912、914、916、962、964、966、992、994、996‧‧‧編碼單元
728、828‧‧‧塊邊界
920‧‧‧立方體貼圖
922、924、926、928、931-932、933-934、935-936、942-944、946-948、952-954、956-958、972-974、976-978、982-984、986-988‧‧‧塊
997‧‧‧圓柱體
1020、1030、1040、1050、1060、1122-1128、1142-1148、1221-1226、1231-1236、1241-1242、1251-1255、1261-1266、1271-1272、1281-1282、1321、1323、1351、1353‧‧‧保護帶
1227、1228‧‧‧極
1229‧‧‧主要部分
1310、1410‧‧‧輸入圖像
1322‧‧‧左邊緣
1324‧‧‧右邊緣
1325、1327‧‧‧圖像區域
1326、1328、1356、1358‧‧‧箭頭
1355、1357‧‧‧複製區域
1420、1430、1440‧‧‧過程
1421‧‧‧ERP
1422‧‧‧EAP
1423‧‧‧CMP
1424‧‧‧SSP
1431‧‧‧填充的ERP
1432‧‧‧填充的EAP
1433‧‧‧填充的CMP
1434‧‧‧填充的SSP
1441‧‧‧編碼ERP
1442‧‧‧編碼EAP
1443‧‧‧編碼CMP
1444‧‧‧編碼SSP
1510-1530、1610-1660、1710-1730‧‧‧步驟
第1A圖示出了根據等距離長方圓柱體投影將球體投射到矩形圖像中的示例，其中每個經度綫被映射到ERP圖片的垂直綫。
第1B圖示出了ERP圖片的示例。
第2圖示出了具有六個面的立方體，其中可以根據立方體貼圖投影將360度虛擬現實(VR)圖像投影到立方體上的六個面。
第3A圖示出了八面體投影(OHP)的示例，其中球體投影到8面的八面體的面上。
第3B圖示出了八面體投影(OHP)圖片的示例，其中指示了不連續的面邊緣。
第4A圖示出了二十面體投影(ISP)的示例，其中球體投影到20面的二十面體的面上。
第4B圖示出了二十面體投影(ISP)圖片的示例，其中白色虛綫442指示了不連續的面邊界。
第5A圖示出了分段球體投影(SSP)的示例，其中球形圖像被映射到北極圖像、南極圖像和赤道分段圖像。
第5B圖示出了分段球體投影(SSP)圖片的示例，其中指示了不同分段之間的不連續邊界。
第5C圖示出了旋轉球體投影(RSP)的示例，其中球體 被劃分為中間270°x90°區域和剩餘部分。RSP的這兩個部分可以在頂側和底側進一步拉伸，以在頂部和底部產生具有橢圓形邊界的變形部分。
第5D圖示出了旋轉球體投影(RSP)圖片的示例，其中指示了不同分段之間的不連續邊界。
第6A圖示出了用於ERP的球體上的重建3D圖片中的假影的示例。
第6B圖示出了在不連續邊界的接縫處由箭頭指示的可見假影的示例。
第7圖示出了傳統編碼方法可能導致3D圖片中的相鄰塊之間的大QP差异的示例。
第8圖示出了針對3D圖片中的相鄰塊限制最大差量QP的示例。
第9A圖示出了用於ERP的3D圖片中的相鄰塊上的受限最大差量QP的示例。
第9B圖示出了用於CMP的3D圖片中的相鄰塊上的受限最大差量QP的示例。
第9C圖示出了針對SSP的3D圖片中的相鄰塊上的受限制的最大差量QP的示例。
第9D圖示出了針對OHP的3D圖片中的相鄰塊上的受限最大差量QP的示例。
第9E圖示出了用於ISP的3D圖片中的相鄰塊上的受限最大差量QP的示例。
第9F圖示出了用於等面積投影(EAP)的3D圖片中的相 鄰塊上的受限最大差量QP的示例。
第9G圖示出了用於ACP的3D圖片中的相鄰塊上的受限最大差量QP的示例。
第9H圖示出了針對RSP的3D圖片中的相鄰塊上的受限最大差量QP的示例。
第9I圖示出了用於圓柱體投影的3D圖片中的相鄰塊上的受限最大差量QP的示例。
第10圖示出了為ERP應用保護帶的示例。
第11圖示出了為CMP應用保護帶的示例。
第12A圖示出了為CMP訊框應用保護帶的示例。
第12B圖示出了為SSP訊框應用保護帶的示例。
第12C圖示出了為OHP訊框應用保護帶的示例。
第12D圖示出了為EAP訊框應用保護帶的示例。
第12E圖示出了為ISP訊框應用保護帶的示例。
第12F圖示出了為ACP應用保護帶的示例。
第12G圖示出了為RSP應用保護帶的示例。
第12H圖示出了為圓柱體投影訊框應用保護帶的示例。對於圓柱體投影訊框1280，在左邊和右邊添加保護帶1281-1282。
第13圖示出了對從3D投影轉換的2D訊框使用保護帶的視訊編碼系統的處理流程的示例。
第14圖示出了對從3D投影轉換的2D訊框使用保護帶的視訊編碼系統的處理流程的示例。
第15圖示出了結合受限差量量化參數(QP)以減輕由於 轉換圖像中的不連續邊緣而導致的假影的系統的示例性框圖。
第16圖示出了編碼器系統的另一示例性流程圖，該編碼器系統將一個或多個保護帶添加到在2D訊框中不連續但在3D球體中連續的一個或多個邊緣。
第17圖示出了解碼器系統的另一示例性流程圖，該解碼器系統重建將一個或多個保護帶添加到一個或多個邊緣的圖像，所述邊緣在2D訊框中是不連續的但在3D球體中是連續的。
以下描述是實現本發明的最佳方案。進行該描述是為了說明本發明的一般原理，而不應被視為具有限制意義。本發明的範圍通過參考所附請求項確定。
如上所述，由於使用各種3D到2D投影方法的轉換圖像中的不連續邊緣和邊界，重建投影圖片中可能存在假影。在第6A圖和第6B圖中，示出了ERP訊框的重建圖片中的假影的示例。
通過限制3D中相鄰塊之間的最大差量(delta)QP來緩解假影
如對視訊編碼所知，量化參數(QP)已被用作調整位元率的參數。較大的量化步長將導致較低的位元率並且由於量化誤差而導致較大的失真。當兩個相鄰塊具有非常不同的QP時，塊邊界之間的質量差异將變得更明顯並且使得接縫更加可見。
為了減輕重建的VR圖像/視訊中的假影，本發明的方法限制2D訊框中的相鄰塊的最大可允許差量QP(即，兩個QP之間的差異)以確保3D圖片中相鄰塊之間的QP差異在限制範圍內。第7圖示出了傳統編碼方法可能在3D圖片中的相鄰塊之間引起大的QP差異的示例。通過傳統的編碼方法對2D訊框710中的一列編碼單元(CU)712進行編碼，該編碼方法可以將任意兩個相鄰塊之間的QP調整±1。因此，可能發生QP從左到右順序增加，其中第一CU 714的QP=0，而最後CU 716的QP=+5。當2D訊框被投射回到3D圖片720時，第一CU 724和最後的CU 726可以變得相鄰。塊邊界728處的QP差異為5。這種大的QP差異將使接縫更明顯。
根據本發明的方法，限制了3D中相鄰塊的最大可允許差量QP。對於360度沉浸式視訊中的塊，其總是有一些周圍的塊。根據該方法，在3D中對其所有周圍塊應用最大可允許差量QP。這可以減少由不連續邊界處的大差量QP引起的可見假影。第8圖示出了針對3D圖片中的相鄰塊限制最大差量QP的示例。通過本發明的編碼方法對2D訊框810中的一列編碼單元(CU)812進行編碼，其可以將3D圖片中的任何兩個相鄰塊之間的QP調整±1。因此，對於CU列812上的第一CU 814和最後一個塊816，因為它們在3D圖片中是相鄰的，最大可允許差量QP是±1。當2D訊框被投射回3D圖片820時，第一CU 824和最後的CU 826在3D圖片中相鄰。塊邊界828處的QP差異為1。因此，接縫變得不太明顯。
第9A圖至第9I圖示出了針對各種投影格式的3D 圖片中的相鄰塊上的受限最大差量QP的示例。在這些示例中，假設作為不連續邊界的塊的QP是ni。假設3D圖片中的相鄰塊的最大可允許差量QP是±1x，其中x是大於1的整數。第9A圖示出了用於ERP的3D圖片中的相鄰塊上的受限最大差量QP的示例。在第9A圖中，2D訊框910對應於ERP訊框。三列CU(即912、914和916)顯示在2D訊框的上側。在2D訊框的左邊界處的CU的QP是n1、n2和n3。如對於ERP訊框所知的，2D訊框的左邊緣處的塊與2D訊框的右邊緣處的塊相鄰。因此，2D訊框右邊緣處的塊的QP被限制為同一列中2D訊框的左邊緣處的塊的QP±1x。
第9B圖示出了用於CMP的3D圖片中的相鄰塊上的受限最大差量QP的示例。在第9B圖中，示出了立方體貼圖920。在一個面的邊緣處的塊922與在另一個面的邊緣處的塊924相鄰。在一個面的邊緣處的塊926與在另一個面的邊緣處的塊928相鄰。因此，相鄰塊的QP(即塊922和924或塊926和928)被限制為±1x。
第9C圖示出了用於SSP的3D圖片中的相鄰塊上的受限制的最大差量QP的實例。在第9C圖中，2D訊框930對應於SSP訊框。在2D訊框上示出了三對相鄰塊(即，931-932、933-934和935-936)。因此，相鄰塊的QP(即塊931和932、塊933和934或塊935和936)的差值被限制為±1x。
第9D圖示出了針對OHP的3D圖片中的相鄰塊上的受限制的最大差量QP的示例。在第9D圖中，2D訊框940對應於OHP訊框。在2D訊框上示出了兩對相鄰塊(即，942-944 和946-948)。因此，相鄰塊的QP(即塊942和944，或塊946和948)的差值被限制為±1x。
第9E圖示出了用於ISP的3D圖片中的相鄰塊上的受限最大差量QP的示例。在第9E圖中，2D訊框950對應於ISP訊框。在2D訊框上示出了兩對相鄰塊(即，952-954和956-958)。因此，相鄰塊的QP(即塊952和954，或塊956和958)的差值被限制為±1x。
第9F圖示出了用於等面積投影(EAP)的3D圖片中的相鄰塊上的受限最大差量QP的示例。在第9F圖中，2D訊框960對應於EAP訊框。三列CU(即962、964和966)顯示在2D訊框的上側。在2D訊框的左邊界處的CU的QP是n1、n2和n3。如對於ERP訊框所知的，2D訊框的左邊緣處的塊與2D訊框的右邊緣處的塊相鄰。因此，2D訊框右邊緣處的塊的QP被限制為同一列中2D訊框的左邊緣處的塊的QP±1x。
第9G圖示出了用於ACP的3D圖片中的相鄰塊上的受限最大差量QP的示例。在第9G圖中，2D訊框970對應於ACP訊框。在2D訊框上示出了兩對相鄰塊(即，972-974和976-978)。因此，相鄰塊的QP(即塊972和974，或塊976和978)的差值被限制為±1x。
第9H圖示出了用於RSP的3D圖片中的相鄰塊上的受限制的最大差量QP的實例。在第9H圖中，2D訊框980對應於RSP訊框。在2D訊框上示出了兩對相鄰塊(即，982-984和986-988)。因此，相鄰塊的QP(即塊982和984，或塊986和988)的差值被限制為±1x。
除了上述這些投影之外，還使用圓柱體投影將3D球體投影到2D訊框中。從概念上講，如第9I圖所示，通過圍繞球體998外部包裹圓柱體997並將光綫通過球體投射到圓柱體上來產生圓柱體投影。圓柱體投影將經綫展現為筆直的、平均間隔的垂直綫，並將緯綫展現為筆直的水平綫。經綫和緯綫以直角相交，就像它們在地球上一樣。根據光源的位置，生成各種CLP。第9I圖示出了用於圓柱體投影的3D圖片中的相鄰塊上的受限最大差量QP的示例。在第9I圖中，2D訊框990對應於圓柱體投影訊框。三列CU(即992、994和996)顯示在2D訊框的頂側。在2D訊框的左邊界處的CU的QP是n1、n2和n3。如對於ERP訊框所知的，2D訊框的左邊緣處的塊與2D訊框的右邊緣處的塊相鄰。因此，2D訊框右邊緣處的塊的QP被限制為同一列中2D訊框的左邊緣處的塊的QP±1x。
通過應用保護帶(guard band)來緩解假影
在第6A和6B圖中，描述了用於ERP的球面上的重建3D圖片中的假影的示例。在該情況下，圖片內容從左邊緣到右邊緣是連續的。但是，使用的視訊壓縮技術通常忽略了這一事實。當兩個邊緣被投射回3D球面圖像時，對應於兩個邊緣的接縫處的不連續性可能變得顯著。對於其他投影格式，2D訊框可以包含一個或多個不連續邊界。各種投影格式的不連續邊界已在第2圖、第3B圖、第4B圖、第5B圖和第5D圖示出。當應用視訊壓縮時，在不連續邊界處編碼假影可能更明顯。
為了減輕不連續邊界處的假影，公開了一種在2D 訊框上不連續但在3D中連續的邊緣上應用保護帶的方法。根據該方法，通過“幾何填充(geometry padding)”或其他填充方法填充保護帶區域。然後，在應用壓縮之前，保護帶中的內容逐漸消褪(fade)。在壓縮之後，2D訊框被投射回(即，拼接(stitch))到3D圖片。在2D到3D投影(即，拼接處理)期間，可以裁剪保護帶或者可以將重疊的保護帶混合到原始訊框中。幾何填充是用於3D視訊處理的已知技術，其中在執行填充時考慮幾何投影格式。特別地，通過直綫投影導出面邊界之外的對應樣本(其可以來自同一面中的另一側或來自另一面)。
第10圖示出了應用ERP保護帶的示例。對於ERP訊框1010，將保護帶(即，1020和1030)添加到左邊緣和右邊緣。然後用圖元值填滿(filling up)保護帶1040以變成填充的保護帶1050。例如，圖元值可以對應於相鄰的圖像值。然後填充的保護帶1050消褪以形成消褪的保護帶1060。在ERP訊框的情況下，保護帶從ERP訊框擴展到不存在的區域(non-existing area)，消褪過程(fading process)將填充的保護帶與不存在的區域的假定值混合。例如，不存在的區域可以全部為白色(即，最高強度)。混合處理可以使用加權和來通過向填充的保護帶和不存在的區域分配不同的權重來生成消褪的保護帶。
第11圖示出了應用CMP的保護帶的示例。對於CMP面1110，將保護帶1122-1128添加到面1120的四個邊緣以形成填充面(padded face)。可以用相鄰圖像的像素值填充 保護帶1122-1128。然後，填充的保護帶1122-1128消褪，以在面1140周圍形成消褪的保護帶1142-1148，以形成帶填充的消褪面1130。對於消褪處理，填充的保護帶可以與預定區域(例如白色區域或灰色區域)混合。
第12A圖示出了根據第2圖中的布局格式250為CMP訊框應用保護帶的示例。對於CMP訊框1210，將保護帶1211-1216添加到CMP訊框1210的兩個條帶(1217,1218)的邊緣。如前所述，保護帶1211-1216可以用相鄰圖像的像素值填充，然後消褪以形成消褪的保護帶。
第12B圖示出了根據第5B圖中的旋轉布局格式540為SSP訊框應用保護帶的示例。對於SSP訊框1220，將保護帶1221-1226添加到SSP訊框1220的兩個極(1227,1228)和主要部分1229的邊緣。如前所述，可以用相鄰圖像的像素值填充保護帶1211-1216，然後消褪形成消褪的保護帶。
第12C圖示出了根據第3B圖中的布局格式350應用OHP訊框的保護帶的示例。對於OHP訊框1230，將保護帶1231-1236添加到OHP訊框1230的部分的邊緣。如前所述，保護帶1231-1236可以用相鄰圖像的像素值填充，然後消褪以形成消褪的保護帶。
第12D圖示出了為EAP訊框應用保護帶的示例。對於EAP訊框1240，將保護帶1241-1242添加到EAP訊框1240的左邊緣和右邊緣。如前所述，保護帶1241-1242可以用相鄰圖像的像素值填充，然後消褪以形成消褪的保護帶。
第12E圖示出了根據第4B圖中的布局格式440為 ISP訊框應用保護帶的示例。對於ISP訊框1250，保護帶1251-1255被添加到ISP訊框1250的部分的邊緣。如前所述，保護帶1251-1255可以用相鄰圖像的像素值填充，然後消褪以形成消褪的保護帶。
第12F圖示出了為ACP訊框1260應用保護帶的示例。對於ACP訊框1260，將保護帶1261-1266添加到ACP訊框1260的兩個條帶(1267,1268)的邊緣。如上所述，保護帶1261-1266可以填充相鄰圖像的像素值，然後消褪以形成消褪的保護帶。
第12G圖示出了為RSP訊框1270應用保護帶的示例。對於RSP訊框1270，將保護帶1271-1272添加到RSP訊框1270的兩個部分的邊緣。如前所述，保護帶1271-1272可以填充相鄰圖像的圖元值，然後消褪以形成消褪的保護帶。
第12H圖示出了為圓柱體投影訊框應用保護帶的示例。對於圓柱體投影訊框1280，將保護帶1281-1282添加到圓柱體投影訊框1280的左邊緣和右邊緣。如前所述，保護帶1281-1282可以用相鄰圖像的圖元值填充，然後消褪形成消褪的保護帶。
第13圖示出了使用用於從3D投影轉換的2D訊框的保護帶的視訊編碼系統的處理流程的示例。輸入圖像1310對應於ERP訊框。保護帶(1321,1323)被添加到2D訊框的左邊緣1322和右邊緣1324以形成填充訊框(padded frame)1320。由於ERP訊框的圖像內容從左邊緣到右邊緣是連續的，因此在一個實施例中，如箭頭1326所示，左側的保護帶1321可以從 右邊緣上的圖像區域1325複製。類似地，右側的保護帶1323可以從左邊緣上的圖像區域1327複製，如箭頭1328所示。然後將填充的訊框1320編碼到訊框1330中，其中指示原始圖像邊緣1322和1324。為了重建ERP訊框，可以如圖所示裁剪訊框1340的圖像邊緣1322和1324外部的保護帶，或者可以如圖所示混合訊框1350的複製區域(duplicated area)。對於混合處理，左側的保護帶1351對應於右側的複製區域1355。因此，保護帶1351與複製區域1355混合，如箭頭1356所示。類似地，保護帶1353與複製區域1357混合，如箭頭1358所示。在混合之後，保護帶不再被需要並且可以將保護帶移除以形成最終的重建訊框1360。
第14圖示出了使用用於從3D投影轉換的2D訊框的保護帶的視訊編碼系統的處理流程的示例。輸入圖像1410對應於ERP訊框。ERP訊框可以進一步轉換為其他2D訊框格式(過程1420)，例如ERP 1421、EAP 1422、CMP 1423和SSP 1424。從ERP格式轉換為其他投影格式的公式在本領域中是已知的。在ERP轉換為ERP格式的情况下，轉換對應於身份轉換(identity conversion)。通過複製來自3D空間中的相鄰圖像區域的樣本，將保護帶添加到相應的2D格式(過程1430)以形成填充的ERP 1431、填充的EAP 1432、填充的CMP 1433和填充的SSP 1434。然後將視訊編碼應用於填充訊框以生成相應的編碼ERP 1441、EAP 1442、CMP 1443和SSP 1444(過程1440)。當轉換回ERP格式1450時，可以裁剪、混合或過濾複製的樣本。
第15圖中示出了包含受限差量量化參數(QP)以減輕由於轉換圖像中的不連續邊緣引起的假影的系統的示例性框圖。流程圖中所示的步驟可以實現為在編碼器側的一個或多個處理器(例如，一個或多個CPU)上可執行的程序代碼。流程圖中示出的步驟還可以基於諸如被布置為執行流程圖中的步驟的一個或多個電子設備或處理器的硬件來實現。根據該方法，在步驟1510中接收用於2D(二維)訊框的輸入資料，其中使用目標投影從3D(三維)球體投影2D訊框。在步驟1520中將2D訊框劃分為多個塊。在步驟1530中，通過將對應於3D球體上的兩個相鄰塊的任何兩個塊的差量量化參數限制在閾值內，使用量化參數對所述多個塊進行編碼或解碼。
第16圖示出了編碼器系統的另一示例性流程圖，該編碼器系統將一個或多個保護帶添加到在2D訊框中不連續但在3D球體中連續的一個或多個邊緣。根據該方法，在步驟1610中接收用於2D(二維)訊框的輸入資料，其中使用目標投影從3D(三維)球體投影2D訊框。在步驟1620中，將一個或多個保護帶添加到2D訊框中不連續但在3D球體中連續的一個或多個邊緣。在步驟1630，用填充資料填充所述一個或多個保護帶以形成一個或多個填充的保護帶。在步驟1640，將消褪過程應用於所述一個或多個填充的保護帶以產生一個或多個消褪的保護帶。在步驟1650中編碼包括具有所述一個或多個消褪保護帶的2D訊框的擴展2D訊框。
第17圖示出了解碼器系統的另一示例性流程圖，該解碼器系統重建將一個或多個保護帶添加到一個或多個邊 緣的圖像，所述邊緣在2D訊框中是不連續的但在3D球體中是連續的。根據該方法，在步驟1710中接收包括具有一個或多個消褪保護帶的2D(二維)訊框的擴展2D訊框的編碼資料，其中使用目標投影從3D(三維)球體投影2D訊框。在步驟1720，將編碼資料解碼成包括具有一個或多個解碼的消褪保護帶的解碼2D訊框的解碼擴展2D訊框。在步驟1730，從解碼的擴展2D訊框導出重建的2D訊框。
以上所示的流程圖旨在用作示例以說明本發明的實施例。所屬領域具有通常知識者可以通過在不脫離本發明的精神的情况下修改各個步驟，分裂或組合步驟來實踐本發明。
呈現以上描述是為了使得所屬領域具有通常知識者能够實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於所屬領域具有通常知識者來說是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明不限於所示出和描述的特定實施例，而是與符合本文所公開的原理和新穎特徵的最寬範圍相一致。在以上詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。然而，所屬領域具有通常知識者將理解，可以實施本發明。
如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的實施例可以是集成到視訊壓縮晶片中的一個或多個電子電路或集成到視訊壓縮軟件中的程式代碼，以執行這裏描述的處理。本發明的實施例還可以是要在數字信號處理器(DSP)上執行的程式代碼， 以執行這裏描述的處理。本發明還可以涉及由計算機處理器、數位信號處理器、微處理器或現場可編程門陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義本發明所體現的特定方法的機器可讀軟體代碼或固體代碼來執行根據本發明的特定任務。軟體代碼或固體代碼可以用不同的程式語言和不同的格式或樣式開發。還可以針對不同的目標平臺編譯軟體代碼。然而，軟體代碼的不同代碼格式、樣式和語言以及配置代碼以執行根據本發明的任務的其他方式將不脫離本發明的精神和範圍。
在不脫離本發明的精神或基本特徵的情况下，本發明可以以其他特定形式實施。所描述的示例在所有方面都應被視為僅是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是前面的描述表示。在申請專利範圍的請求項的含義和等同範圍內的所有變化都包含在其範圍內。

Claims (14)

  1. 一種處理360度虛擬現實圖像的方法，該方法包括：接收2D訊框的輸入資料，其中使用目標投影從3D球體投射2D訊框；將所述2D訊框分成多個塊；以及通過將對應於3D球體上的兩個相鄰塊的任何兩個塊的差量量化參數限制在門檻值內，使用量化參數對所述多個塊進行編碼或解碼。
  2. 如申請專利範圍第1項所述之處理360度虛擬現實圖像的方法，其中，所述差量量化參數被限制為±x，並且其中x是大於0且小於2D訊框的整個訊框中的任何兩個塊的最大差量量化的整數。
  3. 如申請專利範圍第1項所述之處理360度虛擬現實圖像的方法，其中，目標投影對應於等距離長方圓柱體投影和立方體貼圖投影、調整的立方體貼圖投影、等面積投影、八面體投影、二十面體投影、分段球體投影、旋轉球體投影或圓柱體投影。
  4. 一種用於處理360度虛擬現實圖像的裝置，其中，該裝置包括一個或多個電子設備或處理器，被配置為：接收2D訊框的輸入資料，其中使用目標投影從3D球體投影所述2D訊框；將所述2D訊框劃分為多個塊；以及通過將對應於3D球體上的兩個相鄰塊的任何兩個塊的差量量化參數限制在門檻值內，使用量化參數對所述多個塊進行編碼或解碼。
  5. 一種處理360度虛擬現實圖像的方法，其中，該方法包括：接收2D訊框的輸入資料，其中使用目標投影從3D球體投射所述2D訊框；將一個或多個保護帶添加到在所述2D訊框中不連續但在所述3D球體中連續的一個或多個邊緣，其中所述一個或多個保護帶填充有填充資料；將消褪過程應用於所述一個或多個保護帶以產生一個或多個消褪的保護帶；以及編碼包括具有所述一個或多個消褪保護帶的所述2D訊框的擴展2D訊框。
  6. 如申請專利範圍第5項所述之處理360度虛擬現實圖像的方法，其中，使用幾何填充來填充所述一個或多個保護帶，並且其中所述幾何填充使用所述3D球體上的相鄰樣本在所述2D訊框的所述一個或多個邊緣之外延伸樣本。
  7. 如申請專利範圍第5項所述之處理360度虛擬現實圖像的方法，其中，通過延伸所述一個或多個邊緣的邊界樣本來填充所述一個或多個保護帶。
  8. 如申請專利範圍第5項所述之處理360度虛擬現實圖像的方法，其中，所述一個或多個保護帶填充有來自所述一個或多個邊緣的相應邊緣區域的複製樣本。
  9. 如申請專利範圍第5項所述之處理360度虛擬現實圖像的方法，其中，當存在重叠區域時，所述消褪過程通過將所述一個或多個保護帶與所述重叠區域混合來產生所述一個或多個消褪保護帶，當不存在所述重叠區域時，所述消褪過程通過將所述一個或多個保護帶與預定義區域混合來產生所述一個或多個消褪保護帶。
  10. 如申請專利範圍第5項所述之處理360度虛擬現實圖像的方法，其中，所述目標投影對應於等距離長方圓柱體投影和立方體貼圖投影、調整的立方體貼圖投影、等面積投影、八面體投影、二十面體投影、分段球體投影、旋轉球體投影或圓柱體投影。
  11. 一種處理360度虛擬現實圖像的處理360度虛擬現實圖像的方法，其中，該方法包括：接收包括具有一個或多個消褪保護帶的2D訊框的擴展2D訊框的編碼資料，其中所述2D訊框使用目標投影從3D球體投影；將所述編碼資料解碼成解碼的擴展2D訊框，所述解碼的擴展2D訊框包括具有一個或多個解碼的消褪保護帶的解碼的2D訊框；以及從所述解碼的擴展2D訊框導出重建的2D訊框。
  12. 如申請專利範圍第11項所述之處理360度虛擬現實圖像的方法，其中，通過裁剪所述一個或多個解碼的消褪保護帶，從所述解碼的擴展2D訊框生成所述重建的2D訊框。
  13. 如申請專利範圍第11項所述之處理360度虛擬現實圖像的方法，其中，當一個或多個保護帶填充有來自一個或多個邊緣的相應邊緣區域的樣本的複製區域時，混合所述一個或多個解碼的消褪保護帶和重建的複製區域，從所述解碼的擴展2D訊框生成所述重建的2D訊框，並且其中通過將所述一個或多個保護帶與所述複製區域混合來產生一個或多個消褪保護帶。
  14. 如申請專利範圍第11項所述之處理360度虛擬現實圖像的方法，其中，所述目標投影對應於等距離長方圓柱體投影和立方體貼圖投影、調整的立方體貼圖投影、等面積投影、八面體投影、二十面體投影、分段球體投影、旋轉球體投影或圓柱體投影。
TW107124957A 2017-07-19 2018-07-19 處理360度虛擬現實圖像之方法和裝置 TWI679883B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762534275P 2017-07-19 2017-07-19
US62/534,275 2017-07-19
US16/034,601 2018-07-13
US16/034,601 US10614609B2 (en) 2017-07-19 2018-07-13 Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images

Publications (2)

Publication Number Publication Date
TW201909644A TW201909644A (zh) 2019-03-01
TWI679883B true TWI679883B (zh) 2019-12-11

Family

ID=65014958

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107124957A TWI679883B (zh) 2017-07-19 2018-07-19 處理360度虛擬現實圖像之方法和裝置

Country Status (5)

Country Link
US (2) US10614609B2 (zh)
EP (2) EP3639515A4 (zh)
CN (2) CN110024382B (zh)
TW (1) TWI679883B (zh)
WO (1) WO2019015629A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3376500B1 (en) * 2015-11-09 2019-08-21 Sony Corporation Decoding device, decoding method, and program
CN106780310B (zh) * 2016-12-20 2020-11-24 北京奇艺世纪科技有限公司 一种投影图构建方法及装置
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10839480B2 (en) * 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US11284054B1 (en) * 2018-08-30 2022-03-22 Largo Technology Group, Llc Systems and method for capturing, processing and displaying a 360° video
TWI734116B (zh) * 2019-05-21 2021-07-21 國立陽明交通大學 球型相機影像拼接方法
US20220210396A1 (en) * 2019-08-29 2022-06-30 Hermelo Miranda Systems and Method for Capturing, Processing, and Displaying a 360o Video
CN111277839B (zh) * 2020-03-06 2022-03-22 北京工业大学 一种编码立方体投影格式的自适应qp调整方法
US20230067584A1 (en) * 2021-08-27 2023-03-02 Apple Inc. Adaptive Quantization Matrix for Extended Reality Video Encoding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101002479A (zh) * 2004-08-13 2007-07-18 庆熙大学校产学协力团 用于全景图像的运动估计和补偿的方法和设备
KR20110055820A (ko) * 2009-11-20 2011-05-26 삼성전자주식회사 윤곽선 정보를 이용한 입체 영상 압축 장치 및 방법
US20120002723A1 (en) * 2010-06-30 2012-01-05 Hiroshi Arakawa Stereo video coding apparatus and stereo video coding method
WO2016064862A1 (en) * 2014-10-20 2016-04-28 Google Inc. Continuous prediction domain

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100732958B1 (ko) * 2004-08-13 2007-06-27 경희대학교 산학협력단 20면체 파노라마 영상의 부호화 및 복호화를 위한 방법 및장치
KR101236616B1 (ko) * 2009-04-30 2013-02-22 한국전자통신연구원 타이밍 오차에 강인한 직교 시공간 블록 부호를 사용한 복호화 장치 및 방법
CN103039075B (zh) * 2010-05-21 2015-11-25 Jvc建伍株式会社 图像编码装置、图像编码方法、以及图像解码装置、图像解码方法
US8902335B2 (en) * 2012-06-06 2014-12-02 Apple Inc. Image blending operations
CN103124347B (zh) * 2012-10-22 2016-04-27 上海大学 利用视觉感知特性指导多视点视频编码量化过程的方法
DE102013022156B4 (de) * 2013-12-31 2018-08-16 Sascha Grusche Verfahren und Vorrichtung für Spektralsynthese und Erzeugung spektral kodierter Bilder
CN104469386B (zh) * 2014-12-15 2017-07-04 西安电子科技大学 一种基于dof的恰可察觉误差模型的感知立体视频编码方法
US20170026659A1 (en) * 2015-10-13 2017-01-26 Mediatek Inc. Partial Decoding For Arbitrary View Angle And Line Buffer Reduction For Virtual Reality Video
CN105894449B (zh) 2015-11-11 2019-11-08 法法汽车(中国)有限公司 克服图像融合中颜色突变的方法及系统
CN105554506B (zh) 2016-01-19 2018-05-29 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
CN106792151A (zh) * 2016-12-29 2017-05-31 上海漂视网络科技有限公司 一种虚拟现实全景视频播放方法
US10506196B2 (en) * 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
US10848761B2 (en) * 2017-06-29 2020-11-24 Qualcomm Incorporated Reducing seam artifacts in 360-degree video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101002479A (zh) * 2004-08-13 2007-07-18 庆熙大学校产学协力团 用于全景图像的运动估计和补偿的方法和设备
KR20110055820A (ko) * 2009-11-20 2011-05-26 삼성전자주식회사 윤곽선 정보를 이용한 입체 영상 압축 장치 및 방법
US20120002723A1 (en) * 2010-06-30 2012-01-05 Hiroshi Arakawa Stereo video coding apparatus and stereo video coding method
WO2016064862A1 (en) * 2014-10-20 2016-04-28 Google Inc. Continuous prediction domain

Also Published As

Publication number Publication date
CN110024382B (zh) 2022-04-12
WO2019015629A1 (en) 2019-01-24
TW201909644A (zh) 2019-03-01
CN114584791A (zh) 2022-06-03
EP3639515A4 (en) 2021-04-07
CN110024382A (zh) 2019-07-16
EP3836544A2 (en) 2021-06-16
US10614609B2 (en) 2020-04-07
EP3836544A3 (en) 2021-07-14
US20190026934A1 (en) 2019-01-24
EP3639515A1 (en) 2020-04-22
US11049314B2 (en) 2021-06-29
US20200193676A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
TWI679883B (zh) 處理360度虛擬現實圖像之方法和裝置
US10264282B2 (en) Method and apparatus of inter coding for VR video using virtual reference frames
US20180098090A1 (en) Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters
KR100732958B1 (ko) 20면체 파노라마 영상의 부호화 및 복호화를 위한 방법 및장치
WO2019174542A1 (en) Method and apparatus of loop filtering for vr360 videos
US11004173B2 (en) Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
TWI666913B (zh) 用於將虛擬實境圖像映射成分段球面投影格式的方法以及裝置
TWI666912B (zh) 具有由封包於分段球體投影設計並以投影面表示之360度內容之投影訊框生成及編碼之方法及裝置
TWI690193B (zh) 處理360度虛擬實境圖像之方法與裝置
CN108432235A (zh) 360度全景显示的立方体图像的图像形成与压缩的方法及装置
CA3018600C (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
TWI702835B (zh) Vr360 視訊編解碼的運動向量推導方法和裝置
WO2019052505A1 (en) METHOD AND APPARATUS FOR VIDEO CODING OF VIRTUAL REALITY IMAGES WITH INACTIVE AREAS
WO2020185383A1 (en) A method and apparatus for encoding and rendering a 3d scene with inpainting patches
TW201921917A (zh) 用於減少基於投影的圖框中的偽影的方法和裝置
US20180338160A1 (en) Method and Apparatus for Reduction of Artifacts in Coded Virtual-Reality Images
KR102366258B1 (ko) 영상 처리 방법 및 장치
KR20210066825A (ko) 전방향성 영상의 코딩 및 디코딩
KR20240066108A (ko) 픽셀 레이 크로싱 기반 다시점 mpi 기하생성 방법