TWI688256B - 具有無效區域的vr 圖像的視訊編解碼方法和裝置 - Google Patents

具有無效區域的vr 圖像的視訊編解碼方法和裝置 Download PDF

Info

Publication number
TWI688256B
TWI688256B TW107132204A TW107132204A TWI688256B TW I688256 B TWI688256 B TW I688256B TW 107132204 A TW107132204 A TW 107132204A TW 107132204 A TW107132204 A TW 107132204A TW I688256 B TWI688256 B TW I688256B
Authority
TW
Taiwan
Prior art keywords
block
frame
invalid
pixels
residual
Prior art date
Application number
TW107132204A
Other languages
English (en)
Other versions
TW201916683A (zh
Inventor
施正軒
林建良
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201916683A publication Critical patent/TW201916683A/zh
Application granted granted Critical
Publication of TWI688256B publication Critical patent/TWI688256B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了用於處理360度虛擬實境圖像的方法。 根據一種方法，針對編碼器側的無效塊跳過目標塊的編解碼標記，或者基於識別目標塊是解碼器側的無效塊的資訊導出目標塊的像素。 根據另一種方法，當目標塊部分地填充有無效像素時，使用碼率 - 失真優化來選擇最佳預測值，其中通過排除目標塊的無效像素來測量與碼率 - 失真優化相關聯的失真。根據另一種方法，用值填充殘差塊的無效像素以實現最佳的碼率 - 失真優化。 根據另一種方法，殘差塊的有效像素被重新排列成較小的塊，並且編解碼被應用於較小的塊，或者形狀自適應變換編解碼被應用於殘差塊的有效像素。

Description

具有無效區域的VR圖像的視訊編解碼方法和裝置
本發明涉及360度虛擬實境 (VR) 圖像的影像處理。特別是， 本發明涉及提高虛擬實境圖像 (包括一個或多個無效（inactive）區域) 的壓縮效率。
360度的視訊， 也被稱爲沉浸式視訊是一種新興的技術， 它可以提供 "當下感覺(feeling as sensation of present)"。 沉浸感是通過圍繞使用者環繞場景而實現的， 環繞場景覆蓋了全景視圖， 特別是360度視野。通過立體呈現(render)可以進一步提高 "當下感覺" 的效果。因此， 全景視訊被廣泛應用於虛擬實境 (VR) 應用中。
沉浸式視訊涉及使用多個攝像機拍攝場景， 以覆蓋全景視圖， 例如360度視野。沉浸式相機通常使用全景相機或一組攝像機來捕捉360度視野。通常， 兩台或更多攝像機用作沉浸式攝像機。必須同時拍攝所有視訊， 並記錄場景的單獨片段 (也稱為單獨的視角)。此外，攝像機組通常被佈置成水平地捕獲視圖，但攝像機的其他佈置也是可能的。
可以使用360度球面全景相機捕獲360度虛擬實境（VR）圖像，或者佈置多個圖像以覆蓋360度的所有視野。使用傳統的圖像/視訊處理設備難以處理或存儲三維（3D）球形圖像。因此，通常使用3D到2D投影方法將360度VR圖像轉換為二維（2D）格式。例如，等角投影（ERP）和立方圖投影（CMP）是常用的投影方法。因此，可以以等角投影格式存儲360度圖像。其他廣泛使用的投影格式的描述，如八面體投影（OHP）、二十面體投影（ISP）、分段球投影（SSP）和旋轉球投影（RSP）、桶形布局(barrel layout)和Craster拋物線投影（CPP）已被廣泛揭露。因此，這裡不再敘述這些投影格式的細節。
爲了形成矩形2D投影訊框，2D投影訊框通常用無效區域填充。 例如，第1圖中示出了SSP投影訊框110。第1圖中還示出了與球體的北極和南極區域相對應的訊框的兩個圓形圖像周圍的無效區域120。第2圖中示出了RSP投影訊框210。在第2圖中還示出了兩個橢圓形圖像周圍的無效區域220。第3圖中示出了具有3×4布局的CMP投影訊框310。要填充矩形訊框的無效區域320也在第3圖中示出。第4圖中示出了具有3×4布局的另一CMP投影訊框410。用於填充矩形訊框的無效區域420也在第4圖中示出。
桶形布局是近年來公開的新布局格式。對於等角投影（ERP）格式，頂部和底部基本沿水平方向拉伸。但是，如果切割以等角布局格式化的圖像的前25％和後25％，則剩餘部分對應於場景的中間90度，其包含非常均勻的角度樣本分佈。然後垂直拉伸該中間部分以增加所需特定區域中的像素密度。爲了覆蓋球體的其餘部分，立方體貼圖布局的頂面和底面，特別是這些面的中間圓，與拉伸的中間部分連接，以形成桶形布局格式的訊框。第5圖示出了桶形布局訊框510的示例，其中拉伸的中間部分位於訊框的左側，並且兩個圓圈位於訊框的右側。如第5圖所示，在兩個圓圈周圍添加無效區域520。
Craster拋物線投影（CPP）是偽圓柱形(pseudo-cylindrical)、等面積投影。 中央子午線是赤道一半長的直線，其他子午線是等間距的拋物線，在兩極相交，拋物線突起方向背對中央子午線。 第6圖示出了Craster拋物線投影訊框610的示例。在Craster拋物線投影圖像周圍添加了無效區域620，如第6圖所示。
在第7圖中示出了二十面體投影（ISP）投影訊框710。第7圖中還示出了用於填充矩形訊框的無效區域720。第8圖中示出了另一個ISP投影訊框810。 第8圖中還示出了填充矩形框的無效區域820。第9圖中示出了八面體投影（OHP）投影訊框910。第9圖中還示出了填充矩形訊框的無效區域920。
當對投影訊框進行編解碼時，2D投影訊框中的無效區域將消耗一些頻寬。 此外，投影圖像和無效區域之間的不連續可能導致更突出的編碼僞像。 因此，期望開發可以降低位元率和/或减輕在投影圖像和無效區域之間的不連續處的僞像的可見性的方法。
公開了處理360度虛擬實境圖像的方法。 根據一種方法，接收2D（二維）訊框的輸入資料，其中2D訊框使用目標投影從3D（三維）球投影，並且2D訊框包括填充有一個或多個無效區域的無效像素。 2D訊框被分成多個塊。 當目標塊是所有像素都是無效像素的無效塊時，在編碼器側跳過目標塊的編解碼標誌，或者基於識別目標塊是解碼器側的無效塊的資訊導出目標塊的像素。 編解碼標誌可以包括從包括預測模式，預測資訊，分割模式和殘差係數的組中選擇的一個或多個元素。 可以將默認編解碼標誌分配給編碼器側或解碼器側的編解碼標誌。
根據第二種方法，當目標塊被無效像素部分填充時，對於所選參考圖片區域中的至少一個候選參考塊，識別候選參考塊中的無效像素，或者對於訊框內預測組中的至少一個候選訊框內預測模式，與所述至少一個候選訊框內預測模式相關聯的候選訊框內預測值中的一個或多個參考樣本用最近的可用參考填充， 或者，如果所述一個或多個參考樣本不可用，則從訊框內預測組中移除至少一個候選訊框內預測模式; 根據碼率 - 失真優化，在所選擇的參考圖片區域中的候選參考塊之間或者與訊框內預測組中的候選訊框內預測模式相關聯的候選訊框內預測值中選擇最佳預測值; 並且使用最佳預測值對目標塊進行編碼。
對於第二種方法，在最佳預測值用於編碼目標塊之前，候選參考塊的無效像素可以由默認值替換。 在另一實施例中，在最佳預測值用於編碼目標塊之前，在與訊框內預測組中的候選訊框內預測模式相關聯的候選訊框內預測值中選擇的最佳預測值的無效像素可以由默認值替換。 在一個實施例中，可以通過排除目標塊的無效像素來測量與碼率 - 失真優化相關聯的失真。 在另一實施例中，可以根據目標塊與一個候選參考塊之間或目標塊與一個候選訊框內預測值之間的絕對差之和來測量與碼率 - 失真優化相關聯的失真。
根據第三種方法，當目標塊部分地填充有無效像素時：使用訊框間預測值或訊框內預測值為目標塊生成殘差塊; 利用殘差值填充殘差塊的無效像素，以通過選擇殘差值來生成填充殘差塊，以實現對填充殘差塊的最佳碼率 - 失真優化; 通過對填充的殘差塊應用編碼處理來生成重構的填充殘差塊; 修整重構填充殘差塊的無效像素以生成用於重構目標塊的重構殘差塊。
對於第三種方法，可以根據填充殘差塊和重構填充殘差塊之間的絕對差之和來測量與碼率 - 失真優化相關聯的失真。 在另一實施例中，通過排除填充殘差塊的無效像素來測量與碼率 - 失真優化相關聯的失真。 編碼過程可以包括正向變換、量化、逆量化和逆變換。
根據第四方法，當目標塊部分地填充有無效像素時：使用編碼器側的訊框間預測值或訊框內預測值或者從在解碼器側的視訊位元流導出殘差塊，爲目標塊生成殘差塊; 並且通過重新排列剩餘塊的有效像素，通過將包括正向變換的第一編解碼處理應用於較小的矩形塊，或者通過將包括非矩形正向變換的第二編解碼處理應用於編碼器側的殘差塊的有效像素來編碼殘差塊; 或者，使用包括對較小矩形塊中重新排列的殘差塊進行逆變換的第三編解碼處理，或者通過對解碼器側殘差塊的有效像素應用包括非矩形逆變換的第四編解碼處理來解碼殘差塊。
對於第四種方法，非矩形正向變換可以對應於正向形狀自適應變換，而非矩形逆變換對應於逆形狀自適應變換。 正向形狀自適應變換處理可以包括在第一方向上的第一1-D DCT（離散餘弦變換）處理，將第一1-D DCT處理的第一結果與第一方向中的第一平面對準，第二方向上的第二1-D DCT處理，將第二1-D DCT處理的第二結果與第二方向中的第二平面對準; 並且逆形狀自適應變換處理包括第一方向上的第一逆1-D DCT處理，將第一逆1-D DCT處理的第一結果恢復到第一方向上的原始第一位置，第二方向上的第二逆1-D DCT處理，將第二逆1-D DCT處理的第二結果恢復到第二方向上的原始第二位置。
以下描述是實現本發明的最佳方案。 進行該描述是為了說明本發明的一般原理，而不應被視為具有限制意義。 通過參考所附請求項最好地確定本發明的範圍。
如上所述，2D投影訊框中的無效區域將消耗一些頻寬，並且投影圖像和無效區域之間的不連續可能導致更突出的編解碼偽像(coding artifacts)。 為了克服與無效區域相關的問題，公開了專注於處理無效像素或無效像素附近區域的方法。 所提出的方法可以通過提高預測精度和降低失真來提高壓縮效率和視覺質量。 所提出的方法可以應用於訊框間預測、訊框內預測和殘差編解碼。
為了維持可管理的複雜性，通常將圖像劃分為塊，例如宏塊（macroblock，簡寫為MB）或編解碼單元（CU）以應用視訊編解碼。 當通過將訊框劃分為編解碼單元（CU）來編解碼具有無效區域的投影訊框時，CU可以完全在無效區域內或部分在無效區域內。 第10圖示出了SSP訊框1010的一部分，其中CU（1020）完全在無效區域內，而另一CU（1030）部分在無效區域內。 對於具有所有像素為無效像素的CU，根據本發明，不對諸如預測模式、預測資訊、分割模式、殘差係數和CU的其他相關標誌(flag)的所有編解碼標誌進行編解碼。CU的每個像素的預測值是無效像素的默認值（例如，灰度級(gray level)或其他已知值），並且殘差為0。對於具有部分無效像素的CU，無效像素的預測值可以是默認值。 無效像素的殘差為0。預測誤差僅考慮用於碼率 - 失真優化（RDO）過程的有效像素。 換言之，對於具有所有像素都是無效像素的CU，跳過無效CU的編碼。 對於具有部分無效像素的CU，可以修剪預測值的無效像素（訊框間預測或訊框間預測）。 具有部分無效像素的CU的殘差編解碼可以包括填充殘差的無效像素，將非矩形DCT變換應用於殘差編解碼，或者在應用DCT之前將非矩形殘差形狀重新排列成比原始塊更小的矩形。
在傳統方法中，先前編解碼的投影訊框可以用作參考訊框。 例如，第11A圖示出了對應於SSP投影格式的先前編解碼的投影訊框的參考訊框。 根據本發明的實施例，可以填充投影訊框外部的圖像。 例如，包含代表北極和南極的兩個圓的正方形外的區域可以用默認像素值填充。 例如，默認值可以與無效像素值相同，如第11B圖所示的填充圖像1110和1112所示。對於對應於赤道的圖像，可以使用幾何填充來形成如第11B圖所示的填充圖像1120，其中幾何填充通過考慮360視訊的球形特性來圍繞圖像邊界延伸像素。用於各種投影格式的幾何填充在文獻中是已知的(例如，Y.He等人，“AHG8：Geometry padding for 360 video coding”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11聯合視訊探索團隊(JVET)，第4次會議：成都，CN，2016年10月15-21日，文件：JVET-D0075)。因此，這裡不再重複幾何填充的細節。對應於北極和南極的兩個圓形圖像也可以使用幾何填充來填充。幾何填充的北極圖像1130和南極圖像1132在第11C圖中示出。
根據本發明的一個實施例，可以使用幾何填充的參考圖像來執行訊框間預測。例如，具有幾何填充的面(例如幾何填充的北極圖像1130和南極圖像1132)可以用作參考圖像以導出預測值。第12圖示出了根據本發明實施例的具有部分無效像素的塊(例如CU)的訊框間預測過程的示例。在第12圖中，示出了SSP訊框1210的一部分和具有部分無效像素的當前CU 1212，其中部分無效CU 1212位於對應於南極的圓形圖像的邊界處。在第12圖中示出填充有對應於南極的灰色區域的面。將幾何填充應用於用灰色區域填充的圖像1220的面以形成幾何填充的面圖像1230。可以應用匹配方法來搜索當前塊1212的幾何填充面圖像1230中的最佳匹配塊。例如，可以使用流行的塊匹配算法。失真度量可以基於當前塊和候選參考塊之間的SAD(sum of absolute differences，絕對差之和）。 在最佳匹配搜索處理期間，無效像素的加權被設置為0。換言之，匹配處理忽略來自無效像素的貢獻。 在第12圖中，塊1232對應於最佳匹配塊。可以識別該最佳匹配塊的有效區域1240。 示出了對應於最佳匹配塊1232的參考塊1242，其中塊的有效區域（即塊1244）用作當前塊1212的預測值，而無效區域1246不用於預測值。
第13圖示出了根據本發明實施例的具有部分無效像素的塊（例如CU）的訊框內預測過程的示例。 在第13圖中，示出了SSP訊框1310的一部分和具有部分無效像素的當前CU 1312，其中部分無效CU 1312位於對應於南極的圓形圖像的邊界處。 在各種訊框內預測值中，選擇導致最佳碼率 - 失真優化的訊框內預測值作為訊框內預測值，其中將無效像素的失真度量的加權設置為0。失真度量可以基於當前塊和候選訊框內預測塊之間的SAD（絕對差之和）。 在第13圖的示例中，預測方向1314實現最佳預測。 如斜線所示的訊框內預測值1316對應於最佳預測值。 可以識別訊框內預測值的有效區域(active region)1320。 根據本發明的實施例，可以識別訊框內預測值1322的有效部分和無效部分（由虛線弧線分開）。可以修整(trim)無效部分1326，並且僅將有效部分1324用作當前塊1312的訊框內預測值。在圖表1340和圖表1342中示出沒有修剪的殘差和有修剪的殘差，其中在外部面（即無效區域((inactive region))）中將殘差強制為0。 圖表1350和1352分別示出了沒有修剪和修剪的情況的重構殘差。 對於沒有修剪和修剪的情況，失真分別在圖表1360和圖表1362中示出。
在本發明的另一個實施例中，填充用於訊框內像素的無效像素區域中的參考樣本。 對於第14圖中的傳統訊框內預測1410，使用當前塊周圍的先前編解碼的參考像素來生成當前塊的訊框內預測值。 例如，當前塊上方的參考像素1414和左側的參考像素1416可用於生成訊框內預測值。 通常，編碼器將檢查各種訊框內預測模式（例如，DC，平面和方向模式）並選擇實現最佳性能（例如最小失真）的模式。然而，對於包括無效區域的投影訊框，當前塊的一些或所有參考像素可能不可用。 第14圖中的訊框內預測1420示出了由於無效區域導致的不可用參考像素的示例。 在該示例中，當前塊1422上方的一些參考像素1424不可用。 弧1430對應於無效區域（右側區域）和有效區域（左側區域）的邊界。 因此，只有左側的參考像素1426和頂部的部分參考像素1428可用。 本發明的實施例將利用可用的參考像素來填充不可用的像素。 例如，可以用最近的可用參考像素1440填充不可用像素。
參考像素還可以跨越各種類型的像素，諸如有效像素、無效像素、外面(outside face)像素和另一個面(another-face)像素。 在本發明的另一個實施例中，任何無效像素、外面像素和另一個面像素被認為是不可用的，並且不可用的參考像素被最近的參考像素填充。 第15圖示出了不可用參考像素的填充的示例，其中圖像1510對應於南極周圍的SSP圖像的一部分。塊A、B和C是待訊框內預測的三個塊。 參考像素由虛線包圍的區域表示。 對於塊A，參考像素1520和1522是無效像素，參考像素1524和1526是有效像素(active pixel)。 因此，參考像素1520和1522不可用。 對於塊B，參考像素1530是無效的，1532是有效像素，參考像素1534是外面像素。 因此，參考像素1530和1534不可用。 對於塊C，參考像素1540和1542是有效像素，參考像素1544是無效像素，而像素1546是另一個面像素。 因此，參考像素1544和1546不可用。
根據本發明的實施例，最近的可用參考像素用於填充不可用的參考像素。 在第15圖中，圖像1520用於說明根據本發明實施例的像素填充。 對於塊A，最近的可用參考像素1528用於填充參考像素1528左側的無效像素（即，圖像1510中的像素1520），並且最近的可用參考像素1529用於填充上方的無效像素（ 即，圖像1510中的無效像素1522）。對於塊B，最近的可用參考像素1536用於填充塊上方的不可用像素（即，圖像1510中的無效像素1530和外面像素1534）。 對於塊C，最近的可用參考像素1548用於填充下方的不可用像素（即，圖像1510中的無效像素1544和另一個面像素1546）。
在第16圖中，圖像1610對應於南極周圍的SSP圖像的一部分，並且塊1620是要進行訊框內預測的當前塊。 對於當前塊上方的參考像素1622，它們中的一些（1624）不可用（例如，無效、外面或另一個面）。 當根據所選擇的訊框內預測模式（例如，如第16圖中所示的垂直預測）使用這些不可用像素來生成訊框內預測值時，可以從這些不可用參考像素（即，這種情況下的無效參考像素）生成訊框內預測值的一些像素。來自無效像素的預測可能導致大的預測誤差。 根據本發明的另一實施例，對於任何訊框內預測模式，如果與訊框內預測模式相關聯的一定量的預測值樣本將參考任何不可用的參考像素（即，在該示例中為無效像素），則將從用於當前塊的訊框內預測候選集中排除該訊框內預測模式。 允許的訊框內預測模式的總數將減少。 可以改善編解碼性能。
對於投影訊框，塊可以完全處於無效區域中。 當塊（例如CU）中的所有像素都是無效像素時，該塊被稱為無效塊。 在第17圖中，圖像1710對應於南極周圍的SSP圖像的一部分，並且無效塊被示出為由填充有實心灰色的區域指示。 根據本發明的實施例，不對編解碼標誌（諸如預測模式、預測資訊、分割模式、殘差係數和用於無效CU的其他相關資訊）進行編碼。 因為CU資訊不是針對無效CU編碼的，所以我們僅需要為無效CU分配一組預定義資訊，使得解碼器將針對無效CU使用相同資訊。 例如，我們可以將預測模式指定為訊框內模式; 跳過殘差編解碼; 將塊預測值的像素值設置為默認值; 不進一步拆分無效CU; 等等。
根據本發明的一個實施例的殘差編解碼在第18圖中示出。根據該實施例，殘差的無效像素區域用實現用於殘差編解碼的最優RDO（碼率 - 失真優化）的值填充。 在第18圖中，要預測的當前原始塊1810包括無效部分1812。為當前塊生成預測值1820（訊框間或訊框內預測值）。 修整對應於無效部分的預測值的區域以形成修剪的預測值1822。可以導出預測殘差1824（即，修整的預測值和原始資料之間的差異）。根據一個實施例，將對殘差1824進行編碼和解碼（例如，DCT =＞量化=＞逆量化=＞逆DCT）以生成重構殘差1826。可以修整重構殘差1826的無效區域以生成修剪的重構殘差1828用於進一步的編解碼過程。 根據另一個實施例，可以通過用值填充來填充殘差以形成填充的殘差1830以實現最佳RDO。填充的殘差1830將被編碼和解碼（例如，DCT =＞量化=＞逆量化=＞逆DCT）以生成重構的填充殘差1832。在RDO過程期間，將針對殘差塊的有效區域評估失真。 可以修整重構的填充殘差1832的無效區域以形成修剪的重構殘差1834。由於選擇填充殘差1830的填充以實現最佳RDO性能，因此最終重構殘差（即，修整的重構殘差）應該導致給定位元率的最小失真。
根據另一實施例，通過將DCT應用於對應於有效區域的縮減塊或應用形狀自適應DCT（shape-adaptive DCT，簡寫為SA-DCT），可以從編解碼處理中排除殘差的無效像素區域。 在第19圖中，為當前塊生成預測值1920（訊框間或訊框內預測值）。 修整對應於無效部分的預測值的區域以形成修剪的預測值1922。可以導出預測殘差1924（即，修整的預測值和原始資料之間的差異）。 根據一個實施例，殘差1924的有效像素將用於形成較小的塊1926，其被編碼和解碼（例如，DCT =＞量化=＞逆量化=＞逆DCT）以生成重構的較小殘差1928。將無效像素添加回重構的較小殘差1928以恢復重構殘差1929。根據本發明的另一實施例，可以對非矩形塊進行編解碼。 例如，形狀自適應DCT（離散餘弦變換）可以應用於殘差1924的有效像素。如本領域所知，形狀資訊或輪廓資訊必須在逆SA-DCT過程可以執行之前發送到接收器端。 根據SA-DCT，如塊1931所示，1-D DCT在垂直方向上應用於殘差1930的有效像素，其中DCT大小取決於垂直方向上的有效像素的數量。垂直移位1-D DCT的係數並與塊的上邊界對齊以形成對準塊1932。然後，如塊1933所示，1-D DCT在水平方向上應用於對齊塊1932的有效樣本，其中DCT大小取決於水平方向上的有效像素的數量。變換塊的係數水平移位並與左邊界對齊以形成SA-DCT塊1934。然後對SA-DCT塊1934進行編碼和解碼（即，量化和反量化）以形成重構的SA-DCT塊1935年。如塊1936所示，通過在水平方向上應用1-D DCT將逆SA-DCT應用於重構的SA-DCT塊1935。如塊1937所示，恢復水平方向上的原始像素位置。然後如塊1938所示在垂直方向上施加1-D DCT，並且如塊1939所示恢復垂直方向上的像素位置，以獲得重構塊1940。填充有無效區域的重構殘差變為完全重構的殘差1942，其可與預測值一起使用以重構原始信號。
第20圖示出了用於處理360度虛擬實境圖像的編碼系統的示例性流程圖，其中跳過了用於無效塊的編解碼標誌。 流程圖中示出的步驟可以實現為在編碼器側或解碼器側的一個或多個處理器（例如，一個或多個CPU）上可執行的程式代碼。 流程圖中示出的步驟還可以基於諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器的硬體來實現。根據該實施例，在步驟2010中接收用於2D（二維）訊框的輸入資料，其中使用目標投影從3D（三維）球投影2D訊框，並且2D訊框包括一個或多個填充有無效像素的無效的區域。 如前所述，可以使用各種投影格式來生成2D訊框。在步驟2020中，2D訊框被分成多個塊以進行處理。這些塊可以對應於編碼單元（CU）。在步驟2030，當目標塊是所有像素都是無效像素的無效塊時，在編碼器側跳過目標塊的編解碼標誌，或者在解碼器側藉由識別該目標塊為無效塊的資訊，來導出該目標塊的所有像素都是無效像素。
第21圖示出了用於處理360度虛擬實境圖像的編碼系統的示例性流程圖，其中部分無效的塊以訊框內或訊框間預測模式被編碼。 根據該實施例，在步驟2110中接收用於2D（二維）訊框的輸入資料，其中2D訊框使用目標投影從3D（三維）球投影，並且2D訊框包括一個或多個填充無效像素的無效區域。 2D訊框被分成多個塊以在步驟2120中進行處理。在步驟2130中檢查目標塊是否部分地填充有無效像素。如果目標塊部分地填充有無效像素（即，來自步驟2130的“是”路徑），則執行步驟2140至2160。 否則（即，步驟2130的“否”路徑），跳過步驟2140至2160。 在步驟2140中，對於所選擇的參考圖片區域中的至少一個候選參考塊，識別候選參考塊中的無效像素，或者對於訊框內預測組中的至少一個候選訊框內預測模式，與所述至少一個候選訊框內預測模式相關聯的候選訊框內預測值中的一個或多個參考樣本用最近的可用參考填充，或如果所述一個或多個參考樣本不可用，則移除來自訊框內預測組的所述至少一個候選訊框內預測模式。如果為目標塊選擇了訊框間預測，則候選參考塊用於訊框間預測。 在步驟2150中，根據碼率-失真優化，在所選擇的參考圖片區域的候選參考塊中或者在與訊框內預測組中的候選訊框內預測模式相關聯的候選訊框內預測值中選擇最佳預測值。 如對於訊框間預測所知，從候選參考塊所選擇的參考圖片區域中搜索最佳預測值。 對於訊框內預測，在允許的訊框內預測模式組中選擇最佳預測值。在步驟2160中，在選擇最佳預測值之後，使用最佳預測值對目標塊進行編碼。
第22圖示出了用於處理360度虛擬實境圖像的編解碼系統的示例性流程圖，其中殘差塊的無效像素用值填充以實現最佳碼率 - 失真優化。 根據該實施例，在步驟2210中接收用於2D（二維）訊框的輸入資料，其中使用目標投影從3D（三維）球投影2D訊框，並且2D訊框包括一個或多個填充無效像素的無效區域。在步驟2220中，2D訊框被分成多個塊以進行處理。在步驟2230中檢查目標塊是否部分地填充有無效像素。如果目標塊部分地填充有無效像素（即，來自步驟2230的“是”路徑），則執行步驟2240至2270。 否則（即，步驟2230的“否”路徑），跳過步驟2240至2270。 在步驟2240中，使用訊框間預測值或訊框內預測值生成目標塊的殘差塊。 在步驟2250中，用殘差值填充殘差塊的無效像素，以通過選擇殘差值來生成填充殘差塊，以實現對填充殘差塊的最佳碼率 - 失真優化。 在步驟2260中，通過對填充的殘差塊應用編解碼處理來生成重構的填充殘差塊。 在步驟2270中，修整經重構的填充殘差塊的無效像素以生成用於重構目標塊的重構殘差塊。
第23圖示出了用於處理360度虛擬實境圖像的編解碼系統的示例性流程圖，其中殘差塊的有效像素被重新排列成較小的塊並且編解碼被應用於較小的塊，或者形狀自適應變換編解碼應用於殘差塊的有效像素。 根據該實施例，在步驟2310中接收用於2D（二維）訊框的輸入資料，其中使用目標投影從3D（三維）球投影2D訊框，並且2D訊框包括一個或多個填充無效像素的無效區域。在步驟2320中，2D訊框被分成多個塊以進行處理。在步驟2330中檢查目標塊是否部分地填充有無效像素。如果目標塊部分地填充有無效像素（即，步驟2330的“是”路徑），則執行步驟2340至2350。 否則（即，步驟2330的“否”路徑），跳過步驟2340至2350。 在步驟2340中，使用編碼器側的訊框間預測值或訊框內預測值生成目標塊的殘差塊，或者從解碼器側的視訊位元流導出殘差塊。在步驟2350，通過重新排列殘差塊的有效像素將包括正向變換(forward transform)的第一編解碼處理應用於較小的矩形塊，或通過對編碼器側的殘差塊的有效像素應用包括非矩形正向變換的第二編解碼處理，來編碼殘差塊; 或者，使用包括對較小矩形塊中重新排列的殘差塊進行逆變換的第三編解碼處理，或者通過對解碼器側殘差塊的有效像素應用包括非矩形逆變換的第四編解碼處理來解碼殘差塊。
以上所示的流程圖旨在用作示例以說明本發明的實施例。 所屬領域具有通常知識者可以通過在不脫離本發明的精神的情況下修改各個步驟、分裂或組合步驟來實踐本發明。
呈現以上描述是為了使得所屬領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。 對所描述的實施例的各種修改對於所屬領域具有通常知識者來說是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明不限於所示出和描述的特定實施例，而是與符合本文所公開的原理和新穎特徵的最寬範圍相一致。 在以上詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。 然而，所屬領域具有通常知識者將理解，可以實施本發明。
如上所述的本發明的實施例可以以各種硬體，軟體代碼或兩者的組合來實現。例如，本發明的實施例可以是集成到視訊壓縮晶片中的一個或多個電子電路或集成到視訊壓縮軟體中的程式代碼，以執行這裡描述的處理。本發明的實施例還可以是要在數位信號處理器（DSP）上執行的程式代碼，以執行這裡描述的處理。本發明還可以涉及由計算機處理器、數位信號處理器、微處理器或現場可程式化門陣列（FPGA）執行的許多功能。這些處理器可以被配置為通過執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以用不同的程式語言和不同的格式或樣式開發。還可以針對不同的目標平台編譯軟體代碼。然而，軟體代碼的不同代碼格式、樣式和語言以及配置代碼以執行根據本發明的任務的其他方式將不脫離本發明的精神和範圍。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他特定形式實施。 所描述的示例在所有方面都應被視為僅是說明性的而非限制性的。 因此，本發明的範圍由所附申請專利範圍而不是前面的描述表示。 在申請專利範圍的含義和等同範圍內的所有變化都包含在其範圍內。
110、210、310、410、510、610、710、810、 910、1010、1210、1310‧‧‧訊框120、220、320、420、520、620、720、820、920‧‧‧無效區域1020、1030、1212、1312‧‧‧CU1110、1112、1120‧‧‧填充圖像1130、1132、1220、1230、1510、1520、1610、1710‧‧‧圖像1232、1620、1810、1926、1931~1940‧‧‧塊1240、1242、1244、1320‧‧‧有效區域1246‧‧‧無效區域1314‧‧‧預測方向1316、1322、1820、1822、1920、1922‧‧‧預測值1324‧‧‧有效部分1326、1812‧‧‧無效部分1340、1342、1350、1352、1360、1362‧‧‧圖表1410、1420‧‧‧訊框內預測1422‧‧‧當前塊1414、1416、1424、1426、1428、1440、1520、1522、1524、1528、1529、1526、1530、1532、1534、1536、1540、1542、1544、1546、1548、1622、1624‧‧‧參考像素1430‧‧‧弧1824、1830、1924、1928、1930‧‧‧殘差1826、1828、1834、1929‧‧‧重構殘差1832‧‧‧重構的填充殘差2010~2030、2110~2160、2210~2270、2310~2350‧‧‧步驟
第1圖示出了分段球投影（SSP）投影訊框的示例，其中示出了對應於球體的北極和南極區域的訊框的兩個圓形圖像周圍的無效區域。 第2圖示出了旋轉球投影（RSP）投影訊框的示例，其中示出了兩個橢圓形圖像周圍的無效區域。 第3圖示出了具有3×4布局的立方體貼圖投影（CMP）投影訊框的示例，其中無效區域填充有灰色。 第4圖示出了具有3×4布局的另一立方體體貼圖投影（CMP）投影訊框的示例，其中無效區域填充有黑色。 第5圖示出了桶形布局訊框的示例，其中拉伸的中間部分位於訊框的左側，並且兩個圓圈位於訊框的右側。 在兩個圓圈周圍添加了無效區域。 第6圖示出了Craster拋物線投影（CPP）投影訊框的示例，其中在Craster拋物線投影圖像周圍添加了無效區域。 第7圖示出了二十面體投影（ISP）投影訊框的示例，其中示出了填充矩形訊框的無效區域。 第8圖示出了二十面體投影（ISP）投影訊框的另一示例，其中示出了用於填充矩形訊框的無效區域。 第9圖示出了八面體投影（OHP）投影訊框的示例，其中示出了用於填充矩形訊框的無效區域。 第10圖示出了SSP訊框的一部分，其中一個CU完全在無效區域內而另一個CU部分在無效區域內。 第11A圖示出了對應於用於分段球投影（SSP）投影格式的先前編解碼的投影訊框的參考訊框。 第11B圖示出了填充方形外部的區域的示例，所述方形包圍表示具有默認像素值的北極和南極的兩個圓，並且對應於赤道的圖像使用幾何填充。 第11C圖示出了使用幾何填充填充表示北極和南極的兩個圓之外的區域的示例。 第12圖示出了根據本發明實施例的具有部分無效像素的塊的訊框間預測過程的示例，其中示出了SSP幀的一部分和具有位於對應於南極的圓形圖像的邊界處的部分無效像素的當前CU。 第13圖示出了根據本發明實施例的具有部分無效像素的塊的訊框內預測過程的示例，其中示出了SSP幀的一部分和位於與具有部分非活動像素的南極對應的圓形圖像的邊界處的當前CU。 第14圖示出了根據本發明的傳統訊框內預測和利用最近的可用參考像素填充無效區域中的不可用參考像素的訊框內預測的實施例。 第15圖示出了根據本發明實施例的利用最近可用參考像素填充不可用參考像素（例如，無效像素、外部面像素和另一個面像素）的示例。 第16圖示出了根據本發明實施例的對投影訊框進行編解碼的示例，其中如果與訊框內預測模式相關聯的訊框內預測值指的是任何不可用的參考像素，將從用於當前塊的幀內預測候選集中排除幀內預測模式。 第17圖示出了投影訊框中的無效塊的示例，其中無效塊由填充有實心灰色的區域指示。 第18圖示出了根據本發明一個實施例的殘差編解碼的示例，其中殘差的無效像素用實現殘差編碼的最佳RDO（碼率 - 失真優化）的值填充。 第19圖示出了根據本發明另一實施例的殘差編解碼的示例，其中殘差塊的有效像素被重新排列成較小的塊並且編解碼被應用於較小的塊，或者形狀自適應變換編解碼應用於殘差塊的有效像素。 第20圖示出了用於處理360度虛擬實境圖像的編解碼系統的示例性流程圖，其中跳過了用於無效塊的編解碼標誌。 第21圖示出了用於處理360度虛擬實境圖像的編解碼系統的示例性流程圖，其中部分無效的塊以訊框內或訊框間預測模式被編碼。 第22圖示出了用於處理360度虛擬實境圖像的編解碼系統的示例性流程圖，其中殘差塊的無效像素用值填充以實現最佳碼率 - 失真優化。 第23圖示出了用於處理360度虛擬實境圖像的編解碼系統的示例性流程圖，其中殘差塊的有效像素被重新排列成較小的塊並且編解碼被應用於較小的塊，或者形狀自適應變換編解碼應用於殘差塊的有效像素。
1010‧‧‧訊框
1020、1030‧‧‧CU

Claims (14)

  1. 一種處理360度虛擬實境圖像的方法，該方法包括：接收2D訊框的輸入資料，其中該2D訊框使用目標投影從3D球投影，並且該2D訊框包括填充有無效像素的一個或多個無效區域；將該2D訊框分成多個塊；以及當目標塊是具有所有像素為無效像素的無效塊時，在編碼器側跳過該目標塊的多個編解碼標誌。
  2. 如申請專利範圍第1項所述之方法，其中，該多個編解碼標誌包括從包括預測模式、預測資訊、分割模式和殘差係數的組中選擇的一個或多個元素。
  3. 如申請專利範圍第1項所述之方法，其中，多個默認編解碼標誌被分配給該編碼器側或
    Figure 107132204-A0305-02-0026-1
    解碼器側的該多個編解碼標誌。
  4. 一種處理360度虛擬實境圖像的方法，該方法包括：接收2D訊框的輸入資料，其中該2D訊框使用目標投影從3D球投影，並且該2D訊框包括填充有無效像素的一個或多個無效區域；將該2D訊框分成多個塊；以及當目標塊部分填充無效像素時：對於所選擇的參考圖片區域中的至少一個候選參考塊，識別候選參考塊中的無效像素，或者針對訊框內預測組中的 至少一個候選訊框內預測模式，使用最近可用參考像素填充候選訊框內預測值中的一個或多個參考樣本，其中該候選訊框內預測值與該至少一個候選訊框內預測模式相關，或者如果該一個或多個參考樣本不可用，從該訊框內預測組中移除該至少一個候選訊框內預測模式；根據碼率-失真優化，在所選擇的參考圖片區域中的多個候選參考塊中或與訊框內預測組中的多個候選訊框內預測模式相關聯的多個候選訊框內預測值中選擇最佳預測值，其中，通過排除該目標塊的無效像素來測量與該碼率-失真優化相關聯的失真；以及使用該最佳預測值對該目標塊進行編碼。
  5. 如申請專利範圍第4項所述之方法，其中在該最佳預測值用於編碼該目標塊之前，所述至少一個候選參考塊的無效像素被默認值替換。
  6. 如申請專利範圍第4項所述之方法，其中，在該最佳預測值用於編碼目標塊之前，在與訊框內預測組中的候選訊框內預測模式相關聯的候選訊框內預測值中選擇的該最佳預測值的無效像素被默認值替換。
  7. 如申請專利範圍第4項所述之方法，其中，根據該目標塊與一個候選參考塊之間或該目標塊與一個候選訊框內預測值之間的絕對差之和來測量與該碼率-失真優化相關聯的該失真。
  8. 一種處理360度虛擬實境圖像的方法，該方法包括： 接收2D訊框的輸入資料，其中該2D訊框使用目標投影從3D球投影，並且該2D訊框包括填充有無效像素的一個或多個無效區域；將該2D訊框分成多個塊；以及當目標塊部分填充無效像素時：使用訊框間預測值或訊框內預測值生成該目標塊的殘差塊；用殘差值填充該殘差塊的該無效像素，以通過選擇該殘差值來生成填充的殘差塊，以實現對該填充的殘差塊的最佳碼率-失真優化；通過對該填充的殘差塊應用編解碼處理來生成重構的填充殘差塊；以及修整該重構的填充殘差塊的無效像素，以生成用於重構該目標塊的重構殘差塊。
  9. 如申請專利範圍第8項所述之方法，其中，根據該填充的殘差塊與該重構的填充殘差塊之間的絕對差之和來測量與該碼率-失真優化相關聯的失真。
  10. 如申請專利範圍第8項所述之方法，其中，通過排除該填充的殘差塊的無效像素來測量與該碼率-失真優化相關聯的失真。
  11. 如申請專利範圍第8項所述之方法，其中，所述該編解碼處理包括正向變換、量化、逆量化和逆變換。
  12. 一種處理360度虛擬實境圖像的方法，該方法包括：接收2D訊框的輸入資料，其中該2D訊框使用目標投影從 3D球投影，並且該2D訊框包括填充有無效像素的一個或多個無效區域；將該2D訊框分成多個塊；以及當目標塊部分填充無效像素時：使用編碼器側的訊框間預測值或訊框內預測值生成該目標塊的殘差塊，或者在解碼器側從視訊位元流導出該殘差塊；以及通過重新排列該殘差塊的有效像素將包括正向變換的第一編解碼處理應用於較小的矩形塊，或通過對該編碼器側的該殘差塊的該有效像素應用包括非矩形正向變換的第二編解碼處理，來編碼該殘差塊；或者，使用包括對該較小矩形塊中重新排列的殘差塊進行逆變換的第三編解碼處理，或者通過對該解碼器側該殘差塊的該有效像素應用包括非矩形逆變換的第四編解碼處理來解碼該殘差塊。
  13. 如申請專利範圍第12項所述之方法，其中，該非矩形正向變換對應於正向形狀自適應變換，並且該非矩形逆變換對應於逆形狀自適應變換。
  14. 如申請專利範圍第13項所述之方法，其中該正向形狀自適應變換過程包括在第一方向上的第一1-D離散餘弦變換處理，將該第一1-D離散餘弦變換處理的第一結果與該第一方向中的第一平面對準，第二方向上的第二1-D離散餘弦變換處理，將該第二1-D離散餘弦變換處理的第二結果與該第二方向中的第二平面對準；並且該逆形狀自適應變換處理包括該第一方向上的第一逆1-D離散餘弦變 換處理，將該第一逆1-D離散餘弦變換處理的第一結果恢復到該第一方向上的原始第一位置，第二方向上的第二逆1-D離散餘弦變換處理，將該第二逆1-D離散餘弦變換處理的第二結果恢復到該第二方向上的原始第二位置。
TW107132204A 2017-09-13 2018-09-13 具有無效區域的vr 圖像的視訊編解碼方法和裝置 TWI688256B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762557785P 2017-09-13 2017-09-13
US62/557,785 2017-09-13
US16/127,954 2018-09-11
US16/127,954 US20190082183A1 (en) 2017-09-13 2018-09-11 Method and Apparatus for Video Coding of VR images with Inactive Areas

Publications (2)

Publication Number Publication Date
TW201916683A TW201916683A (zh) 2019-04-16
TWI688256B true TWI688256B (zh) 2020-03-11

Family

ID=65631975

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107132204A TWI688256B (zh) 2017-09-13 2018-09-13 具有無效區域的vr 圖像的視訊編解碼方法和裝置

Country Status (4)

Country Link
US (1) US20190082183A1 (zh)
CN (1) CN109983470B (zh)
TW (1) TWI688256B (zh)
WO (1) WO2019052505A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10764605B2 (en) * 2018-02-14 2020-09-01 Qualcomm Incorporated Intra prediction for 360-degree video
US10567752B2 (en) 2018-07-02 2020-02-18 Tencent America LLC Method and apparatus for intra prediction for non-square blocks in video compression
KR102065632B1 (ko) * 2018-10-22 2020-02-11 전자부품연구원 복수의 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
US10638165B1 (en) * 2018-11-08 2020-04-28 At&T Intellectual Property I, L.P. Adaptive field of view prediction
WO2021045536A1 (en) 2019-09-04 2021-03-11 Wilus Institute Of Standards And Technology Inc. Video encoding and decoding acceleration utilizing imu sensor data for cloud virtual reality
US11882368B1 (en) * 2021-04-27 2024-01-23 Apple Inc. Circular image file

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110158506A1 (en) * 2009-12-30 2011-06-30 Samsung Electronics Co., Ltd. Method and apparatus for generating 3d image data
CN102693552A (zh) * 2011-03-24 2012-09-26 雷欧尼斯（北京）信息技术有限公司 数字内容的2d转3d的方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8848779B2 (en) * 2010-07-15 2014-09-30 Sharp Laboratories Of America, Inc. Method of parallel video coding based on block size
US9288476B2 (en) * 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
CN102833536A (zh) * 2012-07-24 2012-12-19 南京邮电大学 一种面向无线传感器网络的分布式视频编解码方法
CN105282558B (zh) * 2014-07-18 2018-06-15 清华大学 帧内像素预测方法、编码方法、解码方法及其装置
CN105554506B (zh) * 2016-01-19 2018-05-29 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
US20170214937A1 (en) * 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of Inter Prediction for Spherical Images and Cubic Images
CN106504187A (zh) * 2016-11-17 2017-03-15 乐视控股（北京）有限公司 视频识别方法以及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110158506A1 (en) * 2009-12-30 2011-06-30 Samsung Electronics Co., Ltd. Method and apparatus for generating 3d image data
CN102693552A (zh) * 2011-03-24 2012-09-26 雷欧尼斯（北京）信息技术有限公司 数字内容的2d转3d的方法及装置

Also Published As

Publication number Publication date
CN109983470B (zh) 2023-03-10
US20190082183A1 (en) 2019-03-14
WO2019052505A1 (en) 2019-03-21
TW201916683A (zh) 2019-04-16
CN109983470A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
TWI688256B (zh) 具有無效區域的vr 圖像的視訊編解碼方法和裝置
TWI656785B (zh) 視訊編碼方法和設備和相關的視訊解碼方法和設備
TWI655861B (zh) 預拼接圖像的視頻編碼方法、視頻解碼方法和相關的裝置
WO2017125030A1 (en) Apparatus of inter prediction for spherical images and cubic images
US7848425B2 (en) Method and apparatus for encoding and decoding stereoscopic video
US8798158B2 (en) Method and apparatus for block-based depth map coding and 3D video coding method using the same
TW201916685A (zh) 用於處理360°vr幀序列的方法及裝置
CN114788264B (zh) 用于发出虚拟边界和环绕运动补偿的信号的方法
US10863198B2 (en) Intra-prediction method and device in image coding system for 360-degree video
Youvalari et al. Efficient coding of 360-degree pseudo-cylindrical panoramic video for virtual reality applications
JP2011526124A (ja) パッチベースのサンプリングテクスチャ合成を用いたテクスチャ圧縮の方法及び装置
KR102342874B1 (ko) 360도 비디오에 대한 영상 코딩 시스템에서 프로젝션 타입 기반 양자화 파라미터를 사용한 영상 디코딩 방법 및 장치
JP2023521295A (ja) 映像符号化データをシグナリングするための方法
WO2021093837A1 (en) Method and apparatus for signaling horizontal wraparound motion compensation in vr360 video coding
TWI699114B (zh) Vr360視訊編碼的塊分割方法和裝置
US20230245390A1 (en) Manhattan layout estimation using geometric and semantic information
KR102011431B1 (ko) 영상 병렬 처리 방법 및 장치
CN111630862A (zh) 用于对表示全向视频的多视图视频序列进行编码和解码的方法和设备
CN111034202A (zh) 图像编码和解码方法、编码和解码设备及对应计算机程序
RU2771955C2 (ru) Устройство, оборудование, способ кодирования и декодирования видеоизображений
JP7504298B2 (ja) ３次元（３ｄ）メッシュのｕｖ座標を処理するための方法、装置及びコンピュータプログラム
CN110431844B (zh) 用于对图像进行编码和解码的方法、编码和解码设备以及相应的计算机记录介质
JP5941097B2 (ja) パッチベースのサンプリングテクスチャ合成を用いたテクスチャ圧縮の方法及び装置
WO2020000487A1 (zh) 变换方法、反变换方法及装置
JP2024509988A (ja) チャートベースのメッシュ圧縮の方法、装置およびコンピュータプログラム