TWI730311B - 用以選擇內預測模式以供填補之設備 - Google Patents

用以選擇內預測模式以供填補之設備 Download PDF

Info

Publication number
TWI730311B
TWI730311B TW108111357A TW108111357A TWI730311B TW I730311 B TWI730311 B TW I730311B TW 108111357 A TW108111357 A TW 108111357A TW 108111357 A TW108111357 A TW 108111357A TW I730311 B TWI730311 B TW I730311B
Authority
TW
Taiwan
Prior art keywords
boundary
intra
frame prediction
referenced
prediction mode
Prior art date
Application number
TW108111357A
Other languages
English (en)
Other versions
TW201943275A (zh
Inventor
珍斯 布蘭登伯格
托比亞斯 辛茲
亞當 維克沃斯基
傑基 馬
維雷拉 喬治
克里斯汀娜 里赫曼
希可 史瓦茲
迪特利夫 馬皮
湯瑪士 威剛德
羅伯特 史庫濱
雅構 夏契茲
湯瑪士 夏以爾
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW201943275A publication Critical patent/TW201943275A/zh
Application granted granted Critical
Publication of TWI730311B publication Critical patent/TWI730311B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本案提供一種用於支援時間框間預測之視訊編解碼器，其經組配以執行一參考圖像之一經參考部分的延伸超出該參考圖像之一邊界的一區域之填補，該經參考部分由一當前圖像之一經框間預測區塊藉由選擇多個框內預測模式中之一者及使用選定框內預測模式填補該區域來參考。

Description

用以選擇內預測模式以供填補之設備
本申請案係關於視訊寫碼/解碼。
自從H.261以來，所有視訊寫碼標準，包括目前先進技術ITU T H.265 | MPEG H HEVC視訊寫碼標準(參考1：ITU-T及ISO/IEC。高效視訊寫碼。ITU-T推薦H.265 | ISO/IEC 23008 10 (HEVC)，第1版，2013年；第2版，2014年)，皆依賴於基於區塊之混合視訊寫碼之基本概念。此處，將針對每一色彩分量之輸入信號分段成不相交區塊，使用一混合視訊寫碼方案基於預測、變換、量化及熵寫碼來編碼該等區塊。因此，編碼及解碼演算法中的第一步驟中之一者為產生用於當前區塊之預測信號，其係藉由一空間或一時間預測方案來執行。在時間預測之情況下，自已處理之圖框導出預測信號，將該等圖框表示為參考圖框。為此目的，一位移向量指定參考圖框中的預測信號相對於當前經寫碼區塊之位置的偏移。此時間預測方案亦稱為經平移運動補償之預測。在此意義上，將位移向量表示為運動向量。
為了允許具有子像素精確度之運動向量，使用內插濾波器計算預測信號。此外，預測信號可藉由多個預測信號之疊加來構成，每一預測信號由一不同運動向量和/或一不同參考圖框指定。獨立於預測信號之最終計算及組成，基本原理保持相同。參考圖框內的參考區塊之區域由當前經寫碼區塊(由一額外運動向量位移)之位置及大小判定。倘若使用內插濾波器，則取決於使用的濾波器分接頭之數目，此區域必須擴大至各側。參考區塊之區域內的像素接著用以產生該當前經寫碼區塊之時間預測信號。通常，參考區塊之區域處於經重建構參考圖框內。仍然，參考區塊之區域可不與經重建構圖框之區域完全重疊，此意謂經參考像素區域之部分可處於參考圖框區域之外。
在當前視訊寫碼標準中，處置經參考部分(亦即，在參考圖像外的經參考像素區域，亦即，參考圖框區域)之基本方法為限制運動向量或擴展參考圖框區域。舉例而言，在H.261中，運動向量在圖像界線處受限制，使得參考之所有像素在參考圖框區域內，亦即，位於參考圖框之邊界內的參考圖像之樣本部分之所有樣本。替代地，在H.264/H.265中，使用叫作界線填補之過程來擴展已重建構之參考圖框，如在圖16中所展示。亦即，將界線像素(邊界樣本110)複製至經填補區域(在參考圖像101外之區域)內，此可被視為垂直於圖框邊界106的邊界像素之框內預測。此處，在參考圖框之邊緣處，另外將邊緣像素複製至在參考圖框101區域外之其餘區域，該區域位置緊靠著如圖16中所展示之邊緣像素。
另外，當處理被稱為全向或360°視訊(其使用全向投影將相機周圍映射至一矩形視訊圖像平面上)之特定視訊內容時，界線填補之已知方法係有利的。用於此內容的廣泛使用之格式中之一者係基於等矩形投影(ERP)。全向內容允許在圖像界線外之具有正確內容的填充區域，因為正確內容係按定義描繪於同一圖像中其他處。水平地描繪360°的ERP視訊內容之任一豎直圖像界線可藉由自相對豎直圖像界線複製樣本來填補。然而，水平圖像界線，尤其倘若豎直視角提供不全面之覆蓋，則展現不同特性。
在圖17中，展示具有360°水平覆蓋角度且小於180°豎直覆蓋角度(即，自0°處之赤道向下僅30°視角)之一例示性ERP視訊圖框。雖然針對豎直圖像界線中之任一者的最佳填補由使用來自對置豎直圖像側之樣本組成，但用虛線標記的頂部及底部水平圖像界線卻展現類似於具有有限視野的典型矩形視訊之圖像界線的特性，且因此受益於本文中描述之多模式界線填補。本發明之一個態樣因此為按照圖像界線變化填補模式，例如，取決於內容特性之知識或如在位元串流中以信號方式傳遞。
在許多情況下，圖框邊界像素之簡單垂直延伸導致一連續部，其並不很好地近似當前預測之區塊。藉由使用不同框內預測模式(例如，角度、DC或平坦預測等)擴展參考圖框邊界，可達成較好之連續部。可用於邊界延伸之例示性框內預測模式為來自如在參考1中所描述的H.265或來自如在參考2 (J. Chen、E. Alshina、G.J. Sullivan、J.-R. Ohm、J. Boyce，聯合探索測試模型7 (JEM 7)之演算法描述，JVET，doc. JVET-G1001，2017年7月)中所描述的聯合探索測試模型(JEM)之框內預測模式。此外，在此方法之一未來實施例中，亦可使用未來框內預測模式來延伸參考邊界。圖框邊界之空間延伸之模式取決於當前預測之區塊的特性。因此，自多個角度框內預測模式之一集合，必須挑選/選擇某一角度框內預測模式以產生一預測信號，該預測信號提供當前經預測區塊之最佳近似。
因此，本發明之目標為提供一種視訊編解碼器，其經組配以執行界線填補以改良時間框間預測之品質。
此目標係藉由本申請之申請專利範圍之主題來達成。
本申請下之基本理念為，藉由選擇用於填補之最適當框內預測模式來達成時間框間預測之品質改良。此可為基於當前經預測區塊之特性自多個此等框內預測模式選擇一角度框內預測模式。
根據一實施例，待用於填補之一角度框內預測模式係基於在參考圖像之邊界之一部分處的參考圖像之一區域之一評估來選擇，在該部分處，該經參考部分與該邊界交叉。該評估係藉由針對多個角度框內預測模式之至少一子集中之各者以下操作來執行：基於在邊界之部分處的參考圖像之邊界樣本，沿著與相關聯於各別角度框內預測模式之一填充方向相反的一方向填充位置比邊界樣本更遠離邊界之一探測區域以獲得一探測填充；及比較該探測填充與該探測區域之一經重建構填充以量測其間之一類似性。因此，該選擇係基於當前經預測區塊之特性執行，且因此，有可能提供當前經預測區塊之最佳近似且改良預測品質。
根據本申請之實施例，基於經參考部分之在參考圖像外的區域之預測結果選擇待用於填補的一角度框內預測模式。該經參考部分由一當前圖像之一框間預測區塊參考。因此，取決於該區域之特性選擇該角度框內預測模式，且因此，有可能選擇用於填補之最適當角度框內預測模式。此外，可將用於預測區域的多個使用之角度框內預測模式以信號方式傳遞為由用於經框內預測區塊之編解碼器支援的支援之角度框內預測模式之一子集。
以下對圖之描述開始於用於寫碼視訊之圖像以便形成一寫碼構架之一實例的一基於區塊之預測性編解碼器之視訊編碼器及視訊解碼器之描述之呈現，針對一構成之預測編解碼器之實施例可內建於該寫碼構架內。關於圖1至圖3描述視訊編碼器及視訊解碼器。其後，提出本申請之構成的預測概念之實施例之描述，連同關於如何可將此等概念分別內建至圖1及圖2之視訊編碼器及解碼器內之描述，但藉由後續圖4及接著的圖描述之實施例亦可用以形成未根據圖1及圖2之視訊編碼器及視訊解碼器下面的寫碼構架操作之視訊編碼器及視訊解碼器。
圖1展示用於預測性地將由一連串圖像12構成之一視訊11寫碼至一資料串流14內之設備。為此目的，使用逐區塊預測性寫碼。另外，例示性地使用基於變換之殘餘寫碼。使用參考符號10指示設備或編碼器。圖2展示一對應解碼器20，亦即，經組配以自資料串流14預測性地解碼圖像區塊中由圖像12'構成之視訊11'之一設備20，此處亦例示性地使用基於變換之殘餘解碼，其中已使用省略號來指示就由預測殘餘信號之量化引入的寫碼損失而言，分別如由解碼器20重建構之圖像12'及視訊11'偏離原先由設備10編碼之圖像12。圖1及圖2例示性地使用基於變換之預測殘餘寫碼，但本申請之實施例不限於此種預測殘餘寫碼。對於關於圖1及圖2所描述之其他細節亦係如此，如將在下文所概述。
編碼器10經組配以使預測殘餘信號經受空間至頻譜變換且將因此獲得之預測殘餘信號編碼成資料串流14。同樣，解碼器20經組配以自該資料串流14解碼預測殘餘信號且使因此獲得之預測殘差信號經受頻譜至空間變換。
在內部，編碼器10可包含預一測殘餘信號形成器22，該預測殘餘信號形成器產生一預測殘餘24以便量測預測信號26與原始信號(亦即，視訊11或當前圖像12)之偏差。預測殘餘信號形成器22可例如為自原始信號(亦即，當前圖像12)減去預測信號之減法器。編碼器10接著進一步包含一變換器28，該變換器使預測殘餘信號24經受空間至頻譜變換以獲得譜域預測殘餘信號24'，該譜域預測殘餘信號接著經受亦由編碼器10包含之量化器32進行的量化。因此，將經量化預測殘餘信號24''寫碼至位元串流14內。為此目的，編碼器10可任擇地包含一熵寫碼器34，該熵寫碼器將如變換及量化之預測殘餘信號熵寫碼至資料串流14內。預測殘餘26係由編碼器10之預測級36基於解碼成資料串流14中且可自資料串流解碼的預測殘餘信號24''產生。為此目的，如圖1中所展示，預測級36可在內部包含：一解量化器38，其解量化預測殘餘信號24''以便獲得譜域預測殘餘信號24'''，該信號除量化損失以外對應於信號24'；接著為一反變換器40，其使後一預測殘餘信號24'''經受反變換，亦即，頻譜至空間變換，以獲得除量化損失以外對應於原始預測殘餘信號24之預測殘餘信號24''''。預測級36之組合器42接著諸如藉由相加再組合預測信號26及預測殘餘信號24''''以便獲得經重建構信號46，亦即，原始信號12之重建構。經重建構信號46可對應於信號12'。
預測級36之預測模組44接著藉由使用例如空間預測(亦即，框內預測)及/或時間預測(亦即，框間預測)基於信號46產生預測信號26。與此有關的細節描述於下文中。
同樣地，在內部，解碼器20可由對應於預測級36且以對應於預測級之方式互連的組件構成。特定言之，解碼器20之熵解碼器50可對來自資料串流之經量化譜域預測殘餘信號24''進行熵解碼，接著以上文關於預測級36之模組描述的方式互連及合作的解量化器52、反變換器54、組合器56及預測模組58基於預測殘餘信號24''恢復經重建構信號以使得如圖2中所展示，組合器56之輸出導致經重建構信號，即，視訊11'或其當前圖像12'。
雖然以上未具體描述，但易於明顯地是，編碼器10可根據某一最佳化方案(諸如，以最佳化某一速率及失真相關準則(亦即，寫碼成本)之一方式，及/或使用某一速率控制)設定一些寫碼參數，包括例如預測模式、運動參數及類似者。如下文更詳細地描述，編碼器10及解碼器20及對應模組44、58分別支援不同預測模式，諸如框內寫碼模式及框間寫碼模式，該等模式形成按以下更詳細地描述之一方式構成圖像區塊之預測所基於的一種原始預測模式之集合或集合體。編碼器及解碼器在此等預測組成之間切換的粒度可對應於圖像12及12'分別分成區塊之細分。應注意，此等區塊中的一些可僅為經框內寫碼區塊，且一些區塊可僅為經框間寫碼區塊，任擇地，其他區塊可為使用框內寫碼及框間寫碼兩者獲得之區塊，但細節闡述於下文中。根據框內寫碼模式，基於各別區塊之空間已寫碼/解碼鄰域而獲得區塊之預測信號。可存在若干框內寫碼子模式，在該等框內寫碼子模式當中之選擇即表示一種框內預測參數。可存在定向或角度框內寫碼子模式，根據該等子模式，各別區塊之預測信號藉由將鄰域之樣本值沿著具體用於各別方向框內寫碼子模式之某一方向外插至各別區塊中來填充。框內寫碼子模式可例如亦包含：諸如DC寫碼模式之一或多個其他子模式，根據該等子模式，各別區塊之預測信號將DC值指派給各別區塊內之所有樣本；及/或一平面框內寫碼模式，根據該模式，各別區塊之預測信號近似或判定為由二維線性函數所描述之樣本值在各別區塊之樣本位置上的空間分佈，其中基於相鄰樣本導出由二維線性函數定義之平面的傾斜及偏移。與其相比較，根據框間預測模式，可例如藉由在時間上預測區塊內部來獲得區塊之預測信號。對於框間預測模式之參數化，可在資料串流內以信號方式傳遞運動向量，該等運動向量指示視訊11之先前經寫碼圖像之部分的空間位移，在該空間位移處對先前經寫碼/經解碼圖像進行取樣以便獲得各別區塊之預測信號。此意謂，除由資料串流14包含之諸如表示經量化譜域預測殘餘信號24''之經熵寫碼變換係數等級的殘餘信號寫碼以外，資料串流14亦可具有編碼於其中的用於指派給區塊預測模式之預測相關參數、用於所指派預測模式之預測參數(諸如用於框間預測模式之運動參數)，及任擇地，使用所指派預測模式及預測參數控制區塊之最終預測信號之組成的另外參數，如下文將更詳細地概述。另外，資料串流可包含控制及以信號方式傳遞圖像12及12'分別分成區塊之細分的參數。解碼器20使用此等參數以與編碼器進行細分相同之方式細分圖像，以將相同預測模式及參數指派給區塊且執行相同預測以導致相同預測信號。
圖3說明一方面經重建構信號(亦即，經重建構圖像12')與另一方面如在資料串流中以信號方式傳遞之預測殘餘信號24''''及預測信號26之組合之間的關係。如上文已指示，該組合可為相加。預測信號26在圖3中說明為圖像區域分成具有變化大小之區塊80的細分，但此僅係一實例。該細分可為任何細分，諸如，圖像區域分成區塊列及行之常規細分，或圖像12分成具有變化大小之葉區塊的多分樹細分，諸如，四分樹細分或類似者，其中在圖3中說明該等細分之混合，其中將圖像區域首先細分為樹根區塊之列及行，接著進一步根據遞歸多分樹細分來細分樹根區塊以導致區塊80。
圖3中之預測殘餘信號24''''亦說明為圖像區域分成區塊84之細分。此等區塊可被稱作變換區塊，以便將其與寫碼區塊80區分。實際上，圖3說明編碼器10及解碼器20可分別使用將圖像12及圖像12'分成區塊之兩種不同細分，即，分成寫碼區塊80之一細分及分成區塊84之另一細分。兩種細分可能相同，亦即，各區塊80可同時形成變換區塊84且反之亦然，但圖3說明如下情況：其中例如分成變換區塊84之細分形成分成區塊80之細分的擴展，使得兩個區塊80之間的任何邊界覆疊兩個區塊84之間的邊界，或替代而言，各區塊80與變換區塊84中之一者重合抑或與變換區塊84之叢集重合。然而，亦可獨立於彼此判定或選擇細分，使得變換區塊84可替代地跨越區塊80之間的區塊邊界。就分成變換區塊84之細分而言，如關於分成區塊80之細分所提出的彼等敍述，類似敍述因此亦係如此，亦即，區塊84可為圖像區域分成按列及行排列之區塊之常規細分的結果、圖像區域之遞歸多分樹細分的結果或其組合或任何其他種類之分段。順便指出，應注意，區塊80及84不限於正方形、矩形或任何其他形狀。另外，將當前圖像12細分成區塊80 (在該等區塊形成預測信號)及將當前圖像12細分成區塊84 (在該等區塊寫碼預測殘餘)可能並非用於寫碼/解碼的僅有細分。此等細分形成執行預測信號判定及殘餘寫碼之粒度，但首先，殘餘寫碼可在無細分之情況下替代地進行，且其次，以不同於此等細分之粒度，編碼器及解碼器可設定某些寫碼參數，其可包括前述參數中之一些，諸如預測參數、預測信號組成控制信號及類似者。
圖3說明預測信號26與預測殘餘信號24''''之組合直接導致經重建構信號12'。然而，應注意，根據替代性實施例，諸如自其他視圖或自其他寫碼層獲得之預測信號的多於一個預測信號26可與預測殘餘信號24''''組合以導致圖像12'，該等預測信號係例如在具有分開的DPB之分開的預測迴路中寫碼/解碼。
在圖3中，變換區塊84應具有以下重要性。變換器28及反變換器54以此等變換區塊84為單位執行其變換。舉例而言，許多編解碼器將某種DST或DCT用於所有變換區塊84。一些編解碼器允許跳過變換，使得對於變換區塊84中之一些，直接在空間域中中寫碼預測殘餘信號。然而，根據下文描述之實施例，編碼器10及解碼器20以其支援若干變換之方式進行組配。舉例而言，由編碼器10及解碼器20支援之變換可包含： o DCT-II (或DCT-III)，其中DCT代表離散餘弦變換 o DST-IV，其中DST代表離散正弦變換 o DCT-IV o DST-VII o 標識變換(IT)
自然地，雖然變換器28將支援此等變換之所有正向變換版本，但解碼器20或反變換器54將支援其對應的後向或反向版本： o 反向DCT-II (或反向DCT-III) o 反向DST-IV o 反向DCT-IV o 反向DST-VII o 標識變換(IT)
在任何情況下，應注意，所支援變換之集合可僅包含一種變換，諸如一種頻譜至空間或空間至頻譜變換。
如上文已概述，已提出圖1至圖3作為一實例，在該實例中可實施下文進一步描述之構成的預測概念以便形成根據本申請的視訊編碼器及解碼器之具體實例。就此而言，圖1及圖2之視訊編碼器及解碼器分別表示下文所描述之視訊編碼器及解碼器的可能實施。如將在下文更詳細地概述，當具有內建至圖1及圖2之視訊編碼器及解碼器內的根據本申請之用於構成之預測之隨後解釋的實施例時，至少作為一個選項，圖1之視訊編碼器及圖2之視訊解碼器支援按在下文更詳細地概述之方式處理一區塊80，或甚至構成當前圖像12之所有區塊。因此，下文描述之實施例尤其參考等同圖1之編碼器10之一視訊編碼器，其按在下文更詳細地概述之方式處理區塊80，此亦適用於圖2之解碼器，該解碼器因此表示根據一實施例的一視訊解碼器之一實例，其中按在下文更詳細地概述之方式處理區塊80。然而，圖1及圖2僅僅為具體實例。然而，根據本申請之實施例的一視訊編碼器可使用在下文更詳細地概述且與圖1之編碼器不同的概念執行基於區塊之編碼，諸如，其中分成區塊80之細分係以不同於在圖3中舉例說明之一方式執行，或在寫碼預測殘餘之情況下，其中此編碼器不使用變換預測殘餘寫碼，例如，取而代之直接在空間域中寫碼。同樣地，根據本申請之實施例的視訊解碼器可使用下文進一步概述的構成之預測寫碼概念執行自資料串流14之解碼，但可不同於例如圖2之解碼器20，其中以與關於圖3所描述不同的方式將圖像12'劃分成區塊，及/或其中其不在變換域中自資料串流14導出預測殘餘，而是例如在空間域中。
詳言之，關於分成區塊80之區塊細分，應注意，其可以關於圖3概述之方式或以一不同方式進行。若存在，則分成變換區塊之細分亦可如關於圖3所描述而進行或以不同方式進行。詳言之，一方面分成區塊且另一方向分成諸如變換區塊之其他區塊的細分可分別藉由將圖像12分開地細分成此等區塊或以相依方式獨立於彼此而進行。舉例而言，諸如分成變換區塊之細分的一種細分可形成如上文所描述之另一細分的擴展，或兩種細分可形成共同主要細分之單獨擴展，諸如圖像分成樹根區塊之陣列的細分，如關於圖3所描述。且此等可能性亦適用於其他子圖像粒度，其將在下文提到，諸如，關於某些預測參數、預測模式、比重權數或類似者之定義。可針對此等實體中之不同者使用不同細分，且可獨立於彼此、部分獨立地或作為彼此之擴充而定義不同細分。
已對此作出了敍述，以下描述集中於運動向量指向參考圖像之平面中的部分之情況，該等部分與此等參考圖像之邊界相交，在邊界之外，無圖像內容可用。為了填充延伸超出邊界或完全處於參考圖像外之子部分，根據本發明之實施例進行多個框內預測模式中之一者之選擇。目標為藉由基於預測之區塊的特性選擇用於填補之最適當角度框內預測模式來改良時間框間預測。
在以下描述中，術語「經參考像素區域」對應於「經參考部分 」，「參考圖框」對應於「參考圖像 」，「圖框邊界」對應於「該參考圖像之一邊界 」，「邊界像素」對應於「邊界樣本 」，且「模板區域」對應於「探測區域 」。各對應的術語可在該描述中使用。此外，在本申請文件中，「填補」與「界線填補」意義相同。此外，在以下實施例中，將多個角度框內預測模式中之一者選擇為用於填補的框內預測模式之一實例。然而，本發明之框內預測模式不限於角度框內預測模式，而多個框內預測模式可包含例如一DC及/或一平坦模式，及/或用於填補其他框內預測模式之一模式。在DC及平坦模式之一情況下，為了邊界樣本，可使用垂直方向(垂直於圖框邊界)。
圖4展示用於本申請之實施例的33個不同角度框內預測模式。此處，在一參考圖像(參考圖框) 101之一經參考部分(一經參考像素區域) 100中的預測角度處於關於如圖4中所展示之圖框邊界(參考圖像之邊界) 106為45°與135°之範圍之間。
實施之角度邊界填補遵循如在參考2中描述的聯合探索測試模型(JEM)之角度框內預測。請注意，JEM中之角度框內預測演算法假定一區域之左上部邊界像素始終可用於預測。仍然，該基本預測演算法假定一直線中之所有邊界像素，且因此在JEM中執行左邊或頂部邊界像素之平移。在本申請之較佳實施例中省略此平移步驟。此外，JEM使用由33個豎直模式及33個水平模式構成之65個角度框內預測模式。在本申請之較佳實施例中，僅使用33個豎直模式，如在圖4中展示。進一步請注意，必須將用於JEM中之豎直角度預測的方法順時針旋轉0°、90°、180°或270°以分別執行底部、左邊、頂部或右邊參考圖框邊界106之界線填補。
倘若經參考像素區域100在水平方向上及在豎直方向上部分或全部處於參考圖框101外，例如，在參考圖框邊緣(亦即，圖框拐角)處，則計算較佳界線填補側。在下文中，NHor 及NVer 表示處於參考圖框區域外的經參考像素區域101之水平及豎直線之數目。取決於圖框邊緣以及NHor 及NVer ，可如下計算較佳界線填補側： If edge == Top-Left-Edge then If NVer > NHor then Top-Side else Left-Side Else if edge == Top-Right-Edge then If NVer > NHor then Top-Side else Right-Side Else if edge == Bottom-Right-Edge then If NVer > NHor then Bottom-Side else Right-Side Else if edge == Bottom-Left-Edge then If NVer > NHor then Bottom-Side else Left-Side
對於此計算之較佳界線填補側，應用根據申請專利範圍的選定角度框內預測模式。對於其餘側，應用原始垂直界線填補過程，如在圖5中所展示。
在圖5中，在圖框邊界106，重疊經參考像素區域100經劃分成使用多模式界線填補(MMBP)之一區域及使用預設填補之一其餘區域。在此情況下，將垂直填補用作預設填補。
替代地，在參考圖框101外的經參考像素區域100全部藉由MMBP填補，如圖6中所展示。在此情況下，並非所有角度框內預測模式皆可使用，因為取決於預測角度，MMBP填補可能需要不可用之邊界像素102，例如，如在圖6中藉由虛線箭頭展示。進一步注意，角度框內預測模式之限制可隱含地由編碼器(10)及解碼器(20)判定，而不需要以信號方式傳遞受限制之子集。為此目的，將經參考像素區域之經預測部分的拐角像素之預測方向倒轉180°，以測試是否所有所需邊界像素皆可用。
在此實施例中，只要在經參考像素區域部分或全部處於參考圖框區域外之時，在視訊編碼器10及視訊解碼器20中導出用於界線填補之最適當角度框間預測模式。作為一前提，將經參考像素區域100劃分成在參考圖框101外之區域100'及在參考圖框101內部之區域100''，如圖7中所展示。將參考圖框101內部之所有像素直接用作用於當前經預測區塊之經運動補償之預測的輸入像素。藉助於來自參考圖框101之鄰近邊界像素102之框內預測來預測在區域100'中的參考圖框101外之所有像素，如下所述。請注意，具有90°之垂直角度的角度框內預測對應於在H.265及JEM中使用之目前先進技術參考圖框邊界填補。
為了選擇編碼器10及解碼器20中的多個角度框內預測模式中之一者，可將各框內預測之方向旋轉180°以指向參考圖框101內。接著基於經旋轉之框內預測定義一模板區域，亦即，一探測區域104，其處於參考圖框101內部，如圖7中所展示。模板區域104之大小及形狀不受限制。舉例而言，一個可能形狀可為矩形區塊。對於各模式及相關聯之模板區域104，執行自鄰近邊界像素102之經旋轉框內預測以預測模板區域104內之所有像素值。藉由評估以上所提到之預測的結果來選擇最適當角度框內預測模式。
為了評估，將預測之像素與模板區域104內的參考圖框101之已重建構像素比較以導出最終角度框內預測模式。藉由所主張之措辭，填充探測區域(模板區域)104，且將填充探測與探測區域104之經重建構填充比較以量測其間之一類似性。針對此比較，可使用區塊之間的類似性之任何量測，例如，絕對差和(SAD)、絕對變換差和(SATD)、平方差和(SSE)、Hadamard變換及其他。為了改良預測，可使用內容相關變換來將資訊變換成例如對位置不太敏感之另一域。亦可訓練此等內容相關變換。具有經預測像素與模板區域104內之經重建構像素之間的最高類似性量測之角度框內預測模式可經最後選擇以用於參考圖像101之經參考部分100的延伸超出參考圖像101之邊界106的區域100'之填補。
作為以上實施例之一修改，可使用多個(例如，數目N個)不同模板區域(探測區域)，針對各角度框內預測模式，在下文中假定N = 2，以進一步改良選擇準確性。舉例而言，如圖8中所展示，取決於關於圖框邊界106的經參考像素區域100之最外像素線112，定義第一模板區域。取決於處於如圖8中所展示的參考圖框101之區域100'中的經參考像素區域100之第一像素線110，定義第二模板區域。
對於在經參考像素區域100中的此等兩個像素線110、112，將角度框內預測模式倒轉以判定必須用於角度框內預測之最左邊及最右邊圖框邊界像素。不限於任一種類，在下文中假定經參考像素區域100在圖框邊界106之頂部處重疊參考圖框101 (或較佳填補側為頂部側)。在此情況下，最左邊及最右邊圖框邊界像素具有座標{xleft -most ; 0}及{xright -most ; 0}，如在圖9中之表中所展示。接著藉由一矩形形狀定義相關聯之模板區域，該矩形形狀具有{xleft-most -1; 1}及{xright-most +1; 3}之左上及右下座標。此意謂該模板區域包括在參考圖框內部在使用之圖框邊界像素102下方的接下來之兩個像素線，其向左方向及右方向延伸一個額外像素。倘若經參考像素區域100在左、右或底部圖框邊界處重疊參考圖框101 (或較佳填補側為左、右或底部側)，則必須相應地旋轉模板區域且該模板區域由圖9中展示之表定義。亦即，區域100'延伸至參考圖像101之頂部側，亦即，在邊界106上方，如上所解釋來定義模板區域。倘若區域100'延伸至參考圖像101之左側，則關於參考圖像101之左側邊界旋轉模板區域。基於圖9中之表導出定義之模板區域的座標，其中圖9中之表中之高度及寬度為參考圖像101之大小。
如上所提到，考慮圖9之表來定義基於第一像素線110之第一模板區域及基於最外像素線120之第二模板區域。接著，藉由將原始角度框內預測旋轉180°來預測在此等模板區域兩者內部之像素值，亦即，沿著與如圖7中所展示之與各別角度框內預測模式相關聯之一填充方向相反的方向，基於在邊界106之部分處的參考圖像101之樣本(邊界像素) 102來填充兩個模板區域(探測區域)。因此，角度預測方案遵循如在參考2中所描述的聯合探索測試模型(JEM)之角度框內預測。接著，藉由使用絕對差和(SAD)類似性量測，將在兩個模板區域內部之經預測像素值與重建構之參考像素比較。可將最終角度框內預測模式選擇為具有兩個模板區域之SAD值之最小和的模式(倘若N = 2)，亦即，可選擇角度框內預測模式具有填充探測與重建構之填充之間的最高類似性。請注意，亦可使用經參考像素區域之其他像素線來定義模板區域。此外，舉例而言，亦可使用最外像素線與第一輪廓線之間的中間像素線來定義模板區域。此外，類似性量測亦可包括針對諸如亮度強度或邊緣偵測之特性對各探測區域內之樣本之加權以區分樣本之重要性，由此針對模板區域中之各樣本將不等權數給予對類似性量測之類似性比重係基於執行之心理視覺加權。
此外，伴隨導出用於填補之角度框內預測模式控制界線填補之行為之高階參數可包括模板區域之大小及形狀。此意謂垂直於圖框邊界之許多額外像素線及模板區域之可選延伸可向左側及右側平行於圖框邊界。另外，可引入一高階參數來指定經參考像素區域中用以定義模板區域之線，例如，最外線、來自參考圖框之第一線或最外線與第一線之間的中間線。此外，可以信號方式傳遞使用之角度框內預測模式的數目之減少。可引入額外高階參數來指定一最小及/或一最大臨限值，該最小及/或最大臨限值定義多少經參考像素區域必須處於參考圖框外以選擇用於填補之一角度框內預測模式。亦即，該臨限值可定義在參考圖像外的經參考部分之經延伸區域之量。可以一圖像參數集(PPS)、序列參數集(SPS)、截塊標頭或任何其他高階語法結構以信號方式傳遞高階參數。
此外，關於用於選擇探測區域選擇之過程，可使用特徵為一垂直邊界延伸之已知編解碼器。在實施該邊界延伸時，常使用被稱為運動向量(MV)剪切之技術來降低與儲存邊界延伸樣本之樣本值相關聯的記憶體成本。至於在垂直邊界延伸中的樣本值之重複本質，剪切導致僅含有邊界延伸樣本之一參考區塊的運動向量係可取的。自經剪切之MV產生的參考區塊之內容類似於原始參考區塊。然而，使用此等樣本，藉由產生有限大小之邊界延伸，解碼器實施可保存資源。通常，諸如最大譯碼單元之大小加內插濾波器核之大小的固定大小限制用以能夠使每一潛在參考區塊大小擬合產生的邊界延伸樣本之有限量，如圖10中所說明。
如圖11中所說明，在多模式界線填補(MMBP)中經參考像素區域距圖框邊界之距離影響在解碼器20側上的探測區域之選擇過程。因此需要以協調方式對編碼器10及解碼器20側進行MV剪切以避免自不同探測區域之使用產生的失配。本發明之一個態樣因此為如上所提到之在位元串流結構中之高階語法元素，諸如，參數集、截塊標頭或允許編碼器10指示或一對應位元串流約束對解碼器20指示使用之MV剪切程序的其他語法元素。此等語法元素包括例如最大MV長度或參考區塊至圖框邊界距離(自該最大MV長度或參考區塊至圖框邊界距離對MV進行剪切)，以及MV經剪切至之大小或圖框邊界與自經剪切之運動向量產生的參考像素區域之間的距離。該包括之資訊不限於以上所提到的資訊，但亦可包括進一步資訊或其他資訊。
此外，自適應性MV剪切可用以藉由調整至經參考像素區域之大小(亦即，參考之區塊大小)的剪切之量而以一有益方式控制探測區域選擇。如圖12中所說明，將同一MV用於不同大小B>A之兩個區塊，且自適應性MV剪切導致例如按紅色著色之兩個不同MV，其導致經參考區域儘可能靠近圖框邊界，此亦將至選定探測區域之距離最小化。亦即，對於較小奪取經參考部分110'，亦即，區塊大小A (較小區塊)，運動向量之量大於對於較大大小經參考部分110'，亦即，大小B (較大區塊)。因此，按取決於經參考部分之大小的量剪切當前圖像之經框間預測區塊之運動向量之座標，使得對於較小大小，該量較大。本發明之另一態樣因此為位元串流結構中之高階語法元素，因而作為參數集截塊標頭或允許編碼器10指示或對應的位元串流約束對解碼器20指示以適應於參考區塊大小之一方式進行剪切之其他語法元素。
在編碼器側上評估的寫碼選項之量為用於編解碼器之複雜性的一重要因素。本發明之一個態樣因此為控制本文中描述的界線填補之複雜性影響之措施。此措施由對編碼器進行運動估計(藉由擴展由第二級進行之已知運動估計)構成，亦即，用於框間預測的不同運動補償之預測器樣本之搜尋及寫碼成本評估。雖然第一運動補償級涵蓋已知運動補償之所有步驟(例如，產生已知界線填補樣本及評估用於一給定預測器的殘餘數據之寫碼成本)，但按已知運動補償修改一第二級，其中經由諸如本文中描述之方案的一更複雜之界線樣本填補方案，進一步增強最佳預測器。
倘若經參考部分部分或全部處於參考圖像外，則以下其他實施例亦適用。如以上已提到，作為前提，將經參考像素區域劃分成在參考圖框區域外之區域及在參考圖框區域內部之區域。在參考圖框區域內部之所有像素直接用作用於當前經預測區塊之經運動補償之預測的輸入像素。借助於來自參考圖框之鄰近邊界像素之角度框內預測來預測在參考圖框區域外之所有像素，如在圖13及圖14中所描述。亦即，經參考部分100之區域100'(亦即，在經參考部分100內的參考圖像101之邊界106外之區域100')係基於邊界樣本110填充。填充方向係選自33個不同角度框內模式。在此情況下，不需要自33個角度框內模式選擇，但其可選自有限數目個角度框內預測模式，如預先定義為一參數。圖13展示一個角度框內預測模式120，且圖14展示另一角度框內預測模式122。在圖13及圖14中，使用之邊界像素110'直接分別取決於選定角度框內預測模式120及122。進一步注意，具有90°之垂直角度的角度框內預測模式對應於在H.265及JEM中使用之目前先進技術參考圖框邊界填補。在經編碼位元串流內將所選擇的(亦即，選定)角度框內預測模式以信號方式傳遞至解碼器。
此外，可使用基於內容脈絡之自適應算術寫碼(CABAC)來寫碼選定角度框內預測模式。此外，使用一啟用旗標來指示應用預設垂直界線填補還是基於選定角度框內預測模式之界線填補。歸因於預設垂直模式為33個角度框內預測模式中之一者的事實，可藉由五個額外CABAC位元子寫碼其餘32個角度框內預測模式。啟用旗標以及其餘角度模式經寫碼為具有自適應二進位概率模型之一系列二進位決策(此等位元子之一子集，例如，亦可藉由非自適應性概率模型來寫碼角度框內預測模式)。為了模型化啟用旗標，可使用不同內容脈絡模型，其可基於經參考像素區域放在參考圖框外之量來選擇。舉例而言，可將不同內容脈絡模型用於當少於¼、少於½、少於¾或多於¾之經參考像素區域處於參考圖框外時之情況。
替代地，最可能模式(MPM)之一清單用以以信號方式傳遞用於界線填補的頻繁出現之角度框內預測模式。可能MPM候選者可為用於先前已寫碼之鄰近區塊之界線填補的角度框內預測模式，其條件為用於界線填補之一角度框內預測模式可用於此等區塊。其他MPM候選者可為鄰近先前經寫碼區塊的角度框內預測模式(若可用)。此外，在與經參考圖像共置的參考圖框中之經寫碼區塊之角度框內預測模式可用作MPM候選者。此外，在與經參考圖像區域共置之相關聯之隨機存取點圖像中的經寫碼區塊之角度框內預測模式可用作MPM候選者。在33個角度框內預測模式之情況下，MPM候選者列表含有一個MPM候選者模式。CABAC二進位旗標用以以信號方式傳遞是否應使用該MPM候選者。可藉由5個CABAC位元子以信號方式傳遞其餘32個角度模式。MPM旗標以及其餘角度框內預測模式經藉由如上所解釋之自適應性二進位概率模型寫碼為一系列二進位決策。
用於界線模式之角度框內預測模式為經寫碼區塊之運動資訊之部分。因此，倘若運動資訊由不同經寫碼區塊使用/複製，例如，倘若使用一合併模式或運動向量預測，則用於與複製之運動向量相關聯的界線填補之角度框內預測模式可亦加以複製，且適用經參考像素區域處於參考圖框區域外之情況。在來自MMBP經啟動之一區塊的運動向量預測之情況下，若將MMBP用於經寫碼區塊，則用於填補之選定角度框內預測模式可變為用於當前經寫碼區塊之填補方向之寫碼的MPM。替代地，可能運動預測候選者可提供可能MPM之一清單。
藉由用於填補之選定角度框內預測模式之以信號方式傳遞控制部分界線填補之行為的高階參數可包括定義應用於界線填補的角度框內預測模式之一子集合之一參數。在此情況下，用於填補的支援之角度框內預測模式之數目可限於較小數目，必須將較少CABAC位元子用於以信號方式傳遞用於界線填補之選定角度框內預測模式。舉例而言，使用18個角度模式之僅一子集結合2個模式之一MPM候選者清單，僅保留16個角度模式，其可藉由4個CABAC位元子編碼(因此，導致用於MPM模式之以信號方式傳遞的2個位元子及用於以信號方式傳遞其餘非MPM模式之5個位元子)。可引入額外高階參數以指定最小及/或最大臨限值，其定義有多少經參考像素區域必須處於參考圖框區域外以選擇用於如上所述之填補的最適當角度框內預測模式。可以一圖像參數集(PPS)、序列參數集(SPS)、截塊標頭或任何其他高階語法結構以信號方式傳遞高階參數。
可組合以上提到之實施例，例如，可將使用模板之實施例與如上所述以信號方式傳遞選定角度框內預測模式之其他實施例組合為以下解釋之再一實施例。
角度框內預測模式之選擇遵循如由圖7解釋之實施例。在此實施例中，基於如上所述之類似性量測產生用於填補的角度框內預測模式之一有序清單。用於填補的產生之角度框內預測模式之此有序清單由用於填補之最大以信號方式傳遞之角度框內預測模式之一預定義值截取。最後，使用如上所述的基於內容脈絡之自適應性算術寫碼(CABAC)以信號方式傳遞在此截取之有序清單內的用於填補之選定角度框內預測模式。
如以上已提到，可使用一啟用旗標來指示是否應使用預設垂直界線填補或選定填補模式之截取之有序清單。此外，以信號方式傳遞的填補模式之數目經設定為2N ，其可藉由N個CABAC位元子來以信號方式傳遞。選定角度框內預測模式經藉由自適應性二進位概率模型寫碼為一系列二進位決策(此等位元子之一子集亦可藉由非自適應性概率模型來寫碼)。倘若使用二進位概率模型來編碼選定角度框內預測模式，則可使用不同內容脈絡模型，其可如上所述，基於處於參考圖框區域外的經參考部分之區域之量來選擇。此外，用於填補的選定角度框內預測模式之截取之有序清單用作MPM候選者列表。此處，MPM候選者列表及用於填補之其餘可如上所述加以編碼。此外，亦可使用與以上所描述相同之高階參數(例如，定義角度框內預測模式之子集合之一參數)、用於選定角度框內預測模式之應用的臨限值及定義模板區域之大小及形狀之參數。又，如上所述，可在一圖像參數集(PPS)、序列參數集(SPS)、截塊標頭或任一其他高階語法結構中以信號方式傳遞高階參數。
在本申請之一較佳實施例中，高階語法包括控制多模式界線填補所藉之語法元素。在諸如序列參數集(SPS：對於經寫碼視訊序列內部之所有圖像有效)、圖像參數集(PPS：對於一或多個圖像有效)、截塊標頭(對於一截塊有效)等之一或多個高階語法結構中傳輸高階語法元素。
控制應用以選擇角度框內預測模式之高階語法元素可包括但不限於以下參數中之一或多者：‧ 一旗標或IDC，其以信號方式傳遞應應用哪一用於填補之角度框間預測模式(MMBP、垂直或全向填補)‧ 一參數或一約束，其以信號方式傳遞或指示填補模式之逐個圖框界線組合；例如，可針對沿著參考圖像之圖框界線或外圖像邊界之一部分在資料串流中以信號方式傳遞關於使用MMBP還是使用全向填補；作為一個選項，可以信號方式傳遞兩個選項可用；對於不同部分，可以信號方式傳遞不同可用模式，使得編碼器及解碼器將檢查參考之區域與參考圖像之圖框界線之哪一部分重疊或參考之區域與哪一部分交叉，以便決定關於使用哪一框內預測模式；‧ 以信號方式傳遞使用以上提到之實施例之哪一選擇過程之一參數‧ 以信號方式傳遞哪些角度框內預測模式可用於MMBP之一參數‧ 指定哪些精確角度框內預測模式用於具體參考圖框界線區域之一參數‧ 一最小及/或一最大臨限值，其定義多少經參考像素區域必須處於參考圖框區域外以應用於選擇角度框內預測模式‧ 以信號方式傳遞模板區域之大小及形狀之參數‧ 以信號方式傳遞經參考像素區域中用以判定模板區域的線之集合之一參數
關於第二替代例，另外提到以下內容：雖然以上概述之實施例將角度框內預測模式用作實例，自該等角度框內預測模式最終選擇用於填補之框內預測模式，但顯然，藉由垂直外插邊界樣本至超過圖框界線之區域內執行填補所根據的垂直填補模式亦為一框內預測模式，正如全向填補模式為一框內預測模式，根據該框內預測模式，使用在同一圖框(即，參考圖框)內部之樣本填充/填補處於圖框界線外之區域。因此，高階語法揭示關於應使用哪一框內預測模式，或哪一(些)框內預測模式可用於圖框界線之哪一部分，其中可以信號方式傳遞不同語法以用於或可用於圖框界線之不同部分，諸如，用於一個部分(諸如，右及左側界線)之全向模式及用於圖框界線之其他部分(諸如，上部及下部界線)之垂直模式。編碼器及解碼器將僅僅必須認識到，經框間預測區塊80之某一參考之區域超過的圖框界線之部分，及看到為了填補之原因，根據資料串流中之高階語法，其與哪一框內預測模式相關聯。以上列舉之參數可包括於多於一個高階語法結構中。舉例而言，在SPS中指定之全域參數可由在PPS中指定之參數超覆。
對於本申請之實施例，只要經參考像素區域部分或全部處於參考圖框區域外時，其為需要的。作為一前提，如上所解釋，將經參考像素區域劃分成在參考圖框區域外之區域及在參考圖框區域內部之區域。在參考圖框區域內部之所有像素直接用作用於當前經預測區塊之經運動補償之預測的輸入像素。借助於如上所解釋的自參考圖框之鄰近邊界像素之一框內預測，預測在參考圖框區域外之所有像素。
使用其他詞語，以下步驟再次例示性地描述關於在編碼器及解碼器中可在多個可用框內預測角度當中選擇較佳框內預測角度或較佳框內預測模式用於穿過之方式。對於亮度(Y)色彩平面，可針對待預測之各區塊及各相關聯之運動向量僅將選擇過程執行一次。對於色度色彩平面(Cb及Cr)，可接著選擇與對於亮度色彩平面相同之框內預測角度：‧ 判定參考區域100 之位置 ：藉由將與當前區塊相關聯之運動向量添加至當前區塊之區域(例如，按相關聯之運動向量移動當前區塊位置)來計算參考之區域100。請注意，該運動向量可具有一分數部分。因此，將運動向量下捨入至最近整數部分。將運動向量添加至當前區塊位置。將參考之區域100在各方向上增大一個樣本。亦即，區域100可為在所有方向(左、右、頂部、底部)上比進行MMBP所針對之經框間預測之區域大的一個樣本。‧ 判定較佳IntraBP 側 ：若參考之區域100在僅一側重疊參考圖框101，則使用此側，否則，參考之區域100在兩個側處重疊參考圖框101(見圖5)。接著將預設垂直填補用於按較少樣本線重疊參考圖框之側。將IntraBP填補用於其餘側。‧ 判定底部及頂部線 ：底部線為參考之區域100之在參考圖框101外平行於較佳IntraBP側之第一樣本線(在圖8中之110)。頂部線為參考之區域之在參考圖框外平行於較佳IntraBP側的最後一個樣本線(在圖8中之112)。亦即，選擇最遠離參考圖框之邊界106的樣本線。‧ 約束多個可用框內預測模式 ：對於頂部線，且各框內預測模式藉由倒轉預測方向來計算必須用於框內預測的相關/受影響之邊界像素。若來自垂直框內預測模式的邊界像素之最大位移高於1.25*經預測區塊之寬度，則跳過/不使用此框內預測角度。此步驟係可選的。亦即，任擇地，自可選擇模式清單排除彼等角度模式，當將樣本之最外線112背向投影至邊界樣本110上時，該等角度模式導致邊界樣本110自最外樣本線之垂直背向投影之佔據面積偏移大於一預定臨限值。‧ 計算用於底部線及頂部線之探測區域 ：對於底部(頂部)線及來自框內預測模式之受約束集合的各框內預測模式倒轉預測方向以判定必須用於框內預測之相關/受影響之邊界像素110'。使探測區域104位於參考圖框內部之受影像之邊界像素下(圖7中之104)。將探測區域高度設定至垂直於較佳IntraBP側之兩個樣本線。‧ 計算類似性量測 ：藉由來自相關/受影響之邊界像素的倒轉之框內預測來預測探測區域之樣本值。計算探測區域之預測之樣本值與在探測區域之位置處的參考圖框之重建構之樣本值之間的SAD量測。組合/相加來自底部與頂部探測區域之SAD量測。‧ 選擇較佳框內預測角度 ：在受約束之框內預測角度之集合當中，選擇具有最小類似性量測之角度為較佳框內預測角度。若框內預測角度具有相同類似性量測，則優選更接近垂直預測角度之角度。
若選定較佳框內預測角度不等於垂直框內預測角度，則在編碼器及解碼器中藉由以上選定框內預測角度及以上較佳IntraBP側針對各色彩平面執行IntraBP：‧ 判定參考區域之位置 ：類似於以上描述計算參考之區域，但不僅在各方向上將參考之區域增大一個樣本，而且在各方向上將參考之區域增大內插濾波器分接頭之大小之一半。‧ 填充參考之區域之置於參考圖框內部的部分：填充 參考之區域之置於參考圖框內部的具有參考圖框之樣本值之部分。‧ 任擇地 ， 填充非較佳IntraBP 側 ：若參考之區域在兩側處重疊參考圖框，則針對參考之區域之與參考圖框按較少樣本線重疊的部分執行預設垂直填補。‧ 針對較佳IntraBP 側執行IntraBP ：使用較佳框內預測角度對較佳IntraBP側之邊界樣本執行框內預測以填充置於參考圖框外之參考之區域100'。
將如以上針對各色彩平面描述之參考之區域樣本值計算用作用於當前區塊之經運動補償之預測之輸入值。
此外，基於MPEG OMAF標準之現有應用(諸如，360°視訊串流服務)很大程度上中繼於空間視訊分割或分段技術。在此應用中，將空間視訊片段傳輸至用戶端，且以適應於當前用戶端檢視方向之一方式共同地解碼。依賴於視訊平面之空間片段的另一相關應用為編碼與解碼操作之並行化，例如，以有助於現代計算平台之多核及並行化能力。
一個此空間分段技術實施於HEVC中且被稱為將圖像平面劃分成形成一矩形柵格之片段的影像塊。關於熵寫碼及框內預測獨立地寫碼所得空間片段。此外，存在指示關於框間預測亦獨立地寫碼空間片段之方式，此亦可與在圖像上靜態之空間分段組合。一起，此等約束允許具有兩個此等相鄰及獨立寫碼之空間片段的一例示性圖像平面之空間分段之真實獨立寫碼。
更詳細地，當使用圖15中展示之空間分段編碼一當前圖像(亦使用以上說明之空間分段經由框間預測來促進參考圖像)時，按以下一方式約束運動向量：避免經由參考位於空間片段B內的參考圖像之一樣本來預測交叉空間片段A，且反之亦然。
雖然空間片段之獨立寫碼為用於如上所提到之現有應用之一致能器，但相關聯之寫碼約束可伴隨有顯著的寫碼成本。此位元率附加項源自(例如)以信號方式傳遞比較大之運動向量差(MVD)，該運動向量差校正無MVD的將另外導致使用在給定空間片段外之樣本位置的可用運動向量候選者。另外，需要以信號方式傳遞增大量之殘餘數據以補償降級之框間預測預測器。因此非常需要增強在此等空間片段之界線處的編解碼器操作。
減輕用於此等獨立空間片段之先前技術解決方案之寫碼懲罰之一個方式為使用用於圖像中界線之填補之一方案，亦即，處於圖像之內部中的段邊界，諸如，除了外圖框界線之外，類似於或根據以上基於具有輕微修改之圖像界線及本文中描述之擴展或使用基於高階語法之填補模式選擇描述的MMBP概念，該基於高階語法之填補模式選擇以信號方式傳遞兩個或更多個框內預測模式中之哪一者用於空間片段邊界或空間片段之邊界之某一部分(諸如，豎直邊界)。亦即，替代編碼器將以信號方式傳遞之運動向量限制至不指延伸或位置超出空間片段之邊界的經參考部分，此等部分將在編碼器及解碼器處經填補，且若此等經參考部分交叉或處於空間片段邊界之預定部分外，則將以信號方式傳遞之框內預測模式用於填補。寫碼懲罰之減輕可通常亦藉由使用任一框內寫碼模式來達成，亦即，無多模式選擇，諸如，垂直、全向或角度框內預測模式中之一者，由此導致用於基於區塊之視訊寫碼的編碼器解碼器，其經組配以將參考一參考圖像101之一經參考部分100的一運動向量編碼至用於一經框間預測區塊之資料串流內及自該資料串流解碼該運動向量，該經參考部分延伸或位置超出參考圖像中經框間預測區塊所位於之一預定空間片段之圖像中片段邊界，及填補經參考部分100之延伸或位置超出圖像中片段邊界(亦即，在預定空間片段外)之區域100'。編碼器不需要將運動向量之一運動向量預測器改向以推進以信號方式傳遞之運動向量保持在參考圖像分割成(按包括當前圖像的視訊之圖像不斷地經分割之一方式)的空間片段之預定空間片段內。編碼器不需要針對此向量以信號方式傳遞一改向運動向量差。以信號方式傳遞之運動向量差可導致在預定空間片段外之運動向量參考部分，諸如，運動向量差零。詳言之，編碼器可依賴於解碼器之填補機構，該解碼器實行當前及參考圖像中之空間偏移空間片段的空間片段寫碼獨立性，且該編碼器進行同樣之操作，亦即，為了重建構經框間預測區塊執行填補以填充經解碼圖像緩衝器。
作為一第一態樣，如參數集、截塊標頭或其他之位元串流結構中的高階語法元素一般控制在空間片段界線上的多模式界線填補之應用。此語法之一個值對解碼器指示：‧ 空間片段之樣本之框間預測獨立於屬於其他空間片段之樣本，及‧ 在空間片段界線外之樣本位置用於在空間片段內的樣本之框間預測中，及‧ 對來自屬於空間片段之樣本的空間片段界線使用MMBP程序，產生在空間片段界線外之樣本位置上的樣本之值。
儘管已在設備之上下文中描述一些態樣，但顯然，此等態樣亦表示對應方法之描述，其中一區塊或裝置對應於一方法步驟或一方法步驟之特徵。類似地，在方法步驟之上下文中所描述之態樣亦表示對應區塊或項目或對應設備之特徵的描述。可由(或使用)硬體設備(例如，微處理器、可規劃電腦或電子電路)執行方法步驟中之一些或全部。在一些實施例中，可由此設備執行最重要之方法步驟中之一或多者。
本發明的資料串流可儲存於數位儲存媒體上或可在諸如無線傳輸媒體之傳輸媒體或諸如網際網路之有線傳輸媒體上傳輸。
取決於某些實施要求，本發明之實施例可在硬體中或在軟體中實施。可使用數位儲存媒體來執行該實施，該媒體例如軟性磁碟、DVD、Blu-ray、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體，該媒體具有儲存於其上之電子可讀控制信號，該等電子可讀控制信號與可規劃電腦系統合作(或能夠合作)以使得執行各別方法。因此，數位儲存媒體可為電腦可讀的。
根據本發明之一些實施例包含具有電子可讀控制信號之資料載體，該等控制信號能夠與可規劃電腦系統合作，使得執行本文中所描述之方法中的一者。
通常，本發明之實施例可實施為具有程式碼之電腦程式產品，當電腦程式產品在電腦上運行時，程式碼操作性地用於執行該等方法中之一者。程式碼可例如儲存於機器可讀載體上。
其他實施例包含儲存於機器可讀載體上的用於執行本文中所描述之方法中的一者之電腦程式。
換言之，因此，本發明之方法之一實施例為具有用於當電腦程式在電腦上運行時執行本文中所描述之方法中之一者的程式碼之電腦程式。
因此，本發明之方法之再一實施例為資料載體(或數位儲存媒體，或電腦可讀媒體)，該資料載體包含記錄於其上的用於執行本文中所描述之方法中之一者的電腦程式。資料載體、數位儲存媒體或記錄媒體通常係有形的及/或非暫時性的。
因此，本發明之方法之另一實施例為表示用於執行本文中所描述之方法中的一者之電腦程式之資料串流或信號序列。資料流或信號序列可(例如)經組配以經由資料通訊連接(例如，經由網際網路)而傳送。
再一實施例包含經組配或經調適以執行本文中所描述之方法中的一者之處理構件，例如，電腦或可規劃邏輯裝置。
再一實施例包含其上安裝有用於執行本文中所描述之方法中之一者的電腦程式之電腦。
根據本發明之再一實施例包含經組配以(例如，電子地或光學地)傳送用於執行本文中所描述之方法中之一者的電腦程式至接收器之一設備或一系統。舉例而言，接收器可為電腦、行動裝置、記憶體裝置或類似者。設備或系統可(例如)包含用於傳送電腦程式至接收器之檔案伺服器。
在一些實施例中，可規劃邏輯裝置(例如，場可規劃閘陣列)可用以執行本文中所描述之方法的功能性中之一些或所有。在一些實施例中，場可規劃閘陣列可與微處理器合作，以便執行本文中所描述之方法中的一者。通常，該等方法較佳地由任一硬體設備執行。
本文中所描述之設備可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來實施。
本文中所描述之設備或本文中所描述之設備的任何組件可至少部分地以硬體及/或以軟體來實施。
本文中所描述之方法可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來執行。
本文中所描述之方法或本文中所描述之設備的任何組件可至少部分地由硬體及/或由軟體執行。
上述實施例僅說明本發明之原理。應理解，對本文中所描述之組配及細節的修改及變化將對熟習此項技術者顯而易見。因此，意圖為僅受到接下來之申請專利範圍之範疇限制，而不受到藉由本文中之實施例之描述及解釋所提出的具體細節限制。
10‧‧‧設備或/視訊編碼器 11、11'‧‧‧視訊 12‧‧‧當前圖像/原始信號 12'‧‧‧經重建構圖像/信號 14‧‧‧資料串流 20‧‧‧視訊解碼器 22‧‧‧預測殘餘信號形成器 24‧‧‧預測殘餘/預測殘餘信號 24'、24'''‧‧‧譜域預測殘餘信號 24''‧‧‧經量化譜域預測殘餘信號 24''''‧‧‧預測殘餘信號 26‧‧‧預測信號 28‧‧‧變換器 32‧‧‧量化器 34‧‧‧熵寫碼器 36‧‧‧預測級 38、52‧‧‧解量化器 40、54‧‧‧反變換器 42、56‧‧‧組合器 44、58‧‧‧預測模組 46‧‧‧經重建構信號 50‧‧‧熵解碼器 80‧‧‧寫碼區塊/經框內預測區塊 84‧‧‧變換區塊 100‧‧‧經參考部分/經參考像素區域 100'‧‧‧經參考區域 100''‧‧‧在參考圖框內部之區域 101‧‧‧參考圖像/參考圖框 102‧‧‧邊界樣本/邊界像素 104‧‧‧探測區域/模板區域 106‧‧‧圖框邊界 110‧‧‧第一像素線 110'‧‧‧經參考部分 112‧‧‧最外像素線 120、122‧‧‧角度框內預測模式
另外優勢藉由技術方案之編解碼器來達成。下文中關於諸圖來描述本申請之較佳實施例，在諸圖中： 圖1展示作為用於視訊解碼器之一實例的用於預測性地寫碼視訊之一設備之方塊圖，其中可實施用於根據本申請之實施例的填補概念之一角度框內預測模式之選擇； 圖2展示作為用於視訊解碼器之一實例的用於預測性地解碼視訊之一設備之方塊圖，該設備配合圖1之設備，其中可實施用於根據本申請之實施例的填補概念之一角度框內預測模式之選擇； 圖3展示說明預測殘餘信號、預測信號與經重建構信號之間的關係之一實例以便說明設定分別用於定義預測信號、處置預測殘餘信號及類似操作的細分之可能性之示意圖； 圖4展示說明用於本申請之實施例的角度框內預測模式之一實例之示意圖； 圖5展示說明根據本申請之一實施例的計算較佳界線填補側之一實例之示意圖； 圖6展示說明根據本申請之一實施例的計算較佳界線填補側之另一實例之示意圖； 圖7展示說明根據本申請之一實施例的一探測區域之一實例之示意圖； 圖8展示說明根據本申請之一實施例的用以描述定義探測區域之一過程之一實例之示意圖； 圖9展示根據本申請之一實施例探測區域座標之導出之樣本表； 圖10展示說明根據本申請之一實施例的用於邊界延伸參考區塊之運動向量剪切之一實例之示意圖； 圖11展示說明根據本申請之一實施例的在運動向量剪切之情境中的模板區域導出之一實例之示意圖； 圖12展示說明根據本申請之一實施例的適應區塊大小之運動向量剪切之一實例之示意圖； 圖13及圖14展示說明根據本申請的待基於在參考圖像外的經參考部分之區域之預測結果選擇的待用於填補之一角度框內預測模式之示意圖； 圖15展示說明根據本申請之一實施例的兩個獨立空間片段之間的水平邊界之一實例之示意圖； 圖16展示說明垂直預測以解釋目前先進技術之示意圖； 圖17展示具有360°水平覆蓋角度及小於180°豎直覆蓋角度的視訊圖框之一樣本影像。
10‧‧‧設備/視訊編碼器
11‧‧‧視訊
12‧‧‧當前圖像/原始信號
14‧‧‧資料串流
22‧‧‧預測殘餘信號形成器
24‧‧‧預測殘餘/預測殘餘信號
24'、24'''‧‧‧譜域預測殘餘信號
24"‧‧‧經量化譜域預測殘餘信號
24''''‧‧‧預測殘餘信號
26‧‧‧預測信號
28‧‧‧變換器
32‧‧‧量化器
34‧‧‧熵寫碼器
36‧‧‧預測級
38‧‧‧解量化器
40‧‧‧反變換器
42‧‧‧組合器
44‧‧‧預測模組
46‧‧‧經重建構信號

Claims (64)

  1. 一種用於支援時間框間預測之視訊編碼器，其經組配以執行一參考圖像之一經參考部分的延伸或位置超出該參考圖像之一邊界的一區域之填補，該經參考部分由一當前圖像之一經框間預測區塊藉由選擇多個框內預測模式中之一者及使用選定框內預測模式填補該區域來參考。
  2. 如請求項1之視訊編碼器，其經組配以基於在該參考圖像之該邊界之一部分處的該參考圖像之一區域之一評估而執行該選擇，在該部分處，該經參考部分與該邊界交叉。
  3. 如請求項2之視訊編碼器，其經組配以藉由針對該等多個框內預測模式之至少一子集中之各者進行以下操作來執行該評估，基於在該邊界之該部分處的該參考圖像之邊界樣本，沿著與相關聯於各別框內預測模式之一填充方向相反的一方向，填充與離該邊界樣本相比位置更遠離該邊界之一探測區域以獲得一探測填充；以及比較該探測填充與該探測區域之一經重建構填充以量測其間之一類似性。
  4. 如請求項3之視訊編碼器，其經組配以在該等多個框內預測模式之該子集當中選擇具有最高類似性之一個框內預測模式。
  5. 如請求項3之視訊編碼器，其經組配以對 於該等多個框內預測模式之該子集中之各者，針對多個探測區域執行該評估。
  6. 如請求項5之視訊編碼器，其經組配以在資料串流中用參數表示探測區域之數目。
  7. 如請求項5之視訊編碼器，其經組配以執行針對該等探測區域執行之該等評估之一組合。
  8. 如請求項3之視訊編碼器，其經組配以藉由判定該邊界之一區段來判定該等邊界樣本，該經參考部分之該區域或一區域部分沿著該方向投影於該區段上。
  9. 如請求項8之視訊編碼器，其經組配以在該資料串流中用參數表示該區域部分之一位置。
  10. 如請求項3之視訊編碼器，其經組配以藉由使用一絕對差和、一絕對變換差和、平方誤差和或Hadamard變換中之一者來執行該比較。
  11. 如請求項1之視訊編碼器，其經組配以使用顯式信號方式傳遞來以信號方式傳遞該選定框內預測模式。
  12. 如請求項1之視訊編碼器，其經組配以使用基於內容脈絡之自適應性算術寫碼來寫碼對該選定框內預測模式之一索引。
  13. 如請求項1之視訊編碼器，其經組配以信號方式傳遞該等多個框內預測模式作為用於經框內預測區塊之由該視訊編碼器支援的所支援框內預測模式之一子集。
  14. 如請求項1之視訊編碼器，其經組配以信號方式傳遞一參數，該參數定義該經參考部分需要延伸超出該邊界之一程度，以便藉由選擇該等多個框內預測模式中之一者來起始該填補之該執行，其中該視訊編碼器經組配以在該經參考部分延伸超出該邊界少於該程度之情況下，使用一預設填補模式填補該經參考部分。
  15. 如請求項13之視訊編碼器，其經組配以在一圖像參數集、序列參數集、截塊標頭或語法結構中之至少一者中以信號方式傳遞該子集及/或參數。
  16. 如請求項1之視訊編碼器，其經進一步組配以在該經參考部分覆蓋該參考圖像之一邊緣的情況下若由經參考部分覆疊部覆蓋之一水平邊界部分大於由該經參考部分覆蓋之一豎直邊界部分，則將該經參考部分視為該經參考部分與一水平邊界交叉，且若由該經參考部分覆蓋之該豎直邊界部分大於由該經參考部分覆蓋之該水平邊界部分，則將該經參考部分視為該經參考部分與一豎直邊界交叉，或該經參考部分之至少一部分包含該水平邊界部分及該豎直邊界部分中之較大者。
  17. 如請求項1之視訊編碼器，其中該邊界為分開不同圖像內容之部分的一外部圖像邊界或一內部圖像邊界。
  18. 如請求項1之視訊編碼器，其經組配以取決於該參考圖像延伸或位置超出之一邊界部分而相對於該 等經參考部分以不同方式執行填補。
  19. 如請求項18之視訊編碼器，其經組配以在該資料串流中用參數表示該邊界部分之一配置及一對應填補。
  20. 如請求項1之視訊編碼器，其經組配以在該經參考部分完全位於該邊界外之情況下，剪切該當前圖像之該經框間預測區塊的指向該經參考部分之一運動向量的一座標，該座標對應於垂直於該邊界之一維度軸線，使得該經參考部分變得更接近該邊界。
  21. 如請求項20之視訊編碼器，其經組配以，將該當前圖像之該經框間預測區塊之該運動向量的該座標剪切一量，該量取決於該經參考部分之一大小使得對於較小大小，該量較大。
  22. 如請求項1之視訊編碼器，其經組配以在測試用於該經框間預測區塊之運動向量候選者時，藉由使用一預設框內預測模式填補與運動向量候選者相關聯且延伸或位置超出該邊界之經參考部分，在運動向量候選者當中發現一最佳運動向量候選者，且若由該最佳運動向量候選者指向之該經參考部分延伸或位置超出該邊界，則在該等多個框內預測模式當中針對該最佳運動向量候選者僅執行一最佳框內預測模式之一次發現，且選擇與該選定框內預測模式相同之框內預測模式。
  23. 如請求項1之視訊編碼器，其經組配以取 決於藉由空間及/或時間預測所獲得之一經估計之框內預測模式而執行多個框間預測模式中之一者之選擇。
  24. 如請求項1之視訊編碼器，其中該等多個框內預測模式為角度框內預測模式。
  25. 如請求項1之視訊編碼器，其經組配以按在包含該當前圖像及該參考圖像之一視訊之圖像上靜態的一方式將該視訊之一圖像平面劃分成空間片段，及關於熵寫碼及框內預測獨立地寫碼該等空間片段，其中該參考圖像之該邊界為該參考圖像中該經框間預測區塊所位於之一預定空間片段的一片段邊界。
  26. 如請求項1之視訊編碼器，其經組配以按在包含該當前圖像及該參考圖像之一視訊之圖像上靜態的一方式將該視訊之一圖像平面劃分成空間片段，及關於熵寫碼、框內預測及框間預測獨立地寫碼該等空間片段，其中該編碼器經組配以使用該選定框內預測模式，藉由將該經框間預測區塊所位於之一預定空間片段之一片段邊界用作該參考圖像之該邊界以便填補該參考圖像之該經參考部分的延伸或位置超出該預定空間片段之該區域來獨立地寫碼該預定空間片段，而不管與該參考圖像中之該預定空間片段之該片段邊界相交的該經框間預測區塊之一運動向量。
  27. 如請求項1之視訊編碼器，其經組配以在該資料串流中以信號方式傳遞關於該參考圖像之 該邊界之不同部分中的各者與該等多個框內預測模式中之一或多個相關聯之框內預測模式的一關聯之資訊，及取決於該經參考部分延伸或位置超出該參考圖像之哪一部分，選擇用於該經框間預測區塊之該一個框內預測模式為與該經參考部分延伸或位置超出之該部分相關聯的該一或多個相關聯之框內預測模式中之一個框內預測模式。
  28. 如請求項1之視訊編碼器，其經組配以在該資料串流中針對該參考圖像之該邊界之一預定部分以信號方式傳遞應將多個框內預測模式中之一第一框內預測模式抑或一第二框內預測模式用於填補，且若該經參考部分延伸或位置超出該預定部分，則在該第一框內預測模式經信號方式傳遞用於填補之情況下選擇該第一框內預測模式作為該選定框內預測模式，且在該第二框內預測模式經信號方式傳遞用於填補之情況下選擇該第二框內預測模式作為該選定框內預測模式。
  29. 一種用於支援時間框間預測之視訊解碼器，其經組配以執行一參考圖像之一經參考部分的延伸或位置超出該參考圖像之一邊界的一區域之填補，該經參考部分由一當前圖像之一經框間預測區塊藉由選擇多個框內預測模式中之一者及使用選定框內預測模式填補該區域來參考。
  30. 如請求項29之視訊解碼器，其經組配以基於在該參考圖像之該邊界之一部分處的該參考圖像之一區域之一評估而執行該選擇，在該部分處，該經參考部分與 該邊界交叉。
  31. 如請求項30之視訊解碼器，其經組配以藉由針對該等多個框內預測模式之至少一子集中之各者進行以下操作來執行該評估，基於在該邊界之該部分處的該參考圖像之邊界樣本，沿著與相關聯於各別框內預測模式之一填充方向相反的一方向，填充位於該參考圖像內部且與離該邊界樣本相比位置更遠離該邊界之一探測區域以獲得一探測填充；以及比較該探測填充與該探測區域之一經重建構填充以量測其間之一類似性。
  32. 如請求項31之視訊解碼器，其經組配以在該等多個框內預測模式之該子集當中選擇具有最高類似性之一個框內預測模式。
  33. 如請求項31之視訊解碼器，其經組配以對於該等多個框內預測模式之該子集中之各者，針對多個探測區域執行該評估。
  34. 如請求項33之視訊解碼器，其經組配以在資料串流中用參數表示探測區域之數目。
  35. 如請求項33之視訊解碼器，其經組配以執行針對該等探測區域執行之該等評估之一組合。
  36. 如請求項31之視訊解碼器，其經組配以藉由判定該邊界之一區段來判定該等邊界樣本，該經參考部分之該區域或一區域部分沿著該方向投影於該區段上。
  37. 如請求項36之視訊解碼器，其經組配以在該資料串流中用參數表示該區域部分之一位置。
  38. 如請求項31之視訊解碼器，其經組配以藉由使用一絕對差和、一絕對變換差和、平方誤差和或Hadamard變換中之一者來執行該比較。
  39. 如請求項29之視訊解碼器，其經組配以使用顯式信號方式傳遞來信號方式傳遞該選定框內預測模式。
  40. 如請求項29之視訊解碼器，其經組配以使用基於內容脈絡之自適應性算術寫碼來寫碼對該選定框內預測模式之一索引。
  41. 如請求項29之視訊解碼器，其經組配以信號方式傳遞該等多個框內預測模式作為用於經框內預測區塊之由該視訊解碼器支援的所支援框內預測模式之一子集。
  42. 如請求項29之視訊解碼器，其經組配以信號方式傳遞一參數，該參數定義該經參考部分需要延伸超出該邊界之一程度，以便藉由選擇該等多個框內預測模式中之一者來起始該填補之該執行，其中該視訊解碼器經組配以在該經參考部分延伸超出該邊界少於該程度之情況下，使用一預設填補模式填補該經參考部分。
  43. 如請求項41之視訊解碼器，其經組配以在一圖像參數集、序列參數集、截塊標頭或語法結構中之至少一者中以信號方式傳遞該子集及/或參數。
  44. 如請求項29之視訊解碼器，其經進一步組配以在該經參考部分覆蓋該參考圖像之一邊緣的情況下若由經參考部分覆疊部覆蓋之一水平邊界部分大於由該經參考部分覆蓋之一豎直邊界部分，則將該經參考部分視為該經參考部分與一水平邊界交叉，且若由該經參考部分覆蓋之該豎直邊界部分大於由該經參考部分覆蓋之該水平邊界部分，則將該經參考部分視為該經參考部分與一豎直邊界交叉，或該經參考部分之至少一部分包含該水平邊界部分及該豎直邊界部分中之較大者。
  45. 如請求項29之視訊解碼器，其中該邊界為分開不同圖像內容之部分的一外部圖像邊界或一內部圖像邊界。
  46. 如請求項29之視訊解碼器，其經組配以取決於該參考圖像延伸或位置超出之一邊界部分而相對於該等經參考部分以不同方式執行填補。
  47. 如請求項46之視訊解碼器，其經組配以在該資料串流中用參數表示該邊界部分之一配置及一對應填補。
  48. 如請求項29之視訊解碼器，其經組配以在該經參考部分完全位於該邊界外之情況下，剪切該當前圖像之該經框間預測區塊的指向該經參考部分之一運動向量的一座標，該座標對應於垂直於該邊界之一維度軸線，使得該經參考部分變得更接近該邊界。
  49. 如請求項48之視訊解碼器，其經組配以，將該當前圖像之該經框間預測區塊之該運動向量的該座標剪切一量，該量取決於該經參考部分之一大小使得對於較小大小，該量較大。
  50. 如請求項29之視訊解碼器，其經組配以取決於藉由空間及/或時間預測所獲得之經估計之框內預測模式而執行該選擇，判定多個框間預測模式。
  51. 如請求項29之視訊解碼器，該等多個框內預測模式為角度框內預測模式。
  52. 如請求項29之視訊解碼器，其經組配以按在包含該當前圖像及該參考圖像之一視訊之圖像上靜態的一方式將該視訊之一圖像平面劃分成空間片段，其中關於熵寫碼及框內預測獨立地寫碼該等空間片段，其中該參考圖像之該邊界為該參考圖像中該經框間預測區塊所位於之一預定空間片段的一片段邊界。
  53. 如請求項29之視訊解碼器，其經組配以按在包含該當前圖像及該參考圖像之一視訊之圖像上靜態的一方式將該視訊之一圖像平面劃分成空間片段，其中關於熵寫碼、框內預測及框間預測獨立地寫碼該等空間片段，其中該解碼器經組配以使用該選定框內預測模式，藉由將該經框間預測區塊所位於之一預定空間片段之一片段邊界用作該參考圖像之該邊界以便填補該參考圖像之該經參考部分的延伸或位置超出該預定空間片段之該區域來獨 立地解碼該預定空間片段，而不管與該參考圖像中之該預定空間片段之該片段邊界相交的該經框間預測區塊之一運動向量。
  54. 如請求項29之視訊解碼器，其經組配以自該資料串流導出關於該參考圖像之該邊界之不同部分中的各者與該等多個框內預測模式中之一或多個相關聯之框內預測模式的一關聯之資訊，及取決於該經參考部分延伸或位置超出該參考圖像之哪一部分，選擇用於該經框間預測區塊之該一個框內預測模式為與該經參考部分延伸或位置超出之該部分相關聯的該一或多個相關聯之框內預測模式中之一個框內預測模式。
  55. 如請求項29之視訊解碼器，其經組配以自該資料串流針對該參考圖像之該邊界之一預定部分導出應將多個框內預測模式中之一第一框內預測模式抑或一第二框內預測模式用於填補，且若該經參考部分延伸或位置超出該預定部分，則在該第一框內預測模式經信號方式傳遞用於填補之情況下選擇該第一框內預測模式作為該選定框內預測模式，且在該第二框內預測模式經信號方式傳遞用於填補之情況下選擇該第二框內預測模式作為該選定框內預測模式。
  56. 一種用於支援時間框間預測之編碼方法，其包含執行一參考圖像之一經參考部分的延伸超出該參考圖像之一邊界的一區域之填補，該經參考部分由一當前圖 像之一經框間預測區塊藉由選擇多個框內預測模式中之一者及使用選定框內預測模式填補該區域來參考。
  57. 如請求項56之編碼方法，其經組配以在測試用於該經框間預測區塊之運動向量候選者時，藉由使用一預設框內預測模式填補與運動向量候選者相關聯且延伸或位置超出該邊界之經參考部分，在運動向量候選者當中發現一最佳運動向量候選者，且若由該最佳運動向量候選者指向之該經參考部分延伸或位置超出該邊界，則在該等多個框內預測模式當中針對該最佳運動向量候選者僅執行一最佳框內預測模式之一次發現，且選擇與該選定框內預測模式相同之框內預測模式。
  58. 如請求項56之編碼方法，其經組配以取決於藉由空間及/或時間預測所獲得之經估計之框內預測模式而執行該選擇，判定多個框間預測模式。
  59. 如請求項56之編碼方法，該等多個框內預測模式為角度框內預測模式。
  60. 一種用於支援時間框間預測之解碼方法，其包含執行一參考圖像之一經參考部分的延伸超出該參考圖像之一邊界的一區域之填補，該經參考部分由一當前圖像之一經框間預測區塊藉由選擇多個角度框內預測模式中之一者及使用選定角度框內預測模式填補該區域來參考。
  61. 如請求項60之解碼方法，其經組配以取決 於藉由空間及/或時間預測所獲得之經估計之框內預測模式而執行該選擇，判定多個框間預測模式。
  62. 如請求項60之解碼方法，該等多個框內預測模式為角度框內預測模式。
  63. 一種具有一程式碼之電腦程式，該程式碼用於在運行於一電腦上時執行如請求項56或60之一方法。
  64. 一種藉由如請求項56或60之一方法產生的資料串流。
TW108111357A 2018-03-29 2019-03-29 用以選擇內預測模式以供填補之設備 TWI730311B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18165221.5 2018-03-29
EP18165221 2018-03-29

Publications (2)

Publication Number Publication Date
TW201943275A TW201943275A (zh) 2019-11-01
TWI730311B true TWI730311B (zh) 2021-06-11

Family

ID=61868351

Family Applications (2)

Application Number Title Priority Date Filing Date
TW110117660A TWI799861B (zh) 2018-03-29 2019-03-29 用以選擇內預測模式以供填補之設備
TW108111357A TWI730311B (zh) 2018-03-29 2019-03-29 用以選擇內預測模式以供填補之設備

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW110117660A TWI799861B (zh) 2018-03-29 2019-03-29 用以選擇內預測模式以供填補之設備

Country Status (7)

Country Link
US (3) US11233989B2 (zh)
EP (1) EP3777177A1 (zh)
JP (2) JP7253564B2 (zh)
KR (2) KR20230098721A (zh)
CN (1) CN112204981A (zh)
TW (2) TWI799861B (zh)
WO (1) WO2019185884A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11736713B2 (en) * 2018-11-14 2023-08-22 Tencent America LLC Constraint on affine model motion vector
EP4037320A1 (en) * 2021-01-29 2022-08-03 Lemon Inc. Boundary extension for video coding
WO2022174782A1 (en) * 2021-02-20 2022-08-25 Beijing Bytedance Network Technology Co., Ltd. On boundary padding samples generation in image/video coding
CN116998155A (zh) * 2021-02-20 2023-11-03 抖音视界有限公司 图像/视频编解码中的边界填充运动矢量剪裁
WO2022174801A1 (en) * 2021-02-20 2022-08-25 Beijing Bytedance Network Technology Co., Ltd. On boundary padding size in image/video coding
WO2024043813A1 (en) * 2022-08-22 2024-02-29 Telefonaktiebolaget Lm Ericsson (Publ) Motion compensation boundary padding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012173991A1 (en) * 2011-06-13 2012-12-20 Qualcomm Incorporated Border pixel padding for intra prediction in video coding
US20170353737A1 (en) * 2016-06-07 2017-12-07 Mediatek Inc. Method and Apparatus of Boundary Padding for VR Video Processing

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US20110122950A1 (en) * 2009-11-26 2011-05-26 Ji Tianying Video decoder and method for motion compensation for out-of-boundary pixels
BR112013000963B1 (pt) * 2010-07-14 2019-12-03 Ntt Docomo Inc métodos de codificação e decodificação de vídeo e codificador e decodificador de vídeo
US9693070B2 (en) * 2011-06-24 2017-06-27 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
JP2013017128A (ja) 2011-07-06 2013-01-24 Nippon Hoso Kyokai <Nhk> イントラ予測モード推定装置、画像符号化装置、画像復号装置、及びプログラム
US9083983B2 (en) 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
CN104685881B (zh) * 2012-09-28 2018-05-15 夏普株式会社 图像解码装置、图像编码装置以及图像解码方法
EP3158734A1 (en) * 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
US10244994B2 (en) 2015-08-07 2019-04-02 Woodlark Circle, Inc. CT scan inflatable mattress
CN115243040A (zh) * 2015-11-23 2022-10-25 韩国电子通信研究院 视频编码/解码方法和记录介质
FI20165256L (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
CA3025488A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Weighted angular prediction for intra coding
CN117135357A (zh) * 2016-07-08 2023-11-28 Vid拓展公司 使用几何图形投影的360度视频编码
CN116389731A (zh) * 2017-12-22 2023-07-04 数码士有限公司 视频信号处理方法和设备
KR102356262B1 (ko) * 2018-03-27 2022-02-08 주식회사 윌러스표준기술연구소 모션 보상을 이용하는 비디오 신호 처리 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012173991A1 (en) * 2011-06-13 2012-12-20 Qualcomm Incorporated Border pixel padding for intra prediction in video coding
US20170353737A1 (en) * 2016-06-07 2017-12-07 Mediatek Inc. Method and Apparatus of Boundary Padding for VR Video Processing

Also Published As

Publication number Publication date
US11683485B2 (en) 2023-06-20
KR20200140844A (ko) 2020-12-16
US20230276047A1 (en) 2023-08-31
EP3777177A1 (en) 2021-02-17
JP7253564B2 (ja) 2023-04-06
KR20230098721A (ko) 2023-07-04
TW202209890A (zh) 2022-03-01
KR102549936B1 (ko) 2023-07-03
JP2023052788A (ja) 2023-04-12
CN112204981A (zh) 2021-01-08
TW201943275A (zh) 2019-11-01
WO2019185884A1 (en) 2019-10-03
US20210029353A1 (en) 2021-01-28
JP2021520103A (ja) 2021-08-12
TWI799861B (zh) 2023-04-21
US11233989B2 (en) 2022-01-25
US20220132108A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
TWI730311B (zh) 用以選擇內預測模式以供填補之設備
US11095922B2 (en) Geometry transformation-based adaptive loop filtering
TWI705703B (zh) 於視訊寫碼中針對子區塊推導運動資訊
CA3104570C (en) Memory access window and padding for motion vector refinement and motion compensation
US9571830B2 (en) Method and device for encoding/decoding image by inter prediction using random block
KR20200064153A (ko) 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
US20200336734A1 (en) Adaptive unequal weight planar prediction
CN111480340A (zh) 用于运动补偿的改进的预测器候选
CN113366834A (zh) 使用切片独立约束的间预测概念
KR20210143325A (ko) 비디오/영상 코딩 시스템에서 머지 데이터 신택스의 시그널링 방법 및 장치
US20220377375A1 (en) Image prediction method and apparatus for performing intra prediction
WO2020247577A1 (en) Adaptive motion vector resolution for affine mode
US11553207B2 (en) Contour mode prediction
US11477440B2 (en) Image prediction method and apparatus performing intra prediction
CN117501694A (zh) 用于视频编解码中的仿射运动补偿的具有双向匹配的运动细化
KR20210148367A (ko) 인터 예측에 기반한 영상 코딩 방법 및 장치
CN110677645B (zh) 一种图像预测方法及装置
CN117730535A (zh) 视频编解码中用于仿射运动补偿预测的几何分割
WO2023283244A1 (en) Improvements on temporal motion vector prediction
WO2022271756A1 (en) Video coding using multi-direction intra prediction
KR20230146470A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN116868571A (zh) 对于帧间预测的改进的局部光照补偿
EP3580928A1 (en) Predictive coding concept using template matching