TWI729497B

TWI729497B - 在視頻編解碼系統中組合多個預測子進行塊預測的方法和裝置

Info

Publication number: TWI729497B
Application number: TW108133334A
Authority: TW
Inventors: 江嫚書; 徐志瑋
Original assignee: 聯發科技股份有限公司
Priority date: 2018-09-17
Filing date: 2019-09-17
Publication date: 2021-06-01
Also published as: CN112689998B; TW202021361A; CN112689998A; US20210314602A1; EP3850837A1; WO2020057504A1; EP3850837A4

Abstract

用於對當前塊進行編解碼的視訊處理方法和裝置通過組合當前塊的多個預測子來生成最終預測子。當前塊的預測子之一是運動補償預測子，其根據從第一候選列表中選擇的一個候選而生成。第一候選列表的構造包括通過對第一候選列表中的現有候選的運動資訊求平均來得到平均候選。當前塊的第二預測子是另一運動補償預測子或幀內預測子。

Description

在視頻編解碼系統中組合多個預測子進行塊預測的方法和裝置

本發明涉及視訊編碼和解碼系統中的視訊處理方法和裝置。特別地，本發明涉及生成用於圖像間預測(inter picture prediction)的候選列表。

高效視訊編解碼（HEVC）標準是由ITU-T研究組的視訊編解碼聯合協作小組（JCT-VC）的視訊編解碼專家組開發的最新國際視訊編解碼標準。 HEVC標準改進了其進行中的標準H.264 / AVC的視訊壓縮性能，以滿足對更高圖像解析度、更高幀頻和更好視訊品質的需求。 HEVC標準依賴於基於塊的編解碼結構，該結構將每個視訊切片分為多個方形編解碼樹單元（CTU），其中CTU是HEVC中視訊壓縮的基本單元。在HEVC主配置文件中，CTU的最小和最大大小由序列參數集（SPS）中發信的語法元素指定。光柵掃描順序用於對每個切片中的CTU進行編碼或解碼。每個CTU可以包含一個編解碼單元（CU），也可以根據四叉樹分區結構將其遞歸拆分為四個較小的CU，直到達到預定義的最小CU大小為止。在四叉樹劃分結構的每個深度處，N×N塊是單個葉CU或被分成四個大小為N / 2×N / 2的塊，它們是編解碼樹節點。如果沒有進一步拆分編解碼樹節點，則其為葉CU。葉CU大小被限制為大於或等於預定義的最小CU大小，該大小也在SPS中指定。

在CU級別做出預測決定，其中，使用圖像間預測或圖像內預測對每個CU進行編解碼。一旦完成了CU分層樹的劃分，則根據用於預測的PU分區類型，將每個CU進一步劃分成一個或多個預測單元（PU）。由於將相同的預測過程應用於PU中的所有像素，因此PU用作共享預測資訊的基本代表塊。預測資訊以PU為基礎傳送到解碼器。對於圖像內預測，空間相鄰的重構像素用於生成方向預測。圖像間預測中的運動估計為當前塊標識一或兩個參考圖像中的一個（單向預測）或兩個（雙向預測）最佳參考塊，並且圖像間預測中的運動補償根據一個或兩個運動向量（MV）定位該一個或兩個最佳參考塊。當前塊和相應的預測子之間的差異稱為預測殘差。使用單向預測時，相應的預測子是最佳參考塊。當使用雙向預測時，由兩個運動向量定位的兩個參考塊被組合以形成最終預測子。根據另一四叉樹塊分區結構，屬於CU的預測殘差被分成一個或多個變換單元（TU），用於將殘差資料變換為用於緊湊資料表示（compact data representation）的變換係數。 TU是用於對殘差資料進行變換和量化的基本代表塊。對於每個TU，將具有與TU相同大小的變換矩陣應用於殘差資料以生成變換係數，並且基於TU將這些變換係數量化並傳送到解碼器。

術語編解碼樹塊（CTB）、編解碼塊（CB）、預測塊（PB）和變換塊（TB）被定義為指定分別與CTU、CU、PU和TU相關聯的一種顏色分量的二維樣本陣列。例如，CTU由一個亮度CTB、兩個相應的色度CTB及其關聯的語法元素組成。

圖像間預測模式 HEVC中存在三種圖像間預測模式，包括高級運動向量預測（AMVP）、跳過和合併模式。在這些圖像間預測模式中使用運動向量預測來減少運動資訊編解碼所需的位元。運動向量預測過程包括生成包括多個空間和時間運動候選的候選列表，並對候選列表進行修剪以去除冗餘。應用運動向量競賽（MVC）方案以在候選列表中選擇最終運動候選。為了使用AMVP模式對PU進行編碼，編碼器在視訊位元流中傳輸幀間預測方向、參考圖像索引、運動向量差（MVD）和預測殘差。 PU的幀間預測方向描述諸如列表0（L0）預測、列表1（L1）預測或雙向預測的預測方向。通過在解碼器處將發送的MVD與選定的運動向量預測子（MVP）相加，可以得出以AMVP模式編解碼的PU的運動向量。還針對每個預測方向對MVP索引進行編碼和傳輸，以從AMVP候選列表中選擇一個MVP。 HEVC中的默認AMVP候選列表包括兩個空間運動候選和一個時間運動候選。第1圖示出了用於導出以AMVP模式，跳過模式或合併模式編解碼的PB 10的候選列表的運動候選的位置。AMVP模式的候選列表中的兩個空間運動候選包括左候选和上候選（top candidate）。從塊A₀ 111到塊A₁ 112從左下到左搜索當前PB 10的左候選，並將第一個可用塊的MV選擇為左候選，而從塊B₀ 113到塊B₁ 114，再到塊B₂ 115，從右上到左上搜索上候選，並將第一個可用塊的MV選擇為上候選。具有運動資訊的塊，或者換言之，在圖像間預測中編解碼的塊被定義為可用塊。時間運動候選是參考圖像中從並置塊12的右下角附近的塊T_BR 121和並置塊12內的塊T_CTR 122中選擇的第一可用塊的MV。通過在切片報頭中發信標誌和參考圖像索引來指示參考圖像，以指定使用哪個參考圖像列表和參考圖像列表中的哪個參考圖像。

為了提高AMVP模式下運動資訊編解碼的編解碼效率，在HEVC標準中提出並採用了跳過和合併模式，以通過繼承空間相鄰塊或時間並置塊的運動資訊來進一步減少發信運動資訊所需的資料位元。對於以跳過或合併模式編解碼的PU，僅編解碼所選最終候選的索引而不是運動資訊，因為PU重新使用所選最終候選的運動資訊。由PU重複使用的運動資訊包括運動向量（MV）、幀間預測指示符以及所選擇的最終候選的參考圖像索引。注意，如果選擇的最終候選是時間運動候選，則參考圖像索引總是設置為零以指示列表0或列表1中的第一參考圖像。當在合併模式下對PU進行編解碼時，對預測殘差進行編解碼，然而，由於在跳過模式中編解碼的PU的殘差資料被強制為零，因此跳過模式進一步跳過預測殘差的信令。

合併候選列表包括最多四個空間運動候選和一個時間運動候選。如第1圖所示，第一合併候選是左塊A₁ 112的運動資訊，第二合併候選是頂塊B₁ 114的運動資訊，第三合併候選是右上塊B₀ 113的運動資訊，第四個合併候選是左下塊A₀ 111的運動資訊。左上塊B₂ 115中的運動資訊包括在合併候選列表中以替換不可用空間塊的候選。第五合併候選是第一可用時間塊T_BR 121和T_CTR 122的時間塊的運動資訊。編碼器基於MVC（例如，通過速率-失真優化（RDO）決策）從候選列表中為每個以跳過或合併模式編解碼的PU選擇一個最終候選，並將代表所選最終候選的索引發信給解碼器。解碼器根據視訊位元流中傳輸的索引從候選列表中選擇相同的最終候選。

在導出用於AMVP、合併或跳過模式的候選列表之後，執行修剪過程以檢查候選列表中的候選之間的冗餘度（redundancy）。在去除一個或多個冗餘或不可用的候選之後，可以在編碼器和解碼器側都動態地調整候選列表的大小，並且可以使用截斷的一元二值化（truncated unary binarization）來編解碼用於指示所選最終候選的索引，以減少所需的資料位元。但是，儘管候選列表的動態大小帶來了編解碼增益，但是它也引入了潛在的解析問題（parsing problem）。當先前圖像的MV未被正確地解碼並且該MV被選擇為時間運動候選時，可能發生在編碼器側與解碼器側之間導出的候選列表的失配。因此，解析錯誤出現在候選列表中，並且可能嚴重傳播。解析錯誤可能會傳播到剩餘的當前圖像，甚至傳播到允許時間運動候選的後續幀間編碼圖像。為了防止這種解析錯誤的傳播，使用固定候選列表大小用於AMVP模式、跳過模式或合併模式以編碼器和解碼器側解耦候選列表構造和索引解析。為了補償由固定候選列表大小引起的編解碼損失，在修剪過程之後，將附加候選分配給候選列表中的空白位置。用於指示所選擇的最終候選的索引被編碼為具有最大長度的截斷的一元碼，例如，對於跳過和合併模式，在切片報頭中發信最大長度，對於HEVC中的AMVP模式，將其固定為2。 AMVP候選列表的大小是2，因此在兩個空間和一個時間運動候選的推導過程之後，僅前兩個運動候選被包括在AMVP候選列表中。

對於為以AMVP模式編解碼的塊構造的候選列表，在根據當前HEVC標準推導和修剪兩個空間運動候选和一個時間運動候選之後，添加零向量運動候選以填充候選列表中的空白位置。至於HEVC中的跳過和合併模式，在推導和修剪了四個空間運動候選和一個時間運動候選之後，如果可用候選的數量小於固定候選列表的大小，則導出三種類型的附加候選（additional candidate）並將其添加以填充合併候選列表（Merge candidate list）中的空白位置。用於填充候選列表的三種類型的附加候選包括組合的雙向預測合併候選、縮放的雙向預測合併候選和零向量合併/ AMVP候選。

通過根據預定順序將已經包括在合併候選列表中的兩個原始運動候選合併來創建合併的雙向預測合併候選。在第2圖中示出了導出用於合併候選列表的組合的雙向預測合併候選的示例。在修剪過程之後，第2圖中的合併候選列表22僅具有兩個運動候選mvL0_A，其在列表0中具有ref0，以及mvL1_B，其在列表1中具有ref0，並且這兩個運動候選都是單向預測運動候選，第一運動候選mvL0_A從過去的圖像L0R0 264（列表0中的參考圖像0）預測當前圖像262中的當前塊，第二運動候選mvL1_B從未來圖像L1R0 266（列表1中的參考圖像0）預測當前圖像262中的當前塊。組合的雙向預測合併候選組合第一和第二運動候選以形成雙向預測運動向量，該雙向預測運動向量的運動向量指向每個列表中的參考塊。通過對兩個運動向量所指向的兩個參考塊求平均，可以得出此組合的雙向預測運動候選的預測子。第2圖中的更新的候選列表24包括該組合的雙向預測運動候選作為第三運動候選(MergeIdx=2)。

通過縮放另一列表中的原始單向預測合併候選來創建縮放的雙向預測合併候選。例如，一個原始候選在列表X中具有運動向量mvLX，在列表X中具有參考圖像索引refIdxLX，用於創建雙預測合併候選，其中X為0或1。第3圖示出了導出按比例縮放的雙向預測合併候選，其中原始合併候選列表32僅具有兩個運動候選。當前圖像360中的當前塊的第一運動候選(MergeIdx=0)是列表0單向預測運動候選，以及運動向量mvL0_A和指向參考圖像L0R0 362中的參考塊的參考圖像索引ref0。為了構建縮放的雙向預測合併候選，首先將參考圖像ref0複製到列表1中的參考圖像索引ref0'中，然後通過使用參考圖像ref0和參考圖像ref0'縮放運動向量mvL0_A來計算縮放後的運動向量mvL0'_A。縮放後的運動向量mvL0'_A和參考圖像索引ref0'指向參考圖像L1R0 364中的參考塊。雙向預測合併候選(其列表0中具有(mvL0_A，ref0)且列表1中具有(mvL0'_A，ref0'))被創建並被添加到合併候選列表的第三位置(即MergeIdx=2)。類似地，將從第二運動候選(MergeIdx=1)得到的按比例縮放的雙向預測合併候選插入到合併候選列表的第四位置(即，MergeIdx=3)。第二運動候選是列表0的單向預測運動候選。縮放後的雙向預測合併候選在列表0中具有(mvL1’_A,ref1’)，在列表1中具有(mvL1_A，ref1)，指向參考圖像L0R1 366和L1R1 368中的兩個參考塊。

通過組合零向量以及參考參考索引來創建零向量合併/AMVP候選。第4圖示出了當仍然存在一個或多個空位置並且如果零向量候選沒有被複製時在合併候選列表或AMVP候選列表中插入零向量合併候選的示例。

圖像內預測模式傳統上，對於以圖像內預測模式編解碼的當前塊，幀內預測方法僅利用與當前塊相鄰的一個參考層和幀內預測模式之一來生成當前塊的預測子。 HEVC標準支持35種幀內預測模式，包括33種角度模式（angular mode）、DC模式和平面（Planar）模式。第5圖示出了用於HEVC標準的33個角幀內預測模式的預測方向，其中，H表示水平方向模式，V表示垂直方向模式。從35個幀內預測模式中選擇的幀內預測模式被明確地發信或從當前塊的上方和左側相鄰塊的先前解碼的模式推斷出。兩個相鄰塊的幀內預測模式包括在三個最可能模式（MPM）的集合中。發信第一MPM標誌以指示所選模式是否與三個MPM之一相同，如果是，則發信另一個標誌以指示三個MPM中的哪個被選擇；如果第一MPM標誌為假，則使用5位元固定長度碼字明確地發信所選擇的幀內預測模式，以從其餘32個非MPM模式中選擇一個模式。

第5圖所示的33個角度模式可以擴展到具有更多或更少角度模式的一般情況，其中每個角度模式可以由模式H + k或模式V + k表示，其中H代表水平模式的方向，V代表垂直模式的方向，k = 0，+-1，+-2，.. +-K。例如，如果將65個角度模式用於幀內預測，則k的範圍從-16到16，並且模式H-16和模式V-16是同一模式，因為此模式指示從當前塊的左上角到中心的預測方向。

在視訊編碼或解碼系統中的視訊資料處理方法，其利用最終預測子來預測當前視訊圖像中的當前塊，該方法包括：接收與當前塊相關聯的輸入資料，根據從第一候選列表中選擇的一個候選生成當前塊的運動補償的預測子，生成當前塊的第二預測子，通過組合運動補償預測子和第二預測子來生成最終預測子，並根據最終預測子對當前塊進行編碼或解碼。第一候選列表包括對第一候選列表中的多個現有候選的運動資訊求平均得到的平均候選。

在一些實施例中，當前塊可以用合併、跳過或幀內模式編解碼。

在構建第一候選列表的實施例中，子PU模式的合併候選被從第一候選列表中排除。在構造第一候選列表的另一實施例中，檢查第一候選列表中的候選的相似性以便從第一候選列表中去除具有相似運動資訊的一個或多個候選。

在一些實施例中，第一候選列表的大小等於固定候選列表的大小，並且該方法還包括：當第一候選列表中的候選的數量小於固定候選列表時，包括一個或多個附加候選以填充第一候選列表的一個或多個空位置。從組合的合併候選、縮放的合併候選和零向量合併候選中的一個或組合中選擇一個或多個附加的候選。在一個實施例中，平均候選是附加候選，並且當第一候選列表的大小小於固定候選列表大小時包括平均候選以填充第一候選列表中的空白位置。在另一個實施例中，固定候選列表大小被定義為固定值，或者以CU、CTU、切片、圖塊、圖塊組、圖像、序列參數集（SPS）或圖像參數集（PPS）級別發信。

在一些實施例中，平均候選的運動向量（MV）是通過利用相應的權重平均兩個現有候選的MV得出的。權重是固定的或通過相應MV的屬性來更改的，或者權重是在CU、CTU、切片、圖塊、圖塊組、圖像、序列參數集（SPS）或圖像參數集（PPS）級別發信的。在另一實施例中，根據當前塊的塊高度和塊寬度來確定權重，並且當塊高度大於塊寬度時，將更大的權重應用於與左相鄰塊相對應的MV。在一個實施例中，平均候選是從具有相同參考圖像的現有候選的運動資訊中得出的。

根據一些實施例，通過來自合併或跳過模式的運動補償來生成當前塊的第一預測子；第一預測子是根據從第一候選列表中選擇的一個候選生成的。在一個實施例中，第一候選列表包括從對第一候選列表中的多個現有候選的運動資訊求平均得到的平均候選。平均候選的MV是通過對第一候選列表中兩個現有候選的MV進行權重得到的平均值得出的。在示例性實施例中，根據從第一候選列表中選擇的候選，通過單向預測或雙向預測來生成當前塊的運動補償預測子。

根據一些實施例，通過來自合併或跳過模式的運動補償來生成當前塊的第二預測子；第二預測子是根據從第一候選列表或第二候選列表中選擇的一個候選生成的。在一個實施例中，第二候選列表包括從對第二候選列表中的多個現有候選的運動資訊求平均得到的平均候選。第二列表中的平均候選的MV是通過對第一或第二候選列表中的兩個現有候選的MV進行權重平均得到的。例如，從第一候選列表中選擇第一預測子，並從同一第一候選列表中選擇第二預測子。在此示例中，共享的候選列表同時用於第一和第二預測子。在另一個示例中，從第一候選列表中選擇第一預測子，而從第二候選列表中選擇第二預測子。第一候選列表包括從第一候選列表中的兩個現有候選導出的平均候選，第二候選列表包括從第一候選列表中的兩個現有候選導出的平均候選。在示例性實施例中，根據從第一候選列表中選擇的候選，通過單向預測來生成當前塊的運動補償預測子，並且還根據從第一候選列表或第二候選列表中選擇出的一個候選，通過單向預測來生成當前塊的第二預測子。在另一實施例中，根據從第一候選列表中選擇的候選，通過單向預測或雙向預測來生成當前塊的運動補償預測子。

根據一些其他實施例，通過幀內預測模式生成當前塊的第二預測子，並且根據各種實施例確定幀內預測模式。在一個實施例中，幀內預測模式是從列表中選擇的，並且列表中的幀內預測模式的數量可以根據當前塊的塊寬度、塊高度或塊大小來確定。在另一實施例中，從列表中選擇幀內預測模式，並且根據當前塊的塊寬度和塊高度確定列表中的幀內預測模式。在另一實施例中，幀內預測模式選自{平面，DC，水平，垂直}的任何子集，諸如{平面，DC}或{平面}。

本公開的各方面還提供一種用於在視訊編碼或解碼系統中使用最終預測子預測當前視訊圖像中的當前塊的視訊資料處理的設備。該裝置包括一個或多個電子電路，其被配置用於接收當前塊的輸入資料，根據從第一候選列表中選擇的一個候選，為當前塊生成運動補償預測子，為當前塊生成第二預測子，通過組合運動補償預測子和第二預測子生成最終預測子，並根據最終預測子對當前塊進行編碼或解碼。第一候選列表包括從對第一候選列表中的多個現有候選的運動資訊求平均的平均候選。

本公開的方面還提供了一種非揮發性計算機可讀介質，其存儲用於使裝置的處理電路執行視訊處理方法以對當前塊進行編碼或解碼的程式指令。通過組合包括從第一候選列表導出的運動補償預測子的多個預測子來生成最終預測子。第一候選列表包括通過對兩個或更多個MV求平均而得到的平均候選。通過閱讀下面對具體實施例的描述，本發明的其他方面和特徵對於所屬領域具有通常知識者將變得顯而易見。

在下面的詳細描述中，通過示例的方式闡述了組件和方法的許多具體細節，以提供對本發明的透徹理解。在本文的附圖中總體上描述和示出的本發明的選定實施例可以以各種不同的配置來佈置、設計和擴展。基於本文描述的教導的任何變化、導出或擴展都在本發明的保護範圍內。在一些情況下，可以在不給出細節的情況下描述與本文公開的一個或多個實施例有關的眾所周知的方法或組件。

本發明的實施例提供了通過組合用於編碼或解碼當前塊的多個預測子來生成最終預測子的新方法。一個預測子是通過幀間預測生成的，而另一個預測子是通過幀內預測或幀間預測生成的。在各種不同的實施例中，當前塊是PU、葉CU或子塊。組合多個預測子的新方法在本公開中被稱為多假設（Multi-Hypothesis，簡寫為MH）模式。 MH模式通過組合來自不同假設的多個預測子來提高傳統幀間預測的預測準確性。 MH模式是在“跳過”、“合併”或“內部”模式下應用的改進方法。根據本發明的各個實施例，通過合併多個預測子預測的當前塊用合併、跳過或幀內模式編解碼。

為了根據本發明的一些優選實施例，使用MH模式對當前塊進行編碼或解碼，通過合併或跳過模式導出用於MH模式的第一預測子。一個合併索引用於從合併候選列表中選擇一個運動候選，以產生第一預測子。在一個實施例中，第一預測子是根據所選運動候選通過單向預測或雙向預測生成的運動補償預測子。在另一實施例中，為了減少計算複雜度，只能通過單向預測來生成第一預測子。所產生的運動補償預測子被稱為MH模式的第一假設。通過從合併或跳過模式進行運動補償來生成第二預測子，或者通過從幀內預測通過幀內預測模式來生成第二預測子。第二預測子稱為MH模式的第二假設。

當支持多重假設模式時，一個或多個多重假設候選可用於跳過、合併或內部模式。當通過幀內預測模式生成第二假設時，將多假設模式稱為幀內MH模式，當通過合併或跳過模式通過運動補償生成第二假設時，將多假設模式稱為合併MH模式（MH mode for Merge）。以下實施例假定使用兩個假設來產生最終預測子。然而，這些實施例可以擴展到具有兩個以上假設的多假設模式。

MH模式的第一預測子是從自第一候選列表候選列表I（Candidate List I）中選擇的運動候選導出的。候選列表I的組成可以根據一個實施例去使用與正常合併模式（normal Merge mode）相同的候選列表，或者，根據一些其他實施例去使用與正常的合併模式不同的候選列表，可以歸因於與合併候選的可用類型或合併候選的相似性相關的一個或多個設定。在構造第一候選列表時，與合併候選的可用類型有關的一個設置示例不包括子PU模式的合併候選，因此任何子PU模式的合併候選均不包括在候選列表I內。當為MH模式構造第一候選列表時，與合併候選的相似性相關的一個設置示例排除具有相似運動資訊的合併候選。在用於合併的MH模式的情況下，可以從自第二候選列表中選擇的運動候選中導出第二預測子，並且第二候選列表的組成也可以遵循相同的設置以排除一個或多個合併候選。在一個實施例中，使用從第一候選列表中選擇的運動候選通過單向預測生成當前塊的第一預測子，並且使用從第二候選列表中選擇的運動候選通過單向預測生成用於當前塊的第二預測子。通過組合第一預測子和第二預測子，生成當前塊的最終預測子。

當第一候選列表中的可用候選的數目小於固定候選列表大小時，應用一些機制來以預定規則中的新的合併候選填充第一候選列表。固定候選列表大小預定義為固定值，或以CU、CTU、切片、圖塊、圖塊組、圖像、序列參數集（SPS）或圖像參數集（PPS）級別進行發信，以防止解析錯誤傳播。在一些實施例中，用於添加一個或多個新的合併候選的預定義規則與HEVC標準中使用的規則相同。例如，當第一候選列表中至少有一個空位置時，將組合的合併候選、縮放的合併候選或零向量合併候選中的一個或組合添加到第一候選列表。在一些其他實施例中，預定義規則通過對第一候選列表中的現有合併候選的運動資訊求平均來生成要包括在第一候選列表中的一個或多個平均候選。可以根據以下等式來計算預定義列表（例如，列表0和/或列表1）內的平均候選MV_avg 的運動向量（MV）： MV_avg = W_i * MV_i + W_j * MV_j , 其中，MV_i 和MV_j 是第一候選列表中現有候選的預定義列表中的MV，以形成具有相應權重W_i 和W_j 的平均候選。在一個實施例中，可以使用平均候選來生成一個或多個假設，即，第一預測子和第二預測子中的一個或兩個是由選自包括一個或多個平均候選的候選列表中的運動候選導出的。

用於生成平均候選的權重W_i 和W_j 是固定的或者隨相應MV的屬性而改變，或者權重在CU、CTU、切片、圖塊、圖塊組、圖像、序列參數集（SPS）或圖像參數集（PPS）級別中發信。例如，兩個權重W_i 和W_j 相等。在另一示例中，如果當前塊的塊高度大於塊寬度，則從當前塊的左相鄰塊導出的MV具有比另一MV更大的權重。類似地，如果塊寬度大於塊高度，則從當前塊的上方相鄰塊導出的MV具有更大的權重。在一些實施例中，應用一些設置以生成要包括在候選列表中的一個或多個平均候選。例如，僅允許具有相同參考圖像的候選被平均以生成平均候選。可以在來自正常合併模式的候選之後或在來自正常合併模式的候選之前插入用於合併的MH模式的一個或多個新候選。在一個實施例中，將平均候選插入第一候選列表中的預定位置。可以通過修剪過程檢查候選列表中的一個或多個現有運動候選與一個或多個新候選，以消除候選列表中的冗餘。

對於用於幀內的MH模式，通過組合運動補償預測子和幀內預測子來得出最終預測子。通過根據運動候選的運動補償來生成運動補償預測子，並且根據根據幀內預測模式的幀內預測來生成幀內預測子。在一個實施例中，一種運動候選在視訊編碼器處與一種或多種幀內預測模式匹配，並且視訊編碼器通過編碼模式決策來確定一個運動候選和匹配的幀內預測模式之一以用於預測當前塊。在一實施例中，指示當前塊的所選運動候選和所選幀內預測模式的語法元素被發信至視訊解碼器。在另一實施例中，指示當前塊的所選運動候選的語法元素被發信給視訊解碼器，並且幀內預測模式在沒有任何語法元素的情況下選擇。視訊解碼器解析並解碼當前塊的所選運動候選和幀內預測模式中的至少一個，以重構當前塊的最終預測子。

導出當前塊的幀內預測子的一些實施例從第二候選列表候選列表II中選擇幀內預測模式。根據各種實施例，候選列表II中的幀內預測模式的數量（表示為N）可以用隱式標準（implicit criteria）來改變。隱式標準的一些示例根據當前塊的塊寬度、塊高度或塊大小來確定候選列表II中的幀內預測模式的數量。在一個實施例中，針對面積小於特定閾值的塊，減少了第二候選列表中的幀內預測模式的數量。那些小塊的第二候選列表中的幀內預測模式是較大塊的原始幀內預測模式的子集。例如，大於或等於閾值的塊的原始候選列表II包括四個幀內預測模式{平面，DC，水平，垂直}，而小於閾值的塊的簡化候選列表II是以上原始候選列表II中的四種幀內預測模式的子集，例如{平面，DC}或{平面}。在另一實施例中，從第二候選列表中選擇當前塊的幀內預測模式，並且根據當前塊的塊寬度和塊高度來確定第二候選列表中的幀內預測模式。在一些實施例中，第二候選列表可以是{平面，DC，水平，垂直}的任何子集，諸如{平面，DC}或{平面}。在另一個實施例中，當當前塊的長邊（表示為L）和短邊（表示為S）滿足以下條件時，改變第二候選列表中的幀內預測模式的數量： L > T*S, 其中T是一個正數，例如1、2或4。對於滿足上述條件的那些塊，如果長邊是塊的寬度，則垂直方向模式的數量大於水平方向模式的數量，否則，水平方向模式的數量大於垂直方向模式的數量。例如，如果滿足上述條件並且長邊是塊的寬度，則從候選列表II中刪除水平模式，該列表用於為當前塊生成第二個預測子。類似地，如果滿足上述條件並且長邊是塊的高度，則從用於生成第二預測子的候選列表II中刪除垂直模式。

上面描述的用於生成多假設模式的預測子或假設的方法可以應用於用於合併的MH模式或用於幀內的MH模式。例如，當僅第一預測子從合併或跳過模式導出時，從包括一個或多個平均候選的第一候選列表生成第一預測子。在另一個示例中，當第一預測子和第二預測子均來自合併或跳過模式時，第一預測子和第二預測子均從包括一個或多個平均候選的候選列表生成。

用於預測當前塊的最終預測子是通過權重平均來組合第一和第二預測子而生成的。當根據從空間相鄰的塊導出的運動候選通過運動補償來生成第一預測子和第二預測子時，可以根據當前塊與那些空間相鄰的塊之間的像素距離來給出第一預測子和第二預測子的權重。例如，較高的權重分配給較短的像素距離，而較低的權重分配給較長的距離。通過視訊編碼器側的運動向量競爭（Motion Vector Competition，簡寫為MVC）（例如速率失真優化（RDO）決策）或視訊解碼器側的視訊位元流中傳輸的索引，從第一候選列表中選擇的候選導出第一預測子。如果第二預測子是運動補償預測子，則第二預測子是通過視訊編碼器側的MVC或視訊解碼器側的視訊位元流中傳輸的索引從第一或第二候選列表中選擇的候選導出的。換言之，根據一個實施例，當第一預測子和第二預測子都是運動補償預測子時，使用從相同候選列表中選擇的候選來導出第一預測子和第二預測子。根據另一實施例，使用從不同候選列表中選擇的候選來推導第一和第二預測子中的每一個。對於在合併模式下編解碼的當前塊，發信指示用於導出第一預測子的所選候選的索引、指示用於導出第二預測子的所選候選的索引以及當前塊的預測殘差。而對於以跳過模式編解碼的當前塊，僅發信用於導出第一和第二預測子的所選候選的索引。在一些其他實施例中，第二預測子是從在視訊編碼器側確定的或在視訊解碼器側確定的幀內預測模式導出的，對於在合併模式下編解碼的當前塊，發信指示用於導出第一預測子的所選候選的索引以及當前塊的預測殘差，和/或對於在跳過模式下編解碼的當前塊，僅發信指示所選候選的索引。

第6圖概念性地示出了用於處理由多個預測子預測的當前塊的視訊編碼或解碼系統的示例性流程圖。與當前塊相關聯的當前MV由從多個預測子導出的最終預測子編解碼。第6圖中所示的示例性實施例從兩個預測子導出最終預測子。視訊編碼或解碼系統在步驟S602中接收當前視訊圖像中的當前塊的輸入資料，並在步驟S604中根據從第一候選列表中選擇的候選，通過幀間預測來生成當前塊的運動補償預測子。第一候選列表包括從對第一候選列表中的多個現有候選的運動資訊求平均的平均候選。在一個實施例中，僅當第一候選列表中的候選的數目小於固定候選列表大小時才計算平均候選並將其添加到第一候選列表。根據一些實施例，平均候選的MV是從具有對應權重的兩個現有候選的MV得出的，並且權重可以是固定的或根據對應MV的屬性而改變。在另一個實施例中，在CU、CTU、切片、圖塊、圖塊組、圖像、SPS或PPS級來發信權重。在步驟S606中生成當前塊的第二預測子，並且根據一個實施例第二預測子是通過幀間預測生成的運動補償預測子或根據另一實施例的通過幀內預測生成的幀內預測子。可以切換步驟S604和S606的處理順序，或者可以同時執行兩個步驟。在步驟S608中，視訊編碼或解碼系統通過組合運動補償預測子和第二預測子來生成最終預測子，並在步驟S610中根據最終預測子對當前塊進行編碼或解碼。

用於在多個預測子的基礎上產生最終預測子的前述提出的視訊處理方法可以在視訊編碼器或解碼器中實現。例如，在編碼器或解碼器的幀間預測模塊、幀內預測模塊、運動補償模塊和合併候選導出模塊中的一個或組合中實現了所提出的視訊處理方法。可替代地，任何所提出的方法被實現為與編碼器或解碼器的幀間預測模塊、幀內預測模塊、運動補償模塊、合併候選導出模塊之一或其組合耦合的電路，從而提供模塊所需資訊。第7圖示出了能夠實現本發明的各種實施例的視訊編碼器700的示例性系統框圖。幀內預測模塊710基於當前圖像的重構視訊資料來提供幀內預測子。幀間預測模塊712基於來自一個或多個參考圖像的視訊資料執行運動估計（ME）和運動補償（MC）以提供幀間預測子。為了根據本發明的一些實施例在圖像間預測中對當前塊進行編碼，基於多個預測子來生成最終預測子，並且從自第一候選列表中選擇的候選中推導出一個預測子。第一候選列表包括通過對第一候選列表中的多個現有候選的運動資訊求平均而獲得的平均候選。幀間預測模塊712從第一候選列表確定候選以導出當前塊的運動補償的預測子。在一些實施例中，幀間預測模塊712還通過運動補償來導出第二預測子，並且在一些其他實施例中，幀內預測模塊710通過幀內預測來導出第二預測子。幀間預測模塊712通過組合運動補償的預測子和第二預測子來生成用於預測當前塊的最終預測子。幀間預測模塊712將當前塊的最終預測子提供給加法器716以形成預測誤差，也稱為預測殘差。根據不同實施例的生成組合預測子的不同方式，開關714選擇幀內預測子或幀間預測子。如果當前塊在跳過模式下編解碼，則預測殘差設置為零。當當前塊未被以跳過模式編解碼時，當前塊的預測殘差由變換模塊(T)718，隨後由量化模塊(Q)720進一步處理。經變換和量化的殘差信號然後由熵編碼器732進行編碼以形成視訊位元流。然後，將視訊位元流與輔助資訊(side information)打包在一起。逆量化模塊(IQ)722和逆變換模塊(IT)724對當前塊的經變換和量化的殘差信號進行處理以恢復預測殘差。如第7圖所示，通過在重構模塊(REC)726處將預測殘差加回到所選擇的預測子來將其恢復，以產生重構的視訊資料。重構的視訊資料可以被存儲在參考圖像緩衝器730中，並且被用於其他圖像的預測。從重構模塊726中恢復的重構視訊資料可能由於編碼處理而遭受各種損害；因此，在將重構的視訊資料存儲到參考圖像緩衝器730中之前，對其應環路處理濾波器(In-loop Processing Filter)(圖中示為濾波器)728，以進一步提高圖像品質。

在第8圖中示出了用於解碼從第7圖的視訊編碼器700生成的視訊位元流的對應的視訊解碼器800。視訊位元流是視訊解碼器800的輸入，並且由熵解碼器810解碼以解析和恢復經過變換和量化的殘差信號以及其他系統資訊。解碼器800的解碼過程類似於編碼器700處的重構循環，除了解碼器800僅需要幀間預測模塊814中的運動補償預測。每個塊都由幀內預測模塊812或幀間預測模塊814解碼。開關816根據解碼的模式資訊，選擇來自幀內預測模塊812的幀內預測子或來自幀間預測模塊814的幀間預測子。當當前塊由使用多個預測子組合的最終預測子預測時，幀間預測模塊814使用從第一候選列表中選擇的候選來生成第一預測子。第一候選列表包括通過對第一候選列表的多個現有運動候選的運動資訊求平均而獲得的平均候選。第二預測子是由幀內預測模塊812生成的幀內預測子或由幀間預測模塊814生成的另一運動補償的預測子。幀間預測模塊814基於第一和第二預測子得出當前塊的最終預測子。與當前塊相關聯的經變換和量化的殘差信號由逆量化模塊(IQ)820和逆變換模塊(IT)822恢復。通過在REC模塊818中將最終的預測子加回去，來重構恢復的殘差信號，以產生重構的視訊。重構的視訊由環路處理濾波器(濾波器)824進一步處理以生成最終的解碼視訊。如果當前解碼的圖像是按解碼順序的後續圖像的參考圖像，則當前解碼圖像的重構視訊也存儲在參考圖像緩衝器826中。

第7圖和第8圖中的視訊編碼器700和視訊解碼器800的各種組件可以通過硬體組件、配置為執行存儲在記憶體中的程式指令的一個或多個處理器，或硬體和處理器的組合來實現。例如，處理器執行程式指令以控制對與當前視訊圖像中的當前塊相關聯的輸入資料的接收。處理器配備有一個或多個處理核心。在一些示例中，處理器執行程式指令以執行編碼器700和解碼器800中的某些組件中的功能，並且與處理器電耦合的記憶體用於存儲程式指令、與塊的重構圖像相對應的資訊和/或編碼或解碼過程中的中間資料。在一些實施例中，記憶體包括非揮發性計算機可讀介質、例如半導體或固態記憶體、隨機存取記憶體(RAM)、只讀記憶體(ROM)、硬碟、光碟或其他合適的存儲介質。記憶體也可以是上面列出的兩個或多個非揮發性計算機可讀介質的組合。參照第7圖和第8圖所示，編碼器700和解碼器800可以在同一電子設備中實現，因此，如果在同一電子設備中實現，則編碼器700和解碼器800的各種功能組件可以被共享或重用。

用於編碼或解碼的視訊處理方法的實施例可以在集成到視訊壓縮晶片中的電路或集成到視訊壓縮軟體中的程式代碼中執行，以執行上述處理。例如，可以在要在計算機處理器，數位信號處理器(DSP)、微處理器或現場可程式化門陣列(FPGA)上執行的程式代碼中實現為當前塊生成最終預測子。這些處理器可以被配置為通過執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。

在整個說明書中，對“一個實施例”、“一些實施例”或類似語言的引用意味著結合這些實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，在整個說明書中各處出現的短語“在一個實施例中”或“在一些實施例中”並不一定全都指同一實施例，這些實施例可以單獨實現或與一個或多個其他實施例結合實現。此外，所描述的特徵、結構或特性可以在一個或多個實施例中以任何合適的方式組合。但是，相關領域的技術人員將認識到，可以在沒有一個或多個特定細節的情況下，或者在沒有其他具體方法、組件等的情況下實踐本發明。在其他情況下，未詳細示出或描述公知的結構或操作，以避免模糊本發明的方面。

在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他特定形式實施。所描述的示例在所有方面僅應被認為是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是前述描述來指示。落入申請專利範圍等同含義和範圍內的所有改變均應包含在其範圍之內。

10、12、111~115、121、122:塊

22、24、32、34:候選列表

262、360:當前圖像

264:過去的圖像

266:未來圖像

362、364、366、368:參考圖像

S602~S610:步驟

700:編碼器

710、812:幀內預測模塊

712、814:幀間預測模塊

714、816:開關

716:加法器

718:變換模塊

720:量化模塊

722、820:逆量化模塊

724、822:逆變換模塊

726、818:重構模塊

728、824:環路處理濾波器

730、826:參考圖像緩衝器

732:熵編碼器

800:解碼器

810:熵解碼器

將參考以下附圖詳細描述作為示例提出的本公開的各種實施例，其中：第1圖示出了用於構造用於HEVC標準中定義的AMVP模式、跳過模式或合併模式的候選列表的空間候選和時間候選的位置。第2圖示出了從在合併候選列表中已經存在的兩個現有的單向運動候選中導出組合的雙向預測合併候選的示例。第3圖示出了從合併候選列表中已經存在的兩個現有的單向運動候選中推導兩個縮放的雙向預測合併候選的示例。第4圖示出了導出用於合併候選列表和AMVP候選列表的零向量合併候選和零向量AMVP候選的示例。第5圖示出了HEVC標準中支持的33個角度幀內預測模式。第6圖是說明用於通過從運動補償預測子和第二預測子生成最終預測子來處理當前塊的視訊編解碼系統的實施例的流程圖。第7圖示出了根據本發明實施例的，結合了視訊處理方法的視訊編碼系統的示例性系統框圖。第8圖示出了根據本發明實施例的，結合了視訊處理方法的視訊解碼系統的示例性系統框圖。

S602~S610:步驟

Claims

一種在視訊編碼或解碼系統中處理視訊資料的方法，包括：接收與當前視訊圖像中的當前塊相關聯的輸入資料；根據從第一候選列表中選擇的一個候選生成該當前塊的運動補償預測子，其中，該第一候選列表包括對該第一候選列表中多個現有候選的運動資訊進行平均得到的平均候選，當該第一候選列表中的候選的數目小於固定候選列表大小時，包括該平均候選以填充該第一候選列表中的空白位置；為該當前塊生成第二預測子；通過組合該運動補償預測子和該第二預測子，生成該當前塊的最終預測子；以及根據該最終預測子對該當前塊進行編碼或解碼。
如申請專利範圍第1項所述之方法，其中該第一候選列表排除子預測單元模式的合併候選。
如申請專利範圍第1項所述之方法，其進一步包含檢查該第一候選列表中的候選的相似性且從該第一候選列表中移除具有相似運動資訊的一個或一個以上候選。
如申請專利範圍第1項所述之方法，其中，當該第一候選列表中的候選的數量小於固定候選列表大小時，該第一候選列表包括一個或多個附加候選以填充一個或多個空位置，並且該一個或多個附加候選從組合的合併候選、縮放的合併候選和零向量合併候選中的一個或組合中選擇。
如申請專利範圍第1項所述之方法，其中，該平均候選MV_avg的運動向量是從兩個現有候選MV_i和MV_j的運動向量以對應的權重W_i和W_j得出的。
如申請專利範圍第5項所述之方法，其中，權重是固定的或通過相應的運動向量的屬性來改變的。
如申請專利範圍第5項所述之方法，其中，在編解碼單元、編解碼樹單元、切片、圖塊、圖塊組、圖像、序列參數集或圖像參數集級別發信權重。
如申請專利範圍第5項所述之方法，其中，根據該當前塊的塊高度和塊寬度來確定權重，並且當該塊高度大於該塊寬度時，將更大的權重應用於對應於左相鄰塊的運動向量。
如申請專利範圍第1項所述之方法，其中，該平均候選是從對具有相同參考圖像的該多個現有候選的運動資訊求平均而得出的。
如申請專利範圍第1項所述之方法，其中，用於該當前塊的該第二預測子是通過來自合併或跳過模式的運動補償來生成的。
如申請專利範圍第10項所述之方法，其中，根據從該第一或第二候選列表中選擇的一個候選來生成該第二預測子，並且該第二候選列表包括從該第一或第二候選列表中多個現有候選的運動資訊進行平均得到的平均候選。
如申請專利範圍第11項所述之方法，其中，該第二候選列表中的該平均候選MV_avg的運動向量是將該第二候選列表中的兩個現有候選MV_i和MV_j的運動向量以對應的權重W_i和W_j平均得出的。
如申請專利範圍第10項所述之方法，其中，根據從該第一候選列表中選擇的候選，通過單向預測生成用於該當前塊的該運動補償預測子，並且根據從該第一或第二候選列表中選擇的一個候選，通過單向預測生成用於該當前塊的該第二預測子。
如申請專利範圍第1項所述之方法，其中，根據從該第一候選列表中選擇的候選，通過單向預測或雙預測來生成該當前塊的該運動補償預測子。
如申請專利範圍第1項所述之方法，其中，用於該當前塊的該第二預測子是通過幀內預測模式生成的。
如申請專利範圍第15項所述之方法，其中，從候選列表中選擇該幀內預測模式，並且根據該當前塊的塊寬度、塊高度或塊大小來確定該候選列表中的幀內預測模式的數量。
如申請專利範圍第15項所述之方法，其中，從候選列表中選擇該幀內預測模式，並且根據該當前塊的塊寬度和塊高度來確定該候選列表中的幀內預測模式。
一種在視訊編碼或解碼系統中處理視訊資料的裝置，該設備包括一個或多個電子電路，其被配置用於：接收與當前視訊圖像中的當前塊相關聯的輸入資料；根據從第一候選列表中選擇的一個候選生成該當前塊的運動補償預測子，其中，該第一候選列表包括對該第一候選列表中多個現有候選的運動資訊進行平均得到的平均候選，當該第一候選列表中的候選的數目小於固定候選列表大小時，包括該平均候選以填充該第一候選列表中的空白位置；為該當前塊生成第二預測子；通過組合該運動補償預測子和該第二預測子，生成該當前塊的最終預測子；以及根據該最終預測子對該當前塊進行編碼或解碼。
一種非揮發性計算機可讀介質，其存儲使裝置的處理電路執行視訊處理方法的程式指令，該方法包括：接收與當前視訊圖像中的當前塊相關聯的輸入資料；根據從第一候選列表中選擇的一個候選生成該當前塊的運動補償預測子，其中，該第一候選列表包括對該第一候選列表中多個現有候選的運動資訊進行平均得到的平均候選，當該第一候選列表中的候選的數目小於固定候選列表大小時，包括該平均候選以填充該第一候選列表中的空白位置；為該當前塊生成第二預測子；通過組合該運動補償預測子和該第二預測子，生成該當前塊的最終預測子；以及根據該最終預測子對該當前塊進行編碼或解碼。