TWI720460B - 在視訊編解碼中具有高級控制之候選重組 - Google Patents

在視訊編解碼中具有高級控制之候選重組 Download PDF

Info

Publication number
TWI720460B
TWI720460B TW108113546A TW108113546A TWI720460B TW I720460 B TWI720460 B TW I720460B TW 108113546 A TW108113546 A TW 108113546A TW 108113546 A TW108113546 A TW 108113546A TW I720460 B TWI720460 B TW I720460B
Authority
TW
Taiwan
Prior art keywords
candidate
motion vector
initial
refined
current
Prior art date
Application number
TW108113546A
Other languages
English (en)
Other versions
TW202002642A (zh
Inventor
陳俊嘉
徐志瑋
莊子德
陳慶曄
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202002642A publication Critical patent/TW202002642A/zh
Application granted granted Critical
Publication of TWI720460B publication Critical patent/TWI720460B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

應用一種基於初始MV之候選特性來選擇性地精化一初始MV之編解碼系統的方法與裝置。該初始MV之候選特性對應於在該候選列表之候選位置、在該候選列表中的候選形成的交錯的候選組合之間的聯係、或者將候選限制為屬於從一初始候選組合中移除一或複數個空間候選或所選擇的候選類型的候選之後的候選組合。依據另一方法，候選精化之搜尋係限制為在目標初始MV之周圍之8-連接位置。在另一實施例中，該候選精化使用該當前區塊之一縮減模板以及該參考區塊之一縮減的對應的模板。在另一實施例中，該候選精化之搜尋使用一適應性搜尋窗口。

Description

在視訊編解碼中具有高級控制之候選重組
本發明係有關於使用解碼器端運動向量獲取之視訊編解碼。具體來說，本發明係有關於候選運動向量精化(candidate motion-vector refinement)技術來減少所需的計算量以及提高編解碼效率。
適應性基於塊之幀內/幀間編解碼係在多種視訊編解碼系統中廣汎應用，例如高效視訊編解碼HEVC(high efficiency video coding)。當使用幀間模式時，區塊可藉由一或複數個參考區塊來預測。運動向量(MV)係與每一參考區塊相關，以識別參考區塊。在解碼器端，需要獲取與運動向量相關的資訊來獲取參考區塊。訊號傳輸所述運動資訊需要額外的頻寬。多種編解碼技術係關於高效訊號傳輸運動資訊。其中一部分MV編解碼技術如下所述。
混合模式
為了增加HEVC中運動向量(MV)編解碼的編解碼效率，HEVC具有跳過與混合模式(Skip and Merge modes)。跳過與混合模式從空間相鄰區塊(空域候選)或者時間同位區塊(時域候選)獲取運動資訊。當一PU係跳過或混合模式時，沒有運動資訊被編解碼。代替地，僅僅所選擇的候選的索引被編解碼。對於跳過模式(Skip mode)，殘餘訊號被強制為0並且不被編解碼。在 HEVC，如果一特定區塊被編碼為跳過或者混合，一候選索引被訊號傳輸來指示在候選集合中哪一候選被用於混合。每一混合的PU重新使用所選擇的候選的MV、預測方向以及參考圖像索引。
對於在HEVC參考軟體HM-4.0中的混合模式，如第1圖所示，最高四個空間MV候選係從A0、A1、B0與B1獲取，以及一個時間MV候選係從TBR或TCTR獲取(首先使用TBR，如果TBR不可用，則使用TCTR)。需注意的是，如果四個空間MV候選中的任一個不可用，則使用位置B2來獲取MV候選作為一個替代。在獲取四個空間MV候選與一個時間MV候選之後，應用消除殘餘(剪枝(pruning))來去除多餘的MV候選。如果在除去殘餘(剪枝(pruning))之後，可用MV候選的數量小於5，則獲取三種類型額外候選，並加入候選集合(即候選列表)。編碼器基於率失真最優化(rate-distortion optimization，RDO)決策針對跳過、或混合模式來在候選集合中選擇一最終候選，並傳輸索引至解碼器。
之後，跳過與混合模式可皆稱為□混合模式□以簡述。換言之，本發明中所述之□混合模式□可為跳過與混合模式。
混合模式與AMVP模式
HEVC係一新型由視訊編解碼聯合工作組(Joint Collaborative Team on video coding(JCT-VC))開發之國際視訊編解碼標準。HEVC係基於混合的基於區塊的運動補償DCT-相似編解碼架構。壓縮之基本單元，稱為編碼單元(coding unit，CU)，係一2Nx2N方形區塊，並且每一CU可遞歸地分割為四個更小CU，直到達到預先定義的最小尺寸。每一CU包含一個或者多個預測單元(PU)。
為了在HEVC中混合編解碼架構獲得最佳編解碼效率，針對每一PU具有兩種預測模式(即幀內預測與幀間預測)。對於幀內預測模式，可使用空間相鄰像素來產生方向性預測。在HEVC中，最多具有35個方向。針對幀 間預測模式，可使用時間重建幀來產生運動補償預測。具有三種模式，包含跳過、混合以及幀間高級(Inter Advanced motion vector Prediction(AMVP))模式。
當一PU是使用幀間AMVP模式時，以傳輸的運動向量差(MVD)來執行運動補償預測，MVD可與運動向量預測(Motion Vector Predictors(MVPs))一同使用來獲取運動向量(MV)。為了決定幀間AMVP模式中的MVP，使用AMVP架構來選擇在AMVP候選集合中的一運動向量預測子，所述AMVP候選集合包含兩個空間MVP以及一個時間MVP。因此，在AMVP模式中，需要編碼以及傳輸MVP之MVP索引以及對應的MVD。此外，亦需要編碼以及傳輸所述幀間預測方向，所述幀間預測方向說明在雙向與單向中的預測方向，單向為列表0(即L0)與列表1(即L1)中的預測方向，每一列表相關之參考圖像索引亦須被編碼與傳輸。
當一PU以跳過或者混合模式來編碼時，由於跳過與混合模式利用運動推斷方法(motion inference methods)，除了所選擇的候選之混合索引，沒有運動資訊被傳輸。由於針對跳過與混合模式，MVD為0，對於跳過或者混合編解碼之區塊之MV與MVP相同(即MV=MVP+MVD=MVP)。據此，跳過或者混合編解碼區塊從位於一同位圖像中空間相鄰區塊(空域候選)或者時間區塊(時域候選)獲取運動資訊。同位圖像係在列表0或者列表1中的第一個參考圖像，其在條帶頭(slice header)中訊號傳輸。針對跳過PU之情形，殘餘訊號亦被省略。為了決定針對跳過與混合模式之混合索引，使用混合機制來在混合候選集合中選擇一運動向量預測子，混合候選集包含四個空間MVP與一個時間MVP。
第1圖係針對AMVP與混合機制，用於獲取空間與時間MVP之相鄰PU之舉例說明。在AMVP中，左MVP係A0、A1中第一可用的一個，上MVP係B0、B1、B2中第一可用的一個，並且時間MVP係TBR或TCTR中第一 可用的一個(先使用TBR，如果TBR不可用，則使用TCTR)。如果左MVP不可用並且上MVP並非已縮放MVP，如果在B0、B1、與B2中存在一個已縮放MVP，則可獲取第二上MVP。在HEVC中AMVP之MVP之列表尺寸係2。因此，在兩個空間MVP與一個時間MVP獲取處理之後，僅僅兩個第一MVP可被包含在MVP列表中。如果在移除殘餘之後，可用MVP的數量小於2，零向量候選被加入候選列表。
對於跳過與混合模式，如第1圖所示，最多四個空間混合索引從A0、A1、B0與B1中獲取，以及一個時間索引從TBR或TCTR中獲取(TBR被首先使用，如果TBR不可用，則使用TCTR)。需注意，如果四個空間混合索引中任一個不可用，則使用位置B2來獲取混合索引作為一個替代。在四個空間混合索引與一個時間混合索引獲取處理之後，應用移除殘餘來移除殘餘混合索引。如果在移除殘餘之後，可用混合索引的數量小於5，則獲取三種類型的額外候選，並將其加入候選列表。
額外雙向混合候選係藉由使用初始混合候選來創造。額外候選被劃分為三種候選類型：
1.組合的雙向預測混合候選(候選類型1)
2.縮放的雙向預測混合候選(候選類型2)
3.0向量混合/AMVP候選(候選類型3)
在候選類型1中，組合的雙向預測混合候選係藉由組合初始混合候選創造。具體來說，在初始候選中的兩個候選，其具有mvL0(在列表0中運動向量)與refIdxL0(在列表0中參考圖像索引)或者mvL1(在列表1中運動向量)與refIdxL1(在列表1中參考圖像索引)，被用來創造雙向混合候選。第2圖係組合的雙向預測混合候選之獲取過程之舉例說明。候選集合210對應於一初始候選列表，其包含在L0中的mvL0_A、ref0(231)以及在L1中的mvL1_B、ref0(232)。 雙向MVP233可藉由組合在L0與L1中的候選而形成。候選集合220對應於一修正候選列表。
在候選類型2中，已縮放的雙向預測混合候選係藉由縮放初始混合候選而產生。具體來說，在初始候選中的一候選，其具有mvLX(在列表X中的運動向量)與refIdxLX(在列表X中的參考圖像索引)，X可為0或者1，係用來產生雙向預測混合候選。舉例來說，候選A係列表0雙向預測，其具有mvL0_A與ref0，ref0係首先複製至在列表1中的參考索引ref0’。之後，mvL0’_A係藉由以ref0與ref0’來縮放mvL0_A來計算。然後，雙向預測混合候選，其具有在列表0中的mvL0_A與ref0以及在列表1中的mvL0’_A與ref0’，被創造並添加至混合候選列表。mvL1_A與ref1可進行相似處理。第3圖係縮放的雙向預測混合候選的獲取過程之舉例說明，其中候選列表310對應於初始候選列表以及候選列表320對應於擴展的候選列表，該擴展候選列表包含兩個產生的雙向預測MVP。
在候選類型3中，0向量混合/AMVP候選係藉由組合0向量與可被參考的參考索引而產生。第4A圖係增加0向量混合候選的舉例說明，其中候選列表410對應於初始混合候選列表並且候選列表420對應於藉由增加0候選之擴展混合候選列表。第4B圖係增加0向量AMVP候選之舉例說明，其中候選列表430(L0)與432(L1)對應於初始AMVP候選列表以及候選列表440(L0)與442(L1)對應於藉由增加0候選的擴展的AMVP候選列表。如果0向量候選沒有被複製，其加入混合/AMVP候選列表。
統一混合列表
在現代編解碼技術中，在混合/跳過模式中，具有超出HEVC之多種候選。舉例來說，在檔案JVET-J0018(□Description of SDR video coding technology proposal by MediaTek□,Joint Video Experts Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,10th Meeting：San Diego,US,10-20 Apr.,2018)中，在混合列表中具有多種類型的混合候選，例如仿射-繼承(affine-inherited)、仿射-角落(affine-corner)、空域、時域、中-空域等等。
雙綫性模板(Bilateral Template)MV精化或者解碼器端MV精化(DMVR)
雙向時域運動向量精化(Bilateral Template MV精化，BTMVR)也被用於解碼器端MV精化(DMVR)。舉例來說，在JVET-D0029(Xu Chen,et al.,□Encoder Side MV精化Based on Bilateral Template Matching□,Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,4th Meeting：Chengdu,CN,15-21 October 2016,Document：JVET-D0029)，記載了基於雙向時域匹配之解碼器端運動向量精化(DMVR)。BTMVR之處理係在第5圖中顯示，其中區塊510係當前區塊。決定當前區塊510之初始運動向量MV0520a與MV1520b。舉例來說，初始運動向量可從混合候選中獲取。BTMVR過程係應用於雙向預測區塊。換言之，MV0指向L0參考圖像570a並且MV1指向L1參考圖像570b。在L0參考圖像570a中的L0參考區塊530a係藉由在L0參考圖像570a中當前區塊對應位置510a與MV0520a來定位。相似地，在L1參考圖像570b中的L1參考區塊530b係藉由在L1參考圖像570b中當前區塊對應位置510b與MV1520b來定位。模板540係藉由使用分別由MV0520a與MV1520b指向的兩個參考區塊(530a與530b)之雙向預測來產生，如第5圖所示。在一實施例中，雙向模板540係作為L0區塊530a與L1區塊530b之平均來計算，但其並非本實施例之限制。在下一步驟中，其使用雙向模板來實現整數運動估計ME(Motion Estimation)與分數ME搜尋，該分數ME搜尋係在L0參考圖像之L0參考區塊周圍以P像素xQ像素為搜尋範圍，並且尋找最小ME成本之位置。該ME成本具有多種實施例，一實施例係SAD(絕對差之和，Sum of Absolute Difference)，但並不限於該實施例。最小ME成本之最終位置被設為L0之精化MV。相似的步驟係應用於定位L1之精化MV。舉例來說，使用該模板作為一新當前區塊並且執行運動估計來搜尋分別在L0參考圖像570a與L1參考圖像570b中一最佳匹配區塊(即精化的參考區塊550a與精化的參考區塊550b)，如第5圖所示。精化的MV稱為MV0’560a與MV1’560b，如第5圖所示。然後，精化的MV(MV0’與MV1’)被用來產生當前區塊之一最終雙向預測區塊。
PMVD模式或者FRUC模式
PMVD(基於模型的運動向量獲取，Pattern-based MV Derivation)模式，亦稱為PMMVD(模型匹配的運動向量獲取，Pattern Matched MV Derivation)或者FRUC(幀-率上-變換，Frame-Rate Up-Conversion)模式係在JVET測試模型3(Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11：3rd Meeting：Geneva,CH,26 May-1 June 2016,Document Title：Algorithm Description of Joint Exploration Test Model 3)中公開之一編解碼工具，其可使用L-型模板或者雙向模板來精化混合模式之MV並且節約MVD之位元。
一種視訊編解碼方法與裝置。依據該方法：接收在一當前圖像中的一當前區塊之相關資料；從一候選列表決定該當前區塊之一或複數個初始運動向量，其中基於該當前區塊之一或複數個相鄰區塊之運動資訊來決定至少一候選；選擇性地基於至少一初始運動向量之候選特性精化該至少一初始運動向量，來形成至少一精化的運動向量，以及使用包含該至少一修正運動向量之一修正的候選列表，來編碼或者解碼該當前區塊或者一或複數個該當前區塊之當前運動向量。
在一實施例中，該至少一初始運動向量之該候選特性對應於在該 候選列表中的候選位置。舉例來說，如果該至少一初始運動向量係在後部候選列表中，該至少一初始運動向量係被精化。在另一實施例中，該至少一初始運動向量之該候選特性對應於在該候選列表中的複數個候選形成的複數個交錯的候選組合之間的聯係。舉例來說，如果該至少一初始運動向量係在一第一交錯的組合或者一第二交錯的組合中，該至少一初始運動向量被精化，其中該第一交錯組合具有偶數數值之候選，該第二交錯的組合具有奇數數值之候選。在另一實施例中，該至少一初始運動向量之該候選特性對應於屬於一候選組合的限制的候選，該候選組合係藉由從一初始候選組合中移除一或複數個空間候選、或一或複數個選擇的類型的候選來形成的。
依據另一方法，針對當前區塊決定一或複數個初始運動向量，其中從一候選列表決定該當前區塊之一或複數個初始運動向量，其中基於該當前區塊之一或複數個相鄰區塊之運動資訊來決定至少一候選。藉由搜尋在一目標初始運動向量周圍的8-連接位置，來精化該目標初始運動向量，來形成一精化的目標運動向量，其中該8-連接位置對應於在一水平方向以及/或者一垂直方向距離該目標初始運動向量1-像素距離之複數個相鄰位置；以及使用包含該精化的目標運動向量之一修正的候選列表，來編碼或者解碼該當前區塊或者一或複數個該當前區塊之當前運動向量。在一實施例中，如果該目標初始運動向量具有一分數部分，該目標初始運動向量精化為一整數像素值。在另一實施例中，該精化一目標初始運動向量的步驟係藉由使用在一當前迭代中的精化的目標運動向量作為在一下一次迭代中的目標初始運動向量來迭代執行。
依據另一方法，決定該當前區塊之一第一初始運動向量與一第二初始運動，其中該第一運動向量指向在列表0中的一第一圖像中的一第一參考區域，並且該第二運動向量指向在列表1中的一第二圖像中的一第二參考區域；依據雙綫性搜尋來分別精化該第一初始運動向量與該第二初始運動向量為一第 一精化運動向量與一第二精化運動向量，該雙綫性搜尋使用從該第一初始參考區域獲取的一修正的第一參考區域以及從該第二初始參考區域獲取的一修正的第二參考區域；以及使用包含對應於該第一精化運動向量與該第二精化運動向量的一解碼器端獲取運動向量，來編碼或者解碼該當前區塊或者一或複數個該當前區塊之當前運動向量。
在一實施例中，該第一初始參考區域與該第二初始參考區域分別對應一第一參考區塊與一第二參考區塊，並且該修正第一參考區域與該修正第二參考區域分別對應於該第一參考區塊與該第二參考區塊中的複數個部分像素或者子-采樣像素。在另一實施例中，該第一初始參考區域與該第二初始參考區域分別對應一第一參考區塊與一第二參考區塊，並且該修正的第一參考區域對應於該第一參考區塊之一第一擴展區域並且該修正的第二參考區域對應於該第二參考區塊之一第二擴展區域。在另一實施例中，一雙綫性模板係基於該修正的第一參考區域與該修正的第二參考區域來獲取，其中該雙綫性搜尋使用該雙綫性模板與該第一初始參考區域周圍之一第一候選精化參考區域之間之絕對差之和作為成本標準來獲取該第一精化運動向量，以及該雙綫性搜尋使用該雙綫性模板與該第一初始參考區域周圍之一第一候選精化參考區域之間之絕對差之和作為成本標準來獲取該第二精化運動向量。
依據另一實施例，決定該當前區塊之一或複數個初始運動向量，其中至少一初始運動係基於該當前區塊之一或複數個相鄰區塊之運動資訊來決定；藉由在一搜尋窗口中搜尋複數個位置來精化一目標初始運動向量以形成一精化目標運動向量，其中該搜尋窗口之搜尋範圍係適應性決定的；以及使用包含該精化目標運動向量的一修正的候選列表，來編碼或者解碼該當前區塊或者一或複數個該當前區塊之當前運動向量。
在一實施例中，該搜尋窗口之搜尋範圍係依據該當前區塊之區塊 大小決定的。在另一實施例中，該搜尋窗口之搜尋範圍係依據該初始目標運動向量之一候選類型來適應性決定的。
210、220:候選集合
231、232:ref0
233:雙向MVP
310、320、410、420、430、432、440、442:候選列表
510:當前區塊
510a、510b:當前區塊對應位置
520a:MV0
520b:MV1
530a:L0參考區塊
530b:L1參考區塊
540:雙向模板
550a 550b:精化的參考區塊
560a、570a:L0參考圖像
560b、570b:L1參考圖像
610-640、710-740、810-840、910-940:步驟
第1圖顯示了針對AMVP與混合機制用於獲取空間與時間MVP之相鄰PU。
第2圖顯示了組合的雙向預測混合候選之獲取處理之舉例說明；第3圖顯示了根據本發明一實施例的縮放的雙向預測混合候選之獲取處理之舉例說明，其中左側的候選列表對應於一初始候選列表並且右側的候選列表對應於擴展的候選列表，該擴產的候選列表包含兩個產生的雙向預測MVP；第4A圖顯示了增加0向量混合候選之舉例說明，其中左側的候選列表對應於一初始候選列表並且右側的候選列表對應於擴展的候選列表，該擴產的候選列表增加0向量候選；第4B圖顯示了增加0向量AMVP候選之舉例說明，其中上部的候選列表對應於一初始AMVP候選列表(左側為L0，右側為L1)並且底部的候選列表對應於擴展的AMVP候選列表(左側為L0，右側為L1)，該擴產的候選列表增加0向量候選；第5圖顯示了雙綫性模板MV精化(即解碼器端運動向量精化(DMVR))處理之舉例說明；第6圖顯示了根據本發明一實施例的依據該初始MV之候選特性來選擇性精化初始MV之編解碼系統之示例性流程圖。
第7圖顯示了根據本發明一實施例的藉由在初始MV之8-連接位置搜尋來選擇性精化初始MV之編解碼系統之示例性流程圖；第8圖顯示了根據本發明一實施例的使用基於在一L0圖像中一修正的第一參考 區域與在一L1圖像中的一修正的第二參考區域來雙綫性搜尋來精化初始L0 MV與初始L1 MV之編解碼系統之示例性流程圖。
第9圖顯示了顯示了根據本發明一實施例的使用一適應性搜尋窗口之編解碼系統之示例性流程圖。
以下實施例為實現本發明之最佳實施例。以下描述係用於舉例說明本發明之通用精神，而並非係本發明之限制。本發明之範圍係由申請專利範圍決定。
在本發明中，PMVD模式並非限制在之前所述之JVET檔案之特定PMVD，任意的使用基於模型精化作為一種PMVD類型之幀間模式工具可視為PMVD或者FRUC模式。具有多種類型PMVD或者FRUC。在一實施例中，PMVD發送PMVD混合索引來指示哪一個混合候選被選擇來進行MV精化，其中基於原始PMVD，解碼器必須嘗試多有的混合候選來選擇最佳開始MV。在另一實施例中，針對模板模式MPMVD(template mode PMVD),PMVD禁用(disable)該子-CU精化，但依然允許PMVD雙向模式。在本發明中，提供了PMVD之多種改進。具體來說，本發明如下所述提供多種候選精化技術。
通常□預測+索引□算法架構
本發明可投射至具有兩部分處理之架構。第一部分係關於預測子(predictor)之一候選列表(或一集合)，藉由繼承相鄰資訊或者處理相鄰資訊。第二部分係發送一或者複數個索引(例如混合索引或者AMVP索引)來指示在候選列表中的相鄰區塊之候選被選擇來繼承(inheritance)。本檔案中所述之候選係定義為一通常□預測+索引□算法架構之候選。在一些情形下，第二部分係發送有關於所述索引之邊側訊息(side information)。該邊側訊息可以是MVD (Motion Vector Difference)或者一些其他訊息。所述邊側訊息對於一些實施例係可選擇的。如果在該列表中總是選擇一固定的索引，該索引可不需發送。
該混合/跳過模式與AMVP模式屬於□預測+索引□架構。該架構可使用其他編解碼工具。舉例來說，其可結合兩個或者更多個候選至一候選。在另一舉例中，初始候選可視為一初始MV預測子並且運動估計搜尋使用當前區塊像素來尋找一最終MVD。在這一舉例，邊側訊息係MVD。在另一舉例中，初始候選可視為一初始MV預測子並且運動估計搜尋使用當前區塊像素來尋找針對L0之一最終MVD。對於L1預測子，L1預測子可使用初始候選。在又一舉例說明中，初始候選可視為一初始MV預測子並且運動估計搜尋使用當前區塊像素來尋找針對L1之一最終MVD，L0預測子可使用初始候選。在又一舉例說明中，初始候選可為初始MV預測子並且MV精化搜尋使用上或者左相鄰像素作為搜尋模板來找到最終預測子。在又一舉例說明中，該初始後續可用作初始MV預測子並且MV精化搜尋使用雙向模板(例如由候選MV或者鏡像MV指示的，在L0與L1參考圖像中的像素)作為搜尋模板來尋找一最終預測子。
在本檔案中，術語□候選□可表達混合/跳過候選、AMVP候選與通常的□預測+索引□算法架構。該□預測+索引□算法架構在上述舉例中並沒有限制。
為了增進編解碼效率，揭露一命名為候選重組(Candidate Reorganizing)之方法。候選重組包含兩個處理：其一係候選精化(Candidate Refinement)，其二係候選重排序(Candidate Reorder)。該候選重排序簡要說明如下。
該候選重排序重新佈置在候選列表中的候選的順序，來達到更佳之編解碼效率。該重排序規則依據針對當前候選之一些預先計算，例如當前CU之上相鄰條件(例如模式或者MV)或者左相鄰條件(例如模式或者MV)、當 前CU之形狀、或者上/左L-型模板匹配、或者雙向模板。
候選精化
該候選精化過程精化該複數個候選之複數個MV。其首先選擇一些候選，接著針對一目標候選，其使用一些訊息來精化該當前候選之MV。精化所使用之該些訊息包含當前CU之上相鄰條件(例如模式或者MV)或者左相鄰條件(例如模式或者MV)、當前CU之形狀、或者上/左L-型模板匹配、或者雙向模板。
候選選擇之一些實施例如下所示。
˙在該候選列表中僅僅選擇一候選。該選擇之候選之位置可為第一候選、第二候選或者其他在候選列表中的固定位置。
˙在候選列表中僅僅選擇一候選。該選擇之候選之位置可在位元流頭中訊號發送、或在序列層級、圖像層級、條帶層級或者CU層級來編解碼。
˙在候選列表中選擇N個候選，其中N係一整數。所選擇之候選之位置可為在該候選列表中的預先定義之位置。在另一舉例說明中，所選擇之後續之位置可在位元流頭中訊號發送、或者在序列層級、圖像層級、條帶層級或者CU層級來編解碼。在另一實施例中，所選擇之候選之位置可限制為具有小於一閾值THD之索引。
˙在候選列表中選擇一個或者複數個候選。
所選擇之候選之精化處理
精化之訊息包含當前CU之上相鄰條件(例如模式或者MV)或者左相鄰條件(例如模式或者MV))、當前CU之形狀、或者上/左L-型模板匹配、或者雙向模板。在一實施例中，解碼器計算MV精化，該計算規則必須在編碼器與解碼器之間匹配。在另一實施例中，解碼器不需要計算MV精化。可替代地，編碼器計算MV精化並且將其訊號發送至解碼器。在一實施例中，該編碼 器以一固定的精化MV步長(refined MV step)插入新的候選，例如MVX±1、MVY±1至候選列表，並且發送所選擇的候選的索引至該解碼器。可替代的，該編碼器可判斷搜尋範圍或者搜尋步驟的數量，並且訊號通知該解碼器來幫助減少解碼器複雜度。其他的編碼器預計算精化之部分並且發送訊號至解碼器來幫助解碼器節省運動時間的方法也可被使用。
在後續部分，提供針對L-型模板匹配與雙向模板匹配之一些候選精化情形之實施例。
實施例：基於L-型模板匹配之候選精化
L-型模板包含複數個包圍L-型像素。複數個包圍L-型像素係當前CU之左與/或上相鄰像素(標識為當前L-型)與參考CU之左與/或上相鄰像素(標識為參考L-型)。
在一些模板匹配方法中，使用在參考L-型與當前L-型之間之SAD(Sum of Absolute Differences)或SSD(Sum of Squared Differences)之匹配準則來精化當前候選之複數個MV。該精化處理搜尋當前候選之複數個精化MV，計算對應的模板匹配，並且使用基於當前候選的複數個不同精化MV之模板匹配之最終值作為該精化的MV。該精化的MV可具有一分數MV部分。在此情形下，需要雙向或者N-抽頭插值來獲取像素值作為當前與參考L-型之分數像素。
實施例：基於雙向模板之候選精化
依據該實施例，雙向像素被用於模板匹配。舉例來說，雙向模板作為雙向候選。對於當前候選，L0 MV參考區塊與L1 MV參考區塊係雙向-模板。
除了用於精化之訊息(例如L-型模板、雙向模板或者其他訊息)，該搜尋精化的MV之過程可通常使用一WxH搜尋窗口(W：搜尋窗口寬度，H：搜尋窗口高度)。該基於精化之搜尋範圍需要大量計算。因此，為了減少計算量， 以下提供減少精化搜尋之計算之技術。
實施例：基於模板之整-像素
在該實施例中，不具有針對參考模板之雙綫性或者N-抽頭插值。儘管來自精化搜尋之該精化的MV可具有一分數部分，該實施例可將該精化的MV視為一整數MV來獲取該參考L-型或者獲取該雙-方向模板或其他訊息用於精化。可藉由四捨五入(rounding)至整數來將該分數MV轉化為最近的整數MV。在該實施例中，該MV精化係一基於整數-MV之途徑。因此，該精化差(例如MV差，以精化該初始MV)亦係一整數MV。在另一實施例中，其精化該初始MV至一整數MV，其中該初始MV可具有一分數部分。該實施例可應用至L-型模板或雙-方向模板。
實施例：1-D之搜尋模型(僅僅水平方向)
在該實施例中，不使用WxH搜尋窗口，所提出之精化僅僅在水平方向精化該MV。在該實施例中，該MV精化可為基於整數MV的，其中該精化差係一整數MV或者該MV係精化至一整數MV。該初始MV可具有一分數部分。
實施例：1-D之搜尋模型(僅僅垂直方向)
在該實施例中，不使用WxH搜尋窗口，所提出之精化僅僅在垂直方向精化該MV。在該實施例中，該MV精化可為基於整數MV的，其中該精化差係一整數MV或者該MV係精化至一整數MV。該初始MV可具有一分數部分。
實施例：僅1-D之搜尋模型(混合水平與垂直方向)
在該實施例中，不使用WxH搜尋窗口，所提出之精化僅僅針對一些候選在水平方向精化該MV，而針對其他候選在垂直方向精化。在該實施例中，該MV精化可為基於整數MV的，其中該精化差係一整數MV或者該MV 係精化至一整數MV。該初始MV可具有一分數部分。
實施例：簡化搜尋模型I
在該實施例中，不使用WxH搜尋窗口，所提出之精化僅僅具有一十分簡化之精化模型，例如4-連接模型(即(MVx-1,MVy)、(MVx+1,MVy)、(MVx,MVy-1)與(MVx,MVy+1))僅僅具有1-像素差之精化。在另一舉例說明中，該十分簡化精化模型對應8-連接模型(即(MVx-1,MVy-1)、(MVx-1,MVy)、(MVx-1,MVy+1)、(MVx,MVy-1)、(MVx,MVy+1)、(MVx+1,MVy-1)、(MVx+1,MVy)與(MVx+1,MVy+1))僅僅具有1-像素差之精化。在該實施例中，該MV精化可為基於整數MV的，其中該精化差係一整數MV或者該MV係精化至一整數MV。該初始MV可具有一分數部分。在一實施例中，該精化一目標初始MV的步驟係藉由使用在一當前迭代中的精化的目標MV作為在一下一次迭代中的目標初始MV來迭代執行。
實施例：簡化搜尋模型II
在該實施例中，不使用WxH搜尋窗口，所提出之精化僅僅具有一十分簡化之精化模型，例如頂-底(即(MVx,MVy-1)與(MVx,MVy+1))，或者左-右(即(MVx-1,MVy)與(MVx+1,MVy))僅僅具有1-像素差之精化。在該實施例中，該MV精化可為基於整數MV的，其中該精化差係一整數MV或者該MV係精化至一整數MV。該初始MV可具有一分數部分。
實施例：2步驟搜尋
在該實施例中，不使用WxH搜尋窗口，所提出之精化使用兩步驟之精化。在步驟1，其僅僅精化水平方向。在水平方向找到最優精化MV之後，其僅僅精化垂直方向。
在另一實施例中，在步驟1，其僅僅精化垂直方向。在垂直方向找到最優精化MV之後，其僅僅精化水平方向。
在該實施例中，該MV精化可為基於整數MV的，其中該精化差係一整數MV或者該MV係精化至一整數MV。該初始MV可具有一分數部分。
實施例：适应性搜尋範圍
在該實施例中，不使用在傳統的候選精化之固定的WxH搜尋窗口，所提出的精化使用適應性搜尋範圍。不同的候選之搜尋範圍可依據CU大小、圖像大小、候選類型或者其他資訊來適應性選擇。在另一實施例中，所選擇的範圍具有M類型(M係大於或者等於1之整數)並且M可從編碼器至解碼器訊號發送。
在另一實施例中，不同的候選之搜尋範圍可依據角落空間相鄰MV之多樣性(diversity)來選擇。舉例來說，如果左-底角落空間相鄰以及頂-右角落空間相鄰之MV差係高(例如高於一預先定義閾值)，該搜尋範圍調整為較高。在另一舉例說明中，如果左-底角落空間相鄰以及頂-右角落空間相鄰之MV差係低(例如低於一預先定義閾值)，該搜尋範圍調整為較低。
實施例：精化之開-関控制
在該實施例中，並非精化每一CU，當當前CU大於一預先定義閾值時，關閉該精化。在另一實施例中，當當前CU小於一預先定義閾值時，關閉該精化。
上述實施例關注於減少精化搜尋範圍之計算量。亦提供與模板結構改進相關之實施例。與L-型模板以及雙向模板改進相關之實施例提供如下。
L-型模板匹配之適應性模板
L-型模板包含複數個圍繞L-型像素。該複數個圍繞L-型像素係當前CU之左與/或上相鄰像素(標識為當前L-型)以及參考CU之左與/或上相鄰像素(標識為參考L-型)。候選精化可依據該L-型模板匹配，以在編碼器端以及/ 或者解碼器端精化該MV。一些基於L-型模板之增進候選精化之技術提供如下。
實施例：模板之整數像素
針對具有分數部分之MV，針對參考CU之左與/或上相鄰像素，並非使用雙向或者N-抽頭插值，來獲取分數像素之像素值，而是MV之整數部分可用於獲取參考CU之L-型模板之整數像素，而不使用雙-綫性插值或者N-抽頭插值。在另一實施例中，具有一分數部分之該MV四捨五入取整至最接近的整數MV，來獲取參考CU之L-型模板之整數像素，而不使用雙-綫性插值或者N-抽頭插值。
實施例：僅僅L-型之上部
一傳統L-型模板通常包含上相鄰像素與左相鄰像素。然而，依據本實施例，該模板僅僅使用上相鄰像素作為當前CU與參考CU之模板，以節省存儲器頻寬。
實施例：僅僅L-型之左部
一傳統L-型模板通常包含上相鄰像素與左相鄰像素。然而，依據本實施例，該模板僅僅使用左相鄰像素作為當前CU與參考CU之模板，以節省存儲器頻寬。
實施例：適應性使用上或左部
一傳統L-型模板通常包含上相鄰像素與左相鄰像素。然而，依據本實施例，該模板適應性僅僅使用上相鄰想做或者僅僅使用左相鄰像素。在一實施例中，針對寬度大於(或大於等於)高度之CU，該模板僅僅使用上相鄰像素。在另一實施例中，針對寬度小於(或小於等於)高度之CU，該模板僅僅使用左相鄰像素。在另一實施例中，該模板針對一些CU適應性使用上相鄰像素，而針對其他CU使用左相鄰像素。
實施例：模板之適應性厚度
針對L-型模板，提供一種適應性厚度模式。該厚度定義為該L-型模板之上部分之像素列(row)之數量或者該L-型模板之左部分之像素行(column)之數量。該適應性厚度模式基於一些條件(例如當前PU大小或者當前PU形狀(寬度或高度)或當前條帶之QP(量化參數quantization parameter))來改變上厚度或者左厚度。舉例來說，如果當前PU高度大於或者等於32，該上厚度可等於2，如果該當前PU高度小於或者等於32，該上厚度等於1。
實施例：模板之子-采樣(Sub-Sampling of Template)
在該實施例中，其子-采樣該L-型模板。換言之，其針對該L-型模板之上部分以及/或者左部分之部分像素以子-采樣方式丟棄。對於2：1子-采樣，舉例來說，其可水平子-采樣該L-型模板之上部分，例如丟棄L-型模板之上部分之奇水平位置像素或者偶水平位置像素。
雙向模板MV精化之適應性模板
在該部分中，如下所示為與雙向模板MV精化之適應性模板。
針對一當前候選，該L0 MV參考區塊與該L1 MV參考區塊被用於雙向模板推導。在一實施例中，該模板係藉由平均L0 MV參考區塊與L1 MV參考區塊來推導。在該L0參考圖像中，圍繞L0 MV參考CU附近，使用該模板來精化該L0 MV，以執行運動估計。在該L1參考圖像中，圍繞L1 MV參考CU附近，使用該模板來精化該L1 MV，以執行運動估計。該推導處理可在編碼器端與解碼器端中完成。
在MV精化之一實施例中，該L0 MV鏡像至L1，並且L0 MV精化係精化至找到L0 MV參考區塊與鏡像L1 MV參考區塊之間的最佳匹配。在另一方式中，該L1 MV係鏡像至L0，並且L1 MV係鏡像至找到L1 MV參考區塊與鏡像L0 MV參考區塊之間的最佳匹配。
如下詳述雙向模板MV精化之增進性能或者減少計算。
實施例：模板之整數像素
在雙向模板中，不針對參考CU之L0(或L1)MV參考區塊應用雙-綫性插值或者N-抽頭插值來針對具有分數部分的MV獲取在分數像素之像素值，該MV之整數部分係用來獲得該參考CU之整數像素而不使用雙-綫性插值或者N-抽頭插值。在另一實施例中，該MV四捨五入取整為最接近的整數MV，並且用於獲取參考CU之整數像素而不使用任何的雙綫性插值或N-抽頭插值。
實施例：子-采樣
該雙向模板可針對精化處理進行子-采樣。
實施例：使用模板之部分像素
雙向模板之部分像素可用於該精化處理。舉例來說，該雙向模板之上部一半像素可用於該精化處理。
組合的MV精化與候選重排序
候選重排序
候選重排序係藉由重新排序在候選列表中的候選順序來獲取更佳的編解碼效率。該重排序規則係基於針對當前候選之一些預先計算，例如當前CU之上相鄰條件(例如模式或者MV)或者左相鄰條件(例如模式或者MV)、當前CU之大小、當前CU形狀或者上/左L-型模板匹配。一些候選被選擇用來重新排序，並且該些候選之成本被預先計算。該成本被稱為該後續之猜測-成本，並且較低的成本意味著較好的候選。最終，該選擇的候選係基於該預先計算的成本被重新排序，其中具有最低成本的候選係佈置在列表中的前列。
如下一些實施例提供組合的MV候選精化與候選重排。
實施例：重排之後精化
在該實施例中，候選重排係在候選精化之前應用。在該情形下， 該候選精化可選擇具有高匹配成本之候選進行精化，其中該匹配成本係在候選重排處理過程中被儲存。
實施例：精化之後重排
在該實施例中，候選精化係在候選重排之前應用。
實施例：重排與精化之間的匹配結果共享
在該實施例中，該模板資料可在MV候選精化與候選重排之間重複使用。舉例來說，候選重排之該L-型模板匹配結果可被儲存並被MV候選精化共享。在另一舉例中，MV候選精化之該L-型模板匹配結果可被儲存並且由候選重排共享。
實施例：重排或者精化之適應性選擇
在該實施例中，其依據在當前CU之一或複數個條件來適應性應用候選精化或者候選重排。舉例來說，如果在當前CU候選列表之複數個候選之□某候選類型□之數量小於一閾值，則選擇候選精化。否則，選擇候選重排。在另一舉例說明中，如果在當前CU候選列表之□某候選類型□之複數個候選之具有相似的MV，則選擇候選精化。否則，選擇候選重排。
實施例：重排與精化的混合結果
在該實施例中，聯合應用了候選精化與候選重排。該處理選擇N個候選來計算重排成本，並且選擇M個候選來計算精化搜尋成本。每一精化搜尋成本對於於在一選擇的位置之成本。該N個針對重排之候選可被重排。然而，其中一些(例如N2，N2<N)可被精化的候選(即從用於精化的M個候選獲得的精化結果)來替代。
舉例來說，依據本實施例之方法可選擇在混合列表中的5個空間候選(標識為S0、S1、S2、S3、S4)來重排，並且選擇一個(例如S0)來精化。然後，在混合列表中的S0、S1、S2、S3與S4的位置可被重排，之後，一候選(例 如S4)可被精化的S0結果替代。
上述提供之方法可在編碼器以及/或者解碼器中實現。舉例來說，所提出之方法可在編碼器之一幀間預測模組以及/或者幀內預測模組、以及/或者解碼器之幀間預測模組(以及/或者幀內預測模組)中實現。
後部候選(Latter Candidates)之候選精化
在該方法中，候選精化可代表DMVR、PMVD-基於模板、PMVD-基於雙綫性、混合精化。
本發明之主要精神係針對在候選列表中的後部候選執行候選精化，而針對前部候選(例如在候選列表中的候選0與候選1)不精化。後部候選係接近候選列表結尾之候選。該方法係針對通常□預測+索引□算法架構可用。舉例來說，針對候選精化，僅僅後部候選執行精化，而前部候選(例如候選列表中的候選0與候選1)不執行精化。
在一實施例中，可預先定義一閾值THD。如果候選具有一等於或者小於該預先定義的閾值之索引，該候選將不執行精化。如果該候選具有一大於該預先定義之閾值之索引，該候選將被精化。
在另一實施例中，該處理可首先移除一或複數個其索引等於或者小於該預先定義的閾值之候選。剩餘候選形成一新的候選列表，以執行候選精化功能(例如DMVR、或PMVD-基於模板、或PMVD-基於雙綫性、或混合精化)。
在另一實施例中，該閾值係預先定義的，具有等於或者小於該預先定義的閾值的索引的候選將不執行精化。對於具有大於閾值的索引的候選，該處理比較當前候選的運動資訊與具有等於或者小於閾值的索引的當前候選之間的相似性。如果相似性為高(即十分相似)，當前候選將不執行精化。
在另一個實施例中，該處理首先移除一或複數個其索引等於或者小於該預先定義的閾值之候選，並且移除具有大於該閾值之索引並且具有運動 資訊高相似度之候選。剩餘候選形成一新的候選列表，以執行候選精化功能。
針對交錯候選的候選精化
該方法之基本精神在於針對以一交錯順序(Interleaved order)的候選執行候選精化。舉例來說，該交錯順序對應於一奇數順序(即m，候選排序為1,3,5,7,...)或者偶數順序(即，候選順序0、2、4、6、....)。在一實施例中，該偶數順序候選(即候選0、2、4、6、....)可被精化，而該奇數順序候選(即候選1、3、5、7...)不被精化。在另一實施例中，僅僅具有索引(K*I+M)的候選被精化，其中K與M係預先定義的整數，並且I係一整數大於或者等於0。在另一實施例中，具有索引(K*I+M)的候選不被精化，其中K與M係預先定義整數，並且I係大於或者等於0的整數。
在精化後續之交錯規則中，該非-精化之候選被移除並且剩餘候選形成一新的候選列表，以候選精化。
針對候選精化，排除空間候選或者一些候選類型
依據該方法，一些候選類型可被選擇進行精化，另一些候選類型不進行精化。舉例來說，空間候選總是不進行精化。
在另一實施例中，可排除一些候選類型並且形成一新後續列表以候選精化。舉例來說，其排除空間候選並且形成一新的候選列表以候選精化。
上述方法可在編碼器以及/或者解碼器中實現。舉例來說，所提出之方法可在編碼器之幀間預測模組，以及/或者解碼器之幀間預測模組中實現。
第6圖係依據本發明之實施例之基於初始MV的候選特性選擇性精化一初始候選之編解碼系統之流程之舉例說明。流程圖所示之步驟，以及後續其他實施例中其他流程圖，以可在編碼器端以及/或者解碼器端之一或複數個處理器(例如一或複數個CPU)執行之程序代碼來實現。該流程圖所示之步驟，亦可基於硬體(例如一或複數個配置為執行所屬流程圖之多個步驟之電子 裝置或者處理器)實現。依據該方法，在步驟610，接收在當前圖像中與當前區塊相關之輸入資料。在步驟620，從一候選列表決定當前區塊之一或複數個初始MV，其中至少一個候選係基於當前區塊之一或複數個相鄰區塊之運動資訊來決定。在步驟630，基於至少一初始MV之候選特徵，選擇性針對該至少一初始MV執行候選精化來形成至少一精化MV。在步驟640，使用包含該至少一精化MV之一修正候選列表，來編碼或者解碼該當前區塊或該當前區塊之一或複數MV。
第7圖係依據本發明之實施例藉由搜尋在一初始MV周圍之8-連接位置之示例性編解碼系統之舉例流程圖。依據該方法，在步驟710，接收與當前圖像之當前區塊相關之輸入資料。在步驟720，決定當前區塊之一或複數個初始MV，以形成一候選列表，其中至少一候選係基於當前區塊之一或複數個相鄰區塊之運動資訊來決定。在步驟730中，藉由搜尋在該目標初始MV之周圍之8-連接位置，精化一目標初始MV來形成一目標精化的初始MV，其中該8-連接位置對應於在水平方向以及/或者垂直方向之距離目標初始MV之1-像素距離之相鄰位置。在步驟740，該當前區塊或該當前區塊之一或複數個MV係使用包含該目標精化的初始MV的一修正的候選列表來編碼或者解碼。
第8圖係依據本發明之實施例之使用雙綫性搜尋之編解碼系統之舉例說明，其中該雙綫性搜尋係基於在一L0圖像之一修正的第一參考區域與在一L1圖像之一修正的第二參考區域來精化一初始L0 MV與一初始的L1 MV。依據該方法，在步驟810，接收當前圖像之當前區塊之相關資料。在步驟820，決定當前區塊之第一初始MV與第二初始MV，其中該第一MV指向在列表L0中的第一圖像的第一初始參考區域，並且該第二MV指向在列表L1中的第二圖像之第二初始參考區域。在步驟830，基於雙綫性搜尋，該第一初始MV與該第二初始MV係分別被精化為精化的第一MV與精化的第二MV，該雙綫 性搜尋係使用從該第一初始參考區域獲取之一修正的第一參考區域與從該第二初始參考區域獲取之一修正的第二參考區域。在步驟840，使用一修正的候選列表來編碼或者解碼當前區塊或者該當前區塊之一或複數個MV，該修改的候選列表包含對應於該第一精化MV與該第二精化MV之一解碼器端獲取MV。
第9圖係依據本發明之實施例之使用一適應性搜尋窗口之實例性編解碼系統之流程圖。依據該方法，在步驟910，接收與一當前圖像之一當前區塊相關之輸入資料。在步驟920，從一候選列表，決定該當前區塊之一或複數初始MV，其中至少一候選係基於該當前區塊之一或複數個相鄰區塊之運動資訊來決定的。在步驟930，藉由搜尋在一搜尋窗口內的複數個位置，精化一目標初始MV，以形成一精化的目標初始MV，其中該搜尋窗口之候選範圍係適應性決定的。在步驟940，使用一修正的候選列表來編碼或者解碼當前區塊或者該當前區塊之一或複數個MV，該修改的候選列表包含該精化的目標初始MV。
所示的流程圖用於示出根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，所屬領域中具有習知技術者可以修改每個步驟、重組這些步驟、將一個步驟進行分離或者組合這些步驟而實施本發明。在本發明中，具體的語法和語義已被使用以示出實現本發明實施例的示例。在不脫離本發明的精神的情況下，透過用等同的語法和語義來替換該語法和語義，具有習知技術者可以實施本發明。
上述說明，使得所屬領域中具有習知技術者能夠在特定應用程式的內容及其需求中實施本發明。對所屬領域中具有習知技術者來說，所描述的實施例的各種變形將是顯而易見的，並且本文定義的一般原則可以應用於其他實施例中。因此，本發明不限於所示和描述的特定實施例，而是將被賦予與本文所公開的原理和新穎特徵相一致的最大範圍。在上述詳細說明中，說明了各種具體細節，以便透徹理解本發明。儘管如此，將被本領域的具有習知技術者 理解的是，本發明能夠被實踐。
如上所述的本發明的實施例可以在各種硬體、軟體代碼或兩者的結合中實現。例如，本發明的實施例可以是集成在視訊壓縮晶片內的電路，或者是集成到視訊壓縮軟體中的程式碼，以執行本文所述的處理。本發明的一個實施例也可以是在數位訊號處理器(Digital Signal Processor，DSP)上執行的程式碼，以執行本文所描述的處理。本發明還可以包括由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(field programmable gate array，FPGA)所執行的若干函數。根據本發明，透過執行定義了本發明所實施的特定方法的機器可讀軟體代碼或者固件代碼，這些處理器可以被配置為執行特定任務。軟體代碼或固件代碼可以由不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以編譯為不同的目標平臺。然而，執行本發明的任務的不同的代碼格式、軟體代碼的樣式和語言以及其他形式的配置代碼，不會背離本發明的精神和範圍。
本發明可以以不脫離其精神或本質特徵的其他具體形式來實施。所描述的例子在所有方面僅是說明性的，而非限制性的。因此，本發明的範圍由附加的權利要求來表示，而不是前述的描述來表示。權利要求的含義以及相同範圍內的所有變化都應納入其範圍內。
610-640‧‧‧步驟

Claims (19)

  1. 一種視訊編解碼方法，該方法包含：接收在一當前圖像中的一當前區塊之相關資料；從一候選列表決定該當前區塊之一或複數個初始運動向量，其中基於該當前區塊之一或複數個相鄰區塊之運動資訊來決定至少一候選；選擇性地基於至少一初始運動向量之候選特性精化該至少一初始運動向量，來形成至少一精化的運動向量，其中該候選特性對應於候選類型或在該候選列表中的候選位置，以及使用包含該至少一精化的運動向量之一修正的候選列表，來編碼或者解碼該當前區塊或者一或複數個該當前區塊之當前運動向量。
  2. 如申請專利範圍第1項所述之方法，其中，該候選位置對應於在該候選列表中的候選順序索引。
  3. 如申請專利範圍第2項所述之方法，其中，如果該至少一初始運動向量係在後部候選列表中，該至少一初始運動向量係被精化。
  4. 如申請專利範圍第1項所述之方法，其中，該至少一初始運動向量之該候選位置對應於在該候選列表中的複數個候選形成的複數個交錯的候選組合之間的聯係。
  5. 如申請專利範圍第4項所述之方法，其中，如果該至少一初始運動向量係在一第一交錯的組合或者一第二交錯的組合中，該至少一初始運動向量被精化，其中該第一交錯組合具有偶數數值之候選，該第二交錯的組合具有奇數數值之候選。
  6. 如申請專利範圍第1項所述之方法，其中，該至少一初始運動向量之該候選類型對應於屬於一候選組合的限制的候選，該候選組合係藉由從一 初始候選組合中移除一或複數個空間候選、或一或複數個選擇的類型的候選來形成的。
  7. 如申請專利範圍第1項所述之方法，其中：藉由搜尋在一目標初始運動向量周圍的8-連接位置，來精化該目標初始運動向量，來形成一精化的目標運動向量，其中該8-連接位置對應於在一水平方向以及/或者一垂直方向距離該目標初始運動向量1-像素距離之複數個相鄰位置。
  8. 如申請專利範圍第7項所述之方法，其中，如果該目標初始運動向量具有一分數部分，該目標初始運動向量精化為一整數像素值。
  9. 如申請專利範圍第7項所述之方法，其中，該精化一目標初始運動向量的步驟係藉由使用在一當前迭代中的精化的目標運動向量作為在一下一次迭代中的目標初始運動向量來迭代執行。
  10. 如申請專利範圍第1項所述之方法，其中：決定該當前區塊之一第一初始運動向量與一第二初始運動向量，其中該第一初始運動向量指向在列表0中的一第一圖像中的一第一參考區域，並且該第二初始運動向量指向在列表1中的一第二圖像中的一第二參考區域；依據雙綫性搜尋來分別精化該第一初始運動向量與該第二初始運動向量為一第一精化運動向量與一第二精化運動向量，該雙綫性搜尋使用從該第一初始參考區域獲取的一修正的第一參考區域以及從該第二初始參考區域獲取的一修正的第二參考區域；以及使用包含對應於該第一精化運動向量與該第二精化運動向量的一解碼器端獲取運動向量，來編碼或者解碼該當前區塊或者一或複數個該當前區塊之當前運動向量。
  11. 如申請專利範圍第10項所述之方法，其中，該第一初始參 考區域與該第二初始參考區域分別對應一第一參考區塊與一第二參考區塊，並且該修正第一參考區域與該修正第二參考區域分別對應於該第一參考區塊與該第二參考區塊中的複數個部分像素或者子-采樣像素。
  12. 如申請專利範圍第10項所述之方法，其中，該第一初始參考區域與該第二初始參考區域分別對應一第一參考區塊與一第二參考區塊，並且該修正的第一參考區域對應於該第一參考區塊之一第一擴展區域並且該修正的第二參考區域對應於該第二參考區塊之一第二擴展區域。
  13. 如申請專利範圍第10項所述之方法，其中，一雙綫性模板係基於該修正的第一參考區域與該修正的第二參考區域來獲取，其中該雙綫性搜尋使用該雙綫性模板與該第一初始參考區域周圍之一第一候選精化參考區域之間之絕對差之和作為成本標準來獲取該第一精化運動向量，以及該雙綫性搜尋使用該雙綫性模板與該第一初始參考區域周圍之一第一候選精化參考區域之間之絕對差之和作為成本標準來獲取該第二精化運動向量。
  14. 一種視訊編解碼裝置，該裝置包含一或複數電子電路或處理器，用於：接收在一當前圖像中的一當前區塊之相關資料；從一候選列表決定該當前區塊之一或複數個初始運動向量，其中基於該當前區塊之一或複數個相鄰區塊之運動資訊來決定至少一候選；選擇性地基於至少一初始運動向量之候選特性精化該至少一初始運動向量，來形成至少一精化的運動向量，其中該候選特性對應於候選類型或在該候選列表中的候選位置，以及使用包含該至少一精化的運動向量之一修正的候選列表，來編碼或者解碼該當前區塊或者一或複數個該當前區塊之當前運動向量。
  15. 如申請專利範圍第14項所述之裝置，其中： 藉由搜尋在一目標初始運動向量周圍的8-連接位置，來精化該目標初始運動向量，來形成一精化的目標運動向量，其中該8-連接位置對應於在一水平方向以及/或者一垂直方向距離該目標初始運動向量1-像素距離之複數個相鄰位置。
  16. 如申請專利範圍第14項所述之裝置，其中，決定該當前區塊之一第一初始運動向量與一第二初始運動，其中該第一運動向量指向在列表0中的一第一圖像中的一第一參考區域，並且該第二運動向量指向在列表1中的一第二圖像中的一第二參考區域；依據雙綫性搜尋來分別精化該第一初始運動向量與該第二初始運動向量為一第一精化運動向量與一第二精化運動向量，該雙綫性搜尋使用一修正的第一參考區域以及一修正的第二參考區域；以及使用包含對應於該第一精化運動向量與該第二精化運動向量的一解碼器端獲取運動向量，來編碼或者解碼該當前區塊或者一或複數個該當前區塊之當前運動向量。
  17. 一種視訊編解碼方法，該方法包含：接收在一當前圖像中的一當前區塊之相關資料；決定該當前區塊之一或複數個初始運動向量，其中至少一初始運動係基於該當前區塊之一或複數個相鄰區塊之運動資訊來決定；藉由在一搜尋窗口中搜尋複數個位置來精化一目標初始運動向量以形成一精化目標運動向量，其中該搜尋窗口之搜尋範圍係依據該初始目標運動向量之一候選類型來適應性決定的；以及使用包含該精化目標運動向量的一修正的候選列表，來編碼或者解碼該當前區塊或者一或複數個該當前區塊之當前運動向量。
  18. 如申請專利範圍第17項所述之方法，其中，該搜尋窗口之 搜尋範圍係依據該當前區塊之區塊大小決定的。
  19. 一種視訊編解碼裝置，該裝置包含一或複數電子電路或處理器，用於：接收在一當前圖像中的一當前區塊之相關資料；從該當前區塊之一候選列表決定該當前區塊之一或複數個初始運動向量，其中至少一候選係基於該當前區塊之一或複數個相鄰區塊之運動資訊來決定；藉由在一搜尋窗口中搜尋複數個位置來精化一目標初始運動向量以形成一精化目標運動向量，其中該搜尋窗口之搜尋範圍係依據該初始目標運動向量之一候選類型來適應性決定的；以及使用包含該精化目標運動向量的一修正的候選列表，來編碼或者解碼該當前區塊或者一或複數個該當前區塊之當前運動向量。
TW108113546A 2018-04-18 2019-04-18 在視訊編解碼中具有高級控制之候選重組 TWI720460B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862659176P 2018-04-18 2018-04-18
US62/659,176 2018-04-18
US201862672615P 2018-05-17 2018-05-17
US62/672,615 2018-05-17
WOPCT/CN2019/082979 2019-04-17
PCT/CN2019/082979 WO2019201264A1 (en) 2018-04-18 2019-04-17 Candidate reorganizing with advanced control in video coding

Publications (2)

Publication Number Publication Date
TW202002642A TW202002642A (zh) 2020-01-01
TWI720460B true TWI720460B (zh) 2021-03-01

Family

ID=68240129

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108113546A TWI720460B (zh) 2018-04-18 2019-04-18 在視訊編解碼中具有高級控制之候選重組

Country Status (4)

Country Link
US (1) US20210120262A1 (zh)
CN (1) CN112042196A (zh)
TW (1) TWI720460B (zh)
WO (1) WO2019201264A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116668678A (zh) * 2018-05-10 2023-08-29 Lg电子株式会社 图像编解码方法、计算机可读存储介质和数据发送方法
TWI729483B (zh) * 2018-09-04 2021-06-01 聯發科技股份有限公司 視訊編解碼系統的運動向量湊整統一的方法以及裝置
CN114287135A (zh) * 2019-08-23 2022-04-05 北京字节跳动网络技术有限公司 参考图片重采样中的剪切
EP4035356A4 (en) 2019-10-23 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SIGNALING FOR RE-SAMPLING REFERENCE IMAGE
EP4035379A4 (en) 2019-10-23 2023-03-15 Beijing Bytedance Network Technology Co., Ltd. CALCULATION FOR MULTIPLE CODING TOOLS
US11936899B2 (en) * 2021-03-12 2024-03-19 Lemon Inc. Methods and systems for motion candidate derivation
US11895321B2 (en) 2021-03-29 2024-02-06 Qualcomm Incorporated Template matching based advanced motion vector predictor (AMVP) candidate list construction with non-adjacent candidates and AMVP index signaling
EP4315858A2 (en) * 2021-03-29 2024-02-07 Qualcomm Incorporated Template matching-based advanced motion vector predictor (amvp) candidate list construction with non-adjacent candidates and amvp index signaling
CN117337564A (zh) * 2021-04-09 2024-01-02 抖音视界有限公司 用于视频处理的方法、装置和介质
CN117813820A (zh) * 2021-07-15 2024-04-02 抖音视界有限公司 用于视频处理的方法、装置和介质
CN113301349B (zh) * 2021-07-27 2021-12-03 杭州博雅鸿图视频技术有限公司 运动矢量选择方法、装置、电子设备及存储介质
WO2023020446A1 (en) * 2021-08-16 2023-02-23 Mediatek Inc. Candidate reordering and motion vector refinement for geometric partitioning mode
US20230075788A1 (en) * 2021-09-01 2023-03-09 Tencent America LLC Template matching on ibc merge candidates
WO2023051645A1 (en) * 2021-09-29 2023-04-06 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023052489A1 (en) * 2021-09-29 2023-04-06 Canon Kabushiki Kaisha Video coding and decoding
WO2023051646A1 (en) * 2021-09-30 2023-04-06 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023098899A1 (en) * 2021-12-03 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023179783A1 (en) * 2022-03-25 2023-09-28 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
GB2617569A (en) * 2022-04-11 2023-10-18 Canon Kk Data coding and decoding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016160608A1 (en) * 2015-03-27 2016-10-06 Qualcomm Incorporated Motion vector derivation in video coding
WO2018028559A1 (en) * 2016-08-08 2018-02-15 Mediatek Inc. Pattern-based motion vector derivation for video coding

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102131091B (zh) * 2010-01-15 2013-01-23 联发科技股份有限公司 解码端运动向量导出方法
EP3264768A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Method and apparatus for video coding with adaptive motion information refinement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016160608A1 (en) * 2015-03-27 2016-10-06 Qualcomm Incorporated Motion vector derivation in video coding
WO2018028559A1 (en) * 2016-08-08 2018-02-15 Mediatek Inc. Pattern-based motion vector derivation for video coding

Also Published As

Publication number Publication date
EP3769529A1 (en) 2021-01-27
WO2019201264A1 (en) 2019-10-24
US20210120262A1 (en) 2021-04-22
CN112042196A (zh) 2020-12-04
TW202002642A (zh) 2020-01-01

Similar Documents

Publication Publication Date Title
TWI720460B (zh) 在視訊編解碼中具有高級控制之候選重組
TWI720492B (zh) 使用雙向cu加權的視訊編解碼的方法和裝置
US11956462B2 (en) Video processing methods and apparatuses for sub-block motion compensation in video coding systems
TWI670970B (zh) 在視訊編解碼中預測子細化的候選跳過的方法和裝置
EP3616406B1 (en) Method and apparatus of motion vector constraint for video coding
TWI720532B (zh) 在視訊編解碼系統中視訊處理的方法以及裝置
TWI702834B (zh) 視訊編解碼系統中具有重疊塊運動補償的視訊處理的方法以及裝置
US20190387251A1 (en) Methods and Apparatuses of Video Processing with Overlapped Block Motion Compensation in Video Coding Systems
US11985324B2 (en) Methods and apparatuses of video processing with motion refinement and sub-partition base padding
CN112544082A (zh) 在采用多重假设之视频编码系统中的运动补偿频宽降低方法和装置
WO2020177665A1 (en) Methods and apparatuses of video processing for bi-directional prediction with motion refinement in video coding systems
KR102463478B1 (ko) 비디오 코딩 시스템을 위한 아핀 인터 예측 방법 및 장치
WO2024016844A1 (en) Method and apparatus using affine motion estimation with control-point motion vector refinement
US20230362403A1 (en) Methods and Apparatuses of Sharing Preload Region for Affine Prediction or Motion Compensation
CN117941355A (zh) 视频编解码系统中低延迟模板匹配的方法和装置