TWI734158B - 用於視訊編解碼的利用運動向量差的合併方法和裝置 - Google Patents

用於視訊編解碼的利用運動向量差的合併方法和裝置 Download PDF

Info

Publication number
TWI734158B
TWI734158B TW108127192A TW108127192A TWI734158B TW I734158 B TWI734158 B TW I734158B TW 108127192 A TW108127192 A TW 108127192A TW 108127192 A TW108127192 A TW 108127192A TW I734158 B TWI734158 B TW I734158B
Authority
TW
Taiwan
Prior art keywords
inter
candidate
prediction
current block
current
Prior art date
Application number
TW108127192A
Other languages
English (en)
Other versions
TW202021349A (zh
Inventor
賴貞延
陳慶曄
莊子德
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202021349A publication Critical patent/TW202021349A/zh
Application granted granted Critical
Publication of TWI734158B publication Critical patent/TWI734158B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Abstract

公開了利用UMVE（最終運動向量表達）進行視訊編碼的幀間預測的方法和裝置。根據該方法，從原始幀間候選列表中選擇基礎候選，其中，基礎候選具有基礎預測方向。通過向基礎候選添加一個或更多個偏移來得出一個或更多個擴展候選，其中，所述一個或更多個擴展候選具有與基礎預測方向相同的預測方向。然後將擴展候選插入到原始幀間候選清單中以形成用於編碼或解碼的擴展幀間候選列表。根據另一方法，UMVE模式被視為附加AMVP（高級運動向量預測）模式。

Description

用於視訊編解碼的利用運動向量差的合併方法和裝置
本發明涉及用於利用UMVE（最終運動向量表達（Ultimate Motion Vector Expression））的視訊編碼的幀間（Inter）預測。具體地，本發明公開了多種對UMVE展開（expansion）進行擴展的方法，以便改進編碼性能和/或降低複雜度。
高效視訊編碼（HEVC）是由視訊編碼聯合協作小組（JCT-VC）開發的新的國際視訊編碼標準。HEVC依據基於混合塊的運動補償的類DCT變換編碼架構。用於壓縮的基本單元（稱為編碼單元（CU））是2N×2N方塊，並且各個CU可以被遞迴地分成四個較小的CU，直到達到預定義的最小尺寸為止。各個CU包含一個或多個預測單元（PU）。
為了實現HEVC中的混合編碼架構的最佳編碼效率，針對各個PU存在兩種預測模式（即，幀內預測和幀間預測）。對於幀內預測模式，可以利用空域相鄰重建像素來生成方向預測。在HEVC中有多達35個方向。對於幀間預測模式，可以利用時域重建參考幀來生成運動補償預測。有三種不同的模式，包括跳過（Skip）、合併（Merge）和幀間高級運動向量預測（AMVP）模式。
當以幀間 AMVP模式對PU進行編碼時，利用傳輸的運動向量差（MVD）來執行運動補償預測，該運動向量差可以與運動向量預測子（Motion Vector Predictor，MVP）一起使用來推導運動向量（MV）。在幀間 AMVP模式中為了決定MVP，使用高級運動向量預測（AMVP）方案來在包括兩個空域MVP和一個時域MVP的AMVP候選集中選擇運動向量預測子。因此，在AMVP模式中，需要對MVP的MVP索引和相應的MVD進行編碼和傳輸。另外，還應當對用於指定雙向預測與單向預測（其為列表0（即，L0）和列表1（即，L1））中的預測方向的、伴隨有針對各個清單的參考幀索引的幀間預測方向進行編碼和傳輸。
當以跳過或合併模式對PU進行編碼時，因為跳過和合併模式利用運動推斷方法，所以除了所選擇的候選的合併索引之外，不傳輸運動資訊。由於跳過和合併模式的運動向量差（MVD）為零，所以針對跳過或合併編碼塊的MV與運動向量預測子（MVP）相同（即，MV=MVP+MVD=MVP）。因此，跳過或合併編碼塊從位於同位置（co-located）圖像中的空域相鄰塊（空域候選）或時域塊（時域候選）獲得運動資訊。同位置圖像是清單0或清單1中的第一參考圖像，其在片頭（slice header）中用信號發送（signalled）。在跳過 PU的情況下，也省略殘餘信號。為了確定跳過和合併模式的合併索引，使用合併方案以在包含四個空域MVP和一個時域MVP的合併候選集中選擇運動向量預測子。
第1圖示出了針對AMVP和合併方案的用於推導空域MVP和時域MVP的相鄰PU的示例。在AMVP中，左側MVP是來自A0 、A1 的第一個可用的MVP，頂部MVP是來自B0 、B1 、B2 的第一個可用的MVP，時域MVP是來自TBR 或TCTR 的第一個可用的MVP（首先使用TBR ，如果TBR 不可用，則使用TCTR 代替）。如果左側MVP不可用且頂部MVP是非縮放的MVP，則如果在B0 、B1 和B2 中存在縮放的MVP，就可以推導出第二頂部MVP。在HEVC中，AMVP的MVP的列表大小是2。因此，在兩個空域MVP和一個時域MVP的推導過程之後，只有前兩個MVP可以包括在MVP列表中。如果在去除冗餘之後，可用MVP的數量小於2，則將零向量候選添加到候選列表。
如第1圖所示，對於跳過模式和合併模式，從A0 、A1 、B0 和B1 推導出多達四個空域合併索引，並且從TBR 或TCTR 推導出一個時域合併索引（首先使用TBR ，如果TBR 不可用，則使用TCTR 代替）。注意，如果四個空域合併索引中的任何一個不可用，則使用位置B2 作為替換以推導出合併索引。在四個空域合併索引和一個時域合併索引的推導過程之後，應用去除冗餘來去除冗餘合併索引。如果在去除冗餘之後，可用的合併索引的數量小於5，則推導出三種類型的附加候選並將其添加到候選列表。
通過使用原始合併候選來創建附加雙向預測合併候選。附加候選被分成三種候選類型：
1. 組合的雙向預測合併候選（候選類型1）
2. 縮放的雙向預測合併候選（候選類型2）
3. 零向量合併/AMVP候選（候選類型3）
在候選類型1中，通過對原始合併候選進行組合來創建組合的雙向預測合併候選。具體地，使用原始候選中具有mvL0（列表0中的運動向量）和refIdxL0（清單0中的參考圖像索引）或mvL1（列表1中的運動向量）和refIdxL1（清單1中的參考圖像索引）的兩個候選來創建雙向預測合併候選。
第2圖例示了組合的雙向預測合併候選的推導過程的示例。候選集210對應於原始候選列表，其包括L0中的mvL0_A,ref0（231）和L1中的mvL1_B,ref（232）。可以通過組合L0和L1中的候選來形成雙向預測MVP 233。
在候選類型2中，通過對原始合併候選進行縮放來創建縮放的雙向預測合併候選。具體地，使用原始候選中具有mvLX（列表X中的運動向量）和refIdxLX（清單X中的參考圖像索引）（X可以是0或1）的一個候選來創建雙向預測合併候選。例如，一個候選A是具有mvL0_A和ref0的單向預測的列表0，首先將ref0複製到清單1中的參考索引ref0'。之後，通過利用ref0和ref0'對mvL0_A進行縮放來計算mvL0'_A。然後，創建在列表0中具有mvL0_A和ref0並且在列表1中具有mvL0'_A和ref0'的雙向預測合併候選，並將其添加到合併候選列表中。在第3圖中示出了縮放的雙向預測合併候選的推導過程330的示例，其中，候選列表310對應於原始候選列表，候選列表320對應於包括兩個生成的雙向預測MVP的展開候選列表。
在候選類型3中，通過對零向量和參考索引(其可以被參考)進行組合來創建零向量合併/AMVP候選。第4A圖例示了添加零向量合併候選的示例，其中，候選列表410對應於原始合併候選列表，候選列表420對應於通過添加零候選而擴展的合併候選列表。第4B圖例示了添加零向量AMVP候選的示例，其中，候選列表430(L0)和432(L1)對應於原始AMVP候選列表，候選列表440(L0)和442(L1)對應於通過添加零候選而擴展的AMVP候選列表。如果零向量候選不重複，則將其添加到合併/AMVP候選列表中。
在JVET-K0115(S.Jeong,et al.,「CE4 Ultimate motion vector expression in J0024(Test 4.2.9)」,in Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,11th Meeting：Ljubljana,SI,10-18 July 2018,Document：JVET-K0115)中呈現了在JVET-J0024(S.Akula,et.Al.,「Description of SDR,HDR and 360° video coding technology proposal considering mobile application scenario by Samsung,Huawei,GoPro,and HiSilicon」,in Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,10th Meeting：San Diego,US,10-20 Apr.2018,Document：JVET-J0024)中提出的最終運動向量表達(UMVE)。第5A圖例示了針對當前幀510中的當前塊512的UMVE搜索過程的示例。參考列表L0中的幀520和參考列表L1中的幀530對應於雙向預測的兩個參考。線540對應於穿過當前塊512的中心以及幀520和幀530中的兩個對應的像素的線。圍繞與線540相關聯的中心點執行搜索（例如，線542和544）。為了簡化搜索過程，如第5B圖所示，對於L0參考（550）和L1參考（552），將僅搜索垂直地和水準地繞中心點的特定位置。利用提出的運動向量表達方法，將UMVE用於跳過模式或合併模式。UMVE重新使用與正在開發的VVC（通用視訊編碼）標準相同的合併候選。在合併候選中，可以選擇候選，並且通過所提出的運動向量表達方法進一步展開該候選。UMVE提供具有簡化信令的新運動向量表達。該表達方法包括預測方向資訊、起始點、運動幅度和運動方向。
該技術按原樣使用合併候選列表。然而，只有默認合併類型（MRG_TYPE_DEFAULT_N）的候選才會被考慮用於UMVE的展開。預測方向資訊表示L0、L1以及L0和L1預測當中的預測方向。在B片段中，所提出的方法可以通過使用鏡像技術從具有單向預測的合併候選生成雙向預測候選。例如，如果合併候選是具有L1的單向預測，則通過搜索清單0中的參考圖像來決定L0的參考索引，該參考圖像與清單1的參考圖像是鏡像的。如果沒有對應的圖像，則使用到當前圖像最近的參考圖像。通過對L1的MV進行縮放推導出L0的MV。通過POC（圖像順序計數）距離計算縮放因數。
如果UMVE候選的預測方向與原始合併候選中的一個相同，則將值為0的索引作為UMVE預測方向用信號發送。然而，如果UMVE候選的預測方向不與原始合併候選中的一個相同，則用信號發送值為1的索引。在用信號發送第一位元之後，基於UMVE預測方向的預定義優先順序用信號發送剩餘預測方向。優先順序是L0/L1預測、L0預測和L1預測。如果合併候選的預測方向是L1，則針對UMVE的預測方向L1用信號發送代碼⸢0⸥。針對UMVE的預測方向L0和L1，用信號發送代碼⸢10⸥。針對UMVE的預測方向L0，用信號發送代碼⸢11⸥。如果L0和L1預測清單相同，則不用信號發送UMVE的預測方向資訊。
基礎候選索引定義起始點。如表1所示，基礎候選索引表示清單中的候選中的最佳候選。 表1
Figure 108127192-A0304-0001
表2中示出了多種距離的距離索引。 表2
Figure 108127192-A0304-0002
方向索引表示MVD相對於起始點的方向。如表3所示，方向索引可以表示四個方向。 表3
Figure 108127192-A0304-0003
為了降低編碼器複雜度，應用塊限制。如果CU的寬度或高度小於4，則不執行UMVE。
期望進一步改進性能和/或降低與UMVE相關的複雜度。
公開了用於視訊編解碼的幀間預測的方法和裝置。根據該方法，在視訊編碼器側接收與當前圖像中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖像中的當前塊的壓縮資料相對應的視訊位元流。從原始幀間候選列表中選擇基礎候選，其中，基礎候選具有基礎預測方向。通過向基礎候選添加一個或更多個偏移得出一個或更多個擴展候選，其中，所述一個或更多個擴展候選具有與基礎預測方向相同的預測方向。然後將擴展候選插入到原始幀間候選列表中以形成擴展幀間候選列表。在視訊編碼器側利用擴展幀間候選列表對與當前塊相關聯的當前運動資訊進行編碼，或者在視訊解碼器側利用擴展幀間候選列表對與當前塊相關聯的當前運動資訊進行解碼。
在多個方向上將偏移添加到基礎候選，並且所述多個方向包括一個非水準也非垂直的目標方向。在一個實施方式中，多個方向由包括四個水準和垂直方向以及四個對角線方向的八個方向組成。在一個實施方式中，偏移對應於一組偏移。
在一個實施方式中，從一組偏移中選擇偏移。例如，根據將所述一個或更多個偏移添加到基礎候選的目標方向來選擇偏移的值。在另一示例中，要添加到基礎候選的偏移的目標方向取決於基礎候選的目標運動向量。在另一示例中，偏移的數量取決於基礎候選的目標運動向量或者所述一個或更多個偏移被添加到基礎候選的目標方向。在另一示例中，當AMVR（自我調整運動向量解析度）被應用於當前塊時，偏移被選擇成具有與由AMVR選擇的精度不同的幅度。
在一個實施方式中，將擴展候選插入到擴展幀間候選列表中，並且以先進先出（FIFO）的方式更新擴展幀間候選列表。
在一個實施方式中，僅選擇原始幀間候選清單中的目標單向預測候選作為基礎候選，並且使用鏡像技術將目標單向預測候選轉換成雙向預測候選，以得出所述一個或更多個擴展候選。
在一個實施方式中，有條件地在x方向或y方向上將偏移添加到基礎候選。
在一個實施方式中，針對跳過、合併、AMVP、仿射合併模式、仿射AMVP模式或子塊合併模式得出原始幀間候選列表。
根據本發明的另一方法，在視訊編碼器側用信號發送當前塊的當前模式標誌，或者在視訊解碼器側解析當前塊的當前模式標誌，其中，通過UMVE（最終運動向量表達）模式標誌來表示與附加的AMVP（高級運動向量預測）模式相對應的UMVE模式。如果當前模式標誌表示針對當前塊正在使用UMVE模式，則：從原始幀間候選列表確定基礎候選；通過向基礎候選添加一個或更多個偏移來得出一個或更多個擴展候選；將擴展候選插入到原始幀間候選列表中以形成擴展幀間候選列表；以及，在視訊編碼器側利用擴展幀間候選列表對與當前塊相關聯的當前運動資訊進行編碼，或者在視訊解碼器側利用擴展幀間候選列表對與當前塊相關聯的當前運動資訊進行解碼。擴展候選在AMVP模式中被視為MVD（運動向量差）。
在一個實施方式中，在當前塊的仿射標誌之前用信號發送UMVE模式標誌。在這種情況下，如果UMVE模式標誌表示針對當前塊啟用了UMVE模式，則不用信號發送當前塊的仿射標誌，並且仿射標誌被推斷成預定義值。
在另一實施方式中，在當前塊的仿射標誌之後用信號發送UMVE模式標誌。在這種情況下，如果仿射標誌表示針對當前塊啟用了仿射模式，則不針對當前塊用信號發送UMVE模式標誌。
在另一實施方式中，如果UMVE模式標誌表示針對當前塊啟用了UMVE模式，則針對基礎候選用信號發送附加運動資訊。該附加運動資訊可以包括預測方向、參考幀索引、MVP（運動向量預測子）索引，或針對基礎候選用信號發送預測方向、參考幀索引、MVP索引的組合。根據一個實施方式，如果基礎候選是單向預測，則通過鏡像技術將基礎候選轉換成雙向預測，並且附加運動資訊僅與一個參考清單相關聯。根據另一實施方式，如果基礎候選是單向預測，則通過對稱MVD（運動向量差）技術將基礎候選轉換成雙向預測，並且附加運動資訊僅與一個參考清單相關聯。
在另一實施方式中，如果UMVE模式標誌表示針對當前塊啟用了UMVE模式，則針對基礎候選僅用信號發送MVP（運動向量預測子）索引作為運動資訊。
以下描述是實現本發明的最佳預期方式。進行該描述是為了例示本發明的一般原理，而不應被視為具有限制意義。通過參照所附權利要求最佳地確定本發明的範圍。
UMVE展開的預測方向
儘管最終運動向量表達（UMVE）已經被證明改進編碼性能，但是期望進一步改進性能。因此，公開了幾種進一步改進最終運動向量表達的方法。在一個實施方式中，預測方向被固定成與所選擇的、作為基礎候選的合併候選的預測方向相同。基於合併候選列表中的所選擇的合併候選，可以通過簡單地向對應的MV添加偏移並將其插入到合併候選列表或AMVP候選列表或任何其它原始幀間候選列表中來生成若干新的MV候選（或稱為擴展候選），使得可以形成擴展幀間候選清單以用於編碼或解碼。例如，基於所選擇的具有相對於列表0的預測方向⸢單向預測⸥的合併候選（MVx，MVy）的對應的MV，可以通過分別向其x方向和y方向添加偏移來生成四個不同的MV，例如（MVx+Δ，MVy）、（MVx-Δ，MVy）、（MVx，MVy+Δ）、（MVx，MVy-Δ）。這些新候選的預測方向仍然是相對於列表0的單向預測，其與所選擇的合併候選的預測方向（或稱為基礎候選的基礎預測方向）相同。如果所選擇的合併候選是雙向預測，則插入的合併候選都是雙向預測候選。
在另一實施方式中，基於在合併候選列表中所選擇的具有單向預測的合併候選，可以通過將MV預測方向從單向預測改變成雙向預測並且將具有雙向預測的新候選插入到合併候選列表或AMVP候選列表或任何其它原始幀間候選列表中來生成若干新的MV候選。換句話說，新的MV候選總是雙向預測候選。例如，基於合併候選列表中所選擇的具有單向預測的合併候選，使用鏡像技術以在具有相同時域距離的另一列表中生成MV，或者通過參考可用的MV生成具有最近參考幀的另一列表中的MV。接下來，將具有雙向預測的新候選插入到合併候選列表或AMVP列表中作為新候選。在另一實施方式中，通過將候選從單向預測改變成雙向預測，可以通過向該改變的MV添加偏移來生成一組新候選（或稱為擴展候選）。可以將所有擴展候選插入到合併候選列表或AMVP列表中。例如，基於所選擇的具有相對於L0的單向預測的常規合併候選，我們首先通過鏡像技術將MV從單向預測改變成雙向預測，生成了新候選。此外，可以通過利用雙向預測向該MV添加偏移來生成更多候選。
在另一實施方式中，基於所選擇的合併候選（MVx，MVy），通過有條件地向其x方向或y方向添加偏移Δ來生成兩個不同的MV。Δ的值可以作為值被預先定義或從集合中選擇。例如，[1/4，1/2，1，2，4，8，16，32，64]可以是Δ的集合，並且Δ也可以選擇成1/2。如果MVx的幅度大於或等於MVy的幅度，則將偏移添加到MVx。否則，將偏移添加到MVy（例如，⸢MVy+偏移⸥和/或⸢MVy-偏移⸥）以成為兩個不同的MV。在一個實施方式中，如果MVx的幅度大於或等於MVy的幅度，則將偏移添加到MVy。否則，將偏移添加到MVx以成為兩個不同的MV。在另一實施方式中，進一步將具有不同步長的偏移分成兩組。一組是針對具有較大幅度的MV分量而設計的。另一組是針對具有較小幅度的MV分量設計的。例如，具有小步長的偏移被應用到具有大幅度的MV分量。在另一示例中，具有大步長的偏移被應用到具有大幅度的MV分量。分類可以取決於步長大小、分數像素、整數像素，或者乘以某些特定值。分類可以交錯。在另一實施方式中，進一步將具有不同步長的偏移分成幾組。可以根據MV的幅度來選擇偏移。
由於偏移添加操作非常類似於AMVP模式中的多MVD編碼，所以可以將偏移值Δ的集合定義成使它們的重疊最小。AMVP模式中的多MVD編碼與AMVR有關。與AMVR相比，最終運動向量表達（UMVE）的優點是UMVE不需要為各個清單編碼參考索引和MVP索引，因為新的擴展候選被視為合併候選。在一個實施方式中，可以將偏移值Δ的集合預定義成對於AMVR MV解析度是不同的。在由ITU-T VCEG和ISO/IEC MPEG的聯合視訊探索小組（JVET）開發的JEM（聯合探索模型）中，AMVR被設計成具有包括四分之一像素、整像素和四像素的MV解析度。偏移值集合可以被定義成1/2像素、2像素和8像素，它們與AMVR MV解析度是互相排斥的（或稱為不同於AMVR MV解析度）。例如，[1/2，2，8，16，32，64]也可以被預定義成偏移值的集合。
在另一實施方式中，可以在合併列表中使用先前解碼的運動資訊並且以先進先出(FIFO)方式對其進行更新。上述方法可以應用於這些新的合併候選。
將UMVE視為AMVP模式
在最終運動向量表達(UMVE)的當前設計中，UMVE被認為是合併模式。只有在啟用合併標誌或跳過標誌時才會用信號發送。然而，UMVE的MVD修改技術與應用了針對不同MVD解析度編碼的AMVR的AMVP非常類似。因此，我們提出將UMVE作為附加AMVP模式用信號發送。在一個實施方式中，可以在仿射標誌之前用信號發送UMVE標誌。例如，如果未啟用合併標誌，則將用信號發送UMVE標誌。如果在當前CU上啟用了UMVE，則仿射標誌會被推斷成一個預定義值並且不用信號發送。在另一實施方式中，還可以在仿射標誌之後用信號發送UMVE標誌。如果啟用了仿射標誌，則將不會用信號發送UMVE標誌。
UMVE基礎運動向量的不同選擇
在UMVE的當前設計中，合併候選列表用於選擇UMVE的展開。只有具有默認合併類型(MRG_TYPE_DEFAULT_N)的合併候選才會被考慮用於UMVE的展開。與常規合併編碼過程類似，僅需要用信號發送合併候選索引，並且解碼器可以通過參考相鄰塊的MV資訊來重建MV資訊(例如，interDir)、參考索引和MVP索引。儘管對於語法信令來說這是有效的方式，但由於合併候選列表中有限的候選，所以所參考的MV是有限的。因此，除了使用合併候選作為UMVE的展開之外，我們提出用信號發送更多運動資訊，如在AMVP模式中用信號發送的那些運動資訊。在一個實施方式中，當啟用UMVE時，用信號發送運動資訊的interDir、參考幀索引和MVP索引以用於UMVE的展開。例如，來自參考清單0的具有參考幀索引1的MV被用作UMVE的展開。在另一實施方式中，可以通過使用鏡像技術並且向解碼器用信號發送具有單向預測的MV的參考清單、參考幀索引和MVP索引來將該MV變換（或稱為轉換）成雙向預測。在一些實施方式中，鏡像技術還可以包括縮放操作。在另一實施方式中，可以通過對稱MVD（運動向量差）技術（該技術將MVD對稱地添加到單向預測MV（例如，⸢單向預測MV+MVD⸥和⸢單向預測MV-MVD⸥））以及向解碼器用信號發送具有單向預測的MV的參考清單、參考幀索引和MVP索引來將該MV轉換成雙向預測。在另一實施方式中，我們可以僅用信號發送MVP索引以供UMVE的展開。
UMVE的多個MVD方向
對於與四個方向索引相對應的當前UMVE設計，存在四個MVD方向（例如，[MVDx，0]、[-MVDx，0]、[0，MVDy]、[0，-MVDy]）。我們提出將MVD擴展到八個方向。可以向MV的x方向（或稱為水準方向）或y方向（或稱為垂直方向）或同時在x和y方向上（或稱為對角線方向）添加MVD。在一個實施方式中，固定的MVD值可以用於所有方向。例如，可以利用1像素MVD將等於[2，3]的MV的UMVE展開擴展到8個附加MV，包括[3，3]、[2，4]、[1，3]、[2，2]、[3，4]、[1，2]、[1，4]、[3，2]。在另一實施方式中，一組MVD值可以用於所有方向，並且添加的MVD值對於各個方向是相同的。例如，可以利用MVD組[1像素，2像素]將UMVE展開[2，3]擴展到16個附加MV，並分別通過1像素MVD和2像素MVD生成[3，3]、[2，4]、[1，3]、[2，2]、[3，4]、[1，2]、[1，4]、[3，2]和[4，3]、[2，5]、[0，3]、[2，1]、[4，5]、[0，1]、[4，1]、[0，5]。在另一實施方式中，一組MVD值可以用於所有方向，此外，可以根據不同的方向來設計MVD值。例如，一組MVD（例如[2像素，8像素]）用於在頂部、左側、底部和右側的MV擴展。另一組MVD（例如[1像素，4像素]）用於x方向和y方向上的MV擴展。利用這兩個MVD組，等於[2，3]的MV的UMVE展開可以被擴展到16個附加MV，包括由MVD組1生成的8個MV（例如[4，3]、[2，5]、[0，3]、[2，1]、[10，3]、[2，11]、[-6，3]、[2，-5]）以及由MVD組2生成的8個MV（例如[3，4]、[1，2]、[1，4]、[3，2]、[6，7]、[-2，-1]、[6，-1]、[-2，7]）。在另一實施方式中，一組MVD值可以用於所有方向，並且可以根據不同的方向來設計MVD值。通過應用多組MVD，可以使用菱形圖案進行擴展。用於頂部、左側、底部和右側擴展的MVD值被設計成大於其它方向。例如，由頂部、左側、底部和右側擴展組成的MVD組可以總是比由其它方向組成的另一MVD組大兩倍。等於[2，3]的MV的UMVE展開可以通過等於2像素的MVD在頂部、左側、底部和右側方向上擴展，以生成4個附加MV（例如[4，3]、[2，5]、[0，3]、[2，1]）。等於1像素的MVD可以用於左上、右上、左下和右下方向以生成另外4個MV（即，[3，4]、[1，2]、[1，4]、[3，2]）。
為了進一步減少MVD語法編碼，在另一實施方式中，可以從IMV標誌得出MVD，其中，IMV標誌用於表示MV解析度。例如，如果IMV標誌被編碼成4像素解析度，則UMVE的MVD被設置成4像素，並且可以通過4像素MVD生成四個或八個附加MV。例如，如果IMV標誌被編碼成4像素解析度，則針對頂部、左側、底部和右側方向，UMVE的MVD被設置成4像素。此外，2像素MVD可以用於將UMVE的展開擴展到包括右上、左上、右下和左下在內的其它四個方向。然而，可以使用四個、八個或更多個擴展方向，並且MVD值是有限的。因此，在另一實施方式中，我們提出將UMVE的MVD值作為AMVP模式用信號發送。以這種方式，需要用信號發送包括參考清單、參考幀索引和MVP索引在內的MV的資訊。在另一實施方式中，為了減少語法開銷並對L0和L1應用不同的MVD值，我們提出用信號發送用於L0的MVD值並且通過相對於L0應用鏡像技術來得出用於L1的另一MVD值。或者，可以用信號發送用於L1的MVD值，並且可以通過相對於L1應用鏡像技術來得出用於L0的另一MVD值。例如，用信號發送L0的MVD與其參考幀索引和MVP索引。可以使用鏡像技術得出L1的MVD，並且僅需要用信號發送其MVP索引。在另一示例中，用信號發送L0的MVD與其參考幀索引和MVP索引。可以通過使用鏡像技術得出L1的MVD，並且不需要用信號發送其參考幀索引或其MVP索引。
組合以上技術
可以組合上述方法。例如，將UMVE模式作為附加AMVP模式用信號發送，並在仿射標誌後用信號發送該UMVE模式。此外，僅當禁用仿射標誌時，才會用信號發送UMVE標誌，或者將UMVE標誌推斷成預定義值而不用信號發送。UMVE索引用於表示來自常規合併候選列表的哪個合併候選被應用成UVME。此外，將用信號發送MVD以及包括interDir、參考清單、參考幀索引和MVP索引在內的所有MV資訊。在另一示例中，將UMVE模式作為附加AMVP模式用信號發送並且在仿射標誌之後用信號發送該UMVE模式。此外，僅當禁用仿射標誌時，才會用信號發送UMVE標誌，或者將UMVE標誌推斷成預定義值而不用信號發送。如果啟用UMVE標誌，則將針對UMVE展開用信號發送包括interDir、參考清單、參考幀索引和MVP索引在內的MV資訊。可以從IMV標誌得出MVD。如果IMV標誌用信號發送為4像素解析度，則使用等於4像素的MVD針對頂部、左側、底部和右側方向來擴展UMVE的展開。可以使用等於2像素的MVD針對右上、左上、右下和左下方向來擴展UMVE的展開。在另一示例中，僅當啟用跳過或合併標誌時，才用信號發送UMVE模式。如果啟用UMVE模式，則需要用信號發送UMVE索引以表示合併候選清單中的哪個合併候選被用作UMVE展開。將用信號發送用於UMVE展開的MVD以及與MV有關的包括interDir、參考清單、參考幀索引和MVP索引在內的所有資訊。
在另一示例中，僅當啟用跳過或合併標誌時才用信號發送UMVE模式。如果啟用UMVE模式，則預定義或用信號發送UMVE索引，以表示合併候選列表中的哪個合併候選被用作UMVE展開。將僅用信號發送用於UMVE展開的MVD。與MV有關的包括interDir、參考清單、參考幀索引和MVP索引在內的所有其它資訊與合併候選相同。在另一示例中，僅當啟用跳過或合併標誌時才用信號發送UMVE模式。如果啟用UMVE模式，則預定義或用信號發送UMVE索引，以表示合併候選列表中的哪個合併候選被用作UMVE。將僅用信號發送用於UMVE展開的MVD以及針對不同MVD方向的不同MVD值。與MV有關的包括interDir、參考清單、參考幀索引和MVP索引在內的所有其它資訊與合併候選相同。當應用菱形圖案MVD時，針對頂部、左側、底部和右側擴展的MVD是針對右上、左上、右下和左下擴展的MVD的兩倍。
在UMVE的當前設計中，合併候選列表用於選擇UMVE的展開。在選擇多個合併候選作為UMVE的展開後，可以將一組預定義的MVD用於UMVE。預定義的MVD具有四個不同的方向和多個幅度。此外，可以將MVD添加至列表0、列表1或兩者中的MV。因此，如果UMVE的展開是單向預測MV，則可以在UMVE展開之前應用鏡像技術。為了增加MV的擴展多樣性，公開了如下幾種方法。
用於UMVE的展開的多個MVD
我們提出在八個方向上擴展MV。可以在x方向或y方向上將MVD添加到MV（例如[MVx+MVDx，MVy]、[MVx-MVDx，MVy]、[MVx，MVy+MVDy]、[MVx，MVy-MVDy]）並且這種MVD稱為方向1 MVD。可以同時在x和y方向上將MVD添加到MV（例如[MVx+MVDx，MVy+MVDy]、[MVx-MVDx，MVy-MVDy]、[MVx+MVDx，MVy-MVDy]、[MVx-MVDx，MVy-MVDy]）並且這種MVD稱為方向2 MVD。在一個實施方式中，可以將不同的UMVE的展開與MVD一起以不同方向添加到MV。例如，應用兩個合併候選（例如[1，2]、[3，4]）作為UMVE的展開。通過在方向2上添加一組MVD（例如，[1像素，2像素]）來擴展第一MV（例如[1，2]），並且將通過每個MVD生成4個附加MV。例如，值為1像素的MVD可以生成四個MV，包括[0（即，1-1），3（即，2+1）]、[2（即，1+1），3（即，2+1）]、[0（即1-1），1（即2-1）]、[2（即1+1），1（即2+1）]。通過在方向1上添加一組MVD（例如[1像素，2像素]）來擴展第二MV（例如[3，4]），並且將通過每個MVD生成四個附加MV。例如，值為1像素的MVD可以生成四個MV，包括[2，4]、[3，5]、[4，4]、[3，3]。然而，如第6A圖和第6B圖所示，第一MV可以是UMVE的展開的預定義順序或展開候選清單中的第一UMVE的展開。第6A圖例示了第一UMVE的示例，其中，通過方向2 MVD來擴展UMVE。第6B圖例示了第二UMVE的示例，其中通過方向1 MVD來擴展UMVE。
在另一實施方式中，可以在不同數量的方向上將不同的UMVE的展開添加到MVD。例如，應用兩個合併候選（例如[1，2]、[3，4]）作為UMVE的展開。可以通過在方向1 MVD和方向2 MVD上都添加MVD（例如，1像素）來擴展第一MV（例如[1，2]）。將生成八個附加MV，包括[2，2]、[1，3]、[0，2]、[1，1]、[2，3]、[0，1]、[2，1]、[0，3]（如第7A圖所示）。可以通過在方向1 MVD或方向2 MVD上添加MVD（例如，1像素）來擴展第二MV（例如[3，4]）。如果應用方向2 MVD，將生成四個附加MV，包括[2，3]、[4，5]、[2，5]、[4，3]（如第7C圖所示），如果應用方向1 MVD，將生成[4，4]、[3，5]、[2，4]、[3，3]（如第7B圖所示）。然而，第一MV可以是UMVE的展開的預定義順序或展開候選清單中的第一UMVE的展開。
在另一實施方式中，可以利用不同的MVD組來添加不同的UMVE的展開。例如，應用兩個合併候選作為UMVE的展開（例如[1，2]、[3，4]）。可以通過在方向2上添加一組MVD（例如[1像素，2像素]）來擴展第一MV（例如[1，2]）。將生成八個附加MV，包括[2，3]、[0，1]、[2，1]、[0，3]、[3，4]、[-1，0]、[3，0]、[-1，4]（第8A圖所示）。通過在方向2上添加另一組MVD（例如，[1像素]）來擴展第二MV，使得將生成四個附加MV，包括[4，5]、[2，3]、[2，5]、[4，3]（如第8B圖所示）。然而，第一MV可以是UMVE的展開的預定義順序或展開候選清單中的第一UMVE的展開。
在另一實施方式中，可以在不同方向上將具有不同幅度的MVD添加到UMVE的展開。例如，如第9圖所示，可以通過在方向1 MVD或方向2 MVD上添加一組MVD（例如[1像素，2像素，4像素]）來擴展UMVE的展開（例如[1，2]）。如在第9A圖中內部正方形910內或第9B圖中的內部正方形940內的小三角形所示，在第一輪中，可以在八個方向上為UMVE的展開（例如[1，2]）添加值為1像素的MVD，並且將生成八個附加MV，包括[2，2]、[1，3]、[0，2]、[1，1]、[2，3]、[0，1]、[2，1]、[0，3]。如第9A圖中的中間正方形920內的小實心方塊所示，在第二輪中，使用值為2像素的MVD在方向2的四個方向上添加UMVE的展開，並且將生成四個附加MV，包括[3，4]、[-1，0]、[3，0]、[-1，4]。在另一示例中，如第9B圖中的中間正方形950內的小實心方塊所示，在第二輪中，可以使用值為2像素的MVD在方向1的四個方向上添加UMVE的展開，並且將生成四個附加MV，包括[3，2]、[1，0] [1，4]、[-1，2]。如第9A圖中的外部正方形930內的小圓圈所示，在第三輪中，使用值為4像素的MVD在方向2的四個方向上添加UMVE的展開，然後將生成四個附加MV，包括[5，6]、[-3，-2]、[-3，6]、[5，-2]。在另一示例中，如第9B圖中的外部正方形960內的小圓圈所示，在第三輪中，使用值為4像素的MVD在方向1的四個方向上添加UMVE的展開，然後將生成四個附加MV，包括[5，2]、[-3，2]、[1，6]、[1，-2]。
在JEM中，對於不同的MVD解析度，MV預測子（MVP）在AMVP模式中的生成使用相同的過程。在插入所有空域MVP候選之後，在最後步驟中執行MV舍入（rounding）和MV修剪（pruning）。提出了在修剪過程之前針對各個預期添加的MVP執行MV舍入（取決於MV/MVD解析度）。在一個實施方式中，對於四分之一亮度樣本MVD，MVP被舍入到四分之一樣本精度，對於整數亮度樣本MVD，MVP被舍入到整數樣本精度，對於四亮度樣本MVD，MVP被舍入到四樣本精度。
關於仿射模式，取決於仿射模式中的控制點的數量，在一個MVP候選中有兩個或三個MV。還提出了在仿射模式中的修剪過程之前執行MV舍入。在另一實施方式中，對於四分之一亮度樣本MVD，MVP被舍入到四分之一樣本精度，對於整數亮度樣本MVD，MVP被舍入到整數樣本精度，對於四亮度樣本MVD，MVP被舍入到四樣本精度。
可以在編碼器和/或解碼器中實現任何前述所提出的方法。例如，可以在解碼器和/或編碼器的幀間編碼中實現任何所提出的方法。或者，任何所提出的方法可以被實現為聯接到編碼器和/或解碼器的幀間編碼的電路，以便提供幀間編碼所需的資訊。
第10圖例示了根據本發明的實施方式的用於視訊編碼的示例性幀間預測的流程圖，其中擴展候選具有與基礎預測方向相同的預測方向。流程圖中示出的步驟以及本公開中的其它後續流程圖可以被實現為可以在編碼器側和/或解碼器側的一個或更多個處理器（例如，一個或更多個CPU）上執行的程式碼。還可以基於諸如被配置成執行流程圖中的步驟的一個或更多個電子器件或處理器的硬體來實現流程圖中示出的步驟。根據該方法，在步驟1010中，在視訊編碼器側接收與當前圖像中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖像中的當前塊的壓縮資料相對應的視訊位元流。在步驟1020中，從原始幀間候選列表中選擇基礎候選，其中，基礎候選具有基礎預測方向。在步驟1030中，通過向基礎候選添加一個或更多個偏移來得出一個或更多個擴展候選，其中，所述一個或更多個擴展候選具有與基礎預測方向相同的預測方向。在步驟1040中，將所述一個或更多個擴展候選插入到原始幀間候選列表中以形成擴展幀間候選列表。在步驟1050中，在視訊編碼器側利用擴展幀間候選列表來對與當前塊相關聯的當前運動資訊進行編碼，或者在視訊解碼器側利用擴展幀間候選列表對與當前塊相關聯的當前運動資訊進行解碼。
第11圖例示了根據本發明實施方式的用於視訊編碼的示例性幀間預測的流程圖，其中，作為附加AMVP模式用信號發送UMVE展開。根據該方法，在步驟1110中，在視訊編碼器側接收與當前圖像中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖像中的當前塊的壓縮資料相對應的視訊位元流。在步驟1120中，在視訊編碼器側用信號發送當前塊的當前模式標誌，或者在視訊解碼器側解析當前塊的當前模式標誌，其中，通過UMVE（最終運動向量表達）模式標誌來表示與附加的AMVP（高級運動向量預測）模式相對應的UMVE模式。在步驟1130中，檢查當前模式標誌是否表示針對當前塊正在使用UMVE模式。如果當前模式標誌表示針對當前塊正在使用UMVE模式（即，步驟1130的⸢是⸥路徑），則執行步驟1140至步驟1170。否則（即，步驟1130的⸢否⸥路徑），跳過步驟1140至步驟1170。在步驟1140中，確定來自原始幀間候選列表的基礎候選。在步驟1150中，通過向基礎候選添加一個或更多個偏移來得出一個或更多個擴展候選，其中，所述一個或更多個擴展候選被視為在AMVP模式中MVD（運動向量差）。在步驟1160中，將所述一個或更多個擴展候選插入到原始幀間候選列表中以形成擴展幀間候選列表。在步驟1170中，在視訊編碼器側利用擴展幀間候選列表對與當前塊相關聯的當前運動資訊進行編碼，或者在視訊解碼器側利用擴展幀間候選列表對與當前塊相關聯的當前運動資訊進行解碼。
所示的流程圖旨在例示根據本發明的視訊編碼的示例。在不脫離本發明的精神的情況下，本領域技術人員可以修改各個步驟、重新安排步驟、拆分步驟、或組合步驟以實踐本發明。在本公開中，已經使用特定語法和語義來例示用於實現本發明的實施方式的示例。本領域技術人員可以在不脫離本發明的精神的情況下，通過用等同的語法和語義替換語法和語義來實踐本發明。
呈現以上描述是為了使得本領域普通技術人員能夠如同在特定應用及其要求的背景下提供的那樣實踐本發明。對所描述的實施方式的各種修改對於本領域技術人員來說是顯而易見的，並且本文定義的一般原理可以應用於其它實施方式。因此，本發明不旨在限於所示出和所描述的特定實施方式，而是符合與本文所公開的原理和新穎特徵相一致的最寬範圍。在以上詳細的描述中，例示了各種具體細節以便提供對本發明的透徹理解。然而，本領域技術人員將理解，可以實踐本發明。
可以以各種硬體、軟體代碼或兩者的組合來實現如上所述的本發明的實施方式。例如，本發明的實施方式可以是集成到視訊壓縮晶片中的一個或更多個電子電路或者集成到視訊壓縮軟體中的程式碼，以執行本文所描述的處理。本發明的實施方式還可以是要在數位訊號處理器（DSP）上執行的程式碼，以執行本文所描述的處理。本發明還可以涉及由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列（FPGA）執行的許多功能。這些處理器可以被配置成通過執行定義本發明所體現的特定方法的機器可讀軟體代碼或固件代碼來執行根據本發明的特定任務。可以以不同的程式設計語言和不同的格式或形式來開發該軟體代碼或固件代碼。還可以針對不同的目標平臺編譯軟體代碼。然而，執行根據本發明的任務的軟體代碼和其它類型配置代碼的不同代碼格式、形式和語言將不脫離本發明的精神和範圍。
在不脫離本發明的精神或實質特徵的情況下，可以以其它特定形式實施本發明。所描述的示例在所有方面都應被視為僅是例示性的而非限制性的。因此，由所附權利要求而不是前面的描述來表示本發明的範圍。在權利要求的含義和等同範圍內的所有變化都落在其範圍內。
210:候選集 231:mvL0_A,ref0 232:mvL1_B,ref 233:雙向預測MVP 310、320、410、420、430、432、440、442:候選列表 330:推導過程 510:當前幀 512:當前塊 520、530:幀 540、542、544:線 550:L0參考 552L1:參考 1010-1050、1110-1160:步驟
第1圖示出了針對AMVP和合併方案的用於推導空域和時域MVP的相鄰PU。 第2圖例示了組合的雙向預測合併候選的推導過程的示例。 第3圖例示了縮放的雙向預測合併候選的推導過程的示例，其中，左側的候選列表對應於原始候選列表，右側的候選列表對應於包括兩個生成的雙向預測MVP的展開候選列表。 第4A圖例示了添加零向量合併候選的示例，其中，左側的候選列表對應於原始合併候選列表，右側的候選列表對應於通過添加零候選而擴展的合併候選列表。 第4B圖例示了添加零向量AMVP候選的示例，其中，頂部的候選列表對應於原始AMVP候選列表（左側的L0和右側的L1），底部的候選列表對應於通過添加零候選而擴展的AMVP候選列表（左側的L0和右側的L1）。 第5A圖例示了針對以雙向預測進行編碼的當前塊的UMVE搜索過程的示例。 第5B圖例示了針對附加搜索候選的簡化的搜索過程的示例，其中，將僅搜索垂直地和水準地繞中心點的特定位置。 第6A圖例示了第一UMVE的示例，其中，通過方向2 MVD來擴展UMVE。 第6B圖例示了第二UMVE的示例，其中，通過方向1 MVD來擴展UMVE。 第7A圖例示了第一UMVE的展開的示例，其中，在八個方向上擴展展開。 第7B圖例示了第二UMVE的展開的示例，其中，利用方向1 MVD來擴展展開。 第7C圖例示了第二UMVE的展開的示例，其中，利用方向2 MVD來擴展展開。 第8A圖例示了第一UMVE的展開的示例，其中，利用MVD組1來擴展展開。 第8B圖例示了第二UMVE的展開的示例，其中，利用MVD組2來擴展展開。 第9A圖例示了UMVE的展開的示例，其中，通過一組MVD在方向2上利用16個附加MV來擴展展開。 第9B圖例示了第二UMVE的展開的示例，其中，通過一組MVD在方向1上利用16個附加MV來擴展展開。 第10圖例示了根據本發明實施方式的用於視訊編碼的示例性幀間預測的流程圖，其中，擴展候選具有與基礎預測方向相同的預測方向。 第11圖例示了根據本發明實施方式的用於視訊編碼的示例性幀間預測的流程圖，其中，將UMVE展開作為附加AMVP模式用信號發送。
1010-1050:步驟

Claims (28)

  1. 一種用於視訊編解碼的幀間預測的方法，所述方法包括以下步驟：在視訊編碼器側接收與當前圖像中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖像中的當前塊的壓縮資料相對應的視訊位元流；從原始幀間候選列表中選擇基礎候選，其中，所述基礎候選具有基礎預測方向；通過向所述基礎候選添加一個或更多個偏移來得出一個或更多個擴展候選，其中，所述一個或更多個擴展候選具有與所述基礎預測方向相同的預測方向；其中所述一個或更多個偏移取決於一語法元素；將所述一個或更多個擴展候選插入所述原始幀間候選列表中，以形成擴展幀間候選列表；以及在所述視訊編碼器側利用所述擴展幀間候選列表對與所述當前塊相關聯的當前運動資訊進行編碼，或者在所述視訊解碼器側利用所述擴展幀間候選列表對與所述當前塊相關聯的當前運動資訊進行解碼。
  2. 如申請專利範圍第1項所述之用於視訊編解碼的幀間預測的方法，其中，所述一個或更多個偏移是在多個方向上添加到所述基礎候選的，並且所述多個方向包括一個非水準也非垂直的目標方向。
  3. 如申請專利範圍第2項所述之用於視訊編解碼的幀間預測的方法，其中，所述多個方向由八個方向組成，所述八個方向包括四個水準和垂直方向以及四個對角線方向。
  4. 如申請專利範圍第2項所述之用於視訊編解碼的幀間預測的方法，其中，所述一個或更多個偏移對應於固定偏移。
  5. 如申請專利範圍第2項所述之用於視訊編解碼的幀間預測的方 法，其中，所述一個或更多個偏移對應於一組偏移。
  6. 如申請專利範圍第1項所述之用於視訊編解碼的幀間預測的方法，其中，所述一個或更多個偏移是從一組偏移中選擇的。
  7. 如申請專利範圍第6項所述之用於視訊編解碼的幀間預測的方法，其中，所述一個或更多個偏移的值是根據所述一個或更多個偏移被添加到所述基礎候選的目標方向來選擇的。
  8. 如申請專利範圍第6項所述之用於視訊編解碼的幀間預測的方法，其中，所述一個或更多個偏移被添加到所述基礎候選的目標方向取決於所述基礎候選的目標運動向量。
  9. 如申請專利範圍第6項所述之用於視訊編解碼的幀間預測的方法，其中，所述一個或更多個偏移的數量取決於所述基礎候選的目標運動向量。
  10. 如申請專利範圍第6項所述之用於視訊編解碼的幀間預測的方法，其中，所述一個或更多個偏移的數量取決於所述一個或更多個偏移被添加到所述基礎候選的目標方向。
  11. 如申請專利範圍第6項所述之用於視訊編解碼的幀間預測的方法，其中，當AMVR(自我調整運動向量解析度)被應用於所述當前塊時，所述一個或更多個偏移被選擇成具有與按照所述AMVR選擇的精度不同的幅度。
  12. 如申請專利範圍第11項所述之用於視訊編解碼的幀間預測的方法，其中，當所述AMVR被應用於所述當前塊時，所述一個或更多個偏移是根據表示按照所述AMVR選擇的精度的標誌來選擇的。
  13. 如申請專利範圍第1項所述之用於視訊編解碼的幀間預測的方法，其中，所述一個或更多個擴展候選被插入所述擴展幀間候選列表中，並且所述擴展幀間候選列表按照先進先出(FIFO)方式更新。
  14. 一種用於視訊編解碼的幀間預測的方法，所述方法包括以下步驟：在視訊編碼器側接收與當前圖像中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖像中的當前塊的壓縮資料相對應的視訊位元流；從原始幀間候選列表中選擇基礎候選，其中，所述基礎候選具有基礎預測方向；通過向所述基礎候選添加一個或更多個偏移來得出一個或更多個擴展候選，其中，所述一個或更多個擴展候選具有與所述基礎預測方向相同的預測方向；將所述一個或更多個擴展候選插入所述原始幀間候選列表中，以形成擴展幀間候選列表；以及在所述視訊編碼器側利用所述擴展幀間候選列表對與所述當前塊相關聯的當前運動資訊進行編碼，或者在所述視訊解碼器側利用所述擴展幀間候選列表對與所述當前塊相關聯的當前運動資訊進行解碼；其中，僅選擇所述原始幀間候選清單中的目標單向預測候選作為所述基礎候選，並且使用鏡像技術將所述目標單向預測候選轉換成雙向預測基礎候選，以得出所述一個或更多個擴展候選。
  15. 如申請專利範圍第1項所述之用於視訊編解碼的幀間預測的方法，其中，有條件地在x方向或y方向上將所述一個或更多個偏移添加到所述基礎候選。
  16. 如申請專利範圍第1項所述之用於視訊編解碼的幀間預測的方法，其中，針對跳過、合併、AMVP、仿射合併模式、仿射AMVP模式或子塊合併模式得出所述原始幀間候選列表。
  17. 一種用於視訊編解碼的幀間預測的裝置，所述裝置包括一個或更多個電子電路或處理器，所述一個或更多個電子電路或處理器被配置成： 在視訊編碼器側接收與當前圖像中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖像中的當前塊的壓縮資料相對應的視訊位元流；從原始幀間候選列表中選擇基礎候選，其中，所述基礎候選具有基礎預測方向；通過向所述基礎候選添加一個或更多個偏移來得出一個或更多個擴展候選，其中，所述一個或更多個擴展候選具有與所述基礎預測方向相同的預測方向；其中所述一個或更多個偏移取決於一語法元素；將所述一個或更多個擴展候選插入到所述原始幀間候選列表中，以形成擴展幀間候選列表；以及在所述視訊編碼器側利用所述擴展幀間候選列表對與所述當前塊相關聯的當前運動資訊進行編碼，或者在所述視訊解碼器側利用所述擴展幀間候選列表對與所述當前塊相關聯的當前運動資訊進行解碼。
  18. 一種用於視訊編解碼的幀間預測的方法，所述方法包括以下步驟：在視訊編碼器側接收與當前圖像中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖像中的當前塊的壓縮資料相對應的視訊位元流；在所述視訊編碼器側用信號發送所述當前塊的當前模式標誌，或者在所述視訊解碼器側解析所述當前塊的當前模式標誌；如果所述當前模式標誌表示針對所述當前塊正在使用所述UMVE模式，則：從原始幀間候選列表確定基礎候選；通過向所述基礎候選添加一個或更多個偏移來得出一個或更多個擴展候選，其中，所述一個或更多個偏移被視為在所述AMVP模式中的MVD(運動向量差)；其中所述一個或更多個偏移取決於一語法元素； 將所述一個或更多個擴展候選插入所述原始幀間候選列表中，以形成擴展幀間候選列表；以及在所述視訊編碼器側利用所述擴展幀間候選列表對與所述當前塊相關聯的當前運動資訊進行編碼，或者在所述視訊解碼器側利用所述擴展幀間候選列表對與所述當前塊相關聯的當前運動資訊進行解碼。
  19. 如申請專利範圍第18項所述之用於視訊編解碼的幀間預測的方法，其中，在所述當前塊的仿射標誌之前，用信號發送所述UMVE模式標誌。
  20. 如申請專利範圍第19項所述之用於視訊編解碼的幀間預測的方法，其中，如果所述UMVE模式標誌表示針對所述當前塊啟用了所述UMVE模式，則不用信號發送所述當前塊的所述仿射標誌，並且將所述仿射標誌推斷為預定義值。
  21. 如申請專利範圍第19項所述之用於視訊編解碼的幀間預測的方法，其中，在所述當前塊的仿射標誌之後，用信號發送所述UMVE模式標誌。
  22. 如申請專利範圍第21項所述之用於視訊編解碼的幀間預測的方法，其中，如果所述仿射標誌表示針對所述當前塊啟用了仿射模式，則不針對所述當前塊用信號發送所述UMVE模式標誌。
  23. 如申請專利範圍第18項所述之用於視訊編解碼的幀間預測的方法，其中，如果所述UMVE模式標誌表示針對所述當前塊啟用了所述UMVE模式，則針對所述基礎候選用信號發送附加運動資訊。
  24. 如申請專利範圍第23項所述之用於視訊編解碼的幀間預測的方法，其中，所述附加運動資訊包括預測方向、參考幀索引、MVP(運動向量預測子)索引，或針對所述基礎候選用信號發送所述預測方向、參考幀索引、 MVP索引的組合。
  25. 如申請專利範圍第23項所述之用於視訊編解碼的幀間預測的方法，其中，如果所述基礎候選是單向預測，則通過鏡像技術將所述基礎候選轉換成雙向預測，並且所述附加運動資訊僅與一個參考清單相關聯。
  26. 如申請專利範圍第23項所述之用於視訊編解碼的幀間預測的方法，其中，如果所述基礎候選是單向預測，則通過對稱MVD(運動向量差)技術將所述基礎候選轉換成雙向預測，並且所述附加運動資訊僅與一個參考清單相關聯。
  27. 如申請專利範圍第18項所述之用於視訊編解碼的幀間預測的方法，其中，如果所述UMVE模式標誌表示針對所述當前塊啟用了所述UMVE模式，則針對所述基礎候選僅用信號發送MVP(運動向量預測子)索引作為運動資訊。
  28. 一種用於視訊編解碼的幀間預測的裝置，所述裝置包括一個或更多個電子電路或處理器，所述一個或更多個電子電路或處理器被配置成：在視訊編碼器側接收與當前圖像中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖像中的當前塊的壓縮資料相對應的視訊位元流；在所述視訊編碼器側用信號發送所述當前塊的當前模式標誌，或者在所述視訊解碼器側解析所述當前塊的當前模式標誌；如果所述當前模式標誌表示針對所述當前塊正在使用所述UMVE模式，則：從原始幀間候選列表確定基礎候選；通過向所述基礎候選添加一個或更多個偏移來得出一個或更多個擴展候選，其中，所述一個或更多個偏移在所述AMVP模式中被視為MVD(運動向量差)；其中所述一個或更多個偏移取決於一語法元素； 將所述一個或更多個擴展候選插入所述原始幀間候選列表中，以形成擴展幀間候選列表；以及在所述視訊編碼器側利用所述擴展幀間候選列表對與所述當前塊相關聯的當前運動資訊進行編碼，或者在所述視訊解碼器側利用所述擴展幀間候選列表對與所述當前塊相關聯的當前運動資訊進行解碼。
TW108127192A 2018-07-31 2019-07-31 用於視訊編解碼的利用運動向量差的合併方法和裝置 TWI734158B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201862712288P 2018-07-31 2018-07-31
US62/712,288 2018-07-31
US201862717980P 2018-08-13 2018-08-13
US62/717,980 2018-08-13
US201862728131P 2018-09-07 2018-09-07
US62/728,131 2018-09-07
PCT/CN2019/098522 WO2020024966A1 (en) 2018-07-31 2019-07-31 Method and apparatus of merge with motion vector difference for video coding
WOPCT/CN2019/098522 2019-07-31

Publications (2)

Publication Number Publication Date
TW202021349A TW202021349A (zh) 2020-06-01
TWI734158B true TWI734158B (zh) 2021-07-21

Family

ID=69231409

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108127192A TWI734158B (zh) 2018-07-31 2019-07-31 用於視訊編解碼的利用運動向量差的合併方法和裝置

Country Status (5)

Country Link
US (1) US11539977B2 (zh)
CN (2) CN112514383B (zh)
CA (1) CA3107531A1 (zh)
TW (1) TWI734158B (zh)
WO (1) WO2020024966A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11317099B2 (en) * 2018-10-05 2022-04-26 Tencent America LLC Method and apparatus for signaling an offset in video coding for intra block copy and/or inter prediction
WO2020098811A1 (en) 2018-11-17 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Generalized bi directional prediction mode in video processing
JP7209092B2 (ja) * 2018-12-21 2023-01-19 北京字節跳動網絡技術有限公司 動きベクトル差分によるマージ（ｍｍｖｄ）モードにおける動きベクトル予測
WO2020141928A1 (ko) * 2019-01-04 2020-07-09 엘지전자 주식회사 영상 코딩 시스템에서 mmvd 에 따른 예측에 기반한 영상 디코딩 방법 및 장치
WO2020143772A1 (en) * 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Affine based merge with mvd
CN111885389B (zh) * 2020-07-24 2021-08-24 腾讯科技（深圳）有限公司 一种多媒体数据编码方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013070757A1 (en) * 2011-11-07 2013-05-16 Qualcomm Incorporated Generating additional merge candidates
TW201739252A (zh) * 2016-03-15 2017-11-01 聯發科技股份有限公司 具有仿射運動補償的視訊編碼的方法以及裝置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
EP2424243B1 (en) * 2010-08-31 2017-04-05 OCT Circuit Technologies International Limited Motion estimation using integral projection
US9288501B2 (en) * 2011-03-08 2016-03-15 Qualcomm Incorporated Motion vector predictors (MVPs) for bi-predictive inter mode in video coding
US9264725B2 (en) * 2011-06-24 2016-02-16 Google Inc. Selection of phase offsets for interpolation filters for motion compensation
KR20130030181A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치
JPWO2013111596A1 (ja) * 2012-01-26 2015-05-11 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 動画像符号化方法および動画像符号化装置
WO2013149307A1 (en) * 2012-04-05 2013-10-10 Newsouth Innovations Pty Limited Method and apparatus for coding of spatial data
US20130294513A1 (en) * 2012-05-07 2013-11-07 Qualcomm Incorporated Inter layer merge list construction for video coding
WO2014053095A1 (en) * 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus for inter-component motion prediction in three-dimensional video coding
US9774879B2 (en) * 2013-08-16 2017-09-26 Sony Corporation Intra-block copying enhancements for HEVC in-range-extension (RExt)
US9554150B2 (en) * 2013-09-20 2017-01-24 Qualcomm Incorporated Combined bi-predictive merging candidates for 3D video coding
US10531116B2 (en) * 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
CA2961681C (en) * 2014-09-30 2022-08-09 Hfi Innovation Inc. Method of adaptive motion vetor resolution for video coding
US10097838B2 (en) * 2014-10-13 2018-10-09 Futurewei Technologies, Inc. System and method for depth map coding for smooth depth map area
US10182240B2 (en) * 2014-11-18 2019-01-15 Mediatek Inc. Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
US11477477B2 (en) * 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
US10187653B2 (en) * 2015-05-18 2019-01-22 Avago Technologies International Sales Pte. Limited Motor vector prediction using co-located prediction units
CN117499650A (zh) * 2016-04-29 2024-02-02 英迪股份有限公司 图像解码方法、图像编码方法和用于发送比特流的方法
WO2018012886A1 (ko) 2016-07-12 2018-01-18 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체
CN109691099B (zh) * 2016-09-13 2023-10-27 韩国电子通信研究院 视频编码/解码方法和装置以及在其中存储比特流的记录介质
US10812791B2 (en) * 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
CN109804625A (zh) * 2016-10-04 2019-05-24 韩国电子通信研究院 对图像编码/解码的方法和装置及存储比特流的记录介质
CN109792521A (zh) * 2016-10-04 2019-05-21 韩国电子通信研究院 用于对图像进行编码/解码的方法和设备以及存储比特流的记录介质
US10979732B2 (en) * 2016-10-04 2021-04-13 Qualcomm Incorporated Adaptive motion vector precision for video coding
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
CN117499631A (zh) * 2017-07-06 2024-02-02 Lx 半导体科技有限公司 图像编码/解码设备及发送图像数据的设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013070757A1 (en) * 2011-11-07 2013-05-16 Qualcomm Incorporated Generating additional merge candidates
TW201739252A (zh) * 2016-03-15 2017-11-01 聯發科技股份有限公司 具有仿射運動補償的視訊編碼的方法以及裝置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=3425 *
Sri Nitchith Akula et al., "Description of SDR, HDR and 360° video coding technology proposal considering mobile application scenario by Samsung, Huawei, GoPro, and HiSilicon," JVET-J0024, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10–20 Apr. 2018 *
Sri Nitchith Akula et al., "Description of SDR, HDR and 360° video coding technology proposal considering mobile application scenario by Samsung, Huawei, GoPro, and HiSilicon," JVET-J0024, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10–20 Apr. 2018。 http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=3425

Also Published As

Publication number Publication date
CN112514383B (zh) 2023-12-19
CN112514383A (zh) 2021-03-16
US20210306659A1 (en) 2021-09-30
US11539977B2 (en) 2022-12-27
WO2020024966A1 (en) 2020-02-06
CA3107531A1 (en) 2020-02-06
CN117692632A (zh) 2024-03-12
TW202021349A (zh) 2020-06-01

Similar Documents

Publication Publication Date Title
TWI734158B (zh) 用於視訊編解碼的利用運動向量差的合併方法和裝置
TWI720551B (zh) 一種視訊編解碼的幀間預測方法及裝置
JP7212150B2 (ja) 適応動きベクトル解像度によるアフィンモードへの構文の使用
TWI718412B (zh) 用於訊框速率上升轉換(fruc)之低複雜度設計
TWI700922B (zh) 用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置
TWI687096B (zh) 用於視訊編解碼之運動向量限制方法和裝置
TWI702834B (zh) 視訊編解碼系統中具有重疊塊運動補償的視訊處理的方法以及裝置
TW202013967A (zh) 改進的模式匹配的運動向量推導
TW201832557A (zh) 在視訊編解碼中預測子細化的候選跳過的方法和裝置
TWI738248B (zh) 運動細化以及子分區基礎填充的視訊處理的方法以及裝置
TWI734262B (zh) 用於視訊編碼之運動向量差值改良式合併方法和裝置
TWI736923B (zh) 擴展Merge模式
TWI720753B (zh) 簡化的三角形合併模式候選列表導出的方法以及裝置
TWI734254B (zh) 視訊編碼之多重假設方法和裝置
JP7235877B2 (ja) アフィンモード適応型動きベクトル解像度を符号化するためのコンテキスト
TW202044841A (zh) 在視頻編解碼中約束合併標誌信令的方法和裝置
TW202025763A (zh) 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置
KR102463478B1 (ko) 비디오 코딩 시스템을 위한 아핀 인터 예측 방법 및 장치
CN117356097A (zh) 用于视频处理的方法、设备和介质
TW202021346A (zh) Bio中的mv精度
TWI822567B (zh) 用於使用移動向量差值之合併模式的視訊編碼之方法和裝置
TW202349962A (zh) 使用具有運動向量差的合併模式的視訊編解碼方法和裝置
TW202349959A (zh) 使用ｍｖｄ合併模式來降低視頻編解碼複雜度的方法和裝置
CN117203959A (zh) 用于视频处理的方法、设备和介质
CN117652142A (zh) 用于视频处理的方法、设备和介质