TW201902221A - 用於視訊編解碼的重新排序運動向量預測候選集的方法及裝置 - Google Patents

用於視訊編解碼的重新排序運動向量預測候選集的方法及裝置 Download PDF

Info

Publication number
TW201902221A
TW201902221A TW107115744A TW107115744A TW201902221A TW 201902221 A TW201902221 A TW 201902221A TW 107115744 A TW107115744 A TW 107115744A TW 107115744 A TW107115744 A TW 107115744A TW 201902221 A TW201902221 A TW 201902221A
Authority
TW
Taiwan
Prior art keywords
current block
candidate
motion vector
template
prediction
Prior art date
Application number
TW107115744A
Other languages
English (en)
Other versions
TWI674795B (zh
Inventor
陳俊嘉
徐志瑋
陳慶曄
黃毓文
莊子德
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201902221A publication Critical patent/TW201902221A/zh
Application granted granted Critical
Publication of TWI674795B publication Critical patent/TWI674795B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明公開一種用於視訊編解碼的畫面間預測的方法及裝置，其由訊編碼器或視訊解碼器執行，該方法及裝置利用運動向量預測以編解碼與用畫面間模式編解碼的塊相關的運動向量。根據一方法，當前塊的原始運動向量預測候選列表被生成。當候選重新排序被選擇以用於當前塊時，所選擇的候選集內的複數個目標候選被重新排序，以生成已重新排序運動向量預測候選列表，隨後，使用已重新排序運動向量預測候選列表，在視訊編碼器側，當前塊被編碼，或在視訊解碼器側，當前塊被解碼，其中所選擇的候選集至少包括原始運動向量預測候選列表中的部分候選。

Description

用於視訊編解碼的重新排序運動向量預測候選集的方法及裝置
本發明涉及運動估計/運動補償以及運動向量（motion vector，MV）的預測性編解碼。具體而言，本發明涉及一種使用當前塊的模板和一個或複數個參考塊的模板重新排序候選列表中的候選，以提高編解碼性能。
運動估計/運動補償是很強大的編解碼工具，其已在各種編解碼標準中被使用，例如MPEG-2、H.264和新興的高效視訊編碼（High Efficiency Video Coding，HEVC）標準。在編碼器側推導出的運動資訊必須被發送至解碼器側，其可能消耗相當大的頻寬。為了提高運動資訊的編解碼效率，預測編解碼當前運動向量的運動向量預測被開發。
合併模式和高級運動向量預測（ Advanced Motion Vector Prediction ， AMVP ）模式
對於每個畫面間預測單元（prediction unit，PU），使用運動估計，以確定一個或兩個運動向量。為了提高HEVC中的運動向量編解碼的編解碼效率，HEVC運動向量預測預測性編碼運動向量。具體地，HEVC支持跳過模式和合併模式以用於運動向量預測編解碼。對於跳過模式和合併模式，基於空間相鄰塊（空間候選）或者時間同位塊（時間候選）的運動資訊，候選集被推導出。當使用跳過模式或者合併模式編解碼預測單元時，沒有運動資訊被標誌（signal）。相反，僅所選擇的候選的索引被編解碼。對於跳過模式，殘差信號被設置為0或者不被編解碼。換言之，沒有資訊被標誌以用於殘差。每個合併預測單元重新使用所選擇的候選的運動向量、預測方向和參考圖像索引。
對於HEVC中的合併模式，如第1圖所示，多達四個空間運動向量候選自相鄰塊A0 、相鄰塊A1 、相鄰塊B0 和相鄰塊B1 被推導出，一個時間運動向量候選自右下塊TBR或者中心塊TCT 推導出。對於時間候選，TBR 被先使用。如果TBR 不可用，則TCT 被使用。注意的是，如果四個空間運動向量候選中的任何不可用，則塊B2 用於推導出運動向量候選，作為替換。在四個空間運動向量候選和一個時間運動向量候選的推導流程之後，移除冗餘（裁剪）被應用以移除任何冗餘運動向量候選。如果在移除冗餘（裁剪）之後，可用運動向量候選的數量小於5，則三種類型的額外候選被推導出，並被添加到候選集（候選列表）中。編碼器基於率失真優化（rate-distortion optimization，RDO）決策，在用於跳過模式或者合併模式的候選集內選擇一個最終候選，並發送索引至解碼器。
由於跳過候選和合併候選的推導相似，所以下文所指的“合併”模式可以對應於“合併”模式以及“跳過”模式，以為方便。
運動向量預測技術也被應用以預測地編解碼運動向量，其稱為高級運動向量預測（Advanced Motion Vector Prediction，AMVP）。當以畫面間高級運動向量預測模式編解碼預測單元時，用可以與運動向量預測子（motion vector predictor，MVP）一起使用的已發送的運動向量差值（motion vector difference，MVD）來執行運動補償預測以用於推導出運動向量。為了確定以畫面間高級運動向量預測模式的運動向量預測，高級運動向量預測方案被使用，以在包括兩個空間運動向量預測和一個時間運動向量預測的高級運動向量預測候選集中選擇運動向量預測子。因此，運動向量預測的高級運動向量預測索引及相應的運動向量差值需要被編碼並發送以用於高級運動向量預測編解碼塊。此外，指定了與每個列表的參考資訊幀索引相關的雙向預測和單預測（即列表0(L0)和/或列表1(L1))）中的預測方向的畫面間預測方向也應被編碼並發送。
當以跳過模式或者合併模式編解碼預測單元時，除了所選擇的候選的合併索引之外沒有運動資訊被發送，是因為跳過模式和合併模式採用運動推理方法（即MV=MVP+MVD，其中MVD為0）以自所選擇的合併候選/跳過候選獲得運動資訊。
在高級運動向量預測中，左運動向量預測基於來自於A0 和A1 的第一可用運動向量預測被選擇，頂運動向量預測是來自於B0 、B1 和B2 的第一可用運動向量預測，時間運動向量預測是來自於TBR 或者TCT 的第一可用運動向量預測（如果TBR 先被使用，如果TBR 不可用，則TCT 被使用）。如果左運動向量預測不可用且頂運動向量預測不是已縮放運動向量預測，則如果在B0 、B1 和B2 中存在已縮放運動向量預測，則第二頂運動向量預測可以被推導出。在HEVC中，高級運動向量預測的運動向量預測的列表尺寸是2。因此，在兩個空間運動向量預測和一個時間運動向量預測的推導流程之後，僅前兩個運動向量預測可用被包括在運動向量預測列表中。如果在移除冗餘之後，可用運動向量預測的數量小於2，則0個向量候選被添加到候選列表中。
雙向模板運動向量微調
在一些文獻中，雙向模板運動向量微調（Bilateral Template MV Refinement，BTMVR）也稱為解碼器側運動向量微調（Decoder-side MV refinement，DMVR）。例如，在JVET-D0029 (Xu Chen, et al., “Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching”, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 4th Meeting: Chengdu, CN, 15–21 October 2016, Document: JVET- D0029)中，公開了基於雙向模板匹配的DMVR。BTMVR的流程如第2圖所示，其中塊210是當前塊。用於當前塊210的原始運動向量MV0 220a和原始運動向量MV1 220b被確定。
在BTMVR（即DMVR）中，其使用兩階段搜索以微調當前塊的運動向量。對於當前塊，當前運動向量候選的成本先被評估。在第一階段搜索中，在當前像素位置周圍處，整數像素搜索被執行。八個候選被評估。兩個相鄰圓圈之間或者方形符號和相鄰圓圈之間的水平距離和垂直距離為一個是一個像素。在第一階段中，具有最低成本的最佳候選被選擇為最佳運動向量候選。在第二階段中，在第一階段中的最佳運動向量候選周圍處，二分之一像素方形搜索被執行。具有最低成本的最佳候選被選擇為最終運動補償的最終運動向量。
當底層視訊資料對應于彩色視訊時，BTMVR流程也可以被應用到顏色分量。本領域所知的是，彩色視訊可以是不同顏色格式，例如具有諸如4:4:4, 4:2:2和4:2:0的不同顏色採樣格式的YUV顏色分量或者YCrCb顏色分量。例如，當顏色視訊處於YCrCb420格式時，Cr色度分量和Cb色度分量具有Y亮度分量的二分之一垂直解析度和二分之一水平解析度。在運動向量用於色度分量之前，基於Y分量推導出的運動向量需要被縮放。
基於樣式運動向量推導（ Pattern-based MV Derivation ， PMVD ）
第3圖示出了幀率向上轉換（Frame Rate Up Conversion，FRUC）雙向匹配模式的示例，其中基於兩個參考圖像，當前塊310的運動資訊被推導出。透過在兩個不同參考圖像（即Ref0和Ref1）中沿著當前塊的運動軌跡340查找兩個塊（即320和330）之間的最佳匹配，當前塊的運動資訊被推導出。在連續運動軌跡的假設下，指向兩個參考塊的與Ref0相關的運動向量運動向量MV 0和與Ref1相關的運動向量運動向量MV 1將與當前圖像（即Cur pic）和兩個參考圖像Ref0和Ref1之間的時間距離，即TD0和TD1成比例。
第4圖示出了模板匹配FRUC模式的示例。當前圖像（即Cur pic）中的當前塊410的相鄰區域（即420a和420b）用作模板，以與參考圖像（即第4圖中的Ref0）中的相應模板（即430a和430b）匹配。模板420a/420b與模板430a/430b之間的最佳匹配將確定解碼器側推導運動向量440。雖然第4圖中顯示了Ref0，但是Ref1也可以用作參考圖像。
根據VCEG-AZ07，當merge_flag或者skip_flag為真時，FRUC_mrg_flag被標誌。如果FRUC_mrg_flag為1，則FRUC_merge_mode被標誌以表示雙向匹配合併模式或者模板匹配合併模式被選擇。如果FRUC_mrg_flag為0，則意味著在這種情況中常規合併模式被使用，並且合併索引被標誌。在視訊編解碼中，為了提高編解碼效率，使用運動向量預測，塊的運動向量可以被預測，其中候選列表被生成。合併候選列表可以用於以合併模式編解碼塊。當合併模式用於編解碼塊時，此塊的運動資訊（例如，運動向量）可以由合併運動向量列表中的候選運動向量之一表示。因此，不是直接發送塊的運動資訊，而是合併索引被發送到解碼器側。解碼器保持相同的合併列表，並使用合併索引以檢測出由合併索引標誌的合併候選。通常合併候選列表包括少數量的候選，並且發送合併候選比發送運動資訊有效得多。當以合併模式編解碼塊時，透過標誌合併索引而不是顯性發送，運動資訊與相鄰塊的運動資訊“合併”。然而，預測殘差仍被發送。在預測殘差為0或者非常小的情況中，預測殘差被“跳過”（即跳過模式），並且塊由具有合併索引的跳過模式編解碼，以識別出合併列表中的合併運動向量。
雖然術語FRUC指的是幀率向上轉換（Frame Rate Up-Conversion）的運動向量推導，但底層技術用於解碼器以推導出一個或複數個合併運動向量候選，而無需顯性發送運動資訊。因此，在本發明中，FRUC也稱為解碼器推導運動資訊。由於模板匹配方法是基於樣式運動向量推導技術，所以在本發明中，FRUC的模板匹配方法也稱為基於樣式運動向量推導(Pattern-based MV Derivation，PMVD)。
在解碼器側運動向量推導方法中，透過掃描所有參考圖像中的所有運動向量，稱為時間推導運動向量預測的新時間運動向量預測被推導出。為了推導出LIST_0時間推導運動向量預測，對於LIST_0參考圖像中的每個LIST_0運動向量，此運動向量被縮放以指向當前資訊幀。當前資訊幀中由此縮放運動向量指向的4x4塊是目標當前塊。此運動向量還被縮放以指向用於目標當前塊的LIST_0中refIdx等於0的參考圖像。第5A圖和第5B圖示出了分別推導LIST_0和LIST_1的時間推導運動向量預測。在第5A圖和第5B圖中，每個小正方形塊對應於4x4塊。時間推導運動向量預測流程掃描所有參考圖像中的所有4x4塊中的所有運動向量，以生成當前資訊幀的時間推導LIST_0 運動向量預測和時間推導LIST_1運動向量預測。例如，在第5A圖中，塊510、塊512和塊514分別對應於當前圖像（即Cur. pic）、具有索引等於0（即refidx=0）的LIST_0參考圖像和具有索引等於1（即refidx=1）的LIST_0參考圖像的4x4塊。具有索引等於1的LIST_0參考圖像中的兩個塊的運動向量520和運動向量530是已知的。隨後，透過分別縮放運動向量520和運動向量530，時間推導運動向量預測522和時間推導運動向量預測532可以被推導出。隨後，縮放運動向量預測被分配到相應的塊。同樣地，在第5B圖中，塊540、塊542和塊544分別對應於當前圖像（即Cur. pic）、具有索引等於0（即refidx=0）的LIST_1參考圖像和具有索引等於1（即refidx=1）的LIST_1參考圖像的4x4塊。具有索引等於1的LIST_1參考圖像中的兩個塊的運動向量550和運動向量560是已知的。隨後，透過分別縮放運動向量550和運動向量560，時間推導運動向量預測552和時間推導運動向量預測562可以被推導出。
對於雙向匹配合併模式和模板匹配合併模式，兩階段匹配被使用。第一階段是預測單元層匹配，第二階段是子預測單元層匹配。在預測單元層匹配中，LIST_0和LIST_1中的複數個原始運動向量分別被選擇。這些運動向量包括來自於合併候選（即常規合併候選，例如HEVC標準中所指定的這些）的運動向量和來自於時間推導運動向量預測的運動向量。兩個不同起始運動向量集被生成以用於兩個列表。對於一個列表中的每個運動向量，透過包括此運動向量及透過將此運動向量縮放到另一列表而推導出的鏡像運動向量，一運動向量對被生成。對於每個運動向量對，透過使用此運動向量對，兩個參考塊被補償。這兩個塊的絕對差之和（sum of absolutely differences，SAD）被計算。具有最小絕對差之和的運動向量對被選擇為最佳運動向量對。
局部照度補償（ Local Illumination Compensation ， LIC ）
LIC是一種使用當前塊和參考塊的相鄰樣本執行畫面間預測的方法。其是基於使用縮放因數a和偏移b的線性樣式。透過參考當前塊和參考塊的相鄰樣本，本方法推導出縮放因數a和偏移b。另外，LIC流程可以被使能或者禁能以適應性地用於每個編碼單元（coding unint, CU）。
關於LIC的更多細節可以在JVET-C1001 ((Xu Chen, et al., “Algorithm Description of Joint Exploration Test Model 3”, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 3rd Meeting: Geneva, CH, 26 May – 1 June 2016, Document: JVET- C1001)中找到。
高級運動向量解析度（ Advanced Motion Vector Resolution ， AMVR ）
為了提高編解碼增益，AMVR最近也已被引進。AMVR可以適應性地切換運動向量差值的解析度。當前運動向量與預測單元的運動向量預測子之間的運動向量差值可以用四分之一像素解析度或者整數像素解析度進行編解碼。切換被控制在編碼單元層，整數運動向量差值解析度標誌（有條件地）被標誌。
關於AMVR的更多細節可以在JVET-C1001 ((Xu Chen, et al., “Algorithm Description of Joint Exploration Test Model 3”, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 3rd Meeting: Geneva, CH, 26 May – 1 June 2016, Document: JVET- C1001)中被找到。
在JVET-E0076 (Chen et al., “EE5EE4: Enhanced Motion Vector Difference Coding”, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, the 5th JVET meeting, January 2017, Geneva, Document: JVET-E0076)中，已採用改進型運動向量差值編解碼方法。改進型運動向量差值編解碼方法包括兩個元素：a）用於運動向量差值信令(signalling)的4像素精度（除了1/4像素及整數像素運動向量差值精度之外），以及b）可切換的二進位化以及下上文模型選擇。根據JVET-E0076，第一標誌被標誌以指示用於表明亮度的1/4像素運動向量精度在編碼單元中是否被使用。當第一標誌指示表明亮度的1/4像素運動向量精度不被使用時，另一標誌被標誌以指示整數個亮度樣本或四個亮度樣本運動向量精度是否被使用。
在下面發明中，描述了透過採用當前塊的模板和一個或複數個參考塊的模板、先前已編解碼資料或資訊以提高編解碼效率的不同技術。
本發明公開了一種用於視訊編解碼的畫面間預測的方法及裝置，其由訊編碼器或視訊解碼器執行，該方法及裝置利用運動向量預測以編解碼與用畫面間模式編解碼的塊相關的運動向量。根據一方法，在視訊編碼器側，接收與當前圖像中的當前塊相關的資料，或在視訊解碼器側，接收對應於包括當前塊的已壓縮資料，其中當前塊包括視訊資料的像素集。當前塊的原始運動向量預測候選列表被生成。根據本發明，當候選重新排序被選擇以用於當前塊時，所選擇的候選集內的複數個目標候選被重新排序，以生成已重新排序運動向量預測候選列表；隨後使用已重新排序運動向量預測候選列表，在視訊編碼器側，當前塊被編碼，或在視訊解碼器側，當前塊被解碼，其中所選擇的候選集至少包括原始運動向量預測候選列表中的部分候選。
在一實施例中，重新排序複數個目標候選包括：基於當前塊的複數個上方相鄰條件或複數個左側相鄰條件，或者基於當前塊的第一模板和一個或複數個相應參考塊的第二模板，估計複數個目標候選的複數個成本。例如，當前塊的第一模板可以包括位於當前塊上方和當前塊左側中至少一個的複數個第一像素；以及一個或複數個相應參考塊的第二模板可以包括位於一個或複數個相應參考塊上方和一個或複數個相應參考塊左側中至少一個的複數個第二像素。又例如，當前塊的第一模板可以包括位於當前塊上方的NC個第一像素列和位於當前塊左側的MC個第一像素行；以及一個或複數個相應參考塊的第二模板可以包括位於一個或複數個相應參考塊上方的NR個第二像素列和位於一個或複數個相應參考塊左側的MR個第二像素行；其中NC、MC、NR和MR均是大於0的整數。又例如，當前塊的第一模板還可以包括穿過當前塊的左上角以形成第一L型區域所定位的第一區塊；以及一個或複數個相應參考塊的第二模板還包括與一個或複數個相應參考塊相鄰以形成第二L型區域的左上角的第二區塊。NC、MC、NR和MR均可以是根據當前塊的形狀或尺寸，或者覆蓋當前塊的當前片段的量化參數值確定的。
在一實施例中，複數個目標候選的複數個成本是基於當前塊的第一模板中的複數個已子採樣第一像素和一個或複數個相應參考塊的第二模板中的複數個已子採樣第二像素估計的。依據當前塊的尺寸，確定是否使用複數個已子採樣第一像素和複數個已子採樣第二像素，以用於估計複數個目標候選的複數個成本。
在又一實施例中，對於當前塊的第一模板中的複數個第一像素以及一個或複數個相應參考塊的第二模板中的複數個第二像素，複數個目標候選的複數個成本僅是基於位於當前塊上方的複數個第一像素以及一個或複數個相應參考塊上方的複數個第二像素而被估計，或者僅是基於當前塊左側的複數個第一像素以及一個或複數個相應參考塊左側的複數個第二像素而被估計。基於當前塊的尺寸，確定是否僅使用位於當前塊上方的複數個第一像素和一個或複數個相應參考塊上方的複數個第二像素以用於估計複數個目標候選的複數個成本，或者確定是否僅使用位於當前塊左側的複數個第一像素和一個或複數個相應參考塊左側的複數個第二像素以用於估計複數個目標候選的複數個成本。
相應參考塊可以是根據當前塊的一個或複數個運動向量而定位，其中當當前塊是單向預測時，一個相應參考塊用於估計複數個目標候選的複數個成本，並且當當前塊是雙向預測時，兩個相應參考塊用於估計複數個目標候選的複數個成本。複數個目標候選的複數個成本可以是基於包括當前塊的第一模板的複數個第一像素與一個或複數個相應參考塊的第二模板中的複數個第二像素之間的絕對差之和以及平方差之和的測量估計的。此外，雙線性濾波被應用於當前塊的第一模板的複數個第一像素以及一個或複數個相應參考塊的第二模板中的複數個第二像素；隨後，複數個目標候選的複數個成本是基於包括複數個已濾波第一像素與複數個已濾波第二像素之間的絕對差之和以及平方差之和的測量估計的。
在一實施例中，估計複數個目標候選的複數個成本可以包括：調整與複數個目標候選相關的複數個原始已估計成本。例如，原始已估計成本是根據候選類型或候選索引調整的。
當第一目標候選具有比第二目標候選低的成本，且第一目標候選在原始運動向量預測候選列表中位於第二目標候選之後時，重新排序所選擇的候選集內的複數個目標候選可以對應於將第一目標候選移動到第二目標候選的前面的位置。在另一示例中，對應於第二目標候選的第二成本與第一目標候選的第一成本的比值大於預定義閾值的額外條件，以用於重新排序第一候選和第二候選。
在一實施例中，基於當前塊的形狀、尺寸或量化參數值，或當前圖像的尺寸，確定候選重新排序是否被選擇以用於該當前塊。
在一實施例中，所選擇的候選集可以對應於原始運動向量預測候選集的複數個成員候選，其至少具有合併索引小於或等於閾值，或屬於一個或複數個所選擇的候選類型，或其組合。
在一實施例中，所選擇的候選集可以對應於原始運動向量預測候選集的複數個成員候選，其中複數個成員候選屬於一個或複數個所選擇的候選類型。
以下描述為本發明的較佳實施例。以下實施例僅用來舉例闡釋本發明的技術特徵，並非用以限定本發明。本發明的保護範圍當視申請專利範圍所界定為准。
在本發明中，位於當前塊外部的模板及位於參考塊外部的相應模板被採用以推導用於提高編解碼效率的資訊。
用於適應性運動向量解析度的基於模板的模式選擇
在所提出的方法中，當前塊的運動向量解析度可以自其相鄰而被推導出。模板的上方部分和左側部分可以被使用以推導當前塊的運動向量解析度。例如，上方模板612a可以對應於位於當前塊610（例如，編碼單元或預測單元）上方的N像素列，其具有與如第6圖所示的當前塊的寬度相同的寬度。左側模板612b可以對應於位於當前塊610左側的N像素行，其具有與如第6圖所示的當前塊的高度相同的高度。當模板用於評估當前塊的不同運動向量解析度時，當前塊610的模板的像素與參考塊620的模板（622a和/或622b）中相應像素的成本（例如，失真）被計算。基於如第6圖中的運動向量630所示的自當前塊指向參考塊的運動向量，相應參考塊被定位。具有最小模板成本的解析度被選擇為當前塊的運動向量解析度。
根據本發明的一方法，預測的殘差沒有被標誌。編碼器和解碼器將相同的成本估計應用到用於所有三種運動向量解析度的上方模板和左側模板。用於當前塊的具有最小成本的運動向量解析度被選擇。當上方模板不可用時，編碼器和解碼器將僅使用左側模板。當左側模板不可用時，編碼器和解碼器將僅使用上方模板。當上方模板和左側模板均不可用時，編碼器和解碼器將選擇當前塊的默認運動向量解析度。默認運動向量解析度可以是所支持的運動向量解析度之一，例如，四分之一像素、整數像素或4像素。
在另一方法中，編碼器和解碼器可以標誌（signal）MV_resolution_Predcition_flag語法以指示當前塊運動向量解析度是否是自其相鄰模板預測的。當標誌表示其是自相鄰模板預測時，編碼器和解碼器將成本評估應用於所有三種運動向量解析度的模板，並選擇具有最小成本的一個。否則（即MV_resolution_Predcition_flag表示不使用基於模板的方法），正確的運動向量解析度將被標誌。MV_resolution_Predcition_flag可以是上下文編解碼的或者旁路編解碼的。當其是上下文編解碼的時，其可以使用N（N為大於1的整數）個上下文。上下文可以基於上方相鄰塊和/或左側相鄰塊的資訊被選擇。
在另一方法中，編碼器可以標誌所使用的運動向量解析度與所預測的運動向量解析度之間的差值。在解碼器側，這個差值可以被解析。在一實施例中，編碼器和解碼器可以將四分之一像素運動向量解析度表示為N，將整數像素運動向量解析度表示為N+1，並將4像素解析度表示為N+2。
在另一實施例中，表示每個解析度的順序可以不相同。無需將四分之一像素運動向量解析度表示為N，將整數像素運動向量解析度表示為N+1，並將4像素解析度表示為N+2。用於表示的這3種解析度的其他可能順序可以被支持。
在本方法的所有上述實施例中，N為整數。例如，N可以被選擇為0。
在又一實施例中，當運動向量解析度的預測是正確的時，預測誤差被標誌為“0”；否則，當預測子為四分之一像素解析度而正確的解析度為整數像素時，預測誤差被標誌為“+1”；以及當預測子為四分之一像素解析度而正確的解析度為4像素時，預測誤差被標誌為“-1”。同理，使用模組系統，¼像素、1像素、4像素、¼像素、1像素、4像素….的序列可以被使用以表示這些解析度之間的相鄰關係。當預測子解析度與真實解析度匹配時，“0”被標誌；否則，根據正確解析度與其預測子之間的相對相鄰位置，“+1”或“-1”被標誌。在本示例中，如果正確解析度是位於預測子解析度的右邊，則“+1”被標誌；否則如果正確解析度位於預測子解析度的左邊，則“-1”被標誌。
用於二進位化的上述字符（即“0”、“+1”和“-1”）的一個示例被總結如下： 表1
在編碼運動向量解析度期間，符號和差將被計算並編解碼。注意的是，這些設置僅用於說明本方法。通常，3個連續數位可以被使用以表示這三種解析度。在一示例中，編碼器和解碼器設置四分之一運動向量解析度為1、整數像素運動向量解析度為2以及4像素運動向量解析度為3。殘差表格的示例如表2所示。 表2
如上述表格所示，總共5個不同的殘差值。為了編解碼5個殘差，我們可以使用固定長度二進位化或可變長度二進位化。
在一實施例中，指數哥倫布（Ex-Golomb）碼用於二進位化。一個碼字表格如下所示: 表3
在另一實施例中，提出使用前序（prefix）和固定長度碼字以用於二進位化。例如，一個標誌可以被標誌以表示殘差是否為0。如果殘差不為0，則前序“1”可以被標誌，接著2個二進位值（bin）被標誌以表示4個可能殘差（即-1, 1, -2, 2）中的哪個被使用。一個示例二進位化表格如表4所示。 表4
在另一實施例中，不同解析度之間的差值可以使用符號及絕對值來表明。例如，一個MV_resolution_predition_no_residual_flag被標誌以表示運動向量解析度預測殘差是否為0。當 MV_resolution_prediction_no_residual_flag為1時，已預測運動向量解析度與當前運動向量解析度之間的殘差為0，並且已預測運動向量解析度用於當前運動向量解析度。否則存在殘差。一個符號標誌MV_resolution_residual_sign_flag被標誌以表示殘差的符號。隨後是殘差的絕對值MV_resolution_abs_value。由於僅存在兩個殘差絕對值，1二進位值用於標誌殘差的絕對值。
在所有上述表格中，碼字僅是示例，並且透過改變1和0，不同的碼字可以簡單地被構造。殘差值的順序可以被重新排列。
在上述二進位化示例中，所有二進位值可以被繞過編解碼。在另一實施例中，可以存在用於編解碼每個二進位值的N個以上的上下文。
在上述方法中，存在3個待選擇的運動向量解析度。通常，如果存在N個運動向量解析度以供選擇，則這些方法可以被簡單地拓展。
除了運動向量解析度之外，運動向量符號也可以使用模板被預測。通常，每個運動向量差值對存在2個二進位值，並且每個符號存在2個可能值（即正和負）。因此，存在待預測的4個可能值的最大值。如果一對中僅存在一個非零運動向量差值，則可能候選將變成2。對於N個可能運動向量解析度以及M個可能運動向量符號，不同的方法可以被使用以預測這些NxM個組合。
在一實施例中，基於模板的預測方法可以自預測運動向量解析度而被拓展。開始時，僅存在N個待預測的運動向量解析度，現在N將被拓展為NxM以一次預測運動向量解析度和運動向量符號。預測將透過搜索用於所有可能組合的運動向量解析度與運動向量符號的模板中的最小成本而被獲得。已預測殘差可以被標誌或者不被標誌。不同數位和碼字可以被給定為單個組合，以為了自預測計算殘差。
在另一實施例中，序列方法可以被使用以預測運動向量解析度和運動向量符號。首先，為了預測運動向量符號，假設默認運動向量解析度具有N個可能值。例如，運動向量解析度被假設為整數。基於這個假設的整數運動向量，運動向量符號預測子可以透過搜索用於M個可能運動向量符號位置的模板中的最小成本而被獲得。在獲得符號預測之後，運動向量解析度的預測可以如前面所述被處理。因此，在序列中生成了兩個預測，並且已預測殘差可以被標誌或者不被標誌以分別用於運動向量解析度和運動向量符號。在又一實施例中，運動向量解析度可以先被預測，其次預測運動向量符號。
運動向量預測候選列表的候選重新排序
本發明的另一方面提出候選重新排序，以便提高編解碼效率。
在本發明中，合併候選被定義為基於"預測+合併"處理的通用框架的候選。演算法與預測處理和合併處理相關。在第一部分中，預測子候選列表（即預測子集）透過繼承相鄰資訊或者微調相鄰資訊而被生成。在第二部分中，合併索引被使用以表示候選列表中所選擇的候選和/或與合併索引相關的一些輔助資訊被發送給解碼器來標識所選擇的候選。因此，解碼器能繼承如合併索引所標識的“已合併”相鄰塊的運動資訊。如第7圖所示，是常規"預測+合併"演算法的基本框架。候選列表包括複數個候選710，其對應於相鄰塊，待繼承的運動資訊。候選可以被處理或微調以推導出新的候選720。在這些處理期間，一些輔助資訊730可以被生成併發送給解碼器。
“處理一個候選”的步驟可以對應於將兩個或以上候選組合成一個候選。在另一實施例中，其可以對應於使用原始候選作為原始運動向量預測子，並透過使用當前塊像素來執行運動估計搜索，以找到最終運動向量差值。在這種情況中，輔助資訊對應於運動向量差值。在又一示例中，其可以使用原始候選作為原始運動向量預測子，並透過使用當前塊像素來執行運動估計搜索，以找到L0的最終運動向量差值。另一方面，L1預測子為原始候選。在再一示例中，其可以使用原始候選作為原始運動向量預測子，並透過使用當前塊像素來執行運動估計搜索，以找到L1的最終運動向量差值。另一方面，L0預測子為原始候選。在再一示例中，其可以使用原始候選作為原始運動向量預測子，並透過使用頂端或左側相鄰像素作為搜索模板來執行運動向量微調搜索，以找到最終預測子。在再一實施例中，其可以使用原始候選作為原始運動向量預測子，並透過使用雙邊模板（例如，由候選運動向量或鏡像運動向量所指向的L0參考圖像和L1參考圖像中的像素）作為搜索模板來執行運動估計以找到最終預測子。
之後，在本發明中，術語"合併候選"或"候選"意味著合併/跳過模式，或高級運動向量預測模式，或與"預測+合併"演算法相關的通用框架中的候選。與"預測+合併"演算法相關的框架不被限制為上述的示例。
基於成本估計的運動向量預測候選重新排序
為了提高編解碼效率，公開了一種稱為合併候選重新排序器的方法。根據本發明，候選列表內的候選順序被重新排列以獲得更好的編解碼效率。重新排序規定基於當前候選的一些預先計算或測量，例如上層相鄰條件（例如，模式或運動向量）或者當前編碼單元的左側相鄰條件（例如，模式或運動向量）、當前編碼單元的形狀，或上方/左側L形狀模板的匹配結果。第8圖描述了合併候選重新排序器的示例，其中原始候選列表810的複數個候選（即第8圖示例中的候選1和候選3）被選擇以用於重新排序。所選擇的候選820的成本被確定，其中在本示例中，候選1的成本為100，候選3的成本為50。成本稱為候選的猜測成本（即已估計成本），其中越低成本意味著越好的候選。隨後，透過向候選列表的前面移動所選擇的候選中的較低成本候選，用於所選擇的候選的重新排序被執行。在第8圖的示例中，候選3具有比候選1低的成本。因此，如已重新排序列表830中所示，候選3被移動到候選1的前面。通常，列表中的候選Ci的順序可以被設計為Oi, i = 0 ~ (N-1)，其中N為候選的總數。例如，順序等於1，意味著列表的開端，順序等於(N – 1)意味著列表的末端。開始時，Oi等於i。換句話說，候選列表的排序是基於原始或者傳統方法。根據本發明的合併候選重新排序器將重新排列所選擇的候選的Oi值。合併候選重新排序器包括若干重要步驟： 步驟1，選擇一些候選（用於重新排序器的） 步驟2，計算所選擇的候選的猜測成本 步驟3，根據這些所選擇的候選的猜測成本重新排序這些候選
如第9圖所示，是合併候選重新排序器的簡單流程圖。在步驟910中，在候選列表中選擇複數個候選以用於重新排序。在步驟920中，估計所選擇的候選的成本。在步驟930中，執行用於成本調整的可選步驟。在步驟940中，根據已估計成本，重新排序所選擇的候選。注意的是，根據當前預測單元尺寸或形狀，合併候選重新排序器可以被開啟或關閉。例如，其可以預定義複數個預測單元尺寸或形狀，以用於關閉合併候選重新排序器。另外，其他條件，例如圖像尺寸或量化參數（quantization parameter，QP）值，也可以被使用以確定是否關閉合併候選重新排序器。
另外，根據本發明的一實施例，一標誌可以被指示以開啟或關閉合併候選重新排序器。例如，標誌（例如，"merge_cand_rdr_en"）可以表示"合併候選重新排序器"是否被使能（例如，值1：被使能，值0：被禁能）。當不存在時，merge_cand_rdr_en的值被推斷為1。用於表示merge_cand_rdr_en的最小單元尺寸也可以在序列層、圖像層、片段層或預測單元層中被單獨編解碼。
對於合併候選重新排序器中的每個步驟，存在不同的實施例。用於這些步驟中的每個的一些示例如下所示。
步驟 1 ：選擇複數個候選
存在不同的方式來選擇用於重新排序的複數個候選。例如，merge_index ＜= 閾值的所有候選可以被選擇。此閾值可以是預定義的值，並且merge_index為合併列表內的原始順序。如果當前候選的原始順序是位於合併列表的起始端，則此候選的merge_index為0。又例如，用於重新排序的候選是根據候選類型選擇的。候選類型對應於所有候選的候選策略。所有候選可以開始時被分類為MG個類型，其中MG是大於0的整數。MG_S個類型可以自用于重新排序的MP個類型選擇，其中MG_S ＜= MG。例如，所有候選可以被分類為4個候選類型，其中類型1候選對應於空間相鄰塊的運動向量，類型2候選對應於時間相鄰塊的運動向量，類型3候選對應於與所有子預測單元（例如，子預測單元TMVP、STMVP和仿射合併候選）相關的運動向量，類型4候選對應於任何其他候選的運動向量。又例如，用於重新排序的候選可以是根據merge_index和候選類型選擇的。
步驟 2 ：計算所選擇的候選的猜測成本
與成本估計相關的不同方面被公開如下。
2.1 基於模板的猜測成本計算
對於估計所選擇的候選的成本，模板匹配被使用。如第10A圖和第10B圖所示，是兩個示例的模板。在第10A圖中，目標塊1010（例如，當前預測單元或參考預測單元）的模板1012對應於覆蓋位於目標塊上方的像素、位於目標塊左側的像素以及位於目標塊的左上角的像素的L型區域。在第10B圖中，目標塊1010（例如預測單元）的模板對應於位於目標塊上方的複數個像素列1014和目標塊的左側的複數個像素行1016。當前塊的模板和參考塊的模板被使用以估計所選擇的候選的成本。例如，當前塊的模板與參考塊的模板之間的差可以被比較以估計成本。因此，在基於模板的匹配方法中，存在兩個重要部分，一個是模板（例如，L型模板）設計，另一個是匹配演算法。
2.2 L型模板設計
當前塊的L型模板包括當前預測單元的頂端邊界和左側邊界周圍的一些像素。同樣地，參考塊的L型模板包括參考塊的的頂端邊界和左側邊界周圍的一些像素，以用於估計與當前合併候選相關的成本。通常，參考塊的模板具有與當前塊的模板相同的形狀和相同數量的像素。用於估計成本的參考塊可以對應於由當前合併候選的運動向量的整數部分所指向的塊。參考塊的L型模板具有若干實施例。在一實施例中，如第11A圖所示，L型模板的所有像素位於用於估計成本的參考塊的外部，其中當前塊1110的L型區域1112和參考塊1120的L型區域1122被表示。參考塊1120是基於自當前塊1110指向的運動向量1140定位的。在另一實施例中，L型模板1123的所有像素位於用於估計成本的參考塊內部。在又一實施例中，L型模板的一些像素位於用於估計成本的參考塊的外部，L型模板的一些像素位於用於估計成本的參考塊內部。第11B圖顯示了與第11A圖相似的另一實施例的模板。然而，當前塊的模板包括位於當前塊1110上方的複數個像素列1114以及位於當前塊1110左側的複數個像素行1116。對於參考塊1120，當前塊的模板包括位於參考塊1120上方的複數個像素列1124以及位於參考塊1120左側的複數個像素行1126。同樣地，參考塊1120的內部像素1128可以被使用。第11A圖中的模板（即1112和1122）在本發明中稱為完整L型模板。另一方面，第11B圖中的模板（即1114/1116和1124/1126）在本發明中稱為分開的L型模板。
在下文中，L型匹配方法的具體細節被公開。假設當前預測單元的寬度為BW，當前預測單元的高度為BH，當前塊的L型模板具有頂端部分和左側部分。定義頂端厚度為TTH，左側厚度為LTH，則頂端部分包括位於(ltx+tj, lty-ti)處的所有像素，其中ltx和lty分別是當前預測單元的左上角像素的水平座標和垂直座標，ti對應於當前塊的像素線(pixel line)的索引(0 £ ti £ (TTH-1))，tj對應於當前塊的線中像素索引(0 £ tj £ (BW-1))。對於左側部分，其包括位於(ltx-tjl, lty+til)處的所有像素，其中tjl對應於當前塊的行(column)的索引(0 £ tjl £ (LTH-1))，til對應於當前塊的一列(row)中像素索引(0 £ til £ (BH-1))。
同理，參考塊的L型模板包括頂端部分和左側部分。定義頂端厚度為TTHR，左側厚度為LTHR，則頂端部分包括位於(ltx+tjr, lty-tir+shifty)處的所有參考像素，其中ltxr和ltyr分別是參考預測單元的左上角像素的水平座標和垂直座標，tir對應於參考預測單元的像素線的索引(0 £ tir £ (TTHR-1))，tjr對應於參考塊的線中像素索引(0 £ tjr £ (BW-1))。在上述中，shifty為預定義平移值。對於左側部分，其包括位於(ltxr-tjlr+shiftx, ltyr+tilr)處的參考像素，其中tjlr對應於參考預測單元的行的索引(0 £ tjlr £ (LTHR-1))，tilr對應於參考預測單元的一列中像素索引(0 £ tilr £ (BH-1))。在上述中，shiftx為預定義平移值。
注意的是，如果當前候選僅具有L0運動向量或L1運動向量，則對於參考塊存在一個L型模板。然而，如果當前候選具有L0運動向量和L1運動向量（即雙向候選），則對於兩個參考塊存在兩個L型模板。在這種情況中，一個L0參考圖像中的參考塊由L0運動向量所指向，另一L1參考圖像中的參考塊由L1運動向量所指向。
2.3 L型模板的適應性厚度
對於L型模板，提出了適應性厚度模式。厚度被定義為L型模板中的頂端部分的像素列的數量，或者L型模板中左側部分的像素行的數量。對於上述的L型模板，當前塊的L型模板的頂端厚度為TTH，以及左側厚度為LTH，並且，參考塊的L型模板的頂端厚度為TTHR，以及左側厚度為LTHR。適應性厚度模式基於一些條件改變頂端厚度或左側厚度，例如，當前預測單元尺寸、當前預測單元形狀（例如，寬度或高度）或者當前片段的量化參數。例如，如果當前預測單元高度大於或等於32，則頂端厚度可以被設置為2。如果當前預測單元高度小於32，則頂端厚度可以被設置為1。
2.4 L型匹配步驟
在此步驟中，其自當前圖像檢索出當前塊的L型模板，並自參考圖像檢索出參考塊的L型模板。當前塊的模板和參考塊的模板被比較（即，被匹配），以估計與候選相關的成本。在此步驟中存在兩個部分：部分1，自當前圖像中的當前塊的L型模板獲取所選擇的像素以及自參考圖像的參考塊的L型模板獲取所選擇的像素；以及部分2，計算差值。
L型匹配部分1
在部分1中，我們定義selected_pixels_cur為來自於當前圖像中的當前塊的L型模板的所選擇的像素，並定義selected_pixels_ref為來自於參考圖像的參考塊的L型模板的所選擇的像素。存在自L型模板選擇一些像素的若干實施例。
L型匹配的部分1的實施例1
在本實施例中，當前圖像中的當前塊的L型模板和參考圖像的參考塊的L型模板的所有像素均被選擇。
L型匹配的部分1的實施例2
在本實施例中，L型模板被子採樣。換句話說，L型模板的頂端部分和左側部分的一些像素在子採樣中被丟棄。例如，透過丟棄位於L型模板的頂端部分中的奇數水平位置或偶數水平位置處的像素，2:1水平子採樣可以被應用於L型模板的頂端部分。又例如，透過丟棄位於L型模板的頂端部分中的奇數垂直位置或偶數垂直位置處的像素，2:1垂直子採樣可以被應用於L型模板的頂端部分。又例如，透過丟棄位於L型模板的頂端部分中的奇數垂直位置或偶數垂直位置處的像素，並丟棄位於L型模板的頂端部分中的奇數水平位置或偶數水平位置處的像素，2:1水平與垂直子採樣可以被應用於L型模板的頂端部分。又例如，透過丟棄位於L型模板的左側部分中的奇數水平位置或偶數水平位置處的像素，2:1水平子採樣可以被應用於L型模板的左側部分。又例如，透過丟棄位於L型模板的左側部分中的奇數垂直位置或偶數垂直位置處的像素，2:1垂直子採樣可以被應用於L型模板的左側部分。又例如，透過丟棄位於L型模板的左側部分中的奇數垂直位置或偶數垂直位置處的像素，並丟棄位於L型模板的左側部分中的奇數水平位置或偶數水平位置處的像素，2:1水平與垂直子採樣可以被應用於L型模板的左側部分。子採樣可以是2:1或4:1或SN:1，其中SN為子採樣因數。第12A圖示出了當前塊1210和參考塊1212的L型模板的示例，其中空白圈表示模板像素，填充圈表示當前塊或參考塊的像素。第12B圖示出了應用於模板的左側部分的2:1垂直子採樣的示例。第12C圖示出了應用於模板的頂端部分的2:1水平子採樣的示例。第12D圖示出了應用於模板的頂端部分的2:1水平子採樣以及應用於模板的左側部分的2:1垂直子採樣的示例。
另外，子採樣模式可以基於當前預測單元尺寸被開啟或關閉。例如，如果當前預測單元尺寸大於預定義閾值，則子採樣模式可以被關閉；以及如果小於，則子採樣模式可以被開啟。又例如，如果當前預測單元尺寸大於預定義閾值，則子採樣模式可以被開啟；以及如果小於，則子採樣模式可以被關閉。
L型匹配的部分1的實施例3
在本實施例中，丟棄當前塊1310和參考塊1312的如第13A圖所示的L型模板的左側部分的所有像素。
另外，丟棄模式可以基於當前預測單元尺寸被開啟或關閉。例如，如果當前預測單元尺寸大於預定義閾值，則丟棄模式可以被關閉；以及如果小於，則丟棄模式可以被開啟。又例如，如果當前預測單元尺寸大於預定義閾值，則丟棄模式可以被開啟；以及如果小於，則丟棄模式可以被關閉。
L型匹配的部分1的實施例4
在本實施例中，丟棄當前塊1320和參考塊1322的如第13B圖所示的L型模板的頂端部分的所有像素。
另外，丟棄模式可以基於當前預測單元尺寸被開啟或關閉。例如，如果當前預測單元尺寸大於預定義閾值，則丟棄模式可以被關閉；以及如果小於預定義閾值，則丟棄模式可以被開啟。又例如，如果當前預測單元尺寸大於預定義閾值，則丟棄模式可以被開啟；以及如果小於預定義閾值，則子採樣模式可以被關閉。
注意的是，對於沒有被選擇用於L型匹配的這些像素，無需自當前資訊框記憶體（例如，外部記憶體）或自參考資訊框記憶體檢索這些像素，以為了節省記憶體頻寬。
L型匹配部分2
自當前塊和參考塊的L型模板所選擇的像素被檢索時，兩個模板之間的差被計算。存在若干實施例。
L型匹配部分2的實施例1
在本實施例中，兩個模板之間的差值對應於兩個L型模板之間的絕對差之和。換句話說，對於當前塊的L型模板的一個所選擇的像素PC及參考塊的L型模板的一個相應所選擇的像素PR，像素PC的絕對差之和為abs(PC - PR)。對於雙向情況，對於當前塊的L型模板的每個所選擇的像素PC以及L0參考圖像中的參考塊的L型模板的一個相應所選擇的像素PRL0，以及L1參考圖像中的參考塊的L型模板的一個相應所選擇的像素PRL1，像素PC的絕對差之和為abs(PC - (PRL0+PRL1)/2)或(abs(PC-PRL0) + abs(PC-PRL1))/2。
在本實施例中，絕對差之和可以被其他差函數替代，例如，平方差或其他差計算方法。
L型匹配部分2的實施例2
在本實施例中，雙線性濾波先被應用於L型模板。雙線性濾波已普遍用於濾波常規視訊編解碼中的運動補償中的像素。在本實施例中，雙線性濾波被應用於L型模板。L型模板的已濾波像素用於兩個模板之間的絕對差之和計算或其他差計算。
步驟3：根據所選擇的候選的已估計成本，重新排序候選
在L型匹配計算之後，每個所選擇的候選具有已估計成本，標記為GCost_i，其中i為候選索引。
在此步驟中，優選地，這些所選擇的候選的已估計成本可以是預先調整的（預調整GCost_i）。隨後，所選擇的候選根據每個候選的已調整已估計成本被分類。已估計成本的預調整具有若干實施例。在一實施例中，特定候選類型的所有已估計成本被乘以此類型的預定義常數。相乘的結果被存儲回到這些所選擇候選的已估計成本。在另一實施例中，基於每個候選的merge_index，不同預定義常數被使用以用於不同候選。
在已估計成本的優選預調整之後，所選擇的候選根據候選的已估計成本的值被分類。在分類期間，所選擇的候選的順序可以被改變成候選列表中的新位置。例如，如果候選A的順序在候選列表中是位於候選B的順序之後，且候選A的GCost_A優於（即成本低於）候選B的GCost_B，則候選A和候選B的候選順序被調換（即，被交換）。在另一實施例中，如果候選A的順序在候選列表中是位於候選B的順序之後，候選A的GCost_A優於（即成本低於）候選B的GCost_B，且GCost_B / GCost_A的比值大於預定義閾值，則候選A和候選B的候選順序被調換（即，被交換）。在分類處理期間，其重複"成本比較和交換"處理，直到沒有候選對可以被調換。
基於組的候選重新排序
為了提高編解碼效率，也公開了基於組的候選重新排序。根據本方法，所有候選被分類為複數個組。假設所有候選被分類成MG組類型(MG ≥2)，MG組中的MG_S組被選擇以用於重新排序。例如，所有候選被分類成4個候選組，其中組1包括對應於空間相鄰塊的運動向量的候選，組2包括對應於時間相鄰塊的運動向量的候選，組3包括所有子預測單元候選（例如，子預測單元 TMVP, STMVP和仿射合併候選），組4包括所有其他候選。
隨後，對於MG_S個所選擇的組中的每組gr_i (gr_i= 0, 1, ... , (MG_S-1))，組gr_i內的複數個"特徵候選"被選擇。
在組gr_i內的複數個"特徵候選"被選擇之後，具有L型匹配方法的L型模板被應用於所選擇的組中的組gr_i內的每個特徵候選，以獲取已估計成本。特徵候選的已估計成本可以表示所選擇的組的總成本。
用所確定的每個所選擇組的總成本，候選組可以被重新排序。其可以將更好候選組（即較低成本候選組）重新排序到更差候選組（即較高成本候選組）的前面。如第14圖所示，是包括基於組的候選重新排序步驟的示例性流程圖。在步驟1410中，將候選分類成組。在步驟1420中，在MG_S個所選擇的組內選擇每組的特徵候選。在步驟1430中，透過根據已估計成本將較好組放置在較差組的前面，重新排序這些候選。
根據編碼單元分割的合併候選重新排序器
在本發明的又一方面中，公開了基於塊分割的合併候選重新排序。相對于傳統視訊編解碼標準，正被發展的下一代視訊編解碼支持更靈活的塊分割，例如高效視訊編解碼。下一代視訊編解碼支持四叉樹分割和二叉樹分割，其中二叉樹分割在四叉樹分割之後。第15A圖示出了使用二叉樹和四叉樹的分割結果的示例，其中實線對應於四叉樹，虛線對應於二叉樹。對於當前編碼單元1520，根據已有的合併列表設計，來自於左側的合併候選L位於來自于上方的合併候選A的前面。根據本發明的一實施例，如果最後編解碼的編碼單元為左側編碼單元（即L），則候選L和候選A的順序被調換。如果左側候選L優於上方候選A，則這兩個編碼單元應被合併成如點線框所示的一更大編碼單元1530。
第15B圖示出了用於當前塊的基於分割的候選重新排序的另一示例，其中實線對應於四叉樹分割，虛線對應於二叉樹分割。當前塊1540被示出。根據本實施例，如果最後編解碼的編碼單元為左側編碼單元，且左側編碼單元和當前編碼單元均位於同一母BT中，左側候選L和上方候選A的順序被調換。
第16圖示出了根據本發明實施例的使用運動向量預測來編解碼與用畫面間模式編解碼的塊相關的運動向量的視訊編解碼系統的示例性流程圖。本流程圖中所示的步驟可以被實現為編碼器側和/或解碼器側的一個或複數個處理器（例如一個或複數個CPU）上可執行的程式碼。本流程圖中所示的步驟也可以基於硬體被實現，例如用於執行該流程圖中步驟的一個或者複數個電子設備或者處理器。根據本方法，在步驟1610中，在視訊編碼器側，接收與當前圖像中的當前塊相關的資料，或在視訊解碼器側，接收對應於包括當前塊的已壓縮資料，其中。在步驟1620中，生成當前塊的原始運動向量預測候選列表。在步驟1630中，檢測候選重新排序是否被選擇以用於當前塊。如果候選重新排序被選擇以用於當前塊，步驟1640和步驟1650被執行。否則（即來自於步驟1630的“否”路徑），步驟1640和步驟1650被跳過。在步驟1640中，重新排序所選擇的候選集內的目標候選，以生成已重新排序運動向量預測候選列表，其中所選擇的候選集至少包括原始運動向量預測候選列表中的部分候選。在步驟1650中，使用已重新排序運動向量預測候選列表，在視訊編碼器側編碼或在視訊解碼器側解碼當前塊。
所示的流程圖用於示出根據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，所屬領域中具有習知技術者可以修改每個步驟、重組這些步驟、將一個步驟進行分割或者組合這些步驟而實施本發明。在本發明中，具體的語法和語義已被使用以示出實現本發明實施例的示例。在不脫離本發明的精神的情況下，透過用等同的語法和語義來替換該語法和語義，具有習知技術者可以實施本發明。
上述說明，使得所屬領域中具有習知技術者能夠在特定應用程式的內容及其需求中實施本發明。對所屬領域中具有習知技術者來說，所描述的實施例的各種變形將是顯而易見的，並且本文定義的一般原則可以應用於其他實施例中。因此，本發明不限於所示和描述的特定實施例，而是將被賦予與本文所公開的原理和新穎特徵相一致的最大範圍。在上述詳細說明中，說明了各種具體細節，以便透徹理解本發明。儘管如此，將被本領域的具有習知技術者理解的是，本發明能夠被實踐。
如上所述的本發明的實施例可以在各種硬體、軟體代碼或兩者的結合中實現。例如，本發明的實施例可以是集成在視訊壓縮晶片內的電路，或者是集成到視訊壓縮軟體中的程式碼，以執行本文所述的處理。本發明的一個實施例也可以是在數位訊號處理器（Digital Signal Processor，DSP）上執行的程式碼，以執行本文所描述的處理。本發明還可以包括由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列（field programmable gate array，FPGA）所執行的若干函數。根據本發明，透過執行定義了本發明所實施的特定方法的機器可讀軟體代碼或者固件代碼，這些處理器可以被配置為執行特定任務。軟體代碼或固件代碼可以由不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以編譯為不同的目標平臺。然而，執行本發明的任務的不同的代碼格式、軟體代碼的樣式和語言以及其他形式的配置代碼，不會背離本發明的精神和範圍。
本發明可以以不脫離其精神或本質特徵的其他具體形式來實施。所描述的例子在所有方面僅是說明性的，而非限制性的。因此，本發明的範圍由後附的申請專利範圍來表示，而不是前述的描述來表示。申請專利範圍的含義以及相同範圍內的所有變化都應納入其範圍內。
210、320、330、510、512、514、540、542、544‧‧‧塊
220a‧‧‧MV0
220b‧‧‧MV1
430a、430b、622a、622b、1012‧‧‧模板
310、410、610、1110、1210、1310、1320‧‧‧當前塊
340‧‧‧運動軌跡
420a、420b‧‧‧相鄰區域
440‧‧‧解碼器側推導運動向量
520、530、550、560、630、1140‧‧‧運動向量
522、532、552、562‧‧‧時間推導運動向量預測
612a‧‧‧上方模板
612b‧‧‧左側模板
730‧‧‧輔助資訊
810‧‧‧原始候選列表
710、720、820‧‧‧候選
830‧‧‧已重新排序列表
910~940‧‧‧步驟
1010‧‧‧目標塊
1112、1122‧‧‧L型區域
1123‧‧‧L型模板
1014、1114、1124‧‧‧像素列
1016、1116、1126‧‧‧像素行
1128‧‧‧內部像素
620、1120、1212、1312、1322‧‧‧參考塊
1410~1430‧‧‧步驟
1520‧‧‧當前編碼單元
1530‧‧‧編碼單元
1610~1650‧‧‧步驟
第1圖是根據HEVC用於推導出合併候選的空間相鄰塊和時間相鄰塊。 第2圖是雙向模板運動向量微調（即DMVR）流程的示例。 第3圖是FRUC雙向匹配模式的示例，其中當前塊的運動資訊基於兩個參考圖像被推導出。 第4圖是模板匹配FRUC模式的示例。 第5A圖和第5B圖是分別推導出List_0和List_1的時間推導運動向量預測的示例。 第6圖示出了基於模板的上方部分和左側部分推導當前塊的運動向量解析度的示例。 第7圖示出了根據本發明的通用的"預測+合併"演算法的基本框架。 第8圖示出了根據本發明實施例的合併候選重新排序器的示例，其中原始候選列表的複數個候選（即該示例中的候選1和候選3）被選擇以用於重新排序。 第9圖示出了根據本發明實施例的合併候選重新排序器的簡單流程圖。 第10A圖示出了用於對應於覆蓋位於目標塊上方的像素、位於目標塊左邊的像素和位於目標塊左上角的像素的L型區域的目標塊的模板的示例。 第10B圖示出了對應於覆蓋位於目標塊上方的像素和位於目標塊左邊的像素的L型區域的目標塊的模板的示例。 第11A圖示出了用於估計成本的當前塊和參考塊的L型模板的示例，其中L型模板覆蓋L型區域中的所有像素。 第11B圖示出了用於估計成本的當前塊和參考塊的L型模板的示例，其中L型模板覆蓋L型區域的分開的頂端部分和左側部分。 第12A圖示出了用於當前塊和參考塊的L型模板，其中空白圈表示模板像素，填充圈表示當前塊或參考塊的像素。 第12B圖示出了在成本估計期間用於第12A圖中所示的模板的應用於模板的左側部分的2:1垂直子採樣的示例。 第12C圖示出了在成本估計期間用於第12A圖中所示的模板的應用於模板的頂端部分的2:1水平子採樣的示例。 第12D圖示出了在成本估計期間用於第12A圖中所示的模板的應用於模板的左側部分的2:1垂直平子採樣以及應用於模板的頂端部分的2:1水平子採樣的示例。 第13A圖示出了丟棄在成本估計期間用於第12A圖中所示的模板的當前塊和參考塊的L型模板的左側部分的所有像素的示例。 第13B圖示出了丟棄在成本估計期間用於第12A圖中所示的模板的當前塊和參考塊的L型模板的頂端部分的所有像素的示例。 第14圖示出了根據本發明實施例的包括基於組的候選重新排序步驟的示例性流程圖。 第15A圖示出了基於當前塊的分割的候選重新排序的一示例，其中實線對應於四叉樹分割，虛線對應於二叉樹分割。 第15B圖示出了基於當前塊的分割的候選重新排序的另一示例，其中實線對應於四叉樹分割，虛線對應於二叉樹分割。 第16圖示出了根據本發明實施例的使用運動向量預測以編解碼與以畫面間模式編解碼的塊相關的運動向量的視訊編解碼系統的示例性流程圖。

Claims (21)

  1. 一種用於視訊編解碼的畫面間預測的方法，該方法由視訊編碼器或視訊解碼器來執行，該方法使用運動向量預測以編解碼與用畫面間模式編解碼的塊相關的運動向量，該方法包括： 在該視訊編碼器側，接收與當前圖像中的當前塊相關的資料，或在該視訊解碼器側，接收對應於包括該當前塊的已壓縮資料，其中該當前塊包括視訊資料的像素集； 生成該當前塊的原始運動向量預測候選列表；以及 當候選重新排序被選擇以用於該當前塊時，則： 重新排序所選擇的候選集內的複數個目標候選，以生成已重新排序運動向量預測候選列表，其中所選擇的該候選集至少包括該原始運動向量預測候選列表中的部分候選；以及 使用該已重新排序運動向量預測候選列表，在該視訊編碼器側，編碼該當前塊，或在該視訊解碼器側，解碼該當前塊。
  2. 如申請專利範圍第1項所述之用於視訊編解碼的畫面間預測的方法，其中，重新排序該複數個目標候選包括： 基於該當前塊的複數個上方相鄰條件或複數個左側相鄰條件，或者基於該當前塊的第一模板和一個或複數個相應參考塊的第二模板，估計該複數個目標候選的複數個成本。
  3. 如申請專利範圍第2項所述之用於視訊編解碼的畫面間預測的方法，其中，該當前塊的該第一模板包括位於該當前塊上方和該當前塊左側中至少一個的複數個第一像素； 該一個或複數個相應參考塊的該第二模板包括位於該一個或複數個相應參考塊上方和該一個或複數個相應參考塊左側中至少一個的複數個第二像素。
  4. 如申請專利範圍第2項所述之用於視訊編解碼的畫面間預測的方法，其中， 該當前塊的該第一模板包括位於該當前塊上方的NC個第一像素列和位於該當前塊左側的MC個第一像素行； 該一個或複數個相應參考塊的該第二模板包括位於該一個或複數個相應參考塊上方的NR個第二像素列和位於該一個或複數個相應參考塊左側的MR個第二像素行； 其中NC、MC、NR和MR均是大於0的整數。
  5. 如申請專利範圍第4項所述之用於視訊編解碼的畫面間預測的方法，其中， 該當前塊的該第一模板還包括位於穿過該當前塊的左上角以形成第一L型區域的第一區塊； 該一個或複數個相應參考塊的該第二模板還包括與該一個或複數個相應參考塊的左上角相鄰的形成第二L型區域的第二區塊。
  6. 如申請專利範圍第4項所述之用於視訊編解碼的畫面間預測的方法，其中，NC、MC、NR和MR均是根據該當前塊的形狀或尺寸，或者覆蓋該當前塊的當前片段的量化參數值而確定的。
  7. 如申請專利範圍第2項所述之用於視訊編解碼的畫面間預測的方法，其中，該複數個目標候選的複數個成本是基於該當前塊的該第一模板中的複數個已子採樣第一像素和該一個或複數個相應參考塊的該第二模板中的複數個已子採樣第二像素估計的。
  8. 如申請專利範圍第7項所述之用於視訊編解碼的畫面間預測的方法，其中，依據該當前塊的尺寸，確定是否使用該複數個已子採樣第一像素和該複數個已子採樣第二像素以用於估計該複數個目標候選的該複數個成本。
  9. 如申請專利範圍第2項所述之用於視訊編解碼的畫面間預測的方法，其中，對於該當前塊的該第一模板中的複數個第一像素以及該一個或複數個相應參考塊的該第二模板中的複數個第二像素，該複數個目標候選的複數個成本僅是基於位於該當前塊上方的該複數個第一像素以及該一個或複數個相應參考塊上方的該複數個第二像素而被估計，或者僅是基於該當前塊左側的該複數個第一像素以及該一個或複數個相應參考塊左側的該複數個第二像素而被估計。
  10. 如申請專利範圍第9項所述之用於視訊編解碼的畫面間預測的方法，其中，基於該當前塊的尺寸，確定是否僅使用位於該當前塊上方的該複數個第一像素和該一個或複數個相應參考塊上方的該複數個第二像素以用於估計該複數個目標候選的複數個成本，或者確定是否僅使用位於該當前塊左側的該複數個第一像素和該一個或複數個相應參考塊左側的該複數個第二像素以用於估計該複數個目標候選的複數個成本。
  11. 如申請專利範圍第2項所述之用於視訊編解碼的畫面間預測的方法，其中，該一個或複數個相應參考塊是根據該當前塊的一個或複數個運動向量而定位，其中當該當前塊是單向預測時，一個相應參考塊用於估計該複數個目標候選的複數個成本，並且當該當前塊是雙向預測時，兩個相應參考塊用於估計該複數個目標候選的複數個成本。
  12. 如申請專利範圍第2項所述之用於視訊編解碼的畫面間預測的方法，其中，該複數個目標候選的複數個成本是基於包括該當前塊的該第一模板的複數個第一像素與該一個或複數個相應參考塊的該第二模板中的複數個第二像素之間的絕對差之和以及平方差之和的測量估計的。
  13. 如申請專利範圍第2項所述之用於視訊編解碼的畫面間預測的方法，其中， 雙線性濾波被應用於該當前塊的該第一模板的複數個第一像素以及該一個或複數個相應參考塊的該第二模板中的複數個第二像素； 該複數個目標候選的複數個成本是基於包括複數個已濾波第一像素與複數個已濾波第二像素之間的絕對差之和以及平方差之和的測量估計的。
  14. 如申請專利範圍第2項所述之用於視訊編解碼的畫面間預測的方法，其中，估計該複數個目標候選的複數個成本包括： 調整與該複數個目標候選相關的複數個原始已估計成本。
  15. 如申請專利範圍第14項所述之用於視訊編解碼的畫面間預測的方法，其中，該複數個原始已估計成本是根據候選類型或候選索引而被調整。
  16. 如申請專利範圍第1項所述之用於視訊編解碼的畫面間預測的方法，其中，當第一目標候選具有比第二目標候選低的成本，且該第一目標候選在該原始運動向量預測候選列表中位於該第二目標候選之後時，重新排序所選擇的該候選集內的該複數個目標候選對應於將該第一目標候選移動到該第二目標候選的前面的位置。
  17. 如申請專利範圍第1項所述之用於視訊編解碼的畫面間預測的方法，其中，當第一目標候選具有比第二目標候選低的成本，該第一目標候選在該原始運動向量預測候選列表中位於該第二目標候選之後，且該第二目標候選的第二成本與該第一目標候選的第一成本的比值大於預定義閾值時，重新排序所選擇的該候選集內的該複數個目標候選是將該第一目標候選移動到該第二目標候選的前面的位置。
  18. 如申請專利範圍第1項所述之用於視訊編解碼的畫面間預測的方法，其中，基於該當前塊的形狀、尺寸或量化參數值，或該當前圖像的尺寸，確定該候選重新排序是否被選擇以用於該當前塊。
  19. 如申請專利範圍第1項所述之用於視訊編解碼的畫面間預測的方法，其中，所選擇的該候選集對應於該原始運動向量預測候選集的複數個成員候選，其中該複數個成員候選至少具有合併索引小於或等於閾值，或屬於一個或複數個所選擇的候選類型，或其組合。
  20. 如申請專利範圍第1項所述之用於視訊編解碼的畫面間預測的方法，其中，所選擇的該候選集對應於該原始運動向量預測候選集的複數個成員候選，其中該複數個成員候選屬於一個或複數個所選擇的候選類型。
  21. 一種用於視訊編解碼的畫面間預測的裝置，該裝置由視訊編碼器或視訊解碼器來執行，該裝置使用運動向量預測以編解碼與用畫面間模式編解碼的塊相關的運動向量，該裝置包括一個或複數個電子電路和處理器，用於： 在該視訊編碼器側，接收與當前圖像中的當前塊相關的資料，或在該視訊解碼器側，接收對應於包括該當前塊的已壓縮資料，其中該當前塊包括視訊資料的像素集； 生成該當前塊的原始運動向量預測候選列表；以及 當候選重新排序被選擇以用於該當前塊時，則： 重新排序所選擇的候選集內的複數個目標候選，以生成已重新排序運動向量預測候選列表，其中所選擇的該候選集至少包括該原始運動向量預測候選列表中的部分候選；以及 使用該已重新排序運動向量預測候選列表，在該視訊編碼器側，編碼該當前塊，或在該視訊解碼器側，解碼該當前塊。
TW107115744A 2017-05-10 2018-05-09 用於視訊編解碼的重新排序運動向量預測候選集的方法及裝置 TWI674795B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762504002P 2017-05-10 2017-05-10
US62/504,002 2017-05-10
US201762531907P 2017-07-13 2017-07-13
US62/531,907 2017-07-13
??PCT/CN2018/085931 2018-05-08
PCT/CN2018/085931 WO2018205914A1 (en) 2017-05-10 2018-05-08 Method and apparatus of reordering motion vector prediction candidate set for video coding

Publications (2)

Publication Number Publication Date
TW201902221A true TW201902221A (zh) 2019-01-01
TWI674795B TWI674795B (zh) 2019-10-11

Family

ID=64104379

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107115744A TWI674795B (zh) 2017-05-10 2018-05-09 用於視訊編解碼的重新排序運動向量預測候選集的方法及裝置

Country Status (4)

Country Link
US (1) US10701393B2 (zh)
CN (1) CN110574377B (zh)
TW (1) TWI674795B (zh)
WO (1) WO2018205914A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10911769B2 (en) * 2017-06-23 2021-02-02 Qualcomm Incorporated Motion-based priority for the construction of candidate lists in video coding
US11082702B2 (en) * 2017-07-03 2021-08-03 Lg Electronics Inc. Inter prediction mode-based image processing method and device therefor
WO2019083334A1 (ko) * 2017-10-26 2019-05-02 한국전자통신연구원 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치
WO2019107916A1 (ko) * 2017-11-30 2019-06-06 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
CN112313956A (zh) * 2018-06-22 2021-02-02 索尼公司 图像处理装置和方法
US11070796B2 (en) * 2018-09-28 2021-07-20 Qualcomm Incorporated Ultimate motion vector expression based pruning for video coding
CN111083489B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
EP3857879A4 (en) 2018-11-12 2022-03-16 Beijing Bytedance Network Technology Co., Ltd. SIMPLIFICATION OF COMBINED INTER-INTRA PREDICTION
CN113273208A (zh) * 2018-11-14 2021-08-17 北京字节跳动网络技术有限公司 仿射预测模式的改进
WO2020103870A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
JP7241870B2 (ja) 2018-11-20 2023-03-17 北京字節跳動網絡技術有限公司 部分的な位置に基づく差分計算
US11115652B2 (en) * 2018-12-07 2021-09-07 Tencent America LLC Method and apparatus for further improved context design for prediction mode and coded block flag (CBF)
WO2020140216A1 (zh) * 2019-01-02 2020-07-09 北京大学 视频处理方法和装置
US11166015B2 (en) * 2019-03-06 2021-11-02 Tencent America LLC Method and apparatus for video coding
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
CN113711589B (zh) * 2019-04-01 2022-10-25 北京字节跳动网络技术有限公司 帧间编解码模式中的二分之一像素插值滤波器
CN113647099B (zh) 2019-04-02 2022-10-04 北京字节跳动网络技术有限公司 解码器侧运动矢量推导
CN117354507A (zh) * 2019-06-06 2024-01-05 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建
WO2020259589A1 (en) * 2019-06-25 2020-12-30 Zhejiang Dahua Technology Co., Ltd. Systems and methods for inter-frame prediction
CN110460859B (zh) * 2019-08-21 2022-03-25 浙江大华技术股份有限公司 历史运动矢量列表的使用方法、编解码器及存储装置
KR102635319B1 (ko) 2019-08-20 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 프로세싱에서 대안적 보간 필터들의 선택적 사용
CN117221534A (zh) * 2020-12-03 2023-12-12 Oppo广东移动通信有限公司 帧间预测方法、视频编解码方法、装置及介质
US11477437B2 (en) * 2021-01-28 2022-10-18 Lemon Inc. Coding of motion information
US11936899B2 (en) * 2021-03-12 2024-03-19 Lemon Inc. Methods and systems for motion candidate derivation
WO2022214098A1 (en) * 2021-04-09 2022-10-13 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
CN113079372B (zh) * 2021-06-07 2021-08-06 腾讯科技（深圳）有限公司 帧间预测的编码方法、装置、设备及可读存储介质
WO2023278920A1 (en) * 2021-06-29 2023-01-05 Qualcomm Incorporated Merge candidate reordering in video coding
WO2023020446A1 (en) * 2021-08-16 2023-02-23 Mediatek Inc. Candidate reordering and motion vector refinement for geometric partitioning mode
WO2023020390A1 (en) * 2021-08-19 2023-02-23 Mediatek Singapore Pte. Ltd. Method and apparatus for low-latency template matching in video coding system
KR20230040296A (ko) * 2021-09-15 2023-03-22 주식회사 케이티 비디오 신호 부호화/복호화 방법, 그리고 비트스트림을 저장한 기록 매체
WO2023040993A1 (en) * 2021-09-16 2023-03-23 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
CN118044183A (zh) * 2021-09-27 2024-05-14 交互数字Ce专利控股有限公司 基于模板的语法元素预测
WO2023051541A1 (en) * 2021-09-28 2023-04-06 FG Innovation Company Limited Device and method for coding video data
US20230103767A1 (en) * 2021-09-29 2023-04-06 Qualcomm Incorporated Motion vector (mv) candidate reordering
CN118077195A (zh) * 2021-09-29 2024-05-24 阿里巴巴达摩院(杭州)科技有限公司 视频编码中合并候选列表中改进的时间合并候选
WO2023056135A1 (en) * 2021-09-29 2023-04-06 Qualcomm Incorporated Motion vector (mv) candidate reordering
WO2023052489A1 (en) * 2021-09-29 2023-04-06 Canon Kabushiki Kaisha Video coding and decoding
US20230104476A1 (en) * 2021-10-05 2023-04-06 Tencent America LLC Grouping based adaptive reordering of merge candidate
WO2023061305A1 (en) * 2021-10-11 2023-04-20 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023061306A1 (en) * 2021-10-11 2023-04-20 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023072287A1 (en) * 2021-10-29 2023-05-04 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
US20230164351A1 (en) * 2021-11-19 2023-05-25 Tencent America LLC Methods and devices for refining motion vector candidates
US20230217013A1 (en) * 2022-01-04 2023-07-06 FG Innovation Company Limited Device and method for decoding video data
WO2023131125A1 (en) * 2022-01-04 2023-07-13 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023179783A1 (en) * 2022-03-25 2023-09-28 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
GB2617569A (en) * 2022-04-11 2023-10-18 Canon Kk Data coding and decoding
WO2023198699A2 (en) * 2022-04-11 2023-10-19 Canon Kabushiki Kaisha Data coding and decoding
GB2617568A (en) * 2022-04-11 2023-10-18 Canon Kk Video coding and decoding
TW202349963A (zh) * 2022-04-29 2023-12-16 聯發科技股份有限公司 視訊編解碼系統中運動向量差的合併模式對候選進行重新排序的方法和裝置
TW202349959A (zh) * 2022-04-29 2023-12-16 聯發科技股份有限公司 使用ｍｖｄ合併模式來降低視頻編解碼複雜度的方法和裝置
WO2023236916A1 (en) * 2022-06-06 2023-12-14 Mediatek Inc. Updating motion attributes of merge candidates
WO2023237025A1 (en) * 2022-06-07 2023-12-14 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2024000581A1 (zh) * 2022-07-01 2024-01-04 Oppo广东移动通信有限公司 排序方法、解码方法、编码方法、装置、解码器和编码器
US20240129506A1 (en) * 2022-10-14 2024-04-18 Tencent America LLC Template-matching based merge index reordering for geometric partition mode (gpm)
WO2024088048A1 (en) * 2022-10-26 2024-05-02 Mediatek Inc. Method and apparatus of sign prediction for block vector difference in intra block copy

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8902978B2 (en) * 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
US9124898B2 (en) * 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
US9282338B2 (en) 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
KR20130049525A (ko) * 2011-11-04 2013-05-14 오수미 잔차 블록 복원을 위한 역변환 방법
US20130188715A1 (en) * 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
CA2864002A1 (en) * 2012-04-24 2013-10-31 Mediatek Inc. Method and apparatus of motion vector derivation for 3d video coding
US9258562B2 (en) * 2012-06-13 2016-02-09 Qualcomm Incorporated Derivation of depth map estimate
US9325990B2 (en) 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
US10567789B2 (en) * 2014-06-16 2020-02-18 Qualcomm Incorporated Simplified shifting merge candidate and merge list derivation in 3D-HEVC
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
US10911769B2 (en) * 2017-06-23 2021-02-02 Qualcomm Incorporated Motion-based priority for the construction of candidate lists in video coding
US20180376148A1 (en) * 2017-06-23 2018-12-27 Qualcomm Incorporated Combination of inter-prediction and intra-prediction in video coding

Also Published As

Publication number Publication date
US10701393B2 (en) 2020-06-30
CN110574377A (zh) 2019-12-13
TWI674795B (zh) 2019-10-11
WO2018205914A1 (en) 2018-11-15
CN110574377B (zh) 2021-12-28
US20200068218A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
TWI674795B (zh) 用於視訊編解碼的重新排序運動向量預測候選集的方法及裝置
CN110677661B (zh) 用于视频处理的方法、装置和存储介质
CN110662052B (zh) 更新查找表(lut)的条件
TWI736907B (zh) 改進的模式匹配的運動向量推導
CN110662059B (zh) 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
US11917187B2 (en) Video signal processing method and device using motion compensation
WO2020228578A1 (en) Method and apparatus of luma most probable mode list derivation for video coding
CN113383554A (zh) LUT和共享Merge列表之间的交互
WO2020084506A1 (en) Harmonized local illumination compensation and intra block copy coding
TWI734262B (zh) 用於視訊編碼之運動向量差值改良式合併方法和裝置
KR101990423B1 (ko) 인터 예측 방법 및 그 장치
TW202007155A (zh) 一種視訊編解碼的幀間預測方法及裝置
WO2018127441A1 (en) Method and apparatus for encoding and decoding motion information
TW202046728A (zh) 用於視頻編解碼系統的簡化仿射子塊處理的方法及裝置
TWI752488B (zh) 視訊編解碼之方法和裝置
CN117941355A (zh) 视频编解码系统中低延迟模板匹配的方法和装置