TW201813396A - 用於視訊編解碼的基於模型的運動向量推導 - Google Patents

用於視訊編解碼的基於模型的運動向量推導 Download PDF

Info

Publication number
TW201813396A
TW201813396A TW106126691A TW106126691A TW201813396A TW 201813396 A TW201813396 A TW 201813396A TW 106126691 A TW106126691 A TW 106126691A TW 106126691 A TW106126691 A TW 106126691A TW 201813396 A TW201813396 A TW 201813396A
Authority
TW
Taiwan
Prior art keywords
motion vector
new
information frame
decoder
list
Prior art date
Application number
TW106126691A
Other languages
English (en)
Other versions
TWI669953B (zh
Inventor
莊子德
陳慶曄
徐志瑋
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201813396A publication Critical patent/TW201813396A/zh
Application granted granted Critical
Publication of TWI669953B publication Critical patent/TWI669953B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明所描述的技術涉及方法、裝置及電腦可讀機制，其用於接收壓縮視訊資料，其中壓縮視訊資料與資訊框集相關。解碼器側預測子細分技術用於計算用於來自於資訊框集的當前資訊框的新運動向量，其中新運動向量基於一個或者多個參考資訊框評估用於當前資訊框的運動。自運動向量暫存器中檢索出與不同資訊框相關的已有運動向量。基於該已有運動向量，使用解碼器側運動向量預測技術計算新運動向量，以使得已有運動向量處於在計算新運動向量之後的運動向量暫存器中。

Description

用於視訊編解碼的基於模型的運動向量推導 【相關申請的交叉引用】
本申請的申請專利範圍依35 U.S.C.§119要求如下申請的優先權：2016年08月08日提出的名稱為“METHODS OF PATTERN-BASED MV DERIVATION FOR VIDEO CODING”申請號為62/371,879的美國臨時案。在此合併參考該申請案的申請標的。
本文描述的技術一般涉及視訊編解碼，且更具體而言，涉及用於解碼器側預測子細化(refinement)的運動向量恢復。
視訊編解碼涉及壓縮(和去壓縮)數位視訊訊號。視訊編解碼標準的示例包括H.264視訊壓縮標準及其繼任者高效視訊編碼(High Efficiency Video Coding，HEVC)。運動的視訊通過在週期性的時間間隔處拍攝訊號的快照而形成，使得重播一系列的快照或者資訊框產生運動的感覺。視訊轉碼器包括預測模型，其使用相鄰視訊資訊框之間的相似度來試圖降低冗餘。自通常稱作參考資訊框的一個或者多個先前資訊框(past frame)或者未來資訊框(future frame)中創建預測資訊框 (predicted frame)。不用作參考資訊框的資訊框通常稱作非參考資訊框。
由於每資訊框可以包括成千上萬的圖元，視訊編解碼技術通常不會一次性處理所有資訊框的圖元。因此，編解碼資訊框被分割成通常用作宏塊(macroblock)的塊。編碼器試圖查找與在參考資訊框中編碼的相似的塊，而不是直接編碼每個塊的原始圖元值。如果編碼器找到相似塊，編碼器則可以使用運動向量來編碼這個塊，運動向量是指向參考資訊框中匹配塊的二維向量。
一些技術顯性地發信運動資訊到解碼器。這類模式的示例包括HEVC中的合併模式(merge mode)和高級運動向量預測(advanced motion vector prediction，AMVP)模式。但是，需要發信運動向量會消耗大量的資料，其可能否則由發射器來使用以編碼其他資訊。因此，解碼器側的運動向量細化工具可以用於細化、預測和/或產生運動資訊，使得運動資訊可以被推導出而無需顯性發信。
根據所公開的主題，本發明提供裝置、系統及方法，以用於解碼器側預測子細分技術，其提供執行速度和細分技術的效率。
一些實施例涉及解碼方法以用於解碼視訊資料。該方法包括接收壓縮視訊資料，其中壓縮視訊資料與資訊框集相關。該方法包括使用解碼器側預測子細分技術來計算用於來自於該資訊框集的當前資訊框的新運動向量，其中該新運動向 量基於一個或者多個參考資訊框評估用於該當前資訊框的運動，其包括自運動向量暫存器中檢索出與不同資訊框相關的已有運動向量，並基於該已有運動向量，使用解碼器側運動向量預測技術計算該新運動向量，以使得該已有運動向量處於在計算該新運動向量之後的該運動向量暫存器中。
在一些示例中，該新運動向量為細分運動向量，並且計算包括在第一步驟中將該新運動向量存儲到該運動向量暫存器中，以及將該已有運動向量存儲回到該運動向量暫存器中。
在一些示例中，該新運動向量為細分運動向量，並且計算包括將該新運動向量存儲到第二運動向量暫存器中，以使得該已有運動向量保留在該運動向量暫存器中。
在一些示例中，該方法包括確定來自於一個或者多個上層編碼樹單元行的資料可用，並且，計算包括檢索出用於相鄰塊集的多個運動向量，以用於來自於該相鄰塊集的一個或者多個相鄰塊，其包括確定該相鄰塊是位於該一個上層編碼樹單元行中還是多個上層編碼樹單元行中，並且檢索出與該相鄰塊相關的一個或者多個新運動向量。
在一些示例中，計算包括測試自第一參考資訊框集和第二參考資訊框集中推導的一個或者多個運動向量對，以及僅存儲與該第一參考資訊框集和該第二參考資訊框集相關的該運動向量對中的一個。
在一些示例中，計算包括測試自第一參考資訊框集或者第二參考資訊框集中的一個推導的一個或者多個運動 向量對。
在一些示例中，該方法包括接收指示用於起始運動向量候選列表的起始候選索引的訊號，以及使用該接收的訊號以計算該新運動向量。
在一些示例中，該方法包括接收指示用於起始運動向量候選列表和粗紋理運動向量差值中至少一個的起始候選索引的訊號，以及使用該接收的訊號以計算該新運動向量。
在一些示例中，該方法包括接收來自於高級運動向量預測且指示該起始運動向量的訊號，以及使用該接收的訊號以計算該新運動向量。
一些實施例涉及一種解碼視訊資料的裝置，該裝置包括與記憶體通信的處理器，該處理器用於執行存儲在該記憶體中的多個指令，使得該處理器接收壓縮視訊資料，其中壓縮視訊資料與資訊框集相關，並且使用解碼器側預測子細分技術，計算用於來自於該資訊框集的當前資訊框的新運動向量，其中該新運動向量基於一個或者多個參考資訊框評估用於該當前資訊框的運動。計算包括自運動向量暫存器中檢索出與不同資訊框相關的已有運動向量，並且基於該已有運動向量，使用解碼器側運動向量預測技術計算該新運動向量，以使得該已有運動向量處於在計算該新運動向量之後的該運動向量暫存器中。
在一些示例中，該新運動向量為細分運動向量，並且計算包括在第一步驟中將該新運動向量存儲到該運動向量暫存器中，以及將該已有運動向量存儲回到該運動向量暫存 器中。
在一些示例中，該新運動向量為細分運動向量，並且計算包括將該新運動向量存儲到第二運動向量暫存器中，以使得該已有運動向量保留在該運動向量暫存器中。
在一些示例中，該多個指令進一步使得該處理器確定來自於一個或者多個上層編碼樹單元行的資料可用，並且，計算包括檢索出多個運動向量以用於相鄰塊集，以用於來自於該相鄰塊集的一個或者多個相鄰塊，其包括確定該相鄰塊是位於該一個或者多個上層編碼樹單元行中，並檢索出與該相鄰塊相關的一個或者多個新運動向量。
在一些示例中，計算包括測試自第一參考資訊框集和第二參考資訊框集中推導的一個或者多個運動向量對，以及僅存儲與該第一參考資訊框集和該第二參考資訊框集相關的該運動向量對中的一個。
在一些示例中，計算包括測試自第一參考資訊框集或者第二參考資訊框集中推導的一個或者多個運動向量對。
在一些示例中，該多個指令進一步使得該處理器接收指示用於起始運動向量候選列表的起始候選索引的訊號，並使用該接收的訊號以計算該新運動向量。
在一些示例中，該多個指令進一步使得該處理器接收指示用於起始運動向量候選列表和粗紋理運動向量差值中至少一個的起始候選索引的訊號，並使用該接收的訊號以計算該新運動向量。
在一些示例中，該多個指令進一步使得該處理器 接收來自於高級運動向量預測且指示該起始運動向量的訊號，並使用該接收的訊號以計算該新運動向量。
一些實施例涉及至少一個非暫時電腦可讀存儲介質，用多個電腦可執行指令而編碼的，當該多個計算可執行指令被執行時，實作一種方法，該方法包括接收壓縮視訊資料，其中壓縮視訊資料與資訊框集相關，並且使用解碼器側預測子細分技術，計算用於來自於該資訊框集的當前資訊框的新運動向量，其中該新運動向量基於一個或者多個參考資訊框評估用於該當前資訊框的運動。計算包括自運動向量暫存器中檢索出與不同資訊框相關的已有運動向量，並且基於該已有運動向量，使用解碼器側運動向量預測技術計算該新運動向量，以使得該已有運動向量處於在計算該新運動向量之後的該運動向量暫存器中。
一些實施例涉及用於編碼視訊資料的編碼方法，該方法包括將壓縮視訊資料發送至接收設備，其中壓縮視訊資料與資訊框集相關。壓縮視訊資料包括由接收設備使用的場以解碼壓縮視訊資料。壓縮視訊資料和該場使得接收設備或者視訊轉碼器使用解碼器側預測子細分技術，計算用於來自於該資訊框集的當前資訊框的新運動向量，其中該新運動向量基於一個或者多個參考資訊框評估用於該當前資訊框的運動，其包括自運動向量暫存器中檢索出與不同資訊框相關的已有運動向量，並且，基於該已有運動向量，使用解碼器側運動向量預測技術計算該新運動向量，以使得該已有運動向量處於在計算該新運動向量之後的該運動向量暫存器中。
在一些示例中，該場發現用於解碼器側預測子細分技術的起始候選。解碼器側預測子細分技術可以是基於模型的運動向量推導。
在一些示例中，該場發信用於雙邊匹配合併模式和範本匹配合併模式(template matching merge mode)中至少一個的合併索引。該場可以在第一參考資訊框集和第二參考資訊框間中發信最佳起始運動向量。該場可以發信兩個運動向量對，其中一對自第一參考資訊框集中推導出而一對自第二參考資訊框集中推導出。
在一些示例中，該場與預定向量預測子模式相關，並用於發信是否使用解碼器側運動向量預測子技術，以使得該方法發信用於解碼器側預測子細分技術的起始運動向量。
因此，大致概述了所公開的主題的特徵，以便更好地理解下列具體實施方式，並且以便更好地理解對本領域的貢獻。當然，存在所公開主題的額外特徵，其將在下文中描述，並形成附加申請專利範圍的主題。可以理解的是，本文中所使用的用語和術語是用於描寫的目的，不應被視為限制。
100‧‧‧視訊編解碼配置
102‧‧‧視訊源
104‧‧‧編碼器
106‧‧‧接收設備
108‧‧‧解碼器
110‧‧‧顯示器
200、400‧‧‧示例
201、218‧‧‧參考圖像
202、204‧‧‧箭頭
205、300、508‧‧‧當前圖像
206、208‧‧‧虛線箭頭
210、212‧‧‧4x4塊
214、216‧‧‧縮放運動向量
302、306‧‧‧塊
304、506‧‧‧參考資訊框Ref0
308‧‧‧參考資訊框Ref1
310、402、404‧‧‧運動軌跡
312‧‧‧當前預測塊
502‧‧‧範本
504‧‧‧當前塊
600‧‧‧解碼器架構
602‧‧‧EC階段
604‧‧‧逆量化和逆轉換/獲取階段
606‧‧‧重構階段
608‧‧‧環路濾波器階段
610‧‧‧ColMV DMA
612‧‧‧運動向量調度
614‧‧‧運動補償快取記憶體
616‧‧‧記憶體介面仲裁器
618‧‧‧逆變換
620‧‧‧重構殘差
622‧‧‧預測塊
624‧‧‧去塊
626‧‧‧Rec DMA
700‧‧‧解碼器流水線執行
702‧‧‧解析階段
704-1‧‧‧逆量化/逆轉換階段
704-2‧‧‧參考圖元獲取階段
706‧‧‧畫面內/運動補償重構階段
708‧‧‧去塊/樣本適應性調整偏移階段
附圖中，不同附圖所示出的每個相同或幾乎相同的元件用相同的參考字元表示。為了清晰，並不是每個元件都在每個附圖中標記出來。附圖不一定是按比例繪製的，而是將重點放在此次所述的技術和設備的各個方面。
第1圖是示例性的視訊編解碼配置。
第2圖是推導出時間推導運動向量預測(motion vector prediction，MVP)的示例技術。
第3圖是使用雙邊匹配(bi-lateral matching)合併模式的基於模型的運動向量推導(pattern-based motion vector derivation，PMVD)的示例技術。
第4圖是縮放運動軌跡的示例。
第5圖是使用範本匹配(template matching)合併模式的基於模型的運動向量推導的示例技術。
第6圖是示例性的解碼器架構。
第7圖是在執行諸如第6圖所示的解碼器架構時的解碼器流水線執行的示例。
第8圖是在執行解碼器側的預測子細分工具時的解碼器流水線執行的示例。
發明人已認識並領會到各種技術可以用於改善解碼器側的預測子細分技術的執行，例如，基於模型的運動向量推導、雙向光流(bi-directional optical flow，BIO)和解碼器側運動向量細分(decoder-side motion vector refinement，DMVR)。由於運動向量如何被計算和重構，解碼器側預測子細分工具會引起處理延時。相比於不能預測運動向量的傳統的解碼方法(例如，當運動向量資訊自編碼器發信)，此處描述的技術可以允許相似的執行時間。例如，解碼器側預測子細分技術可以被調整，使得在處理過程的早期可以重構運動向量，從而允許解碼器以一種隱藏所需的延時週期(latency cycle)而獲取資料的方式預先獲取必需的參考圖元。否則，如果解碼 器在處理過程的早期不能重構運動向量，則解碼器不能預先獲取參考資料，其將通常引起在執行輸送量上的重大延時。
此處描述的是允許解碼器以一種仍然隱藏延時週期的方式預先獲取用於解碼器側預測子細分技術參考資料的技術。在一些示例中，未細分運動向量(unrefined MV)(a)被恢復到運動向量暫存器中和/或(b)不被改變，使得未細分運動向量可以由解碼器側運動向量細分工具來使用，或者用於推導出用於後續塊的參考運動向量或者運動向量候選(例如合併候選列表和高級運動向量預測子列表)。對於基於模型的運動向量推導，通過推導出候選列表並發信候選索引，起始運動向量(starting MV)可以被顯性發信。運動向量在解析階段被推導出，而無需受解碼器側運動向量細分工具的影響，允許解碼器仍然從運動向量暫存器中預先獲取必需的資訊。解碼器可以使用發信的起始運動向量，以用於相鄰塊的合併候選推導和高級運動向量預測候選推導。在一些示例中，編碼樹單元(coding tree unit，CTU)行約束可以被合併，以使得解碼器可以參考上層編碼樹單元行中的已修改的運動向量(modified MV)。
在一些示例中，解碼器可以用於不參考基於模型的運動向量推導編碼塊(coded block)的運動向量。在一些示例中，(a)起始運動向量和(b)粗紋理(coarse grain)運動向量差值(motion vector difference,MVD)可以被發信。在一些示例中，起始運動向量可以由高級運動向量預測模式(例如，而不是候選列表)發信。此處描述的也是可以用於存儲例如用於雙邊匹配合併模式的運動向量對(MV pair)的技術。在一些 示例中，解碼器測試自LIST_0和LIST_1中推導出的運動向量對，但僅存儲一個運動向量對。在一些示例中，解碼器僅測試自一個列表中推導出的一個運動向量對，並存儲測試列表的運動向量對。將在下文中更完整地證實這些技術和其他技術。
在下文中，為了透徹理解所公開的主題，提供了關於所公開主題的系統和方法以及這些系統和方法可能操作的環境等的大量而具體的細節。然而，對於本領域的通常知識者而言，清楚的是，所公開主題可以被實施而無需這麼具體的細節，並且，為了避免所公開的主題的複雜，本領域所習知的某些特徵不被具體地描述。另外，可以理解的是，下面提供的示例是示例性的，並且，可設想的是，存在落入所公開主題的其他系統和方法。
第1圖示出了根據一些實施例的示例性的視訊編解碼配置100。視訊源102是視訊源，並且，可以是例如數位電視、基於互聯網視訊和/或視訊通話等。編碼器104將視訊源編碼成編碼視訊(encoded video)。編碼器104可以駐留在產生視訊源102的同樣設備(例如，用於視訊通話的手機)上，及/或可以駐留在不同的設備上。接收設備106接收從編碼器104中接收編碼視訊。通過廣播網路，通過行動網路(例如蜂窩網路)和/或通過網際網路，接收設備104接收視訊作為視訊產品(例如，數位視訊盤或者其他電腦可讀介質)。接收設備106可以是，例如，電腦、手機或者電視。接收設備106包括解碼器108，其用於對編碼視訊進行解碼。接收設備106也包括顯示器110，其用於顯示解碼視訊。
如上所述，部分解碼過程依賴於運動向量，在當編碼器(例如，編碼器104)不包括直接在編碼視訊的最終運動向量資訊時的示例中，解碼器(例如接收設備106中的解碼器108)可以利用接收器側的預測工具，其通常被稱為接收器側預測子細分工具或者解碼器層預測子細分工具。接收器側預測子細分工具的一個示例是基於模型的運動向量推導模式，其也被用作資訊框率上變頻(Frame Rate Up-Conversion，FRUC)模式。例如，在名稱為聯合探索測試模型6(Joint Exploration Test Model 6，JEM 6)的演算法描述的聯合視訊探索團隊(Joint Video Exploration Team，JVET)的文檔JVET-F1001中描述了基於模型的運動向量推導，其在此處整體以引用方式併入本文。
解碼器側預測子細分工具的其他示例包括雙向光流(optical flow,BIO)和解碼器側運動向量細分。例如，雙向光流由第三屆JCTVC會議和第52屆VCEG會議中韓國三星公司(Samsung)提出，其在文件JCTVC-C204和文件VECG-AZ05中被公開。例如，參考Elena Alshina and Alexander Alshin,Bi-Directional Optical Flow,October 7-15,2010(JCTVC-C204)(包括兩個附上的微軟Excel試算表)和E.Alshina et al.,Known Tools Performance Investigation for Next Generation Video Coding,June 19-26,2015(VCEG-AZ05)(包括微軟PowerPoint展示)，這兩個的內容整體以引用方式併入本文。雙向光流採用假設光流和穩定運動以實作樣本層運動細分。雙向光流典型地被使用，以僅用於正確的雙向預測塊，其自兩個參考資訊框 中被預測，並且一個為先前資訊框(previous frame)而另一個為後續資訊框。在VECG-AZ05中，雙向光流採用一個5x5視窗以推導出一個樣本的運動細分，這樣，對於一個NxN塊，一個(N+4)x(N+4)塊的運動補償結果和相應的梯度資訊被需要以推導出當前塊的基於樣本的運動細分。並且一個6-階梯度濾波器和一個6-階插值濾波器用於產生雙向光流中的梯度資訊。因此，雙向光流的計算複雜度比傳統的雙向預測的計算複雜度高得多。對於額外的資訊，參考D.Marpe,H.Schwarz,and T.Wiegand：Context-Based Adaptive Binary Arithmetic Coding in the H.264/AVC Video Compression Standard,IEEE Transactions on Circuits and Systems for Video Technology,Vol.13,No.7,pp.620-636,July 2003，其整體以引用方式併入本文。
例如，使用諸如雙邊匹配合併模式或者範本匹配合併模式不同模式，基於模型的運動向量推導本身可以被執行。通常，解碼器要使用的哪個模式被發信在編碼視訊中。這樣編碼器發信到解碼器以使用基於模型的運動向量推導模式，並且也發信哪個具體的基於模型的運動向量推導模式。在一些示例中，當merge_flag或者skip_flag為真時，FRUC_mrg_flag被發信。如果FRUC_mrg_flag為1，則FRUC_mrg_flag被發信以指示雙邊匹配合併模式(例如，結合第2圖-第4圖被進一步描述)或者範本匹配合併模式(例如結合第5圖被進一步描述)是否被選擇。
綜上，兩種基於模型的運動向量推導模式使用解 碼圖元來推導出用於當前塊的運動向量。通過掃描所有參考資訊框中的所有運動向量，稱為時間推導運動向量預測(temporal derived MVP)的新的時間運動向量預測被推導出來。圖像通常參考大量的資訊框(例如，一個圖像包括16個資訊框)。這些參考資訊框被放入一個或者兩個參考圖像列表中。對於P切片，僅使用一個參考圖像列表。對於B切片，使用兩個參考圖像列表。一般地，對於B切片，兩個參考圖像列表用於存儲先前圖像和未來圖像，其通常用作先前圖像的LIST_0和用於未來圖像的LIST_1。
為了推導出LIST_0時間推導運動向量預測，對於LIST_0參考資訊框中的每個LIST_0運動向量，運動向量被縮放以指向當前資訊框。當前資訊框中縮放運動向量(scaled MV)所指向的塊是目標當前塊。運動向量被進一步縮放以指向用於目標當前塊的LIST_0中refIdx等於0的參考圖像。進一步縮放的運動向量被存儲在用於目標當前塊的LIST_0運動向量場(MV field)中。第2圖示出了推導出時間推導運動向量預測的示例200。解碼器掃描refIdx等於1的LIST_0參考圖像中所有LIST_0運動向量。對於LIST_0運動向量(如箭頭202和箭頭204所示)，指向當前圖像的縮放運動向量被推導出，以用於每個LIST_0運動向量(如參考圖像201的虛線箭頭206和虛線箭頭208所示)。縮放運動向量中的每一個指向當前圖像205中4x4塊210和4x4塊212。然後，另_縮放運動向量214和縮放運動向量216被分別分配到當前圖像中指向的4x4塊210和4x4塊212，其中縮放運動向量214和縮放運 動向量216沿著相關的縮放運動向量202和縮放運動向量204，但是起點是當前圖像205而終點是LIST_0中refIdx等於0的參考圖像218。解碼器掃描所有參考圖像中所有4x4塊的所有運動向量，以產生當前資訊框的時間推導LIST_0運動向量預測和時間推導LIST_1運動向量預測。對於每個運動向量，運動向量被縮放以獲得當前圖像中的交叉塊(crossed block)。隨後，解碼器計算縮放運動向量預測並將其分配給交叉塊(如由虛線箭頭206和虛線箭頭208所指向的塊所示)。
第3圖示出了基於模型的運動向量推導雙邊匹配合併模式的示例。對於雙邊匹配而言，解碼器在位於相同軌跡的LIST_0和LIST_1中查找兩個最相似參考塊。如第3圖所示，對於當前圖像(或者“cur pic”)300，解碼器在來自於LIST_0的參考資訊框Ref0 304中選擇一個宏塊(或者“塊”)302和在來自於LIST_1的參考資訊框Ref1 308中選擇第二塊306。解碼器基本上假定運動是持續的，並使用兩個宏塊的中點來產生運動軌跡310。解碼器使用運動軌跡310來在當前圖像300中查找當前預測宏塊(或者“當前預測塊”)312。解碼器計算塊302和塊306之間的差值。如果僅存在較小差，則解碼器瞭解到這些塊是相似的。在一些示例中，解碼器可以計算絕對距離和(sum of absolute distance)(或者“SAD”)以計算這兩個塊之間的差值。解碼器改變運動軌跡以使得塊之間的差值最小。
解碼器分別構造LIST_0和LIST_1中的起始運動向量列表。解碼器使用11個列表的候選，包括7個運動向量的合併候選和4個時間推導運動向量預測(或者運動向量預 測)。解碼器評估這11個候選來選擇最佳起點。具體地，解碼器搜索穿過這兩個相鄰資訊框的對。當考慮到每個列表的候選時，解碼器分析這22個運動向量以推導出22個運動向量對。解碼器通過縮放運動軌跡來產生運動向量對。對於一個列表中的每個運動向量，通過包括這個運動向量和鏡像運動向量(mirrored MV)來產生運動向量對，其中鏡像運動向量通過縮放運動向量到另一列表而推導出。對於每個運動向量對，使用這個運動向量對來補償兩個參考塊。第4圖示出了縮放運動軌跡的示例400。具體地，從當前圖像到LIST_0中的ref1的運動軌跡402被縮放，如從當前圖像到LIST_1中的參考資訊框ref0的運動軌跡404所示。解碼器計算22個運動向量對中的每個的成本(例如，使用絕對距離和)，並選擇具有最小成本的運動向量對作為雙邊匹配合併模式的起點。
接下來，解碼器細分所選擇的運動向量對。解碼器在起點周圍搜索不同的塊以確定哪個塊是最佳匹配。在一些實施例中，當前預測單元(PU)被分割成多個子預測單元。子預測單元的深度被發信在序列參數集(sequence parameter set，SPS)中(例如，3)。在一些示例中，最小子預測單元尺寸為4x4塊。對於每個子預測單元，LIST_0和LIST_1中的幾個起始運動向量被選擇，其包括如下運動向量：預測單元層推導運動向量、零運動向量、當前子預測單元和右下塊的HEVC同位時間運動向量預測的運動向量，當前子預測單元的時間推導運動向量預測，以及預測單元/子預測單元左側和預測單元/子預測單元上方的運動向量。通過在預測單元層搜索(PU-level searching)中使用相似機制，子預測單元的最佳運動向量對被選擇。在一些示例中，解碼器使用菱形搜索演算法(Diamond Search algorithm)來搜索不同的塊。隨後，最終運動向量對用作預測單元層和子預測單元層最佳運動向量對。
總之，在一些示例中，首先，雙邊匹配合併模式使用運動向量列表，評估候選運動向量對以獲得起始運動向量對，然後細分這個對以確定最終最佳運動向量對。
對於範本匹配合併模式，假設解碼器解碼當前塊，解碼器可以通過使用範本來使用相鄰塊，以找到最佳匹配。這樣解碼器可以使用相鄰塊來找到最佳匹配，然後使用最佳匹配運動向量。第5圖示出了用於範本匹配合併模式的示例技術。如第5圖所示，範本502包括來自於當前塊504上方四行的重構圖元和來自於當前塊504左側的四列的重構圖元，以在對於當前圖像508的參考資訊框Ref0 506中執行匹配。因此，不像雙邊匹配合併模式，範本匹配合併模式不使用兩個參考資訊框-其僅使用一個參考資訊框。
與雙邊匹配合併模式相似，也使用兩階段匹配以用於範本匹配。在預測單元層匹配中，LIST_0和LIST_1中的11個起始運動向量被分別選擇。這些運動向量包括來自於合併候選的7個運動向量和來自於時間推導運動向量預測的4個運動向量。兩個不同的起始運動向量集(staring MV set)被生成已用於兩個列表。對於一個列表中的每個運動向量，具有這個運動向量的範本的絕對距離和的成本被計算。具有最小成本的運動向量為最佳運動向量。然後菱形搜索被執行以細分運動向 量。細分精度為1/8圖元。細分搜索範圍被限制在±8圖元之內。最終運動向量為預測單元層推導運動向量。LIST_0和LIST_1中的運動向量被單獨產生。
對於第二階段，即子預測單元層搜索，當前預測單元被分割成多個子預測單元。子預測單元的深度被發信在序列參數集中(例如，3)。最小子預測單元尺寸為4x4塊。對於位於左預測單元分界線或者頂部預測單元分界線，LIST_0和LIST_1中的幾個起始運動向量被選擇，其包括如下運動向量：預測單元層推導運動向量、零運動向量、當前子預測單元和右下塊的HEVC同位時間運動向量預測的運動向量，當前子預測單元的時間推導運動向量預測，以及預測單元/子預測單元左側和預測單元/子預測單元上方的運動向量。通過在預測單元層搜索中使用相似機制，子預測單元的最佳運動向量對被選擇。菱形搜索被執行以細分運動向量對。用於此子預測單元的運動補償被執行以產生用於此預測單元的預測子。對於這些不在左側預測單元分界線或者頂部預測單元分界線處的預測單元，第二階段，即子預測單元層搜索不被使用，並且相應的運動向量被設置成等於第一階段中的運動向量。
第6圖示出了根據一些實施例的示例性的解碼器架構600。熵解碼器包括諸如CABAC熵解碼器或者CAVLC熵解碼器，其解析來自於位元流的語法。ColMV DMA 610存儲同位時間運動向量(collocated temporal MV)。運動向量調度(dispatch)612重構塊的運動向量，並通過記憶體介面仲裁器(memory interface arbiter)616將記憶體獲取指令發送到運動 補償(Motion Compensation，MC)快取記憶體614和DRAM(未示出)中。逆變換618包括逆量化(inverse quantization，IQ)和逆轉換(inverse transform，IT)，其產生重構殘差(reconstructed residual)620。預測塊622生成畫面間運動補償預測子和畫面內預測預測子。去塊(Deblock)624用於降低塊偽影(block artifact)，Rec DMA 626將重構圖元存儲到外部DRAM。這個架構的示例性元件的具體細節被討論在C.-T.Huang et al.,“A 249MPixel/s HEVC video-decoder chip for Quad Full HD applications,”Digest of Technical Papers IEEE International Solid-State Circuits Conference(ISSCC),pp.162-163,Feb.2013中，其在此處整體以引用方式併入本文。值得注意的是，為了使得本架構成為流水線，本架構被拆分成四個階段：EC階段602、逆量化和逆轉換(inverse quantization and inverse transform，IQIT)/獲取階段604、重構階段606和環路濾波器階段608。在HEVC和H.264中，在EC階段602(其包括解析)和重構階段606中，最終運動向量可以被推導出。在一些實施方式中，解碼器在解析階段中推導出最終運動向量，並在解析階段(EC階段602)中預先獲取所需的參考圖元資料。這個可以被完成，例如，以降低/隱藏DRAM存取時間。
第7圖示出了根據一些實施例的在執行解碼器架構時的解碼器流水線執行700的示例，例如，如第6圖所述的解碼器架構。第7圖包括解析階段702，在這個階段中運動向量如上述進行重構。逆量化/逆轉換階段704-1生成當前塊的重 構殘差。參考圖元獲取階段704-2自記憶體中獲取參考圖元。參考資訊框通常被存儲在外部記憶體中，例如DRAM。這樣，如果解碼器想在參考資訊框上進行運動補償，解碼器首先需要訪問外部記憶體以檢索到參考資料。通常從外部記憶體中獲取資料需要大量的延遲時間。畫面內/運動補償重構階段706執行預測。去塊/樣本適應性調整偏移(Sample Adaptive Offset，SAO)階段708執行環路濾波處理以提高解碼資訊框的品質。
一般，解碼器首先解碼CU0，隨後解碼CU1等。以使用CU0為例，在t0處，解碼器在包括重構運動向量的解析階段702中解碼CU0。隨後，在t1處，CU0移動到逆量化/逆轉換階段704-1。為了在畫面內/運動補償重構階段706中進行運動補償，解碼器需要在先前階段中(即參考圖元獲取階段704-2)進行預先獲取。
在第7圖中可以看出，為了隱藏延時時間而獲取來自於記憶體的資料(例如，這樣其不會影響流水線執行)，由於解碼器需要在畫面內/運動補償重構階段706中所執行的重構之前瞭解運動向量，資料在參考圖元獲取階段704-2中被預先獲取，並被存儲到本機存放區器(例如，SRAM或者緩存記憶體)中。例如，在MPEG-2/4、H.264/AVC和HEVC視訊解碼器中，運動向量可以在解析階段被重構。根據重構運動向量，所需的參考圖元可以自DRAM中獲取，並被存儲在本機存放區器中，例如SRAM或者快取記憶體記憶體。在畫面內/運動補償重構階段706中，參考資料可以自本地儲存器而被載入，無需延時週期。
但是，解碼器側預測子細分工具使用相鄰塊來推導出運動向量(例如，基於模型的運動向量推導，如範本匹配合併模式如何使用相鄰塊來推導出運動向量)。然而，範本塊不被生成直到第三階段(畫面內/運動補償重構階段706)。例如，當使用基於模型的運動向量推導，基於模型的運動向量推導編碼塊的最終運動向量依賴於畫面內/運動補償重構階段706中的基於模型的運動向量推導搜索處理，意味著運動向量不能在解析階段702中被重構，並且因此在參考圖元獲取階段704-2處預先獲取資料是不可行的。
第8圖示出了在執行解碼器側的預測子細分工具時的解碼器流水線執行的示例。例如，並使用基於模型的運動向量推導作為示例，在時間t2處，由於CU0的運動向量依賴於畫面內/運動補償重構階段706中的基於模型的運動向量推導搜索處理(其也可以在t2處被執行)，運動向量不能在CU01的解析階段702(在時間t1處)中被重構，因此資料不能被預先獲取以用於參考圖元獲取階段704-2中的t2處的CU1。這個問題同樣地影響到每個編碼單元(CU)的處理，並因此最終導致每兩個時序完成一個編碼單元處理。例如，第8圖示出了用於t4和t5的一個編碼單元處理，相比於第7圖，解碼器僅完成處理CU1，其中CU1在t4處完成處理，CU2在t5處完成處理。
此處所公開的技術解決在解碼器側預測細分技術(例如基於模型的運動向量推導)用於解碼時的這類資料預先獲取問題。例如，這些技術允許資料以仍然隱藏延時週期的方 式被預先獲取，例如，如第7圖所示，而不是如第8圖所示的引起延時。儘管通常知識者可以領會到這些技術可以被用於其他解碼器側預測細分技術(例如，雙向光流和解碼器側運動向量細分)，為了便於說明，下面討論將以基於模型的運動向量推導為例。
根據一些實施例，原始候選運動向量被保留在運動向量暫存器中以用於下一解碼過程。在一些示例中，所選擇的合併候選運動向量(例如，起始運動向量或者未細分運動向量)被存儲回到運動向量暫存器中，使得解碼器可以參考相鄰塊和同位塊/同位圖像。因此，根據一些示例，基於模型的運動向量推導塊的運動補償(例如，在畫面內/運動補償重構階段706中被執行)使用基於模型的運動向量推導推導運動向量，但是所選擇的合併候選運動向量被存儲回到運動向量暫存器以用於未來參考。這可以允許，例如，運動向量在解析階段702中被重構，並且參考圖元可以在階段704-2中被預先獲取。如果當前塊為基於模型的運動向量推導編碼塊，更大的參考塊(例如，包括細分搜索範圍)可以被預先獲取。因此，在一些示例中，運動向量不被細分以用於當前塊，但是解碼器使用細分運動向量以用於補償。
在一些示例中，解碼器可以用於不改變運動向量暫存器中的運動向量。例如，解碼器可以存儲運動向量暫存器中的起點(例如，起始運動向量)，並進行細分以生成細分運動向量，其僅用於生成運動補償資料，而無需改變運動向量暫存器中的運動向量。用於未來參考(例如，合併候選列表生成 和高級運動向量預測候選列表生成)的運動向量暫存器不被改變。
在一些示例中，解碼器可以使用單獨的暫存器以用於細分。例如，解碼器可以檢索到起始運動向量，運行基於模型的運動向量推導並執行細分，而無需在原始運動向量暫存器中存儲已細分的運動向量-解碼器在時間暫存器中存儲細分運動向量。
在一些示例中，解碼器可以發信用於基於模型的運動向量推導的起始候選(starting candidate)。例如，解碼器可以發信起始候選索引，其用於從運動向量候選列表中選擇起始運動向量。這個可以被完成，例如，使得解碼器瞭解到11個候選中的哪個將用作基於模型的運動向量推導的起始候選。解碼器可以首先生成11個起始候選，並且編碼器可以發信給解碼器以指示那個起始候選最佳。由於解碼器瞭解到起始候選(例如，解碼器可以執行細分，使用範本匹配和菱形搜索技術來細分位於起始候選周圍的運動向量)，這個發信可以允許，例如，解碼器跳過範本匹配並進行到細化。當運動向量將被菱形搜索細分時，在本發明所提出的方法中，將僅存儲起始候選，而非細分運動向量。
在一些示例中，對於基於模型的運動向量推導(例如，包括雙邊匹配合併模式和範本匹配合併模式)，合併候選中的LIST_0運動向量和LIST_1運動向量用作起始運動向量。在一些示例中，通過搜索所有這些運動向量，最佳運動向量候選可以被隱性推導出。這可能需要大量的記憶體頻寬。在本示 例中，雙邊匹配合併模式或者範本匹配合併模式的合併索引被發信。發信的合併索引可以指示，例如，範本匹配合併模式中的LIST_0和LIST_1中的最佳起始運動向量，以及雙邊匹配合併模式中的兩個最佳運動向量對(一個自LIST_0中推導出而另一個自LIST_1中推導出)。通過發信合併索引，範本匹配步驟可以被限制到，例如，發信的合併候選周圍處的細分搜索。對於雙邊匹配，解碼器可以執行成本估計以從這兩個運動向量對中選擇最佳運動向量對，並執行細分搜索。對於雙邊匹配，如果合併候選為單方向運動向量(uni-directional MV)，其在另一列表中的相應的運動向量可以通過使用鏡像運動向量(即縮放運動向量)來生成。在一些示例中，通過使用預定義的運動向量生成方法，已知LIST_0中的起始運動向量、LIST_1中的起始運動向量和/或運動向量對。LIST_0和/或LIST_1中的最佳起始運動向量或者最佳運動向量對被顯性發信以降低頻寬要求。
在一些示例中，當一個合併索引被發信時，解碼器可以進一步使用所選擇的運動向量以在第一階段(即預測單元層匹配)排除或者選擇一些候選。例如，解碼器可以在候選列表中排除一些運動向量，這些運動向量遠離所選擇的運動向量。又例如，解碼器可以在候選列表中挑選N個運動向量，這N個運動向量最靠近所選擇的運動向量但位於不同參考資訊框中。
在一些示例中，如果起始候選索引被發信以用於雙邊匹配合併模式，起始運動向量候選可以是運動向量對(一 個運動向量用於LIST_0而另一個用於LIST_1)。兩個運動向量對自起始運動向量對中推導出(例如，一個自LIST_0運動向量中推導出而另一個自LIST_1運動向量推導出)。解碼器可以用於測試LIST_0運動向量對和LIST_1運動向量對，但是僅存儲一個運動向量對。在一些實施例中，解碼器可以用於總是存儲LIST_0運動向量對或者LIST_1運動向量對。例如，如果所選擇的合併候選運動向量(或者所述起始候選運動向量)為雙向預測運動向量(bi-predicted MV)，則所存儲的LIST_0運動向量為合併候選運動向量的LIST_0運動向量，且所存儲的LIST_1運動向量為LIST_0運動向量的鏡像運動向量。解碼器可以評估兩個列表中的運動向量對，但僅LIST_0運動向量及其鏡像運動向量被存儲回去。又例如，所存儲的LIST_1運動向量位合併候選運動向量的LIST_1運動向量，且所存儲的LIST_0運動向量為LIST_1運動向量的鏡像運動向量。
在一些示例中，解碼器可以用於存儲具有最小δ的圖像順序計數(picture order count，POC)的LIST_0運動向量對或者LIST_1運動向量對中的一個。例如，如果LIST_0參考圖像與當前圖像之間的圖像順序計數差值小於(或者等於)LIST_1參考圖像與當前圖像之間的圖像順序計數差值，則所存儲的LIST_0運動向量為合併候選運動向量的LIST_0運動向量，且所存儲的LIST_1運動向量為LIST_0運動向量的鏡像運動向量。否則，所述存儲的LIST_1運動向量為合併候選運動向量的LIST_1運動向量，且所存儲的LIST_0運動向量為LIST_1運動向量的鏡像運動向量。
如果所選擇的合併候選運動向量為單預測(uni-predicted)LIST_0運動向量，則所存儲的LIST_0運動向量為合併候選運動向量的LIST_0運動向量，且所存儲的LIST_1運動向量為LIST_0運動向量的鏡像運動向量。如果所選擇的合併候選運動向量為單預測LIST_1運動向量，則所存儲的LIST_1運動向量為合併候選運動向量的LIST_1運動向量，且所存儲的LIST_0運動向量為LIST_1運動向量的鏡像運動向量。
在一些示例中，當使用雙邊匹配模式時，解碼器可以用於僅測試LIST_0運動向量對或者LIST_1運動向量對中的一個。例如，如果所選擇的合併候選運動向量為雙向預測運動向量，則解碼器可以用於僅評估LIST_0運動向量對。基於模型的運動向量推導起始LIST_0運動向量為所選擇的合併候選LIST_0運動向量，且LIST_1運動向量為鏡像LIST_0運動向量。在本示例中，在基於模型的運動向量推導中，原始LIST_1運動向量不被評估。又例如，當使用雙邊匹配模式且所選擇的合併候選運動向量為雙向預測運動向量時，解碼器可以用於僅使用LIST_1運動向量對。基於模型的運動向量推導起始LIST_1運動向量為所選擇的合併候選LIST_1運動向量，且LIST_0運動向量對為鏡像LIST_1運動向量。在一些示例中，當使用雙邊匹配模式且所選擇的合併候選運動向量為雙向預測運動向量時，解碼器可以用於僅使用具有更小圖像順序計數的參考圖像的列表(LIST)的運動向量對。例如，如果LIST_0參考圖像與當前圖像之間的圖像順序計數差值小於(或者等 於)LIST_1參考圖像與當前圖像之間的圖像順序計數差值，則使用LIST_1中的LIST_0運動向量及其鏡像運動向量。否則，使用LIST_0中的LIST_1運動向量及其鏡像運動向量。
在一些實施例中，為了在解析階段中推導出重構運動向量，解碼器可以用於不參考基於模型的運動向量推導編碼塊的運動向量。例如，在合併候選推導中，解碼器可以處理基於模型的運動向量推導編碼塊，例如，作為不可用的塊或者畫面內編碼塊。基於模型的運動向量推導推導運動向量在合併候選推導和高級運動向量預測候選推導中不可用。運動向量重構獨立於基於模型的運動向量推導。運動向量可以在解析階段中被重構。
在基於模型的運動向量推導運動向量搜索中，運動向量搜索方法可以被預定義(例如三步驟菱形搜索)。例如，對於菱形搜索，第一步驟菱形搜索的步驟尺寸為一個圖元的一半(即二分之一圖元)。第二步驟交叉搜索的步驟尺寸為一個圖元的四分之一(即四分之一圖元)。第三步驟交叉搜索的步驟尺寸為一個圖元的1/8(即1/8圖元)。在一些示例中，(a)起始運動向量和(b)粗紋理運動向量差值被發信。運動向量差值可以為第一步驟菱形搜索的細分位置索引，和/或傳統的運動向量差值。運動向量差值單元可以為1/16圖元、1/8圖元、1/4圖元、1/2圖元、1圖元、2圖元或者任何預定義單元。所選擇的合併索引的運動向量加上發信的運動向量差值(或者細分位置的運動向量)可以用作基於模型的運動向量推導起始運動向量，其被存儲在運動向量暫存器中以用於合併候選推導參考和 高級運動向量預測候選推導參考。在一些示例中，對於編碼器和/或解碼器，基於模型的運動向量推導搜索可以自基於模型的運動向量推導的起始運動向量而起始。最終基於模型的運動向量推導推導運動向量僅用於運動補償。基於模型的運動向量推導編碼塊的起始運動向量可以在解析階段中被重構。
在一些示例中，僅一個運動向量差值和/或僅一個運動向量差值細分位置索引被發信。如果合併候選為雙預測候選，則運動向量差值僅被增加到LIST_0或者LIST_1上。對於雙邊匹配合併模式，如果運動向量差值被增加到LIST_0上，則LIST_1起始運動向量可以為LIST_0起始運動向量的鏡像運動向量。
在一些示例中，在解碼器處的搜索處理中，粗紋理運動向量差值不被編碼但被推導出。例如，可以將搜索處理劃分成三個階段，第一步驟菱形搜索，第二步驟交叉搜索和第三步驟交叉搜索。粗紋理運動向量差值可以為第一步驟菱形搜索或者第二步驟交叉搜索中的搜索處理的結果。
在高級運動向量預測模式中，運動向量預測和運動向量差值被發信以用於預測單元。在一些示例中，系統可以用於將基於模型的運動向量推導應用到高級運動向量預測熵。例如，額外的標誌可以被發信以用於高級運動向量預測預測單元，以指示是否使用基於模型的運動向量推導。基於模型的運動向量推導起始於先進運動向量預測模式的運動向量的發信，例如，使得起始運動向量由高級運動向量預測模式(而不是候選列表)來發信。基於模型的運動向量推導細分範圍可 以被限制成小於運動向量差值的單元/細微性(granularity)。在一些示例中，如果使用基於模型的運動向量推導，則運動向量差值處於比常規高級運動向量預測模式更粗的細微性。例如，運動向量差值細微性被改變成二分之一圖元或者整數圖元。基於模型的運動向量推導細分範圍被限制成比+-1/2圖元或者+-1圖元更小。在一些示例中，基於模型的運動向量推導標誌可以被發信在編碼單元層、編碼樹單元層、一些預定義區域(area)層、切片層、圖像層或者序列層中。如果基於模型的運動向量推導標誌被發信在編碼樹單元層且該標誌為真，則將基於模型的運動向量推導應用到編碼樹單元中的所有高級運動向量預測模式編碼預測單元上。對於預定義區域層，基於模型的運動向量推導標誌被發信以用於比預定義區域更大或者相等的編碼單元/預測單元。這個標誌也可以被共用以用於比預定義區域更小的編碼單元/預測單元。
為了解決預先獲取問題，基於模型的運動向量推導推導運動向量可以僅用於運動補償。發信的運動向量(即運動向量預測+運動向量差值)可以被存儲在運動向量暫存器中以用於參考。
在HEVC中，圖像被分割成編碼樹單元，其為HEVC的基礎處理單元。編碼樹單元以光柵掃描順序被編碼。在流水線解碼器架構中，由於行已被處理，上層編碼樹單元行的大部分資訊在解析階段中可用(例如，包括運動向量資訊)。在一些示例中，由於在解析階段中資訊可用，來自於上層編碼樹單元行的編碼樹單元中的解碼器側推導運動向量可以被參 考(或者被使用)，例如，以用於合併候選列表的生成和高級運動向量預測列表的生成。儘管在當前編碼樹單元行中的解碼器側推導運動向量由於不可用不能被使用，但是解碼器可以在這些編碼樹單元中使用推導運動向量(derived MV)。
因此，在一些實施例中，編碼樹單元行約束可以與本文所描述的技術一起使用，使得在上層編碼樹單元行中的基於模型的運動向量推導而得到的運動向量可以被參考(例如，當不參考基於模型的運動向量推導編碼塊的運動向量時)，或者可以被使用(例如，當存儲合併候選運動向量，存儲合併候選運動向量和鏡像運動向量，發送用於基於模型的運動向量推導和雙邊鏡像運動向量的合併索引(並僅評估一個運動向量)，發信合併索引和粗紋理運動向量差值和/或高級運動向量預測模式和基於模型的運動向量推導時)。
例如，考慮到本文描述的關於在存儲合併候選運動向量，存儲合併候選運動向量和鏡像運動向量，以及發送用於基於模型的運動向量推導和雙邊鏡像運動向量的合併索引(並僅評估一個運動向量)時的技術。當參考當前編碼樹單元行中的基於模型的運動向量推導編碼塊時，所選擇的合併候選運動向量可以用於合併候選推導和高級運動向量預測候選推導。當參考上層編碼樹單元行中的基於模型的運動向量推導編碼塊時，最終基於模型的運動向量推導推導運動向量可以被使用。
又例如，考慮到本文描述的關於不參考基於模型的運動向量推導編碼塊的運動向量的技術。當參考當前編碼樹 單元行中的基於模型的運動向量推導編碼塊時，運動向量對合併候選推導和高級運動向量預測候選推導而言不可用。當參考上層編碼樹單元行中的基於模型的運動向量推導編碼塊時，最終基於模型的運動向量推導推導運動向量可以被使用。
編碼樹單元行約束可以改變成編碼樹單元約束或者任何預定義約束或推導區域約束。例如，當不參考基於模型的運動向量推導編碼塊的運動向量時，如果使用編碼樹單元約束，則在當前編碼樹單元中的基於模型的運動向量推導編碼塊的運動向量不可用，而在不同編碼樹單元中的基於模型的運動向量推導編碼塊的運動向量可用。
根據本文描述的原理的技術操作可以以任何適當的方式來實作。上面的流程圖的處理塊和決策塊表示被包含執行這些不同處理的演算法中的步驟和行為。自這些處理中推導出的演算法可以以集成有並指導一個或多個單目的或多目的的處理器的操作的軟體來實作，可以以諸如數位訊號處理(Digital Signal Processing，DSP)電路或應用專用積體電路(Application-Specific Integrated Circuit，ASIC)的功能等效電路來實作，或可以以任何其他適當的方式來實作。應該理解的是，此處所包含的流程圖不描述任何特定電路或任何特定程式設計語言或程式設計語言類型的語法或操作。相反，流程圖示出了本領域的通常知識者可以使用的功能資訊，以製造電路或實作電腦軟體演算法來執行進行本文所描述的技術類型的特定裝置的處理。還應該理解的是，除非在此另有說明，在每個流程圖中描述的步驟和/或行為的特定順序僅是對可以實作 的演算法的說明，並且可以在本文所描述的原理的實施方式和實施例中被改變。
因此，在一些實施例中，本文所描述的技術可以在作為軟體而實作的電腦可執行指令中被實施，包括應用軟體、系統軟體、固件、中介軟體、嵌入式代碼或任何其他合適類型的電腦代碼。通過使用大量合適的程式設計語言和/或程式設計工具或腳本工具的任何一種，這種電腦可執行指令可以被編寫，也可以被編譯為可執行的機器語言代碼或在框架或虛擬機器上執行的中間代碼。
當本文所描述的技術被實施為電腦可執行指令時，根據這些技術，這些電腦可執行指令可以以任何合適的方式來實作，包括作為若干功能設施，每一個提供一個或多個操作來完成演算法操作的執行。然而被產生實體，當由一個或多個電腦來集成和執行時，一個“功能設施”，是一個電腦系統的結構元件，使一個或多個電腦執行特定的操作角色。功能設施可以是整個軟體元素的一部分。例如，功能設施可以作為處理的功能來實作，或作為離散處理，或作為任何其他合適的處理單元來實作。如果此處描述的技術以多個功能設施來實作，則每個功能設施可以以自己的方式來實作；所有這些功能設施不需要以相同的方式來實作。此外，可以並行地和/或串列地執行這些功能設施，並且通過使用消息傳遞協定或以任何其他合適的方式，這些功能設施可以通過使用正在執行的電腦上的共用記憶體來彼此傳遞資訊。
一般來說，功能設施包括執行特定任務或實施特 定抽象資料類型的常式、程式、物件、元件、資料結構等。通常，功能設施的功能可以按其操作的系統的要求組合或分發。在一些實施方式中，執行本文中技術的一個或多個功能設施可以一起形成一個完整的套裝軟體。在替代實施例中，這些功能設施可適於與其他無關功能設施和/或處理進行交互，以實作軟體程式應用。
本文已描述了一些示例性功能設施以用於執行一個或多個任務。但是，應該理解的是，所描述的功能設施和任務劃分僅僅是說明實作本文所描述的示例性技術的功能設施類型，並且實施例不限於以任何特定數量、劃分或功能設施類型來實作。在一些實施方式中，所有功能可以在單個功能設施中實作。還應該理解的是，在一些實施方式中，此處所描述的一些功能設施可以與其他一起實作或與單獨實作(即作為單個單元或單獨單元)，或者一些功能設施可以不實作。
在一些實施例中，實作本文所描述的技術電腦可執行指令(當作為一個或多個功能設施或以任何其他方式來實作時)被編碼在一個或多個電腦可讀介質上，以將功能提供給介質。電腦可讀介質包括如硬碟驅動器的磁介質，如光碟(Compact Disk，CD)或數位通用光碟(Digital Versatile Disk，DVD)，持續或非持續的固態記憶體(如Flash記憶體，磁隨機存取記憶體等)，或任何其他合適的存儲介質。這樣的電腦可讀介質可以以任何合適的方式來實作。如本文所使用，“電腦可讀介質”(也稱為“電腦可讀存儲介質”)指的是有形(tangible)存儲介質。有形存儲介質是非暫時的，並且具有 至少一個物理的、結構的元件。在本文中所使用的“電腦可讀介質”中，至少一個物理結構構件具有至少一個物理屬性，在創建具有實施資訊的介質的過程中，在其上記錄資訊的過程中，或在編碼具有資訊的介質的任何其它過程中，其可以以某種方式被改變。例如，在記錄過程中，可以改變電腦可讀介質的物理結構的一部分的磁化狀態。
此外，上面描述的一些技術包括以某種方式存儲資訊(例如，資料和/或指令)以用於這些技術的行為。在這些技術的一些實施方式中-例如技術被實作為電腦可執行指令的實施方式-資訊可在電腦可讀存儲介質上編碼。如果本文描述的特定結構是用於存儲該資訊的有利格式，這些結構可用於傳授在存儲介質上編碼時的資訊的物理結構。然後，這些有利結構可以通過影響與該資訊交互的一個或多個處理器的操作來將功能提供到存儲介質；例如，通過提高由處理器執行的電腦操作的效率。
在技術被實施為電腦可執行指令的一些但非所有實施方式中，這些指令可以在以任何合適的電腦系統而操作的一個或多個合適的計算設備上執行，或一個或多個計算設備(或一個或多個計算設備的一個或多個處理器)可以被程式設計以執行電腦可執行指令。當指令以訪問一個計算設備或者處理器的方式被存儲在計算設備或處理器時，一個計算設備或處理器可被程式設計以執行指令，例如在資料存儲中(例如，一個片上快取記憶體或指令寄存器、通過匯流排可以訪問的電腦可讀存儲介質、通過一個或多個網路可訪問且由設備/處理器 可訪問的電腦可讀存儲介質等)。包括這些電腦可執行指令的功能設施可集成有和指導單個的多目的可程式設計數位計算設備的操作，共用處理能力和共同執行本文所描述的技術的兩個或更多的多目的計算設備的協調系統，單個計算設備或專用于執行本文所描述的技術計算設備的協調系統(同一位置或地理分佈)，實施本文所描述的技術的一個或多個現場可程式設計閘陣列(Field-Programmable Gate Array，FPGA)，或者任何其他合適的系統。
計算設備可以包括至少一個處理器、網路介面卡和電腦可讀存儲介質。例如，計算設備可以是桌上型電腦或筆記型電腦、個人數位助理(personal digital assistant，PDA)、智慧手機、伺服器或任何其他合適的計算設備。網路介面卡可以是任何合適的硬體和/或軟體，以使得計算設備能夠通過任何合適的計算網路與任何其他合適的計算設備進行有線和/或無線通訊。電腦網路可以包括無線接入點、交換機、路由器、閘道和/其他網路設備，以及任何合適的有線和/或無線通訊介質或者媒體以用於交換兩個或者多個電腦之間的資料，包括網際網路。電腦可讀介質可適於存儲待處理的資料和/或由處理器待執行的指令。資料和指令可以被存儲在電腦可讀存儲介質上。
計算設備還可以具有一個或多個元件和週邊設備，包括輸入裝置和輸出設備。除其他外，這些設備可用於呈現使用者介面。可用於提供使用者介面的輸出設備的示例包括用於直觀顯示輸出的印表機或顯示幕幕，和揚聲器或者聽覺顯 示輸出的其它聲音產生設備。可用於使用者介面的輸入裝置的示例包括鍵盤和指向設備，例如滑鼠、觸摸盤和數位化平板。又例如，計算設備可以通過語音辨識或其他可聽覺格式接收輸入資訊。
實施例已經被描述了，其中以電路和/或電腦可執行指令來實作這些技術。應該理解的是，一些實施例可以是一種方法的形式，其中提供了至少一個示例。作為方法的一部分執行的行為可以以任何適當的方式進行排序。因此，這些實施例可以以不同於所示出的順序來執行行為的方式而被構造，即使如示出的實施例中作為順序的行為所示，其可以包括同時執行某些行為。
以上所描述的實施例的各個方面可以被單獨使用、組合、或在上述的實施例中沒有具體討論的各種排列，並且因此不限制其應用到上述說明或附圖中的元件的具體細節和排列。例如，在一個實施例中所描述的方面可以以任何方式與其他實施例中所描述的方面結合。
在申請專利範圍中以修改申請專利範圍元素的諸如“第一”“第二，”“第三”等的順序術語的使用本身意味著任何優先級，先後性，或者以一個申請專利範圍元素在另一個之上的順序或者方法的行為被執行的時間順序，但僅用於作標記以將具有相同名稱的一個申請專利範圍元素與具有相同名稱的另一個元素進行區分(但是對於順序術語的使用)，進而區分申請專利範圍元素。
此外，本文所使用的措辭和術語是為了描述的目 的，而不應被視為限制性的。本文所使用“包括”、“包含”、“具有”、“包含”、“涉及”即其變形用於圍繞其後所列出的項目及其等效，以及額外的項目。
本文所使用的“示例性”一詞是指作為示例、實例或說明。因此，除非另有說明，本文中所描述的任何實施例、實施方式、處理、特徵等都應該被理解為一個說明性的示例，並且不應理解為優選的或有利的示例。
在已經描述了至少一個實施例的幾個方面之後，應將理解的是，對於本領域通常知識者來說，將容易發生各種改變、修改和改進。這種改變、修改和改進將是本發明的一部分，並且在本文所描述的原理的精神和範圍內。因此，上述描述和附圖僅以示例的方式進行。

Claims (19)

  1. 一種解碼方法，用於解碼視訊資料，該方法包括：接收與資訊框集相關的壓縮視訊資料；以及使用解碼器側預測子細分技術，計算用於來自於該資訊框集的當前資訊框的新運動向量，其中基於一個或者多個參考資訊框，該新運動向量評估用於該當前資訊框的運動，包括：自運動向量暫存器中檢索出與不同資訊框相關的已有運動向量；以及基於該已有運動向量，使用解碼器側運動向量預測技術計算該新運動向量，以使得在計算該新運動向量之後該已有運動向量處於該運動向量暫存器中。
  2. 如申請專利範圍第1項所述之解碼方法，其中，該新運動向量為細分運動向量；以及計算包括：在第一步驟中將該新運動向量存儲到該運動向量暫存器中；以及將該已有運動向量存儲回到該運動向量暫存器中。
  3. 如申請專利範圍第1項所述之解碼方法，其中，該新運動向量為細分運動向量；以及計算包括將該新運動向量存儲到第二運動向量暫存器中，以使得該已有運動向量保留在該運動向量暫存器中。
  4. 如申請專利範圍第1項所述之解碼方法，其中，包括：確定來自於一個或者多個上層編碼樹單元行的資料可用； 以及計算包括檢索出用於相鄰塊集的多個運動向量，以用於來自於該相鄰塊集的一個或者多個相鄰塊，包括：確定該相鄰塊是位於該一個上層編碼樹單元行中還是多個上層編碼樹單元行中；以及檢索出與該相鄰塊相關的一個或者多個新運動向量。
  5. 如申請專利範圍第1項所述之解碼方法，其中，計算包括：測試自第一參考資訊框集和第二參考資訊框集中推導的一個或者多個運動向量對；以及僅存儲與該第一參考資訊框集和該第二參考資訊框集相關的該運動向量對中的一個。
  6. 如申請專利範圍第1項所述之解碼方法，其中，計算包括：測試自第一參考資訊框集或者第二參考資訊框集中的一個推導的一個或者多個運動向量對。
  7. 如申請專利範圍第1項所述之解碼方法，其中，進一步包括：接收指示用於起始運動向量候選列表的起始候選索引的訊號；以及使用該接收的訊號以計算該新運動向量。
  8. 如申請專利範圍第1項所述之解碼方法，其中，進一步包括：接收指示用於起始運動向量候選列表和粗紋理運動向量差值中至少一個的起始候選索引的訊號；以及使用該接收的訊號以計算該新運動向量。
  9. 如申請專利範圍第1項所述之解碼方法，其中，進一步包括：接收來自於高級運動向量預測且指示該起始運動向量的訊號；以及使用該接收的訊號以計算該新運動向量。
  10. 一種解碼視訊資料的裝置，其中，該裝置包括與記憶體通信的處理器，該處理器用於執行存儲在該記憶體中的多個指令，使得該處理器用於：接收與資訊框集相關的壓縮視訊資料；以及使用解碼器側預測子細分技術，計算用於來自於該資訊框集的當前資訊框的新運動向量，其中基於一個或者多個參考資訊框，該新運動向量評估用於該當前資訊框的運動，包括：自運動向量暫存器中檢索出與不同資訊框相關的已有運動向量；以及基於該已有運動向量，使用解碼器側運動向量預測技術計算該新運動向量，以使得在計算該新運動向量之後該已有運動向量處於該運動向量暫存器中。
  11. 如申請專利範圍第10項所述之解碼視訊資料的裝置，其中，該新運動向量為細分運動向量；以及計算包括：在第一步驟中將該新運動向量存儲到該運動向量暫存器中；以及將該已有運動向量存儲回到該運動向量暫存器中。
  12. 如申請專利範圍第10項所述之解碼視訊資料的裝置，其中，該新運動向量為細分運動向量；以及計算包括將該新運動向量存儲到第二運動向量暫存器中，以使得該已有運動向量保留在該運動向量暫存器中。
  13. 如申請專利範圍第10項所述之解碼視訊資料的裝置，其中，該多個指令進一步使得該處理器用於：確定來自於一個或者多個上層編碼樹單元行的資料可用；以及計算包括檢索出用於相鄰塊集的多個運動向量，以用於來自於該相鄰塊集的一個或者多個相鄰塊，包括：確定該相鄰塊是位於該一個上層編碼樹單元行中還是多個上層編碼樹單元行中；以及檢索出與該相鄰塊相關的一個或者多個新運動向量。
  14. 如申請專利範圍第10項所述之解碼視訊資料的裝置，其中，計算包括：測試自第一參考資訊框集和第二參考資訊框集中推導的一個或者多個運動向量對；以及僅存儲與該第一參考資訊框集和該第二參考資訊框集相關的該運動向量對中的一個。
  15. 如申請專利範圍第10項所述之解碼視訊資料的裝置，其中，計算包括：測試自第一參考資訊框集或者第二參考資訊框集中的一個推導的一個或者多個運動向量對。
  16. 如申請專利範圍第10項所述之解碼視訊資料的裝置，其中， 該多個指令進一步使得該處理器用於：接收指示用於起始運動向量候選列表的起始候選索引的訊號；以及使用該接收的訊號以計算該新運動向量。
  17. 如申請專利範圍第10項所述之解碼視訊資料的裝置，其中，該多個指令進一步使得該處理器用於：接收指示用於起始運動向量候選列表和粗紋理運動向量差值中至少一個的起始候選索引的訊號；以及使用該接收的訊號以計算該新運動向量。
  18. 如申請專利範圍第10項所述之解碼視訊資料的裝置，其中，該多個指令進一步使得該處理器用於：接收來自於高級運動向量預測且指示該起始運動向量的訊號；以及使用該接收的訊號以計算該新運動向量。
  19. 至少一種非暫時電腦可讀存儲介質，用多個電腦可執行指令而編碼的，當該多個計算可執行指令被執行時，實作一種方法，該方法包括：接收與資訊框集相關的壓縮視訊資料；以及使用解碼器側預測子細分技術，計算用於來自於該資訊框集的當前資訊框的新運動向量，其中基於一個或者多個參考資訊框，該新運動向量評估用於該當前資訊框的運動，包括：自運動向量暫存器中檢索出與不同資訊框相關的已有運動向量；以及 基於該已有運動向量，使用解碼器側運動向量預測技術計算該新運動向量，以使得在計算該新運動向量之後該已有運動向量處於該運動向量暫存器中。
TW106126691A 2016-08-08 2017-08-08 用於視訊編解碼的基於模型的運動向量推導 TWI669953B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662371879P 2016-08-08 2016-08-08
US62/371,879 2016-08-08
US15/670,109 US11638027B2 (en) 2016-08-08 2017-08-07 Pattern-based motion vector derivation for video coding
US15/670,109 2017-08-07

Publications (2)

Publication Number Publication Date
TW201813396A true TW201813396A (zh) 2018-04-01
TWI669953B TWI669953B (zh) 2019-08-21

Family

ID=61070173

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106126691A TWI669953B (zh) 2016-08-08 2017-08-08 用於視訊編解碼的基於模型的運動向量推導

Country Status (4)

Country Link
US (2) US11638027B2 (zh)
CN (1) CN109565590B (zh)
TW (1) TWI669953B (zh)
WO (1) WO2018028559A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI719519B (zh) * 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
US11159816B2 (en) 2018-06-07 2021-10-26 Beijing Bytedance Network Technology Co., Ltd. Partial cost calculation
US11616970B1 (en) 2022-01-25 2023-03-28 Mediatek Inc. Motion vector refinement apparatus having motion vector predictor derivation circuit that is allowed to start new task without waiting for motion vector difference computation and associated motion vector refinement method

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117528111A (zh) * 2016-11-28 2024-02-06 英迪股份有限公司 图像编码方法、图像解码方法及用于传送比特流的方法
US20180192071A1 (en) * 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
WO2018212111A1 (ja) 2017-05-19 2018-11-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN117615153A (zh) * 2017-08-29 2024-02-27 株式会社Kt 视频解码和编码方法及用于存储压缩视频数据的装置
US10785494B2 (en) 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
US10798402B2 (en) * 2017-10-24 2020-10-06 Google Llc Same frame motion estimation and compensation
CN111771377A (zh) * 2018-01-30 2020-10-13 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
US11563970B2 (en) * 2018-02-26 2023-01-24 Interdigital Vc Holdings, Inc. Method and apparatus for generalized OBMC
US10779002B2 (en) * 2018-04-17 2020-09-15 Qualcomm Incorporated Limitation of the MVP derivation based on decoder-side motion vector derivation
US20210120262A1 (en) * 2018-04-18 2021-04-22 Mediatek Inc. Candidate Reorganizing with Advanced Control in Video Coding
CN112088532A (zh) * 2018-05-07 2020-12-15 交互数字Vc控股公司 编码/解码中的数据依赖性
EP3591974A1 (en) * 2018-07-02 2020-01-08 InterDigital VC Holdings, Inc. Data dependency in encoding/decoding
WO2019216325A1 (en) * 2018-05-09 2019-11-14 Sharp Kabushiki Kaisha Systems and methods for performing motion vector prediction using a derived set of motion vectors
CN115866272A (zh) * 2018-05-16 2023-03-28 华为技术有限公司 一种视频编解码方法和装置
CN112204979A (zh) * 2018-05-28 2021-01-08 交互数字Vc控股公司 译码/解码中的数据依赖性
US10469869B1 (en) 2018-06-01 2019-11-05 Tencent America LLC Method and apparatus for video coding
US10798407B2 (en) * 2018-06-01 2020-10-06 Tencent America LLC Methods and apparatus for inter prediction with a reduced above line buffer in video coding
US10863190B2 (en) * 2018-06-14 2020-12-08 Tencent America LLC Techniques for memory bandwidth optimization in bi-predicted motion vector refinement
US11647222B2 (en) 2018-06-18 2023-05-09 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding/decoding image
US10965951B2 (en) 2018-06-22 2021-03-30 Avago Technologies International Sales Pte. Limited Memory latency management for decoder-side motion refinement
US11546628B2 (en) * 2018-06-27 2023-01-03 Vid Scale, Inc. Methods and apparatus for reducing the coding latency of decoder-side motion refinement
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Ｌｕｔ更新条件
BR112020024142A2 (pt) 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório
CN114900694A (zh) 2018-06-29 2022-08-12 抖音视界(北京)有限公司 哪个查找表需要更新或不更新
EP3794825A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Update of look up table: fifo, constrained fifo
EP3791586A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
TWI719525B (zh) 2018-06-29 2021-02-21 大陸商北京字節跳動網絡技術有限公司 Lut與amvp之間的交互
WO2020003282A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Managing motion vector predictors for video coding
EP4322533A3 (en) 2018-06-29 2024-03-06 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in lut
US10638153B2 (en) 2018-07-02 2020-04-28 Tencent America LLC For decoder side MV derivation and refinement
TWI748202B (zh) 2018-07-02 2021-12-01 大陸商北京字節跳動網絡技術有限公司 Lamvr中取整和修剪的順序
CN117241039A (zh) * 2018-08-28 2023-12-15 华为技术有限公司 帧间预测方法、装置以及视频编码器和视频解码器
CN110876059B (zh) 2018-09-03 2022-06-10 华为技术有限公司 运动矢量的获取方法、装置、计算机设备及存储介质
CN111064961B (zh) 2018-09-12 2023-06-09 北京字节跳动网络技术有限公司 视频处理方法和装置
CA3111679C (en) * 2018-09-19 2023-10-03 Huawei Technologies Co., Ltd. Method for skipping refinement based on patch similarity in bilinear interpolation based decoder-side motion vector refinement
US11212550B2 (en) * 2018-09-21 2021-12-28 Qualcomm Incorporated History-based motion vector prediction for affine mode
WO2020058955A1 (en) 2018-09-23 2020-03-26 Beijing Bytedance Network Technology Co., Ltd. Multiple-hypothesis affine mode
WO2020084470A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Storage of motion parameters with clipping for affine mode
CN111083489B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
CN111083484A (zh) 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 基于子块的预测
CN111436228A (zh) 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 组合帧间-帧内预测的简化
WO2020103872A1 (en) * 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Prediction refinement for combined inter intra prediction mode
WO2020103852A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Difference calculation based on patial position
WO2020103944A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Sub-block based motion candidate selection and signaling
US11146810B2 (en) * 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement
EP3900343A1 (en) * 2018-12-21 2021-10-27 VID SCALE, Inc. Symmetric motion vector difference coding
WO2020143741A1 (en) * 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Invoke of lut updating
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
CN113302937A (zh) 2019-01-16 2021-08-24 北京字节跳动网络技术有限公司 运动候选推导
JP7263529B2 (ja) * 2019-02-14 2023-04-24 北京字節跳動網絡技術有限公司 デコーダ側精緻化ツールのサイズ選択アプリケーション
JP7425079B2 (ja) * 2019-02-24 2024-01-30 エルジー エレクトロニクス インコーポレイティド Ｄｍｖｒ基盤のインター予測方法及び装置
US11025948B2 (en) * 2019-02-28 2021-06-01 Tencent America LLC Method and apparatus for motion prediction in video coding
CN113545076A (zh) 2019-03-03 2021-10-22 北京字节跳动网络技术有限公司 基于图片头中的信息启用bio
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
EP3922028A4 (en) 2019-03-08 2022-08-10 Beijing Dajia Internet Information Technology Co., Ltd. BIDIRECTIONAL OPTICAL FLOW AND DECODER-SIDE MOTION VECTOR REFINEMENT FOR VIDEO ENCODING
CN112954362A (zh) * 2019-03-08 2021-06-11 Jvc建伍株式会社 动图像编码装置和方法、以及动图像解码装置和方法
CN113597759B (zh) * 2019-03-11 2022-09-13 北京字节跳动网络技术有限公司 视频编解码中的运动矢量细化
HUE062990T2 (hu) 2019-03-12 2023-12-28 Lg Electronics Inc DMVR és BDOF alapú inter predikciós eljárás és készülék
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
WO2020200269A1 (en) 2019-04-02 2020-10-08 Beijing Bytedance Network Technology Co., Ltd. Decoder side motion vector derivation
WO2021018031A1 (en) * 2019-07-27 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Restrictions of usage of tools according to reference picture types
CN114208184A (zh) 2019-08-13 2022-03-18 北京字节跳动网络技术有限公司 基于子块的帧间预测中的运动精度
CN114762330A (zh) 2019-09-22 2022-07-15 北京字节跳动网络技术有限公司 视频的子图片编码和解码
US20220337865A1 (en) * 2019-09-23 2022-10-20 Sony Group Corporation Image processing device and image processing method
EP4029250A4 (en) * 2019-09-30 2023-01-04 Huawei Technologies Co., Ltd. INTERPOLATION FILTER FOR INTER PREDICTION DEVICE AND VIDEO CODING METHOD
CN114257756A (zh) * 2020-09-25 2022-03-29 瑞昱半导体股份有限公司 校正移动向量的视频处理方法
CN113660495A (zh) * 2021-08-11 2021-11-16 易谷网络科技股份有限公司 实时视频流压缩方法、装置、电子设备以及存储介质
WO2023051645A1 (en) * 2021-09-29 2023-04-06 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8275047B2 (en) * 2001-09-20 2012-09-25 Xilinx, Inc. Method and device for block-based conditional motion compensation
KR100703740B1 (ko) 2004-10-21 2007-04-05 삼성전자주식회사 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치
US8054882B2 (en) * 2005-05-13 2011-11-08 Streaming Networks (Pvt.) Ltd. Method and system for providing bi-directionally predicted video coding
JP4712643B2 (ja) 2006-08-17 2011-06-29 富士通セミコンダクター株式会社 フレーム間予測処理装置、フレーム間予測方法、画像符号化装置及び画像復号装置
JP2010507335A (ja) * 2006-10-18 2010-03-04 トムソン ライセンシング 予測データ精緻化を使用してビデオを符号化する方法及び装置
CN101415122B (zh) 2007-10-15 2011-11-16 华为技术有限公司 一种帧间预测编解码方法及装置
CN102204254B (zh) 2008-09-04 2015-03-18 汤姆森特许公司 使用隐式运动预测进行预测精细化的方法及装置
US9788010B2 (en) 2009-05-07 2017-10-10 Texas Instruments Incorporated Reducing computational complexity when video encoding uses bi-predictively encoded frames
US9060176B2 (en) * 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
KR101611437B1 (ko) 2009-10-28 2016-04-26 삼성전자주식회사 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치
US20110176611A1 (en) 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
US8736767B2 (en) * 2010-09-29 2014-05-27 Sharp Laboratories Of America, Inc. Efficient motion vector field estimation
US20120294370A1 (en) 2010-10-06 2012-11-22 Yi-Jen Chiu System and method for low complexity motion vector derivation
CN102611886A (zh) 2011-01-22 2012-07-25 华为技术有限公司 一种运动预测或补偿方法
CN102710934B (zh) 2011-01-22 2015-05-06 华为技术有限公司 一种运动预测或补偿方法
US9648334B2 (en) 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
US9282338B2 (en) 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
US9699456B2 (en) 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
CN107835414B (zh) 2011-10-18 2020-11-06 株式会社Kt 视频信号解码方法
US20130195188A1 (en) 2012-01-26 2013-08-01 Panasonic Corporation Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus
CN107734346B (zh) 2012-02-04 2020-11-20 Lg 电子株式会社 视频编码方法、视频解码方法和使用其的设备
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
WO2015006951A1 (en) 2013-07-18 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for fast encoder decision
US20150271512A1 (en) 2014-03-18 2015-09-24 Texas Instruments Incorporated Dynamic frame padding in a video hardware engine
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
WO2016078511A1 (en) 2014-11-18 2016-05-26 Mediatek Inc. Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
KR20170102806A (ko) 2016-03-02 2017-09-12 한국전자통신연구원 비디오 신호 부호화/복호화 방법 및 이를 위한 장치
CN109196864B (zh) 2016-05-24 2023-07-11 韩国电子通信研究院 图像编码/解码方法和用于所述方法的记录介质
WO2017205700A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Binary, ternary and quad tree partitioning for jvet coding of video data
US20180192071A1 (en) 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11159816B2 (en) 2018-06-07 2021-10-26 Beijing Bytedance Network Technology Co., Ltd. Partial cost calculation
TWI719519B (zh) * 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
US11363290B2 (en) 2018-07-02 2022-06-14 Beijing Bytedance Network Technology Co., Ltd. Block size restrictions for DMVR
US11722688B2 (en) 2018-07-02 2023-08-08 Beijing Bytedance Network Technology Co., Ltd Block size restrictions for DMVR
US11616970B1 (en) 2022-01-25 2023-03-28 Mediatek Inc. Motion vector refinement apparatus having motion vector predictor derivation circuit that is allowed to start new task without waiting for motion vector difference computation and associated motion vector refinement method
TWI800318B (zh) * 2022-01-25 2023-04-21 聯發科技股份有限公司 具有運動向量預測推導電路的運動向量精化設備及其相關的運動向量精化方法

Also Published As

Publication number Publication date
US20180041769A1 (en) 2018-02-08
CN109565590A (zh) 2019-04-02
US20230188745A1 (en) 2023-06-15
TWI669953B (zh) 2019-08-21
CN109565590B (zh) 2021-05-07
US11638027B2 (en) 2023-04-25
WO2018028559A1 (en) 2018-02-15

Similar Documents

Publication Publication Date Title
TWI669953B (zh) 用於視訊編解碼的基於模型的運動向量推導
TWI677238B (zh) 視訊編解碼的解碼器側運動向量恢復
KR102344430B1 (ko) 다중 참조 예측을 위한 움직임 벡터 개선
JP7171770B2 (ja) 動きベクトル精密化および動き補償のためのメモリアクセスウィンドウおよびパディング
JP6980911B2 (ja) 動きベクトルの改善のための制限されたメモリアクセスウィンドウ
TW202013974A (zh) 一種用於編碼/解碼視訊資料的方法和裝置
CN111201795B (zh) 存储访问窗口和用于运动矢量修正的填充
US20160080767A1 (en) Encoding system using motion estimation and encoding method using motion estimation
WO2019114721A1 (zh) 视频数据的帧间预测方法和装置
CN111869214A (zh) 对高级时间运动矢量预测的改进
RU2783331C2 (ru) Окно доступа к памяти и заполнение для детализации вектора движения и компенсации движения
WO2023130233A1 (zh) 时域运动信息预测和构建候选列表的方法、装置和系统
KR20080107668A (ko) 블록 기반의 영상 움직임 추정 방법 및 그 장치