TWI736872B - 基於解碼器側運動向量推導之運動向量預測推導之限制 - Google Patents

基於解碼器側運動向量推導之運動向量預測推導之限制 Download PDF

Info

Publication number
TWI736872B
TWI736872B TW108113266A TW108113266A TWI736872B TW I736872 B TWI736872 B TW I736872B TW 108113266 A TW108113266 A TW 108113266A TW 108113266 A TW108113266 A TW 108113266A TW I736872 B TWI736872 B TW I736872B
Authority
TW
Taiwan
Prior art keywords
block
motion vector
video data
video
image
Prior art date
Application number
TW108113266A
Other languages
English (en)
Other versions
TW201946472A (zh
Inventor
陳義文
錢威俊
莊孝強
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201946472A publication Critical patent/TW201946472A/zh
Application granted granted Critical
Publication of TWI736872B publication Critical patent/TWI736872B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種視訊解碼器，其經組態以：判定用於視訊資料之一第一區塊之一第一運動向量；對用於該第一區塊之該第一運動向量執行運動向量改進，以判定用於視訊資料之該第一區塊之一改進運動向量；判定視訊資料之一第二區塊係以利用與該第一區塊相關聯之一運動向量作為一運動向量預測子的一模式進行寫碼；回應於判定視訊資料之該第二區塊係以利用與該第一區塊相關聯之該運動向量作為一運動向量預測子的該模式進行寫碼及回應於對用於該第一區塊之該第一運動向量執行該運動向量改進，使用與該第一經改進運動向量不同之一運動向量作為與該第一區塊相關聯之該運動向量預測子。

Description

基於解碼器側運動向量推導之運動向量預測推導之限制
本發明係關於視訊編碼及視訊解碼。
數位視訊頻能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如，由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)界定之標準、最近定案之高效視訊寫碼(HEVC)標準及此等標準之擴展中所描述的技術。視訊器件可藉由實施此等視訊壓縮技術而更高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，視訊圖塊(亦即視訊圖框或視訊圖框之一部分)可分割成視訊區塊(其亦可被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。使用關於同一圖像中之鄰近 區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)之圖塊中的視訊區塊。圖像之經框間寫碼(P或B)圖塊中之視訊區塊可使用關於同一圖像中之鄰近區塊中的參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測產生用於待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料來編碼經框間寫碼區塊。經框內寫碼區塊係根據框內寫碼模式及殘餘資料編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生可接著進行量化之殘餘變換係數。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至較多壓縮。
本發明描述與解碼器側運動向量推導(DMVD)相關之技術。本發明之技術可結合現有視訊編解碼器(諸如，高效率視訊寫碼(HEVC)標準)一起使用，或可用作任何未來視訊寫碼標準中之高效寫碼工具。
根據一個實例，一種解碼視訊資料之方法包括：判定視訊資料之一第一區塊係以一框間預測模式進行寫碼；判定用於視訊資料之該第一區塊之一第一運動向量；對用於該第一區塊之該第一運動向量執行運動向量改進，以判定用於視訊資料之該第一區塊之一改進運動向量；使用該改進運動向量將一第一參考區塊定位於該第一參考圖像中；基於該第一參考區塊產生用於視訊資料之該第一區塊之一第一預測性區塊；判定視訊 資料之一第二區塊係以利用與該第一區塊相關聯之一運動向量作為一運動向量預測子的一模式進行寫碼；回應於判定視訊資料之該第二區塊係以利用與該第一區塊相關聯之該運動向量作為一運動向量預測子的該模式進行寫碼及回應於對用於該第一區塊之該第一運動向量執行該運動向量改進，使用與該第一經改進運動向量不同之一運動向量作為與該第一區塊相關聯之該運動向量預測子；基於該不同運動向量，判定用於該第二區塊之一第二運動向量；使用該第二運動向量將一第二參考區塊定位於一第二參考圖像中；及基於該第一參考區塊及該第二參考區塊解碼視訊資料之一圖像。
根據另一實例，一種用於解碼視訊資料之器件包括：記憶體，其經組態以儲存視訊資料：及一或多個處理器，其經組態以：判定該視訊資料之一第一區塊係以一框間預測模式進行寫碼；判定用於該視訊資料之該第一區塊之一第一運動向量；對用於該第一區塊之該第一運動向量執行運動向量改進，以判定用於該視訊資料之該第一區塊之一改進運動向量；使用該改進運動向量將一第一參考區塊定位於該第一參考圖像中；基於該第一參考區塊產生用於該視訊資料之該第一區塊之一第一預測性區塊；判定該視訊資料之一第二區塊係以利用與該第一區塊相關聯之一運動向量作為一運動向量預測子的一模式進行寫碼；回應於判定該視訊資料之該第二區塊係以利用與該第一區塊相關聯之該運動向量作為一運動向量預測子的該模式進行寫碼及回應於對用於該第一區塊之該第一運動向量執行該運動向量改進，使用與該第一經改進運動向量不同之一運動向量作為與該第一區塊相關聯之該運動向量預測子；基於該不同運動向量，判定用於該第二區塊之一第二運動向量；使用該第二運動向量將一第二參考區塊定位於一第二參考圖像中；及基於該第一參考區塊及該第二參考區塊解碼該 視訊資料之一圖像。
根據另一實例，電腦可讀儲存媒體儲存指令，該等指令在由一或多個處理器執行時使該一或多個處理器：判定視訊資料之一第一區塊係以一框間預測模式進行寫碼；判定用於視訊資料之該第一區塊之一第一運動向量；對用於該第一區塊之該第一運動向量執行運動向量改進，以判定用於視訊資料之該第一區塊之一改進運動向量；使用該改進運動向量將一第一參考區塊定位於一第一參考圖像中；基於該第一參考區塊產生用於視訊資料之該第一區塊之一第一預測性區塊；判定視訊資料之一第二區塊係以利用與該第一區塊相關聯之一運動向量作為一運動向量預測子的一模式進行寫碼；回應於判定視訊資料之該第二區塊係以利用與該第一區塊相關聯之該運動向量作為一運動向量預測子的該模式進行寫碼及回應於對用於該第一區塊之該第一運動向量執行該運動向量改進，使用與該第一經改進運動向量不同之一運動向量作為與該第一區塊相關聯之該運動向量預測子；基於該不同運動向量，判定用於該第二區塊之一第二運動向量；使用該第二運動向量將一第二參考區塊定位於一第二參考圖像中；及基於該第一參考區塊及該第二參考區塊解碼視訊資料之一圖像。
根據另一實例，一種用於解碼視訊資料之裝置包括：用於判定視訊資料之一第一區塊係以一框間預測模式進行寫碼的構件；用於判定用於視訊資料之該第一區塊之一第一運動向量的構件；用於對用於該第一區塊之該第一運動向量執行運動向量改進以判定用於視訊資料之該第一區塊之一改進運動向量的構件；用於使用該改進運動向量將一第一參考區塊定位於一第一參考圖像中的構件；用於基於該第一參考區塊產生用於視訊資料之該第一區塊之一第一預測性區塊的構件；用於判定視訊資料之一 第二區塊係以利用與該第一區塊相關聯之一運動向量作為一運動向量預測子的一模式進行寫碼的構件；用於回應於判定視訊資料之該第二區塊係以利用與該第一區塊相關聯之該運動向量作為一運動向量預測子的該模式進行寫碼及回應於對用於該第一區塊之該第一運動向量執行該運動向量改進而使用與該第一經改進運動向量不同之一運動向量作為與該第一區塊相關聯之該運動向量預測子的構件；用於基於該不同運動向量判定用於該第二區塊之一第二運動向量的構件；用於使用該第二運動向量將一第二參考區塊定位於一第二參考圖像中的構件；及用於基於該第一參考區塊及該第二參考區塊解碼視訊資料之一圖像的構件。
在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優勢自描述、圖式及申請專利範圍將係顯而易見的。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
26‧‧‧儲存器件
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
33‧‧‧視訊資料記憶體
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
50‧‧‧求和器
52‧‧‧換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧濾波器單元
66‧‧‧經解碼圖像緩衝器
78‧‧‧視訊資料記憶體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測單元
86‧‧‧反量化單元
88‧‧‧反變換處理單元
90‧‧‧求和器
92‧‧‧濾波器單元
94‧‧‧經解碼圖像緩衝器
204‧‧‧區塊
206‧‧‧運動向量縮放程序
208‧‧‧當前區塊
210‧‧‧圖像
212‧‧‧參考圖像
214‧‧‧參考圖像
216‧‧‧當前區塊
218‧‧‧參考區塊
220‧‧‧當前區塊
222‧‧‧參考區塊
224‧‧‧當前區塊
226‧‧‧當前圖像
228‧‧‧頂部鄰近區塊
230‧‧‧左側鄰近區塊
232‧‧‧參考圖像
236‧‧‧參考區塊
238‧‧‧參考區塊
240‧‧‧參考區塊
242‧‧‧參考區塊
250‧‧‧區塊
252‧‧‧區塊
254‧‧‧區塊
256‧‧‧區塊
258‧‧‧區塊
260‧‧‧區塊
270‧‧‧B圖像
272‧‧‧參考圖像
274‧‧‧參考圖像
276‧‧‧點
280‧‧‧當前區塊
282‧‧‧視窗
284‧‧‧視窗
300‧‧‧框間CU
302‧‧‧當前子區塊
304‧‧‧左側鄰近子區塊
306‧‧‧上方鄰近子區塊
310‧‧‧框間CU
312‧‧‧當前子區塊
314‧‧‧左側鄰近子區塊
316‧‧‧上方鄰近子區塊
318‧‧‧下方鄰近子區塊
320‧‧‧右側鄰近子區塊
324‧‧‧上方鄰近區塊
326‧‧‧左側鄰近區塊
328‧‧‧下方鄰近區塊
330‧‧‧右側鄰近區塊
350‧‧‧區塊
352‧‧‧區塊
354‧‧‧區塊
356‧‧‧區塊
358‧‧‧區塊
360‧‧‧區塊
362‧‧‧區塊
364‧‧‧區塊
434‧‧‧參考圖像
圖1為說明可利用本發明之用於支援解碼器側運動向量推導之技術的實例視訊編碼及解碼系統之方塊圖。
圖2A為示出用於合併模式之空間鄰近運動向量候選之實例的概念圖。
圖2B為示出用於進階運動向量預測模式之空間鄰近運動向量候選之實例的概念圖。
圖3A為示出時間運動向量預測子候選之實例的概念圖。
圖3B為示出運動向量縮放之實例的概念時序圖。
圖4為示出雙側匹配之實例的概念圖。
圖5為示出模板匹配之實例的概念圖。
圖6A及圖6B為示出所提出的對圖框速率升頻轉換模板匹 配模式之實例修改的流程圖。
圖7為示出光流軌跡之實例的概念圖。
圖8為示出用於8×4區塊之雙向光流的實例的概念圖。
圖9為示出基於雙側模板匹配之所提出解碼器側運動向量推導之實例的概念圖。
圖10A及圖10B為示出可應用重疊區塊運動補償之子區塊之實例說明的概念圖。
圖11A至圖11D為示出重疊區塊運動補償加權之實例的概念圖。
圖12為說明可實施支援解碼器側運動向量推導之技術的視訊編碼器之實例的方塊圖。
圖13為說明解碼經編碼視訊序列並執行解碼器側運動向量推導之視訊解碼器之實例的方塊圖。
圖14為說明本發明中描述之實例視訊解碼技術的流程圖。
本申請案主張2018年4月17日申請的美國臨時專利申請案62/659,046之益處，該申請案之全部內容特此以引用之方式併入。
本發明描述與解碼器側運動向量推導(DMVD)相關之技術。本發明之技術可結合現有視訊編解碼器(諸如，高效率視訊寫碼(HEVC)標準)一起使用，或可用作任何未來視訊寫碼標準中之高效寫碼工具。
可參考視訊寫碼器描述本發明中之各種技術，該視訊寫碼器意欲為可指代視訊編碼器或視訊解碼器之一般術語。除非另外明確地陳 述，否則不應假定關於視訊編碼器或視訊解碼器描述之技術不可藉由視訊編碼器或視訊解碼器中之另一者執行。舉例而言，在許多情況下，視訊解碼器執行與視訊編碼器相同或有時互逆之寫碼技術以便解碼經編碼視訊資料。在許多情況下，視訊編碼器亦包括視訊解碼迴路，且因此視訊編碼器執行作為編碼視訊資料之部分的視訊解碼。因此，除非另有說明，否則本發明中關於視訊解碼器描述之技術亦可藉由視訊編碼器執行，且反之亦然。
本發明亦可使用諸如當前層、當前區塊、當前圖像、當前圖塊等之術語。在本發明之情形中，術語當前意欲識別相較於(例如)經先前寫碼層、區塊、圖像及圖塊或尚待寫碼之區塊、圖像及圖塊的當前正被寫碼之層、區塊、圖像、圖塊等。
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統10之方塊圖。如圖1中所展示，系統10包括源器件12，其產生稍後時間待由目的地器件14解碼之經編碼視訊資料。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型電腦(亦即，膝上型電腦)、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手持機、所謂的「智慧型」平板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或其類似者。在一些情況下，源器件12及目的地器件14可能經裝備以用於無線通信。
目的地器件14可經由鏈路16接收待解碼之經編碼之視訊資料。鏈路16可包含能夠將經編碼之視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一個實例中，鏈路16可包含用以使源器件12能夠將經編碼之視訊資料直接即時傳輸至目的地器件14之通信媒 體。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將其傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14的通信之任何其他設備。
在另一實例中，可將經編碼資料自輸出介面22輸出至儲存器件26。類似地，可藉由輸入介面自儲存器件26存取經編碼資料。儲存器件26可包括多種分佈式或本機存取式資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他適合數位儲存媒體。在另一實例中，儲存器件26可對應於可保持由源器件12產生的經編碼視訊之檔案伺服器或另一中間儲存器件。目的地器件14可經由串流或下載而自儲存器件26存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。其可包括無線頻道(例如Wi-Fi連接)、有線連接(例如DSL、電纜數據機等)，或該兩者適合於存取儲存於檔案伺服器上之經編碼視訊資料之組合。經編碼視訊資料自儲存器件26之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，該等應用諸如，空中電視 廣播、有線電視傳輸、衛星電視傳輸、(例如)經由網際網路之串流視訊傳輸、供儲存於資料儲存媒體上之數位視訊的編碼、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些情況下，輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。在源器件12中，視訊源18可包括諸如視訊捕獲器件(例如，視訊攝影機、含有先前所捕獲視訊之視訊存檔、用以自視訊內容提供者接收視訊之視訊饋入介面)及/或用於產生電腦圖形資料作為源視訊之電腦圖形系統之來源，或此等來源之組合。作為一個實例，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，本發明中所描述之技術一般可適用於視訊寫碼，且可應用於無線及/或有線應用。
經捕獲、預先捕獲或電腦產生之視訊可由視訊編碼器20編碼。可經由源器件12之輸出介面22將經編碼視訊資料直接傳輸至目的地器件14。經編碼視訊資料亦可(或替代地)儲存至儲存器件26上以供稍後由目的地器件14或其他器件存取，以用於解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些情況下，輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16接收經編碼視訊資料。經由鏈路16傳達或在儲存器件26上所提供之經編碼視訊資料可包括由視訊編碼器20所產生之多種語法元素，其供諸如視訊解碼器30之視訊解碼器在解碼該視訊資料時 使用。傳輸於通信媒體上、儲存於儲存媒體上，或儲存於檔案伺服器中之經編碼視訊資料內可包括此等語法元素。
顯示器件32可與目的地器件14整合或在目的地器件14的外部。在一些實例中，目的地器件14可包括整合式顯示器件且亦經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。大體而言，顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中的任一者，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據諸如HEVC標準之視訊壓縮標準操作，且可符合HEVC測試模型(HM)。視訊編碼器20及視訊解碼器30可另外根據HEVC擴展(諸如範圍擴展、多視圖擴展(MV-HEVC)，或已藉由視訊寫碼之聯合合作小組(JCT-VC)以及ITU-T視訊寫碼專家群(VCEG)及ISO/IEC動畫專家群(MPEG)的3D視訊寫碼擴展開發之聯合合作小組(JCT-3V)開發的可調式擴展(SHVC))操作。
視訊編碼器20及視訊解碼器30亦可根據其他專屬或行業標準(諸如ITU-T H.264標準，被替代地稱作ISO/IEC MPEG-4，第10部分進階視訊寫碼(AVC))或此等標準之擴展(諸如可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展)操作。然而，本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263及ISO/IEC MPEG-4 Visual。
ITU-T VCEG(Q6/16)及ISO/IEC MPEG(JTC 1/SC 29/WG 11)現正研究對於將具有明顯超過當前HEVC標準(包括其當前擴展 及針對螢幕內容寫碼及高動態範圍寫碼的近期擴展)之壓縮能力的壓縮能力之未來視訊寫碼技術標準化的潛在需要。該等小組正共同致力於聯合合作工作(被稱為聯合視訊探索小組(JVET))中之此探索活動，以評估由此領域中之專家提議的壓縮技術設計。JVET在2015年10月19日至21日期間第一次會面。且參考軟體之最新版本，亦即聯合探索模型5(JEM5)，可自以下下載：https：//jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-5.0/。聯合探索測試模型5(JEM5)之演算法描述可被稱為JVET-E1001。
另外或可替代地，視訊編碼器20及視訊解碼器30可根據其他專屬或行業標準操作，諸如聯合探索測試模型(JEM)或ITU-T H.266，其亦被稱作多功能視訊寫碼(VVC)。在ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊專家組(JVET)，第13次會議，Marrakech,MA，2019年1月9日至18日，JVET-M1001-v5，Bross等人之「Versatile Video Coding(Draft 4)」(下文稱為「VVC草案4」)中描述VVC標準之最新草案。然而，本發明之技術不限於任何特定寫碼標準。
本發明之技術可利用HEVC術語以易於解釋。然而，不應假定本發明之技術受限於HEVC，而實際上，明確預期本發明之技術可實施於HEVC之後續標準及其擴展中。視訊編碼器20及視訊解碼器30可根據多個標準編碼及解碼視訊資料。
儘管圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當多工器-解多工器(MUX-DEMUX)單元或其他硬體及軟體以處置共同資料串流或單 獨資料串流中之音訊及視訊兩者的編碼。若適用，則在一些實例中，多工器-解多工器單元可符合ITU H.223多工器協定或其他協定(諸如，使用者資料報協定(UDP))。
視訊編碼器20及視訊解碼器30各自可實施為多種適合的編碼器電路或解碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時，器件可將用於軟體之指令儲存於適合之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器)之部分。
在HEVC及其他視訊寫碼規範中，視訊序列通常包括一系列圖像。圖像亦可被稱為「圖框」。在一個實例途徑中，圖像可包括三個樣本陣列，其表示為SL、SCb及SCr。在此實例途徑中，SL為亮度樣本之二維陣列(亦即，區塊)。SCb為Cb色訊樣本之二維陣列。SCr為Cr色度樣本之二維陣列。色訊樣本亦可在本文中被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的，且可僅包括亮度樣本陣列。
為了產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)之集合。CTU中之每一者可包含亮度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用以對該等寫碼樹型區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包含單一寫碼樹型區塊及用以對該寫碼樹型區塊之樣本進行寫碼的語法 結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括按光柵掃描次序連續地定序之整數數目個CTU。
為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞回地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此名稱為「寫碼樹型單元」。寫碼區塊可為樣本之N×N區塊。CU可包含亮度樣本之寫碼區塊及具有亮度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的色度樣本之兩個對應寫碼區塊，以及用於對該寫碼區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單個寫碼區塊及用於對該寫碼區塊之樣本進行寫碼的語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為供應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含亮度樣本之預測區塊、色度樣本之兩個對應預測區塊及用以對該等對預測區塊進行預測之語法結構。在單色圖像或具有單獨色彩平面之圖像中，PU可包含單個預測區塊及用於對該預測區塊進行預測之語法結構。視訊編碼器20可產生CU之每一PU的亮度預測區塊、Cb預測區塊及Cr預測區塊之預測性亮度區塊、Cb區塊及Cr區塊。
視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之經解碼樣本產生PU之預測性區塊。若視訊編碼器20使用框間預測產生PU之預測性區塊，則視訊編碼器20可基 於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本產生PU之預測性區塊。
在視訊編碼器20產生CU之一或多個PU的預測性亮度區塊、Cb區塊及Cr區塊之後，視訊編碼器20可產生CU之亮度殘餘區塊。CU之亮度殘餘區塊中之每一樣本指示CU之預測性亮度區塊中的一者中之亮度樣本與CU之原始亮度寫碼區塊中之對應樣本之間的差異。另外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中的對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr剩餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。
此外，視訊編碼器20可使用四分樹分割將CU之亮度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊分解為一或多個亮度變換區塊、Cb變換區塊及Cr變換區塊。變換區塊為供應用相同變換之樣本的矩形(例如，正方形或非正方形)區塊。CU之變換單元(TU)可包含亮度樣本之變換區塊、色度樣本之兩個對應變換區塊，及用以對變換區塊樣本進行變換之語法結構。因此，CU之每一TU可與亮度變換區塊、Cb變換區塊及變換區塊相關聯。與TU相關聯之亮度變換區塊可為CU之亮度殘餘區塊之子區塊。Cb變換區塊可為CU之殘餘區塊的子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單一變換區塊及用以對該變換區塊之樣本進行變換之語法結構。
視訊編碼器20可將一或多個變換應用於TU之亮度變換區塊以產生TU之亮度係數區塊。係數區塊可為變換係數之二維陣列。變換 係數可為純量。視訊編碼器20可將一或多個變換應用至TU之Cb變換區塊以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊，以產生TU之Cr係數區塊。
在產生係數區塊(例如，亮度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可將係數區塊量化。量化大體上係指將變換係數經量化以可能地減少用以表示變換係數之資料之量從而提供進一步壓縮的程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可對指示經量化變換係數之語法元素進行熵編碼。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文自適應二進位算術寫碼(CABAC)。
視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之一位元串流。該位元串流可包含一連串網路抽象層(NAL)單元。一NAL單元為含有NAL單元中的資料之類型之指示及含有彼資料的呈按需要穿插有仿真阻止位元之原始位元組序列有效負載(RBSP)之形式的位元組之語法結構。NAL單元中之每一者包括一NAL單元標頭，且囊封一RBSP。NAL單元標頭可包括指示NAL單元類型碼之一語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組之語法結構。在一些情況下RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封用於PPS之RBSP，第二類型之NAL單元可囊封用於經寫碼圖塊之RBSP，第三類型之NAL單元可囊封用於SEI訊息之RBSP，等等。囊封用於視訊寫碼資料之RBSP(與用於參數集及SEI 訊息之RBSP相對)的NAL單元可被稱作VCL NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。另外，視訊解碼器30可剖析該位元串流以自該位元串流獲得語法元素。視訊解碼器30可至少部分地基於自位元串流獲得之語法元素而重建構視訊資料之圖像。重建構視訊資料之程序可大體上與由視訊編碼器20執行之程序互逆。另外，視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對該等係數區塊執行反變換以重建構與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應樣本來重建構當前CU之寫碼區塊。藉由重建構圖像之各CU的寫碼區塊，視訊解碼器30可重構圖像。
在HEVC中，圖塊中之最大寫碼單元被稱作寫碼樹型區塊(CTB)或寫碼樹型單元(CTU)。一CTB含有一四分樹，該四分樹之節點為寫碼單元。CTB之大小可介於HEVC主規範中之16×16至64×64的範圍(儘管技術上可支援8×8 CTB大小)。CU可與CTB一樣大或與8×8一樣小，或可為介於其間之大小。每一CU通常係使用一個寫碼模式來寫碼。當CU經框間寫碼時，經框間寫碼CU可進一步分割成2個或4個PU，或當不應用進一步分割時僅具有一個PU。當兩個PU存在於一個CU中時，兩個PU可為一半大小的矩形或具有CU之¼或¾大小的兩個矩形大小。當CU經框間寫碼時，針對每一PU提供運動資訊之一個集合。另外，每一PU係用唯一框間預測模式來寫碼以推導運動資訊集合。
為了減少傳輸運動資訊(例如運動向量、參考索引及/或運動向量精確度)所需之位元速率，視訊寫碼標準通常使用不同類型的運動向量預測。在HEVC標準中，例如，對於PU存在兩種框間預測模式，分 別命名為合併模式(其中跳過模式被視為合併模式之特殊狀況)及進階運動向量預測(AMVP)模式。
在AMVP抑或合併模式中，視訊解碼器30針對多個運動向量預測子維持運動向量(MV)候選清單。視訊解碼器30藉由自MV候選清單中獲取一個候選而產生當前PU之運動向量以及合併模式中之參考索引。視訊編碼器20與視訊解碼器30兩者皆產生相同的候選清單。本發明將自視訊解碼器30之視角描述運動向量預測，但應理解，視訊編碼器20大體上實施相同的技術。
在基本HEVC標準中，MV候選清單對於合併模式含有至多五個候選且對於AMVP模式僅含有兩個候選，但其他標準可使用不同數目個候選。合併候選可含有運動資訊集合，例如，對應於一個或兩個參考圖像清單(清單0及清單1)之運動向量及參考索引。若合併候選由合併索引識別，則視訊解碼器30使用所識別合併候選之運動向量及參考圖像索引來預測當前區塊。然而，在針對自清單0或清單1的每一潛在預測方向的AMVP模式下，需要明確地將參考索引連同MV預測符子(MVP)索引傳信至MV候選清單，因為AMVP候選僅含有一運動向量。在AMVP模式中，可進一步改進經預測運動向量。
如可自上文看出，合併候選對應於運動資訊之整個集合，而AMVP候選僅含有用於特定預測方向之一個運動向量及參考索引。兩種模式之候選可類似地自相同空間及時間鄰近區塊推導。
圖2A為示出用於合併模式之空間鄰近運動向量候選之實例的概念圖。藉由將空間鄰近候選之運動資訊添加至候選清單，視訊解碼器30可產生候選清單。儘管自區塊產生候選之方法對於合併模式及AMVP模 式而言不同，但對於特定PU(PU0)，空間MV候選係自圖2A及圖2B中示出之鄰近區塊推導。在合併模式中，可對於區塊200(PU0)以圖2A中展示之次序推導至多四個空間MV候選。該次序如下：左(0,A1)、上(1,B1)、右上方(2,B0)、左下方(3,A0)及左上方(4,B2)，如圖2A中所展示。
圖2B為示出用於進階運動向量預測模式之空間鄰近運動向量候選之實例的概念圖。在AVMP模式中，區塊202(PU0)之鄰近區塊被分成兩個群組：包括區塊0及1之左群組及包括區塊2、3及4之上群組，如圖2B中所展示。對於每一群組，參考與由發信之參考索引指示之相同參考圖像的鄰近區塊中之潛在候選者具有待選擇之最高優先級以形成群組之最終候選者。有可能所有鄰近區塊均不含有指向相同參考圖像的運動向量。因此，若無法發現此類候選，則將縮放第一可用候選以形成最終候選，因此可補償時間距離差。
視訊編碼器20及視訊解碼器30可如在HEVC標準中般執行時間運動向量預測(TMVP)。視訊解碼器30可在空間運動向量候選之後將TMVP候選(若經啟用且可用)添加至MV候選清單中。用於TMVP候選之運動向量推導之程序對於合併模式及AMVP模式兩者而言相同；然而，在HEVC中，用於合併模式中之TMVP候選的目標參考索引始終被設定為0。
圖3A為示出區塊204(PU0)之時間運動向量預測子候選之實例的概念圖。用於TMVP候選推導之原始區塊位置為如圖3A中示出為區塊「T」的共置PU外部之右下區塊，以補償用於產生空間鄰近候選之上方及左側區塊之偏差。然而，若區塊定位於當前CTB列之外部或運動資訊不可用，則區塊被PU之中央區塊取代。
視訊解碼器30可自圖塊層級中指示的共置圖像之共置PU推導用於TMVP候選之運動向量。用於共置PU之運動向量稱為共置MV。若參考圖像中之區塊與當前圖像中之區塊各自包括對應於參考圖像及當前圖像中之同一相對位置的至少一個像素，則參考圖像中之區塊可例如被視為與該當前區塊共置。
圖3B為展示運動向量縮放程序206之實例之概念時序圖。類似於AVC中之時間直接模式，為導出TMVP候選運動向量，視訊解碼器30可縮放共置MV以補償時間距離差，如圖3B中所示出。在運動向量縮放的情況下，大體上假定運動向量之值與呈現時間中的圖像之距離成比例。運動向量與兩個圖像相關聯：參考圖像及含有運動向量之圖像(亦即，含有圖像)。當利用一運動向量預測另一運動向量時，基於圖像次序計數(POC)值計算含有圖像與參考圖像之距離。
當運動向量正經預測時，其參考圖像與運動向量預測子之參考圖像可不同。因此，計算新距離(基於POC)。且運動向量基於此等兩個POC距離縮放。在HEVC中，運動向量縮放適用於空間及時間鄰近候選之TMVP及AMVP兩者。
關於人工運動向量候選產生，若運動向量候選清單不完整，則視訊解碼器30可產生人工運動向量候選插入清單末尾處之人工運動向量候選，直至清單已滿或直至用於人工候選之選項已耗盡為止。
在合併模式中，存在兩種類型之人工MV候選：僅針對B圖塊導出之組合式候選，及僅在第一類型並未提供足夠人工候選時才使用的零候選。
對於已在候選清單中且具有必要運動資訊之每一對候選， 視訊解碼器30可藉由參考清單0中之圖像之第一候選的運動向量與參考清單1中之圖像之第二候選的運動向量之組合，導出雙向組合式運動向量候選。
關於用於候選插入之修剪程序，來自不同區塊之候選可恰好相同，由於清單中存在候選重複，此情況降低了合併/AMVP候選清單之效率。為有助於減此低效率，視訊解碼器30可應用修剪程序。作為修剪程序之部分，視訊解碼器30比較當前候選清單中之一個候選與其他候選，以在一定程度上避免插入相同候選。為降低複雜度，可僅應用有限數目個修剪程序，而非比較每一潛在候選與所有其他現有候選。
JEM參考軟體包括利用DMVD以導出或改進用於當前區塊之運動向量的若干框間寫碼工具。一種此類DMVD工具為圖案匹配運動向量推導(PMMVD)模式，其為基於圖框速率升頻轉換(FRUC)技術之特殊合併模式。當實施JEM參考軟體時，在PMMVD模式中，視訊解碼器30可導出用於區塊之運動資訊而非接收顯式傳信。
當CU之合併旗標為真時，視訊解碼器30可接收該CU之FRUC旗標。當FRUC旗標為假時，視訊解碼器30可接著接收合併索引並使用常規合併模式。當FRUC旗標為真時，視訊解碼器30可接收額外FRUC模式旗標，以指示將使用哪種方法(例如，雙側匹配或模板匹配)來導出用於區塊之運動資訊。用以寫碼FRUC之旗標的語法表如下：
Figure 108113266-A0304-12-0020-1
在運動推導程序期間，視訊解碼器30可首先基於雙側匹配 或模板匹配而導出用於整個CU之初始運動向量。首先，檢查CU之合併清單(或被稱作PMMVD種)，且選擇產生最小匹配成本之候選作為起始點。接著，基於雙側匹配或模板匹配圍繞起始點執行本地搜尋，且將產生最小匹配成本之MV視為用於整個CU之MV。隨後，在子區塊層級處利用作為起始點的經導出CU運動向量來進一步改進運動資訊。
圖4為示出雙側匹配之實例的概念圖。如圖4中所示出，雙側匹配用於藉由在兩個不同參考圖像(Ref0及Ref1)中，沿著當前區塊(Cur)之運動軌跡找到兩個參考區塊(R0及R1)之間的最佳匹配而導出當前區塊之運動資訊。運動軌跡可包括區塊中之像素通過空間之路徑及將影像序列(例如參考圖框及當前圖框)視為3維連續時空場之時間。在假定連續運動軌跡的情況下，指向兩個參考區塊(R0及R1)之運動向量MV0及MV1與當前圖像(Cur)與兩個參考圖像(Ref0及Ref1)之間的時間距離成比例。所導出MV係使用雙側匹配導出，且其分別指向參考區塊R'0及R'1。
如圖4中所示出，視訊解碼器30使用雙側匹配以藉由在兩個不同參考圖像(例如，參考圖像212(Ref0)及214(Ref1))中，沿著當前區塊之運動軌跡找到兩個參考區塊之間的最佳匹配而導出圖像210中之當前區塊208之運動資訊。在圖4中，視訊解碼器30沿著運動向量MV0找到作為最佳匹配的當前區塊216(R0)及參考區塊218(R1)。同樣，視訊解碼器30沿著運動向量MV1找到作為最佳匹配的當前區塊220(R'0)及參考區塊222(R'1)。在假定連續運動軌跡情況下，指向兩個參考區塊之運動向量MV0及MV1應與當前圖像與兩個參考圖像之間的時間距離成比例。作為特殊狀況，在當前圖像在時間上介於兩個參考圖像之間，且自當前圖像至兩個參考圖像之時間距離相同時，雙側匹配變為基於鏡像之雙向MV。
圖5為示出模板匹配之實例的概念圖。如圖5中所示出，模板匹配用於藉由在當前圖像中之模板(當前區塊之頂部及/或左側鄰近區塊)與參考圖像(Ref0及Ref1)中之區塊(與模板具有相同大小)之間找到最佳匹配，導出當前區塊(Cur)之運動資訊。模板可包括用於藉由搜尋R0及R1之鄰近區塊，將所關注區塊(Cur)與候選參考(具有MV0之R0及具有MV1之R1)或所導出參考(具有MV之R'0及具有MV之R'1)進行比較的區塊之鄰近像素。最類似的參考接著用作預測。
如圖5中所示出，模板匹配用於藉由在當前圖像226中之模板(當前區塊224之頂部鄰近區塊228及/或左側鄰近區塊230)與參考圖像(例如，參考圖像232(Ref0)或434(Ref1))中之區塊(與模板具有相同大小)之間找到最佳匹配，導出圖像226中之當前區塊224之運動資訊。在圖5中，可能作為最佳匹配之參考區塊經展示為參考區塊236(R1)、參考區塊238(R'1)、參考區塊240(R0)及參考區塊242(R'0)。
在視訊編碼器20處，關於是否將FRUC合併模式用於CU的決策係基於如針對正常合併候選進行的RD成本選擇。亦即，藉由使用RD成本選擇針對CU檢查兩個匹配模式(雙側匹配及模板匹配)兩者。產生最小成本之模式進一步與其他CU模式相比較。若FRUC匹配模式為最高效模式，則FRUC旗標對於CU設定成真且使用相關匹配模式。
在第5次JVET會議中，提出「Enhanced Template Matching in FRUC Mode」(JVET-E0035，可在http：//phenix.it-sudparis.eu/jvet/處獲得)以進一步改良FRUC模板匹配。圖6A中示出例示性FRUC模板匹配模式之流程圖。在第一步驟中，自清單0參考圖像找到匹配當前區塊之當前模板TC的模板T0(及其對應運動資訊MV0)。在第二 步驟中，自清單1參考圖像找到模板T1(及其對應運動資訊MV1)。將所獲得運動資訊MV0及MV1用以執行雙向預測以產生當前區塊之預測子。
圖6A及圖6B為示出所提出的對圖框速率升頻轉換模板匹配模式之實例修改的流程圖。可藉由在單向預測與雙向預測之間引入雙向模板匹配及自適應性選擇來增強FRUC模板匹配模式。圖6B中加下劃線示出相對於圖6A之例示性修改。
可基於單向模板匹配而實施雙向模板匹配。如圖6A中所示出，首先在模板匹配之第一步驟中自清單0參考圖像找到匹配的模板T0(240)。應注意，此處之清單0僅用作實例。實際上，是否在第一步驟中使用清單0或清單1自適應於當前模板與對應參考圖像中之初始模板之間的初始失真成本。初始模板可用在執行第一模板匹配之前可用的當前區塊之初始運動資訊來判定。在模板匹配之第一步驟中將使用對應於最小初始模板失真成本之參考圖像清單。舉例而言，若對應於清單0之初始模板失真成本不大於對應於清單1之成本，清單0用於模板匹配之第一步驟中，且清單1用於第二步驟中)，則如下更新當前區塊之當前模板TC：T'C=2*TC-T0
在第二模板匹配中使用更新的當前模板T'C(而非當前模板TC)以自清單1參考圖像找到另一匹配的模板T1(242)。因此，藉由聯合地使用清單0及清單1參考圖像找出匹配模板T1(244)。此匹配程序被稱作雙向模板匹配。
對用於運動補償預測(MCP)的單向預測與雙向預測之間的選擇可係基於模板匹配失真。如圖6B中所示出，在模板匹配期間，可將模板T0與TC(當前模板)之間的失真計算為cost0(250)，可更新當前模板 (252)，且可將模板T1與T'C(更新的當前模板)之間的失真計算為cost1(254)。若cost0小於0.5*cost1(256)，則可將基於MV0之單向預測應用於FRUC模板匹配模式(258)；否則，應用基於MV0及MV1之雙向預測(260)。應注意，將cost0與0.5*cost1進行比較，此係由於cost1指示模板T1與T'C(更新的當前模板)之間的差，該差為TC(當前模板)與其預測0.5*(T0+T1)之間的差的2倍。應注意，MCP可應用於PU層級運動改進。子PU層級運動改進可保持不變。
圖7示出BIO之光學流軌跡之實例。在圖7之實例中，B圖像270為使用參考圖像272(Ref0)及參考圖像274(Ref1)預測之雙向經框間預測圖像。BIO利用逐像素運動改進，其在雙向預測之情況下在逐區塊運動補償頂部執行。由於BIO補償區塊內部之精細運動，啟用BIO潛在地導致放大區塊大小以供運動補償。藉由使用針對每一樣本給出精細運動向量的明確方程式，樣本層級運動改進並不需要竭盡式搜尋或傳信。
I (k)表示在針對雙向預測區塊執行運動補償之後來自參考k(k=0,1)的亮度值。
Figure 108113266-A0304-12-0024-29
及
Figure 108113266-A0304-12-0024-30
分別為I (k)梯度之水平及豎直分量。假定光學流為有效的，則藉由以下方程式給出運動向量場(v x ,v y )：
Figure 108113266-A0304-12-0024-38
針對每一樣本之運動軌跡將光學流方程式與厄米特內插組合，得出一唯一三階多項式，其最終匹配函數值I (k)及導出項
Figure 108113266-A0304-12-0024-32
、
Figure 108113266-A0304-12-0024-33
兩者。此多項式之值在t=0下為BIO預測：
Figure 108113266-A0304-12-0024-39
在方程式2中，τ 0及τ 1對應於至圖7中所示之參考圖框的距離。基於Ref0及Ref1之POC計算距離τ 0及τ 1：τ0=POC(當前)-POC(Ref0), τ1=POC(Ref1)-POC(當前)。若兩種預測均來自相同時間方向(兩者均來自過去或兩者均來自未來)，則正負號不同τ 0．τ 1<0。在此情況下，只有當預測並不來自相同時間時刻(τ 0≠τ 1)時才應用BIO，兩個參考區域具有非零運動(MVx 0,MVy 0,MVx 1,MVy 1≠0)且區塊運動向量與時間距離(MVx 0/MVx 1=MVy 0/MVy 1=-τ 0/τ 1)成比例。
運動向量場(v x ,v y )係藉由最小化A點與B點處之值之間的差△來判定，其對應於圖7中之運動軌跡與參考圖框平面的交叉點。該交叉點經展示為圖7中之點276。一個模型僅將局部泰勒擴展(Taylor expansion)之第一線性術語用於△：
Figure 108113266-A0304-12-0025-40
方程式(1)中之所有值取決於樣本位置(i',j')，其迄今為止被省略。假定運動在局部環境中係恆定的，位於當前預測點(i,j)中心之(2M+1)×(2M+1)正方形視窗Ω內的△可經最小化：
Figure 108113266-A0304-12-0025-2
對此最佳化問題，可使用在豎直方向隨後在水平方向進行第一最小化的簡化解決方案，其產生：
Figure 108113266-A0304-12-0025-3
Figure 108113266-A0304-12-0025-4
其中，
Figure 108113266-A0304-12-0025-5
為避免被零或極小值除，方程式(2)、(3)中引入規則化參 數r及m。
r=500．4 d-8 (8)
m=700．4 d-8 (9)
此處，d為輸入視訊之內部位元深度。
在一些情況下，BIO之MV改進可能由於雜訊或不規律運動而不可靠。因此，在BIO中，MV方案之量值經削剪至某些臨限值thBIO。基於當前圖像之所有參考圖像是否均來自一個方向而判定該臨限值。若當前圖像中之當前圖像之所有參考圖像來自一個方向，則臨限值設定成12×214-d ，否則設定成12×213-d 。
可使用符合HEVC運動補償程序之操作在運動補償內插的同時計算BIO之梯度(2D可分離FIR)。根據區塊運動向量之分數部分，對於此2D可分離FIR的輸入與對於運動補償程序及分數位置(fracX,fracY)的輸入為相同參考圖框樣本。對於水平梯度
Figure 108113266-A0304-12-0026-36
，首先使用BIOfilterS對應於去縮放移位d-8之分數位置fracY豎直地插入信號，並接著將梯度濾波器BIOfilterG應用於對應於去縮放移位18-d之分數位置fracX的水平方向上。對於豎直梯度
Figure 108113266-A0304-12-0026-37
，首先使用BIOfilterG對應於去縮放移位d-8之分數位置fracY豎直地應用豎直梯度濾波器，並接著使用BIOfilterS在對應於去縮放移位18-d之分數位置fracX的水平方向上執行信號位移。用於梯度計算BIOfilterG及信號位移BIOfilterF之內插濾波器的長度可較短(6-抽頭)以便維持合理的複雜度。表1展示可用於BIO中之區塊運動向量之不同分數位置的梯度計算的濾波器。表2展示可用於BIO中之預測信號產生的內插濾波器。
圖8示出針對8×4區塊之梯度計算之實例(在圖8中經展示為 當前區塊280)。用於8×4區塊，視訊寫碼器提取經運動補償之預測子(亦被稱作MC預測子)且計算當前區塊280內的像素以及像素外部兩條線的HOR/VER梯度，係由於求解每一像素之vx及vy會使用位於每一像素中心之視窗Ω內的像素之HOR/VER梯度值及經運動補償之預測子，如方程式(4)中所示。在JEM中，例如，該視窗之大小經設定為5×5，意謂視訊寫碼器提取經運動補償之預測子且計算像素外部兩條線的梯度。視窗282表示位於像素A中心的5×5視窗，且視窗284表示位於像素B中心之5×5視窗。
Figure 108113266-A0304-12-0027-6
Figure 108113266-A0304-12-0027-7
在JEM中，當兩個預測來自不同參考圖像時，BIO應用於所有雙向預測區塊。當允許LIC用於CU時，BIO停用。
圖9為示出基於雙側模板匹配之所提出的解碼器側運動向量推導之實例的概念圖。JEM亦包括被稱為模板匹配之寫碼工具。視訊解碼器30分別自清單0之初始MV0及清單1之MV1產生作為兩個預測區塊之 加權組合的雙側模板，如圖9中所示出。
模板匹配操作由計算參考圖像中之所產生模板與樣本區(圍繞初始預測區塊)之間的成本量度組成。對於兩個參考圖像中之每一者，將產生最小模板成本之MV視為彼清單之經更新MV以替代原始MV。最終，兩個新MV(亦即，如圖8中所示出之MV0'及MV1')用於常規雙向預測。如區塊匹配運動估計中所常用的，絕對差(SAD)之總和用作成本量度。
所提出的DMVD技術應用於雙向預測之合併模式而無需傳輸額外語法元素，其中一個預測來自過去之參考圖像且另一預測來自未來之參考圖像。
在JEM4.0中，當針對一個CU選擇LIC、仿射、子CU合併候選或FRUC時，不應用DMVD。
圖10A及圖10B為示出其中可應用重疊區塊運動補償(OBMC)(諸如JEM中包括之OBMC)的子區塊之實例說明的概念圖。圖10A示出框間CU 300，其包括4×4子區塊。對於當前子區塊302，使用左側鄰近子區塊304及上方鄰近子區塊306之MV來執行當前子區塊302之OBMC。圖10B示出框間CU 310，其包括4×4子區塊。對於當前子區塊312，使用左側鄰近子區塊314、上方鄰近子區塊316、下方鄰近子區塊318及右側鄰近子區塊320之MV來執行當前子區塊312之OBMC。
OBMC已用於早幾代視訊標準，例如，如同H.263。在JEM中，除CU之右側及底部邊界外，針對所有運動補償(MC)區塊邊界執行OBMC。此外，其應用於亮度及色度分量兩者。在JEM中，MC區塊對應於寫碼區塊。當CU係用子CU模式(包括子CU合併、仿射及FRUC模 式，如Kaiming He、Jian Sun及Xiaoou Tang之「Guided image filtering」(Pattern Analysis and Machine Intelligence，IEEE彙刊，第35卷，第6期，第1397至1409頁，2013)中所描述)寫碼時，CU之每一子區塊為MC區塊。為按統一方式處理CU邊界，針對所有MC區塊邊界在子區塊層級處執行OBMC，其中子區塊大小設定為等於4×4，如圖10A及圖10B中所說明。
當OBMC適用於當前子區塊時，除了當前運動向量以外，四個連接的鄰近子區塊之運動向量在可用且不相同於當前運動向量的情況下亦用以導出用於當前子區塊之預測區塊。基於多個運動向量的此等多個預測區塊經組合以產生當前子區塊之最終預測信號。
圖11A至圖11D說明用於判定當前子區塊312之預測性區塊的程序。在圖11A之實例中，當前子區塊312之OBMC預測等於使用上方鄰近區塊324之MV判定的預測性子區塊與使用當前子區塊之MV針對當前子區塊判定之預測性子區塊的加權平均值。在圖11B之實例中，當前子區塊312之OBMC預測等於使用左側鄰近區塊326之MV判定的預測性子區塊與使用當前子區塊之MV針對當前子區塊判定之預測性子區塊的加權平均值。在圖11C之實例中，當前子區塊312之OBMC預測等於使用下方鄰近區塊328之MV判定的預測性子區塊與使用當前子區塊之MV針對當前子區塊判定之預測性子區塊的加權平均值。在圖11D之實例中，當前子區塊312之OBMC預測等於使用右側鄰近區塊330之MV判定的預測性子區塊與使用當前子區塊之MV針對當前子區塊判定之預測性子區塊的加權平均值。
在JEM中，對於大小小於或等於256個亮度樣本的CU，傳 信一CU層級旗標以指示是否針對當前CU應用OBMC。對於大小大於256個亮度樣本或未運用AMVP模式寫碼之CU，根據預設而應用OBMC。在編碼器處，當OBMC應用於CU時，在運動估計階段期間已考慮其影響。藉由使用頂部鄰近區塊及左側鄰近區塊之運動資訊的預測信號用以補償當前CU之原始信號之頂部邊界及左側邊界，然後應用正常運動估計程序。
本發明之技術可解決上文所引入問題中的一些或全部。本文所描述之所有DMVD相關技術(例如，FRUC雙側匹配、FRUC模板匹配、雙側模板匹配等等)潛在地提供顯著位元率降低。然而，藉由DMVD方法改進之MV可用作後繼區塊之MVP且其對於硬體實施並不友好(例如硬體實施可不當地係複雜的)。舉例而言，FRUC雙側匹配或模板匹配需要解碼器執行解碼器側運動搜尋來決定運動向量，其可能由於根據解碼器側之像素域處理重建構運動向量而引起嚴重的依賴性問題。慣例係，在用於視訊編解碼器之實際硬體設計中採用異步架構，以便最大化符號及像素吞吐量。此外，預提取參考樣本亦係重要的，因為在提取參考樣本用於內插時，快取未命中極大地減少像素吞吐量。有可能需要在剖析階段知曉運動向量之精確值以用於高效硬體設計。不利的係，解碼器側運動改進/搜尋禁止使用前述技術，此係因為無法預先(例如在剖析階段中)判定運動向量之精確值。
本發明描述與對MVP之限制相關之技術。本發明之技術包括與不允許藉由解碼器側MV改進方法導出或改進之MV用作後繼寫碼區塊的MVP相關之技術。所導出或改進之MV僅用於導出當前區塊之預測子。替代MV可經儲存用於當前區塊且實際上用作後繼區塊之MVP。替代MV可例如為DMVD改進之前的經傳信MV，或根據預定義推導次序之第 一可用空間MV，或以任何方式判定而無需解碼器側MV搜尋之MV。解碼器側MV改進方法包括如JEM中所使用之FRUC模板匹配、FRUC雙側匹配及雙側模板匹配。
根據一個實例，若區塊經寫碼為合併模式，則接收合併索引以指示使用哪一鄰近MV。假定所傳信之合併MV藉由雙側模板匹配改進，則所改進MV並未儲存為用於後繼區塊之MVP。實情為，改進前之MV經儲存為用於後繼區塊之MVP。
根據另一實例，若區塊經寫碼為如同JEM中之FRUC模板匹配合併模式。藉由模板匹配導出之最終MV並未儲存為用於後繼區塊之MVP。實情為，預定義MV經儲存為用於後繼區塊之MVP。預定義MV可為第一可用初始MV播晶種，即根據預定義推導次序或用以判定MV而無需解碼器側搜尋之任何方式的第一可用空間MV。
根據另一實例，若區塊經寫碼為框間模式且所選MVP藉由模板匹配推導為JEM。(MVD+經改進MVP)用於提取當前區塊之預測子。但(MVD+經改進MVP)並未儲存為後繼區塊之MVP。實情為，(MVD+原先傳信之MVP)經儲存為後繼區塊之MVP。
在其他實例中，代替使用初始播晶種或改進之前的原先傳信之MVP用於MVP推導，亦可使用位於非直接位置處之非相鄰運動向量導出或外推當前區塊之MVP值。舉例而言，可使用擬合(x-1,y)及(x-N,y)之線性模型估計當前區塊之x方向MVP值。類似地，可使用擬合(x,y-1)及(x,y-N)之線性模型估計當前區塊之y方向MVP值。其將在運動搜尋在解碼器側處不可用時增強MVP之品質。
本發明亦描述對MVP之其他潛在限制。在一些實例中，僅 向使用利用經重建構像素之DMVD方法(諸如JEM中之模板匹配方法)之區塊施加限制。在一些實例中，藉由DMVD方法導出之MV不會用作同一圖像內之後繼區塊之MVP。換言之，藉由DMVD方法導出之MV可用作後繼圖像中之區塊之MVP。在一些實例中，藉由DMVD方法導出之MV不會用作後繼區塊之MVP，但可用作在後繼區塊中執行OBMC之MV。
圖12為說明可實施本發明中描述之技術的實例視訊編碼器20之方塊圖。視訊編碼器20可執行視訊圖塊內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之相鄰圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中的任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之壓縮模式中的任一者。
在圖12之實例中，視訊編碼器20包括視訊資料記憶體33、分割單元35、預測處理單元41、求和器50、變換處理單元52、量化單元54、熵編碼單元56。預測處理單元41包括運動估計單元(MEU)42、運動補償單元(MCU)44及框內預測單元46。對於視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換處理單元60、求和器62、濾波器單元64及經解碼圖像緩衝器(DPB)66。
如圖12中所示出，視訊編碼器20接收視訊資料並將所接收視訊資料儲存於視訊資料記憶體33中。視訊資料記憶體33可儲存待由視訊編碼器20之組件編碼的視訊資料。儲存於視訊資料記憶體33中之視訊資料可例如自視訊源18獲得。DPB 66可為參考圖像記憶體，其儲存參考視訊資料以供視訊編碼器20在例如以框內寫碼或框間寫碼模式編碼視訊資 料時使用。視訊資料記憶體33及DPB 66可由諸如動態隨機存取記憶體(DRAM)之多種記憶體器件中之任一者形成，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。視訊資料記憶體33及DPB 66可由相同記憶體器件或單獨記憶體器件提供。在各種實例中，視訊資料記憶體33可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。
分割單元35自視訊資料記憶體33擷取視訊資料且將視訊資料分割成視訊區塊。此分割亦可包括分割成圖塊、圖像塊或其他較大單元，以及例如根據LCU及CU之四分樹結構的視訊區塊分割。視訊編碼器20大體上說明編碼待編碼之視訊圖塊內之視訊區塊的組件。圖塊可劃分成多個視訊區塊(且可能劃分成被稱作圖像塊之視訊區塊集合)。預測處理單位41可基於誤差結果(例如寫碼速率及失真程度)針對當前視訊區塊選擇複數個可能寫碼模式中之一者，諸如複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者。預測處理單元41可將所得經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62以重建構經編碼區塊以用作參考圖像。
預測處理單元41內之框內預測單元46可執行當前視訊區塊相對於與待寫碼之當前區塊在相同圖框或圖塊中的一或多個鄰近區塊之框內預測性寫碼，以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊之框間預測性寫碼，以提供時間壓縮。運動估計單元42及運動補償單元44可經組態以根據本發明中描述之技術執行DMVD。
運動估計單元42可經組態以根據視訊序列之預定圖案來判 定用於視訊圖塊之框間預測模式。預定圖案可將序列中之視訊圖塊指定為P圖塊或B圖塊。運動估計單元42及運動補償單元44可高度整合，但出於概念目的而單獨說明。由運動估計單元42執行之運動估計為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示將當前視訊圖框或圖像內之視訊區塊的PU相對於參考圖像內之預測性區塊的位移。
預測性區塊為就像素差而言被發現緊密地匹配待寫碼之視訊區塊之PU之區塊，該像素差可由絕對差和(SAD)、平方差和(SSD)或其他差度量判定。在一些實例中，視訊編碼器20可計算儲存於DPB 66中之參考圖像的次整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼圖塊中之視訊區塊的PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等參考圖像清單中之每一者識別儲存在DPB 66中之一或多個參考圖像。運動估計單元42將所計算運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計(可能執行內插至子像素精確密度)判定之運動向量而提取或產生預測性區塊。在接收當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。視訊編碼器20藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成 殘餘視訊區塊，從而形成像素差值。像素差形成用於區塊之殘餘資料，且可包括亮度及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊時使用。
在預測處理單元41經由框內預測或框間預測產生當前視訊區塊之預測性區塊之後，視訊編碼器20藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且被應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似變換之變換將殘餘視訊資料變換成殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域變換至變換域(諸如，頻域)。
變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減少位元率。量化程序可減小與係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。在另一實例中，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56對經量化變換係數進行熵編碼。舉例而言，熵編碼單元56可執行上下文自適應可變長度寫碼(CAVLC)、上下文自適應二進位算術寫碼(CABAC)、基於語法之上下文自適應二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在由熵編碼單元56進行熵編碼之後，經編碼位元串流可傳輸至視訊解碼器30，或經存檔以供視訊解碼器30稍後傳輸或擷取。熵編碼單元56亦可對當前正寫碼之視訊圖塊的運動向量及其他語法元素進行熵編碼。
反量化單元58及反變換處理單元60分別應用反量化及反變換以重建構像素域中之殘餘區塊，以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像清單中之一者內的參考圖像中之一者之預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構殘餘區塊以計算用於次整數像素值以用於運動估計。求和器62將經重建構殘餘區塊添加至藉由運動補償單元44產生之運動補償預測區塊以產生經重建構區塊。
濾波器單元64對經重建構區塊(例如，求和器62之輸出)進行濾波且將經濾波之經重建構區塊儲存於DPB 66中以供用作參考區塊。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以對後續視訊圖框或圖像中之區塊進行框間預測。濾波器單元64意欲表示解區塊濾波器、樣本自適應性偏移(SAO)濾波器及自適應性迴路濾波器(ALF)，或任何其他類型之迴路濾波器中的任一者或任何組合。解區塊濾波器可(例如)將解區塊濾波應用於濾波器區塊邊界，以自經重建構視訊移除區塊效應假影。SAO濾波器可將偏移應用於經重建構像素值，以便改良總體寫碼品質。亦可使用額外迴路濾波器(迴路中或迴路後)。
圖13為說明可實施本發明中描述之技術的實例視訊解碼器30之方塊圖。圖13之視訊解碼器30可例如經組態以接收上文關於圖12之視訊編碼器20所描述的傳信。在圖13之實例中，視訊解碼器30包括視訊資料記憶體78、熵解碼單元80、預測處理單元81、反量化單元86、反變換處理單元88、求和器90、濾波器單元92及DPB 94。預測處理單元81包括運動補償單元82及框內預測單元84。在一些實例中，視訊解碼器30可執行與關於來自圖12之視訊編碼器20所描述之編碼遍次大體上互逆的解 碼遍次。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。視訊解碼器20將所接收之經編碼視訊位元串流儲存於視訊資料記憶體78中。視訊資料記憶體78可儲存待由視訊解碼器30之組件解碼之視訊資料，諸如經編碼視訊位元串流。儲存於視訊資料記憶體78中之視訊資料可(例如)經由鏈路16自儲存器件26或自本端視訊源(諸如攝影機)或藉由存取實體資料儲存媒體而獲得。視訊資料記憶體78可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。DPB 94可為參考圖像記憶體，其儲存參考視訊資料以供視訊解碼器30在例如以框內寫碼或框間寫碼模式解碼視訊資料時使用。視訊資料記憶體78及DPB 94可由各種記憶體器件中之任一者形成，該等記憶體器件諸如DRAM、SDRAM、MRAM、RRAM或其他類型之記憶體器件。視訊資料記憶體78及DPB 94可由同一記憶體器件或單獨記憶體器件提供。在各種實例中，視訊資料記憶體78可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。
視訊解碼器30之熵解碼單元80對儲存於視訊資料記憶體78中之視訊資料進行熵解碼以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。視訊解碼器30可在視訊圖塊層級及/或視訊區塊層級接收語法元素。
當視訊圖塊經寫碼為經框內寫碼(I)圖塊時，預測處理單元81之框內預測處理單元84可基於來自當前圖框或圖像之先前經解碼區塊的經傳信框內預測模式及資料來產生用於當前視訊圖塊之視訊區塊的預測 資料。在視訊圖框經寫碼為經框間寫碼圖塊(例如B圖塊或P圖塊)時，預測處理單元81之運動補償單元82基於運動向量及自熵解碼單元80接收之其他語法元素產生當前視訊圖塊之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單中之一者內的參考圖像中之一者產生。視訊解碼器30可基於儲存於DPB 94中之參考圖像使用預設建構技術來建構參考圖框清單：清單0及清單1。
運動補償單元82結合視訊解碼器30之其他部分可經組態以根據本發明中描述之技術執行DMVD。運動補償單元82藉由剖析運動向量及其他語法元素來判定用於當前視訊圖塊之視訊區塊的預測資訊，並使用該預測資訊以產生正經解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元82使用一些所接受語法元素以判定用於對視訊圖塊之視訊區塊進行寫碼之預測模式(例如，框內預測或框間預測)、框間預測圖塊類型(例如，B圖塊或P圖塊)、圖塊之一或多個參考圖像清單之建構資訊、圖塊之每一經框間編碼之視訊區塊之運動向量、圖塊之每一經框間寫碼之視訊區塊之框間預測狀態，及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。
運動補償單元82亦可執行基於內插濾波器之內插。運動補償單元82可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之次整數像素的內插值。在此情況下，運動補償單元82可自所接收之語法元素判定由視訊編碼器20所使用之內插濾波器並使用該等內插濾波器以產生預測性區塊。
反量化單元86反量化(即，解量化)位元串流中所提供並由熵解碼單元80解碼之經量化變換係數。反量化程序可包括使用由視訊編碼 器20針對視訊圖塊中之每一視訊區塊計算之量化參數，以判定量化程度及(同樣地)應該應用之反量化程度。反變換處理單元88將反變換(例如，反DCT、反整數變換或概念上類似的反變換程序)應用於變換係數以便在像素域中產生殘餘區塊。
在預測處理單元使用例如框內或框間預測產生當前視訊區塊之預測性區塊之後，視訊解碼器30藉由將來自反變換處理單元88之殘餘區塊與由運動補償單元82產生之對應預測性區塊求和而形成經重建構之視訊區塊。求和器90表示執行此求和運算之該或該等組件。
濾波器單元92表示解區塊濾波器、SAO濾波器及ALF，或任何其他類型之迴路濾波器(寫碼迴路內或寫碼迴路後)中之任一者或任何組合。給定圖框或圖像中之經解碼視訊區塊接著儲存於DPB 94中，該DPB儲存用於後續運動補償之參考圖像。DPB 94可為額外記憶體的部分或與其分離，該額外記憶體儲存用於稍後呈現於顯示器件(諸如圖1之顯示器件32)上之經解碼視訊。
視訊解碼器30表示視訊解碼器之實例，其經組態以：判定視訊資料區塊係以框間預測模式寫碼；根據各種技術中之任一者或本文所描述之技術之組合判定用於視訊資料區塊之運動資訊；使用運動資訊將參考區塊定位於參考圖像中；及基於參考區塊產生視訊資料區塊之預測性區塊。
運動資訊可包括運動向量、運動向量精確度及參考圖像索引中之一些或全部。視訊解碼器30可經組態以判定針對視訊資料區塊啟用DMVD模式且根據DMVD模式處理參考區塊。DMVD模式可為FRUC模板匹配、FRUC雙側匹配及雙側模板匹配中之任一者。視訊解碼器30亦可經 組態以：添加殘餘資料至預測性區塊以產生經重建構之視訊資料區塊；處理經重建構之視訊資料區塊以產生經解碼視訊資料區塊；及輸出經解碼視訊資料區塊。為輸出經解碼視訊資料區塊，視訊解碼器可將包括經解碼視訊資料區塊之圖像儲存於經解碼圖像緩衝器中以供在解碼後續視訊資料圖像時用作參考圖像，及/或輸出包括經解碼視訊資料區塊之圖像輸出至顯示器件。
視訊解碼器30亦表示視訊解碼器之實例，其經組態以：判定第一視訊資料區塊係以框間預測模式寫碼；判定針對第一視訊資料區塊啟用解碼器側運動向量推導(DMVD)模式；判定用於第一視訊資料區塊之運動向量；根據DMVD模式改進運動向量以判定經改進運動向量；使用經改進運動向量產生用於第一區塊之預測性區塊；及使用第一視訊資料區塊之運動向量作為用於第二區塊之MVP。運動向量可例如具有第一精確度，且經改進運動向量具有不同於第一精確度之第二精確度，且其中使用第一視訊資料區塊之運動向量作為MVP包含使用具有第一精確度之運動向量。
視訊解碼器30亦表示視訊解碼器之實例，其經組態以：判定第一視訊資料區塊係以框間預測模式寫碼；判定針對第一視訊資料區塊啟用解碼器側運動向量推導(DMVD)模式；判定用於第一視訊資料區塊之運動向量；根據DMVD模式改進運動向量以判定經改進運動向量；使用經改進運動向量產生第一區塊之預測性區塊；及使用預定義運動向量作為用於第二區塊之運動向量預測子(MVP)。
視訊解碼器30亦表示視訊解碼器之實例，其經組態以：判定第一視訊資料區塊係以框間預測模式寫碼；判定針對第一視訊資料區塊 啟用DMVD模式；判定用於第一視訊資料區塊之運動向量；根據DMVD模式改進運動向量以判定經改進運動向量；使用經改進運動向量產生第一區塊之預測性區塊；及使用線性模型以基於第一區塊之運動向量判定用於第二區塊之運動向量預測子(MVP)。
圖14為說明本發明中描述之實例視訊解碼技術的流程圖。將參考一般視訊解碼器(諸如但不限於視訊解碼器30)描述圖14之技術。在一些個例中，圖14之技術可由視訊編碼器(諸如視訊編碼器20)執行，在此情況下，一般視訊解碼器對應於視訊編碼器之解碼迴路或其他解碼功能性。
在圖14之實例中，視訊解碼器判定第一視訊資料區塊係以框間預測模式寫碼(350)。視訊解碼器判定用於第一視訊資料區塊之第一運動向量(352)。視訊解碼器對第一區塊之第一運動向量執行運動向量改進，以判定用於第一視訊資料區塊之經改進運動向量(354)。為了首次對第一運動向量執行運動向量改進，視訊解碼器可判定針對第一視訊資料區塊啟用DMVD模式且根據該DMVD模式對第一區塊之第一運動向量執行運動向量改進。DMVD模式可例如為FRUC模板匹配、FRUC雙側匹配及雙側模板匹配中之一者。
視訊解碼器使用經改進運動向量將第一參考區塊定位於第一參考圖像中(356)。視訊解碼器基於第一參考區塊產生用於第一視訊資料區塊之第一預測性區塊(358)。
回應於判定第二視訊資料區塊係以利用與第一區塊相關聯之運動向量作為運動向量預測子的模式寫碼及回應於對第一區塊之第一運動向量執行運動向量改進，視訊解碼器使用不同運動向量作為與第一區塊 相關聯之運動向量預測子(360)。舉例而言，若第二區塊係以合併模式寫碼，則空間或時間鄰近區塊之運動向量可用於產生第二區塊之候選清單。然而，若第二區塊之彼等鄰近區塊中之一者係使用經改進運動向量寫碼，則代替添加經改進運動向量至候選清單，實情為可添加不同運動向量至候選清單。
利用與第一區塊相關聯之運動向量作為運動向量預測子之模式可例如為：合併模式，其中先前經寫碼區塊之運動向量用於產生當前區塊之運動向量之候選清單；或AMVP模式，其中先前經寫碼區塊之運動向量用作當前區塊之運動向量的運動向量預測子。不同運動向量可例如為第一區塊之第一運動向量或可為預設運動向量。
在一些實例中，視訊解碼器可藉由判定第一運動向量預測及第一運動向量差來判定用於第一視訊資料區塊之第一運動向量，且藉由改進第一運動向量預測子來判定第一經改進運動向量預測子而對用於第一區塊之第一運動向量執行運動向量改進。視訊解碼器可將第一視訊資料區塊之經改進運動向量設定成等於第一經改進運動向量預測子加第一運動向量差，且將運動向量預測子設定成等於第一運動向量預測子加第一運動向量差。
基於第一運動向量，視訊解碼器判定用於第二區塊之第二運動向量(362)。視訊解碼器可例如判定第二區塊係以合併模式或AMVP模式寫碼且產生用於第二區塊之候選清單。為產生用於第二區塊之候選清單，視訊解碼器可添加第一運動向量或預設運動向量至候選清單。因此，視訊解碼器可判定用於第二視訊資料區塊之運動向量候選清單，其包括與第一區塊相關聯的並非係第一經改進運動向量的候選運動向量。視訊解碼 器使用第二運動向量將第二參考區塊定位於第二參考圖像中(364)。
視訊解碼器可添加第一殘餘資料至第一預測性區塊以產生第一經重建構之視訊資料區塊，並處理該第一經重建構之視訊資料區塊以產生第一經解碼視訊資料區塊。使用第二運動向量，視訊解碼器可將第二參考區塊定位於第二參考圖像中且基於該第二參考區塊產生用於第二視訊資料區塊之第二預測性區塊。視訊解碼器可添加第二殘餘資料至第二預測性區塊以產生第二經重建構之視訊資料區塊，並處理該第二經重建構之視訊資料區塊以產生第二經解碼視訊資料區塊。為處理第一及第二經重建構區塊，視訊解碼器可例如執行濾波或其他類型之處理。
視訊解碼器可輸出包括第一經解碼視訊資料區塊及第二經解碼視訊資料區塊之圖像。為輸出圖像，視訊解碼器可將圖像之複本儲存於經解碼圖像緩衝器中以供在編碼或解碼後續視訊資料圖像時用作參考圖像。視訊解碼器可另外輸出圖像至顯示器件。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，該通信媒體包括例如根據通信協定來促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體通常可對應於(1)非暫時性之有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。此外，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術，自網站、伺服器或其他遠端源來傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為係關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。
可由一或多個處理器執行指令，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效之整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文所描述之功能性可提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於多種器件或裝置中，包括無線手機、積體電路(IC)或IC集合(例如晶片組)。在本發明中描述各種組件、模 組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切而言，如上文所描述，各種單元可與適合的軟體及/或韌體一起組合於編解碼器硬體單元中或由互操作性硬體單元之集合提供，硬件單元包括如上文所描述之一或多個處理器。
各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。
350‧‧‧區塊
352‧‧‧區塊
354‧‧‧區塊
356‧‧‧區塊
358‧‧‧區塊
360‧‧‧區塊
362‧‧‧區塊
364‧‧‧區塊

Claims (29)

  1. 一種對視訊資料進行解碼之方法，該方法包含：判定一第一視訊資料區塊係以一框間預測模式寫碼；判定用於該第一視訊資料區塊之一第一運動向量；對用於該第一區塊之該第一運動向量執行運動向量改進，以判定用於該第一視訊資料區塊之一經改進運動向量；使用該經改進運動向量將一第一參考區塊定位於一第一參考圖像中；基於該第一參考區塊產生該第一視訊資料區塊之一第一預測性區塊；判定一第二視訊資料區塊係以利用與該第一區塊相關聯之一運動向量作為一運動向量預測子之一模式寫碼，其中該第一區塊係該第二區塊的空間鄰近區塊；回應於判定該第二視訊資料區塊係以利用與該第一區塊相關聯之該運動向量作為該運動向量預測子之該模式寫碼及回應於對用於該第一區塊之該第一運動向量執行該運動向量改進，使用與該第一經改進運動向量不同之一運動向量作為與該第一區塊相關聯之該運動向量預測子；基於該不同運動向量判定用於該第二區塊之一第二運動向量；使用該第二運動向量將一第二參考區塊定位於一第二參考圖像中；及基於該第一參考區塊及該第二參考區塊解碼一視訊資料圖像。
  2. 如請求項1之方法，其中對用於該第一區塊之該第一運動向量執行該運動向量改進包含：判定針對該第一視訊資料區塊啟用一解碼器側運動向量推導(DMVD)模式；及根據該DMVD模式對用於該第一區塊之該第一運動向量執行該運動向量改進。
  3. 如請求項2之方法，其中該DMVD模式包含圖框速率升頻轉換(FRUC)模板匹配、FRUC雙側匹配及雙側模板匹配中之一者。
  4. 如請求項1之方法，其中該不同運動向量包含用於該第一區塊之該第一運動向量。
  5. 如請求項1之方法，其中該不同運動向量包含一預設運動向量。
  6. 如請求項1之方法，其進一步包含：判定該第二區塊係以一合併模式寫碼；產生用於該第二區塊之一候選清單，其中產生用於該第二區塊之該候選清單包含：回應於判定該第一區塊係使用雙側模板匹配寫碼，添加該不同運動向量至該候選清單。
  7. 如請求項1之方法，其中：判定用於該第一視訊資料區塊之該第一運動向量包含判定一第一運 動向量預測及一第一運動向量差；對用於該第一區塊之該第一運動向量執行運動向量改進包含改進該第一運動向量預測子以判定一第一經改進運動向量預測子；將用於該第一視訊資料區塊之該經改進運動向量設定成等於該第一經改進運動向量預測子加該第一運動向量差；及將該運動向量預測子設定成等於該第一運動向量預測子加該第一運動向量差。
  8. 如請求項1之方法，其進一步包含：添加第一殘餘資料至該第一預測性區塊以產生一第一經重建構之視訊資料區塊；處理該第一經重建構之視訊資料區塊以產生一第一經解碼視訊資料區塊；使用該第二運動向量將一第二參考區塊定位於一第二參考圖像中；基於該第二參考區塊產生用於該第二視訊資料區塊之一第二預測性區塊；添加第二殘餘資料至該第二預測性區塊以產生一第二經重建構之視訊資料區塊；處理該第二經重建構之視訊資料區塊以產生一第二經解碼視訊資料區塊；及輸出一圖像包含該第一經解碼視訊資料區塊及該第二經解碼視訊資料區塊。
  9. 如請求項8之方法，其中輸出該圖像包含以下中之一者或兩者：將該圖像之一複本儲存於一經解碼圖像緩衝器中以供在解碼後續視訊資料圖像時用作參考圖像；及輸出該圖像至一顯示器件。
  10. 如請求項1之方法，其中執行該解碼方法作為一視訊編碼程序之一重建構迴路之一部分。
  11. 一種用於對視訊資料進行解碼之器件，該器件包括：一記憶體，其經組態以儲存視訊資料；一或多個處理器，其經組態以：判定該視訊資料之一第一區塊係以一框間預測模式寫碼；判定用於該視訊資料之該第一區塊之一第一運動向量；對用於該第一區塊之該第一運動向量執行運動向量改進，以判定用於該視訊資料之該第一區塊之一經改進運動向量；使用該經改進運動向量將一第一參考區塊定位於一第一參考圖像中；基於該第一參考區塊產生用於該視訊資料之該第一區塊之一第一預測性區塊；判定該視訊資料之一第二區塊係以利用與該第一區塊相關聯之一運動向量作為一運動向量預測子之一模式寫碼，其中該第一區塊係該第二區塊的空間鄰近區塊；回應於判定該視訊資料之該第二區塊係以利用與該第一區塊相關聯之該運動向量作為該運動向量預測子之該模式寫碼及回應於對用 於該第一區塊之該第一運動向量執行該運動向量改進，使用與該第一經改進運動向量不同之一運動向量作為與該第一區塊相關聯之該運動向量預測子；基於該不同運動向量判定用於該第二區塊之一第二運動向量；及使用該第二運動向量將一第二參考區塊定位於一第二參考圖像中；及基於該第一參考區塊及該第二參考區塊對該視訊資料之一圖像進行解碼。
  12. 如請求項11之器件，其中為了對用於該第一區塊之該第一運動向量執行該運動向量改進，該一或多個處理器進一步經組態以：判定針對該視訊資料之該第一區塊啟用一解碼器側運動向量推導(DMVD)模式；及根據該DMVD模式對用於該第一區塊之該第一運動向量執行該運動向量改進。
  13. 如請求項12之器件，其中該DMVD模式包含圖框速率升頻轉換(FRUC)模板匹配、FRUC雙側匹配及雙側模板匹配中之一者。
  14. 如請求項11之器件，其中該不同運動向量包含用於該第一區塊之該第一運動向量。
  15. 如請求項11之器件，其中該不同運動向量包含一預設運動向量。
  16. 如請求項11之器件，其中該一或多個處理器進一步經組態以：判定該第二區塊係以一合併模式寫碼；產生用於該第二區塊之一候選清單，其中產生用於該第二區塊之該候選清單包含：回應於判定該第一區塊係使用雙側模板匹配寫碼，添加該不同運動向量至該候選清單。
  17. 如請求項11之器件，其中該一或多個處理器進一步經組態以：判定用於該視訊資料之該第一區塊之該第一運動向量包含判定一第一運動向量預測及一第一運動向量差；對用於該第一區塊之該第一運動向量執行運動向量改進包含改進該第一運動向量預測子以判定一第一經改進運動向量預測子；將用於該視訊資料之該第一區塊之該經改進運動向量設定成等於該第一經改進運動向量預測子加該第一運動向量差；及將該運動向量預測子設定成等於該第一運動向量預測子加該第一運動向量差。
  18. 如請求項11之器件，其中該一或多個處理器進一步經組態以：添加第一殘餘資料至該第一預測性區塊以產生一第一經重建構之視訊資料區塊；處理該第一經重建構之視訊資料區塊以產生一第一經解碼視訊資料區塊；使用該第二運動向量將一第二參考區塊定位於一第二參考圖像中；基於該第二參考區塊產生用於該視訊資料之該第二區塊之一第二預 測性區塊；添加第二殘餘資料至該第二預測性區塊以產生一第二經重建構之視訊資料區塊；處理該第二經重建構之視訊資料區塊以產生一第二經解碼視訊資料區塊；及輸出一圖像包含該第一經解碼視訊資料區塊及該第二經解碼視訊資料區塊。
  19. 如請求項18之器件，其中為輸出該圖像，該一或多個處理器進一步進組態以進行以下中之一或兩者：將該圖像之一複本儲存於一經解碼圖像緩衝器中以供在解碼後續視訊資料圖像時用作參考圖像；及輸出該圖像至一顯示器件。
  20. 如請求項11之器件，其中該一或多個處理器進一步經組態以執行解碼作為一視訊編碼程序之一重建構迴路之一部分。
  21. 如請求項11之器件，其中該器件包含一無線通信器件，其進一步包含經組態以接收經編碼視訊資料之一接收器。
  22. 如請求項21之器件，其中該無線通信器件包含一電話手機，且其中該接收器經組態以根據一無線通信標準解調變包含該經編碼視訊資料之一信號。
  23. 如請求項11之器件，其中該器件包含一無線通信器件，其進一步包含經組態以傳輸經編碼視訊資料之一傳輸器。
  24. 如請求項23之器件，其中該無線通信器件包含一電話手機，且其中該傳輸器經組態以根據一無線通信標準調變包含該經編碼視訊資料之一信號。
  25. 一種用於解碼視訊資料之裝置，該裝置包含：用於判定一第一視訊資料區塊係以一框間預測模式寫碼的構件；用於判定該第一視訊資料區塊之一第一運動向量的構件；用於對該第一區塊之該第一運動向量執行運動向量改進以判定用於該第一視訊資料區塊之一經改進運動向量的構件；用於使用該經改進運動向量將一第一參考區塊定位於一第一參考圖像中的構件；用於基於該第一參考區塊產生該第一視訊資料區塊之一第一預測性區塊的構件；用於判定一第二視訊資料區塊係以利用與該第一區塊相關聯之一運動向量作為一運動向量預測子之一模式寫碼的構件，其中該第一區塊係該第二區塊的空間鄰近區塊；用於回應於判定該第二視訊資料區塊係以利用與該第一區塊相關聯之該運動向量作為該運動向量預測子之該模式寫碼及回應於對用於該第一區塊之該第一運動向量執行該運動向量改進，使用與該第一經改進運動向 量不同之一運動向量作為與該第一區塊相關聯之該運動向量預測子的構件；用於基於該不同運動向量判定該第二區塊之一第二運動向量的構件；用於使用該第二運動向量將一第二參考區塊定位於一第二參考圖像中的構件；及用於基於該第一參考區塊及該第二參考區塊對一視訊資料圖像進行解碼的構件。
  26. 如請求項25之裝置，其中該用於對該第一區塊之該第一運動向量執行該運動向量改進的構件包含：用於判定針對該第一視訊資料區塊啟用一解碼器側運動向量推導(DMVD)模式的構件；及用於根據該DMVD模式對該第一區塊之該第一運動向量執行該運動向量改進的構件。
  27. 如請求項26之裝置，其中該DMVD模式包含圖框速率升頻轉換(FRUC)模板匹配、FRUC雙側匹配及雙側模板匹配中之一者。
  28. 如請求項25之裝置，其中該不同運動向量包含用於該第一區塊之該第一運動向量。
  29. 如請求項25之裝置，其中該不同運動向量包含一預設運動向量。
TW108113266A 2018-04-17 2019-04-16 基於解碼器側運動向量推導之運動向量預測推導之限制 TWI736872B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862659046P 2018-04-17 2018-04-17
US62/659,046 2018-04-17
US16/384,044 US10779002B2 (en) 2018-04-17 2019-04-15 Limitation of the MVP derivation based on decoder-side motion vector derivation
US16/384,044 2019-04-15

Publications (2)

Publication Number Publication Date
TW201946472A TW201946472A (zh) 2019-12-01
TWI736872B true TWI736872B (zh) 2021-08-21

Family

ID=68162318

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108113266A TWI736872B (zh) 2018-04-17 2019-04-16 基於解碼器側運動向量推導之運動向量預測推導之限制

Country Status (8)

Country Link
US (1) US10779002B2 (zh)
EP (1) EP3782367A1 (zh)
KR (1) KR102343699B1 (zh)
CN (1) CN111989922B (zh)
BR (1) BR112020021263A2 (zh)
SG (1) SG11202009184PA (zh)
TW (1) TWI736872B (zh)
WO (1) WO2019204297A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10469869B1 (en) 2018-06-01 2019-11-05 Tencent America LLC Method and apparatus for video coding
GB2588004B (en) 2018-06-05 2023-03-01 Beijing Bytedance Network Tech Co Ltd Interaction between IBC and affine
WO2019234674A1 (en) 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Integer motion compensation
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
CN110944196B (zh) 2018-09-24 2023-05-30 北京字节跳动网络技术有限公司 简化的基于历史的运动矢量预测
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
CN111083491B (zh) 2018-10-22 2024-09-20 北京字节跳动网络技术有限公司 细化运动矢量的利用
WO2020084462A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on block size
WO2020084461A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on coding information
WO2020094150A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in current picture referencing
WO2020098644A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
CN113170171B (zh) 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
CN117319644A (zh) 2018-11-20 2023-12-29 北京字节跳动网络技术有限公司 基于部分位置的差计算
WO2020156538A1 (en) 2019-02-03 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interaction between mv precisions and mv difference coding
WO2020164580A1 (en) 2019-02-14 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Size selective application of decoder side refining tools
CN113491114A (zh) * 2019-02-20 2021-10-08 北京达佳互联信息技术有限公司 用于帧间预测的运动向量舍入、截取和存储的方法和装置
WO2020177682A1 (en) 2019-03-03 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Motion vector management for decoder side motion vector refinement
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
CN113647108A (zh) 2019-03-27 2021-11-12 北京字节跳动网络技术有限公司 基于历史的运动矢量预测
KR102610709B1 (ko) 2019-04-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
WO2020228836A1 (en) 2019-05-16 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Sub-region based determination of motion information refinement
SG11202112656UA (en) * 2019-06-21 2021-12-30 Panasonic Ip Corp America Encoder, decoder, encoding method, and decoding method
WO2020263472A1 (en) * 2019-06-24 2020-12-30 Alibaba Group Holding Limited Method and apparatus for motion vector refinement
KR20220066045A (ko) 2019-09-19 2022-05-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩의 스케일링 윈도우
JP6960969B2 (ja) * 2019-09-20 2021-11-05 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
EP4026336A4 (en) 2019-10-05 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. LEVEL-BASED SIGNALING OF VIDEO CODING TOOLS
WO2021068956A1 (en) 2019-10-12 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Prediction type signaling in video coding
JP7414980B2 (ja) 2019-10-13 2024-01-16 北京字節跳動網絡技術有限公司 参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用
BR112022012807A2 (pt) 2019-12-27 2022-09-27 Beijing Bytedance Network Tech Co Ltd Método de processamento de vídeo, aparelho para processar dados de vídeo e meios não transitórios legíveis por computador
US11889096B2 (en) * 2020-06-26 2024-01-30 Intel Corporation Video codec assisted real-time video enhancement using deep learning
US11936899B2 (en) * 2021-03-12 2024-03-19 Lemon Inc. Methods and systems for motion candidate derivation
US11671616B2 (en) 2021-03-12 2023-06-06 Lemon Inc. Motion candidate derivation
TW202408242A (zh) * 2022-04-06 2024-02-16 聯發科技股份有限公司 隱式多通道解碼器端運動向量細化
WO2024014896A1 (ko) * 2022-07-13 2024-01-18 엘지전자 주식회사 움직임 정보 리파인먼트에 기반한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080037639A1 (en) * 2002-10-04 2008-02-14 Jeon Byeong M Method of deriving a motion vector of a bi-predictive block based on temporal distances associated with a co-located block in a reference picture
US20150023423A1 (en) * 2013-07-17 2015-01-22 Qualcomm Incorporated Block identification using disparity vector in video coding
TW201639370A (zh) * 2015-03-27 2016-11-01 高通公司 視訊寫碼中運動資訊推導模式判定

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3876541A1 (en) * 2015-09-02 2021-09-08 Mediatek Inc. Fast sum of absolute differences calculation for motion vector derivation in video coding
EP3264769A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Method and apparatus for video coding with automatic motion information refinement
US11638027B2 (en) 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080037639A1 (en) * 2002-10-04 2008-02-14 Jeon Byeong M Method of deriving a motion vector of a bi-predictive block based on temporal distances associated with a co-located block in a reference picture
US20150023423A1 (en) * 2013-07-17 2015-01-22 Qualcomm Incorporated Block identification using disparity vector in video coding
TW201639370A (zh) * 2015-03-27 2016-11-01 高通公司 視訊寫碼中運動資訊推導模式判定

Also Published As

Publication number Publication date
WO2019204297A1 (en) 2019-10-24
US20190320197A1 (en) 2019-10-17
KR20200143408A (ko) 2020-12-23
EP3782367A1 (en) 2021-02-24
KR102343699B1 (ko) 2021-12-24
CN111989922B (zh) 2021-11-19
US10779002B2 (en) 2020-09-15
TW201946472A (zh) 2019-12-01
SG11202009184PA (en) 2020-11-27
CN111989922A (zh) 2020-11-24
BR112020021263A2 (pt) 2021-01-26

Similar Documents

Publication Publication Date Title
TWI736872B (zh) 基於解碼器側運動向量推導之運動向量預測推導之限制
JP7278333B2 (ja) 復号器側動きベクトル導出によって導出された動きベクトル情報を制約すること
TWI803563B (zh) 改良的解碼器側之運動向量推導
TWI718412B (zh) 用於訊框速率上升轉換(fruc)之低複雜度設計
US10491917B2 (en) Decoder-side motion vector derivation
TWI761415B (zh) 用於雙向光學流（ｂｉｏ）之運動向量重建
CN111567043B (zh) 对视频数据进行译码的方法、装置和计算机可读存储介质
TWI714565B (zh) 視訊寫碼中運動向量推導
US20190014342A1 (en) Partial reconstruction based template matching for motion vector derivation
TW201711463A (zh) 判定用於視訊寫碼之照明補償狀態之系統及方法
TW201703531A (zh) 判定用於視訊寫碼之照明補償狀態之系統及方法