TW202232956A - 視訊譯碼中的範本匹配 - Google Patents

視訊譯碼中的範本匹配 Download PDF

Info

Publication number
TW202232956A
TW202232956A TW110148413A TW110148413A TW202232956A TW 202232956 A TW202232956 A TW 202232956A TW 110148413 A TW110148413 A TW 110148413A TW 110148413 A TW110148413 A TW 110148413A TW 202232956 A TW202232956 A TW 202232956A
Authority
TW
Taiwan
Prior art keywords
step size
motion vector
initial
reference block
block
Prior art date
Application number
TW110148413A
Other languages
English (en)
Inventor
陳俊啟
黃翰
張智
瓦迪姆 賽萊金
瑪塔 卡克基維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/558,119 external-priority patent/US11758151B2/en
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202232956A publication Critical patent/TW202232956A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一種視訊解碼器可以被配置為決定針對當前區塊的運動向量和運動向量精度;辨識當前圖片內的當前區塊範本;在搜尋區域內搜尋對應於當前區塊範本的最終參考區塊範本,其中為了在搜尋區域內搜尋,一或多個處理器亦被配置為:基於運動向量來辨識初始參考區塊範本,使用被設置為初始步長的步長搜尋在初始參考區塊範本周圍的其他參考區塊範本,以及從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長;基於最終參考區塊範本來決定針對當前區塊的預測區塊。

Description

視訊譯碼中的範本匹配
本專利申請案主張享受於2020年12月29日提出申請的美國臨時專利申請案第63/131,676的權益,該申請案的全部內容經由引用併入本文。
本案內容係關於視訊編碼和視訊解碼。
數位視訊能力可以被合併到各種各樣的設備,包括數位電視機、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型電腦或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄設備、數位媒體播放機、視訊遊戲設備、視訊遊戲控制台、蜂巢或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議設備、視訊串流設備等。數位視訊設備實現視訊譯碼技術,例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4 Part 10、高級視訊譯碼(AVC)、ITU-T H.265/高效視訊譯碼(HEVC)定義的標準,以及對該等標準的擴展中描述的彼等視訊譯碼技術。視訊設備可以經由實現此種視訊譯碼技術來較有效地對數位視訊資訊進行傳輸、接收、編碼、解碼及/或儲存。
視訊譯碼技術包括空間(圖片內)預測及/或時間(圖片間)預測,用以減少或移除視訊序列中固有的冗餘。對於基於區塊的視訊譯碼,視訊條帶(例如,視訊圖片或視訊圖片的一部分)可以被劃分成視訊區塊,其亦可以被稱為譯碼樹單元(CTU)、譯碼單元(CU)及/或譯碼節點。一圖片的經訊框內譯碼的(I)條帶中的視訊區塊是使用相對於相同圖片中的相鄰區塊中的參考取樣的空間預測來被編碼的。圖片的經訊框間譯碼的(P或B)條帶中的視訊區塊可以使用相對於相同圖片中的相鄰區塊中的參考取樣的空間預測,或者相對於其他參考圖片中的參考取樣的時間預測。圖片可以被稱為訊框,並且參考圖片可以被稱為參考訊框。
視訊解碼器可以被配置為執行範本匹配。當根據範本匹配模式對視訊資料進行解碼時,針對區塊的部分或全部運動資訊不被以信號傳輸,而是由視訊解碼器推導。可以針對從候選列表中選擇運動向量候選或針對運動向量細化中的任一者或兩者來執行範本匹配。範本匹配可以被應用於高級運動向量預測器(AMVP)模式和一般合併模式。在AMVP模式下,可以使用範本匹配從候選列表中選擇運動向量預測器(MVP)候選,以辨識列表中在當前區塊範本和參考區塊範本之間具有最小差異的候選。在一般合併模式中,可以以信號傳輸範本匹配模式標誌以指示對範本匹配的使用,隨後範本匹配可以被用於從合併候選列表中選擇的運動向量的運動向量細化。
在執行範本匹配時,視訊解碼器在參考圖片的搜尋區域中,找到在當前圖片中的參考範本(當前CU的上相鄰區塊及/或左相鄰區塊)與對應的範本區域之間的最接近的匹配,該對應的範本區域與參考範本的大小相同。例如,參考圖片中的搜尋區域可以相對於當前CU來辨識。
如前述,視訊解碼器可以被配置為執行運動向量細化。一些運動向量細化程序利用可以包括分層結構的基於圖案的運動向量搜尋程序。使用指定的搜尋圖案,視訊解碼器針對參考範本和當前圖片中的複數個對應的範本區域決定範本匹配成本。分層結構指定了反覆運算程序用以對運動進行細化,從粗精度(例如,四分之一圖元)開始,到精細精度(例如,1/8圖元)結束。在一個實例中,視訊解碼器可以被配置為首先利用菱形圖案以四分之一亮度取樣精度,隨後利用交叉圖案以四分之一亮度取樣精度,隨後利用交叉圖案以八分之一亮度取樣精度,搜尋運動向量。
無論被細化的運動向量的運動向量精度如何,皆以四分之一圖元步長開始運動向量細化程序,在一些譯碼場景中,可能引入不期望的複雜度和捨入誤差。此舉導致彼等譯碼場景的譯碼增益態樣的效能降低。為了解決該潛在問題,本案內容描述了用於將在範本匹配中使用的最精細運動向量精度與正被細化的運動向量的運動向量精度對準的技術。經由將步長從初始步長反覆運算地減小,直到步長被設置為等於運動向量精度的最終步長為止,本案內容的技術可以產生關於減少由運動向量細化程序引入的複雜度和捨入誤差的優點。
根據一個實例,一種用於對視訊資料進行解碼的設備包括在電路系統中實現並被配置為進行如下操作的一或多個處理器:決定當前圖片的當前區塊是以訊框間預測模式被編碼的;基於該訊框間預測模式來決定針對該當前區塊的運動向量;決定針對該運動向量的運動向量精度;辨識該當前圖片內的當前區塊範本;在搜尋區域內搜尋對應於該當前區塊範本的最終參考區塊範本,其中為了在該搜尋區域內搜尋,該一或多個處理器亦被配置為:基於該運動向量來辨識初始參考區塊範本,使用被設置為初始步長的步長搜尋在該初始參考區塊範本周圍的其他參考區塊範本,以及從該初始步長反覆運算地減小該步長,直到該步長被設置為等於該運動向量精度的最終步長;基於該最終參考區塊範本來決定針對該當前區塊的預測區塊;基於所決定的預測區塊來對該當前圖片進行解碼;及輸出該當前圖片的經解碼版本。
根據另一實例,一種對視訊資料進行解碼的方法包括以下步驟:決定當前圖片的當前區塊是以訊框間預測模式被編碼的;基於該訊框間預測模式來決定針對該當前區塊的運動向量;決定針對該運動向量的運動向量精度;辨識該當前圖片內的當前區塊範本;在搜尋區域內搜尋對應於該當前區塊範本的最終參考區塊範本,其中在該搜尋區域內搜尋包括:基於該運動向量來辨識初始參考區塊範本,使用設置為初始步長的步長搜尋在該初始參考區塊範本周圍的其他參考區塊範本,以及從該初始步長反覆運算地減小該步長,直到該步長被設置為等於該運動向量精度的最終步長;基於該最終參考區塊範本來決定針對該當前區塊的預測區塊;基於所決定的預測區塊來對該當前圖片進行解碼;及輸出該當前圖片的經解碼版本。
根據另一實例,一種電腦可讀取儲存媒體,儲存指令,該等指令在由一或多個處理器執行時使該一或多個處理器進行如下操作:決定當前圖片的當前區塊是以訊框間預測模式被編碼的;基於訊框間預測模式來決定針對當前區塊的運動向量;決定針對運動向量的運動向量精度;辨識當前圖片內的當前區塊範本;在搜尋區域內搜尋對應於當前區塊範本的最終參考區塊範本,其中為了在搜尋區域內搜尋,該等指令使一或多個處理器進行如下操作:基於運動向量來辨識初始參考區塊範本,使用設置為初始步長的步長搜尋在初始參考區塊範本周圍的其他參考區塊範本,以及從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長;基於最終參考區塊範本來決定針對當前區塊的預測區塊;基於所決定的預測區塊來對當前圖片進行解碼;及輸出當前圖片的經解碼版本。
根據另一實例,一種用於對視訊資料進行解碼的設備包括:用於決定當前圖片的當前區塊是以訊框間預測模式被編碼的構件;用於基於訊框間預測模式來決定針對當前區塊的運動向量的構件;用於決定針對運動向量的運動向量精度的構件;用於辨識當前圖片內的當前區塊範本的構件;用於在搜尋區域內搜尋對應於當前區塊範本的最終參考區塊範本的構件,其中用於在搜尋區域內搜尋的構件包括:用於基於運動向量來辨識初始參考區塊範本的構件,用於使用被設置為初始步長的步長搜尋在初始參考區塊範本周圍的其他參考區塊範本的構件,以及用於從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長的構件;用於基於最終參考區塊範本來決定針對當前區塊的預測區塊的構件;用於基於所決定的預測區塊來對當前圖片進行解碼的構件;及輸出當前圖片的經解碼版本的構件。
一或多個實例的細節在附圖和以下描述中闡述。根據說明書、附圖以及申請專利範圍,其他特徵、目標和優點將是顯而易見的。
視訊譯碼(例如,視訊編碼及/或視訊解碼)通常涉及根據相同圖片中的視訊資料的已譯碼的區塊(例如,訊框內預測)或不同圖片中的視訊資料的已譯碼的區塊(例如,訊框間預測),來預測視訊資料區塊。在一些情況下,視訊編碼器亦經由將預測區塊與原始區塊進行比較來計算殘差資料。因此,殘差資料表示預測區塊和原始區塊之間的差。為了減少用於以信號傳輸殘差資料所需的位元的數量,視訊編碼器對殘差資料進行變換和量化,並在經編碼的位元串流中以信號傳輸經變換和經量化的殘差資料。經由變換和量化程序實現的壓縮可能是有損的,此舉意味著:變換和量化程序可能將失真引入經解碼的視訊資料。
視訊解碼器對殘差資料進行解碼並將其加到預測區塊以產生比單獨的預測區塊更接近地匹配原始視訊區塊的經重構的視訊區塊。由於殘差資料的變換和量化引入的損失,第一重構區塊可能具有失真或偽影。一種常見類型的偽影或失真被稱為區塊狀,其中被用於對視訊資料進行譯碼的區塊的邊界是可見的。
為了進一步提高經解碼的視訊的品質,視訊解碼器可以對經重構的視訊區塊執行一或多個濾波操作。該等濾波操作的實例包括去區塊濾波、取樣自我調整偏移(SAO)濾波和自我調整迴路濾波(ALF)。該等濾波操作的參數可以由視訊編碼器決定並在經編碼的視訊位元串流中顯式地以信號傳輸,或者可以由視訊解碼器隱式地決定,而無需在經編碼的視訊位元串流中顯式地以信號傳輸參數。
視訊解碼器可以被配置為執行範本匹配。在此種模式下,區塊的部分或全部運動資訊不以信號傳輸,而是由視訊解碼器推導。可以針對從候選列表中選擇運動向量候選或針對運動向量細化中的任一者或兩者來執行範本匹配。範本匹配可以被應用於高級運動向量預測器(AMVP)模式和一般合併模式。在AMVP模式下,可以使用範本匹配從候選列表中選擇運動向量預測器(MVP)候選,以辨識列表中在當前區塊範本和參考區塊範本之間具有最小差異的候選。在一般合併模式中,可以以信號傳輸範本匹配模式標誌,以指示對範本匹配的使用,隨後範本匹配可以被用於從合併候選列表中選擇的運動向量的運動向量細化。
當執行範本匹配時,視訊解碼器在參考圖片的搜尋區域中,找到在當前圖片中的參考範本(當前CU的上相鄰區塊及/或左相鄰區塊)與對應的範本區域之間的最接近的匹配,該對應的範本區域與參考範本的大小相同。例如,參考圖片中的搜尋區域可以相對於當前CU來辨識。
如前述,視訊解碼器可以被配置為執行運動向量細化。運動向量細化是具有分層結構的基於圖案的運動向量搜尋程序。使用指定的搜尋圖案,視訊解碼器針對參考範本和當前圖片中的複數個對應的範本區域決定範本匹配成本。分層結構指定了反覆運算程序用以對運動進行細化,從粗精度(例如,四分之一圖元)開始,到精細精度(例如,1/8圖元)結束。在一個實例中,視訊解碼器可以被配置為首先利用菱形圖案以四分之一亮度取樣精度,隨後利用交叉圖案以四分之一亮度取樣精度,隨後利用交叉圖案以八分之一亮度取樣精度,搜尋運動向量。運動向量細化的搜尋範圍可以例如被設置為等於在初始運動向量周圍的(-8, +8)個亮度取樣。
然而,無論被細化的運動向量的運動向量精度如何,而皆以四分之一圖元步長開始運動向量細化程序,可能在一些譯碼場景中引入不希望的複雜度和捨入誤差,此舉可能導致該等譯碼場景的譯碼增益態樣的效能較低。為了解決該潛在問題,本案內容描述了用於將在範本匹配中使用的最精細運動向量精度與正被細化的運動向量的運動向量精度對準的技術。亦即,對於決定的運動向量精度,(亦即,4圖元、1圖元、半圖元、四分之一圖元、1/8圖元、1/16圖元以及針對所有冪2精度的圖元),可以配置視訊解碼器,使得範本匹配的細化程序在與被定義的運動向量的精度相同的運動向量精度處停止,並且不超過該精度。因此,經範本匹配細化的運動向量具有等於或大於初始運動向量的運動向量精度的運動向量精度。
可以基於初始運動向量的運動向量精度來決定利用分層搜尋圖案的範本匹配運動向量細化程序的初始步長大小。初始步長的精度可以與初始運動向量的精度相同或更大。一般而言,當初始運動向量具有N圖元運動向量精度時(例如,N是2的冪數,包括4、1、1/2、1/4、1/8、1/16),初始步長可以是M圖元,其被設置為等於N、2N、4N或具有冪2比例的更大值。經由從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長為止,本案內容的技術可以產生關於降低上述複雜度和捨入誤差的優點。
本案內容一般性地描述與解碼器側運動向量推導技術相關的技術,例如,範本匹配、雙邊匹配和解碼器側MV細化。儘管該等技術被稱為在解碼器側執行,但應該理解,本文描述的解碼器側運動向量推導技術亦可以由視訊編碼器執行,作為決定如何編碼視訊資料區塊的一部分。本案內容的技術可以被應用於任何現有視訊轉碼器,例如,高效視訊譯碼(HEVC)、多功能視訊譯碼(VVC)、基本視訊譯碼(EVC),或成為未來視訊譯碼標準中的高效譯碼工具。
圖1是圖示可以執行本案內容的技術的示例性視訊編碼和解碼系統100的方塊圖。本案內容的技術通常針對對視訊資料進行譯碼(編碼及/或解碼)。通常,視訊資料包括用於處理視訊的任何資料。因此,視訊資料可以包括原始的、未經編碼的視訊、經編碼的視訊、經解碼的(例如,經重構的)視訊以及視訊中繼資料(諸如信號傳遞資料)。
如圖1所示,在本實例中,系統100包括源設備102,該源設備102提供要由目的地設備116解碼並顯示的經編碼的視訊資料。具體地,源設備102經由電腦可讀取媒體110向目的地設備116提供視訊資料。源設備102和目的地設備116可以包括多種設備中的任何一種,包括桌上型電腦、筆記本(亦即,膝上型)電腦、行動設備、平板電腦、機上盒、諸如智慧手機的電話手持設備、電視、相機、顯示設備、數位媒體播放機、視訊遊戲控制台、視訊串流設備、廣播接收器設備等。在一些情況下,源設備102和目的地設備116可以被配備用於無線通訊,並從而可以被稱為無線通訊設備。
在圖1的實例中,源設備102包括視訊源104、記憶體106、視訊編碼器200和輸出介面108。目的地設備116包括輸入介面122、視訊解碼器300、記憶體120和顯示設備118。根據本案內容,源設備102的視訊編碼器200和目的設備116的視訊解碼器300可以被配置為應用本文描述的解碼器側運動向量推導技術。從而,源設備102表示視訊編碼設備的實例,而目的地設備116表示視訊解碼設備的實例。在其他實例中,源設備和目的地設備可以包括其他元件或佈置。例如,源設備102可以從外部視訊源(諸如外部相機)接收視訊資料。同樣,目的地設備116可以與外部顯示設備以介面進行連接,而不是包括整合顯示設備。
如圖1所示的系統100僅僅是一個實例。通常,任何數位視訊編碼及/或解碼設備皆可以執行本文描述的解碼器側運動向量推導技術。源設備102和目的地設備116僅僅是此種譯碼設備的實例,其中源設備102產生經譯碼的視訊資料以用於到目的地設備116的傳輸。本案內容將「譯碼」設備稱為執行資料譯碼(編碼及/或解碼)的設備。從而,視訊編碼器200和視訊解碼器300分別表示譯碼設備的實例,具體地,分別表示視訊編碼器和視訊解碼器的實例。在一些實例中,源設備102和目的地設備116可以以基本對稱的方式進行操作,使得源設備102和目的地設備116中的每一個皆包括視訊編碼和解碼用元件。因此,系統100可以支援源設備102和目的地設備116之間的單向或雙向視訊傳輸,例如,用於視訊串流、視訊重播、視訊廣播或視訊電話。
通常,視訊源104表示視訊資料的源(亦即,原始的、未經編碼的視訊資料),並向視訊編碼器200提供視訊資料的一些列連續圖片(亦稱為「訊框」),其中視訊編碼器200對針對圖片的資料進行編碼。源設備102的視訊源104可以包括視訊擷取設備,諸如視訊相機、包含先前擷取的原始視訊的視訊存檔,及/或用以從視訊內容提供者接收視訊的視訊饋送介面。作為另一替代方案,視訊源104可以產生基於電腦圖形的資料作為源視訊,或者產生即時視訊、經存檔的視訊和經電腦產生的視訊的組合。在每種情況下,視訊編碼器200皆對經擷取的、預擷取的或經電腦產生的視訊資料進行編碼。視訊編碼器200可以將圖片從接收順序(有時稱為「顯示順序」)重佈置成譯碼順序以用於進行譯碼。視訊編碼器200可以產生包括經編碼的視訊資料的位元串流。源設備102隨後可以經由輸出介面108將經編碼的視訊資料輸出到電腦可讀取媒體110上,以供例如目的地設備116的輸入介面122接收及/或取得。
源設備102的記憶體106和目的設備116的記憶體120表示通用記憶體。在一些實例中,記憶體106、120可以儲存原始視訊資料,例如,來自視訊源104的原始視訊和來自視訊解碼器300的經解碼的原始視訊資料。另外或替代地,記憶體106、120可以儲存分別由例如視訊編碼器200和視訊解碼器300可執行的軟體指令。儘管在本實例中,記憶體106和記憶體120與視訊編碼器200和視訊解碼器300分開圖示,但是應理解,視訊編碼器200和視訊解碼器300亦可以包括用於功能相似或等效目的的內部記憶體。此外,記憶體106、120可以儲存經編碼的視訊資料,例如,從視訊編碼器200輸出並輸入到視訊解碼器300的經編碼的視訊資料。在一些實例中,記憶體106、120的部分可以被分配作為一或多個視訊緩衝器,例如,用於儲存原始視訊資料、經解碼的視訊資料及/或經編碼的視訊資料。
電腦可讀取媒體110可以表示能夠將經編碼的視訊資料從源設備102傳輸到目的地設備116的任何類型的媒體或設備。在一個實例中,電腦可讀取媒體110表示使源設備102能夠例如經由射頻網路或基於電腦的網路即時地將經編碼的視訊資料直接傳輸到目的地設備116的通訊媒體。根據諸如無線通訊協定的通訊標準,輸出介面108可以調制包括經編碼的視訊資料的傳輸信號,並且輸入介面122可以解調所接收的傳輸信號。通訊媒體可以包括任何無線或有線通訊媒體,例如射頻(RF)頻譜或一或多條實體傳輸線。通訊媒體可以形成基於封包的網路的一部分,諸如區域網路、廣域網路或諸如網際網路的全球網路。通訊媒體可包括路由器、交換機、基地站或可以用於促進從源設備102向目的地設備116的通訊的任何其他設備。
在一些實例中,源設備102可以將經編碼的資料從輸出介面108輸出到儲存設備112。類似地,目的地設備116可以經由輸入介面122從儲存設備112存取經編碼的資料。儲存設備112可以包括各種分散式的或本端存取的資料儲存媒體中的任何一種,諸如硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體,或者用於儲存經編碼的視訊資料的任何其他合適的數位儲存媒體。
在一些實例中,源設備102可以輸出經編碼的視訊資料到檔案伺服器114或可以儲存由源設備102產生的經編碼的視訊資料的另一中間儲存設備。目的地設備116可以經由串流或下載來從檔案伺服器114存取經儲存的視訊資料。
檔案伺服器114可以是能夠儲存經編碼的視訊資料並將該經編碼的視訊資料傳輸給目的地設備116的任何類型的伺服器設備。檔案伺服器114可以代表網頁服務器(例如,用於網站)、被配置為提供檔案傳送通訊協定服務(例如檔案傳送協定(FTP)或單向傳輸檔案遞送(FLUTE)協定)的伺服器、內容遞送網路(CDN)設備、超文字傳送協定(HTTP)伺服器、多媒體廣播多播服務(MBMS)或增強型MBMS(eMBMS)伺服器,及/或網路附加儲存(NAS)設備。檔案伺服器114可以附加地或替代地實現一或多個HTTP串流協定,例如,基於HTTP的動態自我調整串流(DASH)、HTTP即時串流(HLS)、即時串流協定(RTSP)、HTTP動態串流等。
目的地設備116可以經由包括網際網路連接的任何標準資料連接來從檔案伺服器114存取經編碼的視訊資料。該連接可以包括無線通道(例如,Wi-Fi連接)、有線連接(例如,數位用戶線路(DSL)、纜線數據機等)或兩者的組合,其適於存取儲存在檔案伺服器114上的經編碼的視訊資料。輸入介面122可以被配置為根據上文論述的用於從檔案伺服器114取得或接收媒體資料的任何一或多個協定或用於取得媒體資料的其他此類協定進行操作。
輸出介面108和輸入介面122可以表示無線傳輸器/接收器、數據機、有線網路元件(例如,乙太網路卡)、根據各種IEEE 802.11標準中的任何一種進行操作的無線通訊元件,或其他實體元件。在輸出介面108和輸入介面122包括無線元件的實例中,輸出介面108和輸入介面122可以被配置為根據蜂巢通訊標準(諸如4G、4G-LTE(長期進化)、改進的LTE、5G等)傳送資料,諸如經編碼的視訊資料。在輸出介面108包括無線傳輸器的一些實例中,輸出介面108和輸入介面122可以被配置為根據其他無線標準(諸如IEEE 802.11規範、IEEE 802.15規範(例如ZigBee TM)、Bluetooth TM標準等)傳送資料,諸如經編碼的視訊資料。在一些實例中,源設備102及/或目的地設備116可以包括相應的晶片上系統(SoC)元件。例如,源設備102可以包括用於執行歸因於視訊編碼器200及/或輸出介面108的功能的SoC元件,並且目的地設備116可以包括用於執行歸因於視訊解碼器300及/或輸入介面122的功能的SoC元件。
本案內容的技術可以應用於視訊譯碼,以支援各種多媒體應用中的任何一種,諸如,空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(例如,基於HTTP的動態自我調整串流(DASH))、編碼到資料儲存媒體上的數位視訊、對儲存在資料儲存媒體上的數位視訊的解碼,或其他應用。
目的地設備116的輸入介面122從電腦可讀取媒體110(例如,通訊媒體、儲存設備112、檔案伺服器114等)接收經編碼的視訊位元串流。經編碼的視訊位元串流可以包括由視訊編碼器200定義的信號傳遞資訊(其亦由視訊解碼器300使用),例如具有用於描述視訊區塊或其他經譯碼的單元(例如,條帶、圖片、圖片群組、序列等)的特性及/或處理的值的語法元素。顯示設備118向使用者顯示經解碼的視訊資料的經解碼的圖片。顯示設備118可以表示各種顯示設備中的任何一種,諸如,液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型的顯示設備。
儘管未在圖1中圖示,但是在一些實例中,視訊編碼器200和視訊解碼器300可以各自與音訊編碼器及/或音訊解碼器整合,並且可以包括適當的MUX-DEMUX單元或其他硬體及/或軟體,以處理包括共用資料串流中的音訊和視訊的多工串流。當適用時,MUX-DEMUX單元可以遵照ITU H.223多工器協定或諸如使用者資料包通訊協定(UDP)的其他協定。
視訊編碼器200和視訊解碼器300可以各自被實現為各種合適的編碼器電路及/或解碼器電路系統中的任何一種,諸如,一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)、個別邏輯、軟體、硬體、韌體或其任何組合。當技術部分地實現在軟體中時,設備可以將用於軟體的指令儲存在適合的非暫時性電腦可讀取媒體中,並且使用一或多個處理器在硬體中執行該等指令以執行本案內容的技術。視訊編碼器200和視訊解碼器300中的每一個可以包括在一或多個編碼器或解碼器中,其中任何一個皆可以作為組合式編碼器/解碼器(CODEC)的一部分整合在相應的設備中。包括視訊編碼器200及/或視訊解碼器300的設備可以包括積體電路、微處理器及/或無線通訊設備,例如蜂巢式電話。
視訊編碼器200和視訊解碼器300可以根據視訊譯碼標準(諸如,ITU-T H.265,亦稱為高效視訊譯碼(HEVC))或其擴展(諸如,範圍擴展、多視圖擴展(MV-HEVC)或可伸縮擴展(SHVC))進行操作。另外或者替代地,視訊編碼器200和視訊解碼器300可以根據其他專有標準或行業標準(諸如,ITU-T H.266,亦稱為通用視訊譯碼(VVC))進行操作。
通常,視訊編碼器200和視訊解碼器300可以執行對圖片的基於區塊的譯碼。術語「區塊」通常指包括要經處理的(例如,經編碼的、經解碼的或在編碼及/或解碼程序中以其他方式使用的)資料的結構。例如,區塊可以包括亮度(luminance)資料及/或色度(chrominance)資料的取樣的二維矩陣。通常,視訊編碼器200和視訊解碼器300可以對以YUV(例如,Y、Cb、Cr)格式表示的視訊資料進行譯碼。亦即,視訊編碼器200和視訊解碼器300可以對亮度分量和色度分量進行譯碼,而不是對用於圖片的取樣的紅、綠和藍(RGB)資料進行譯碼,其中色度分量可以包括紅色調色度分量和藍色調色度分量。在一些實例中,視訊編碼器200在進行編碼之前將接收到的RGB格式的資料轉換為YUV表示,並且視訊解碼器300將YUV表示轉換為RGB格式。或者,預處理單元和後處理單元(未圖示)可以執行該等轉換。
本案內容通常涉及對圖片的譯碼(例如,編碼和解碼)以包括關於對圖片的資料進行編碼或解碼的程序。類似地,本案內容可以涉及對圖片的區塊的譯碼以包括關於對針對區塊的資料進行編碼或解碼的程序,例如,預測譯碼及/或殘差譯碼。經編碼的視訊位元串流通常包括針對用於表示譯碼決策(例如,譯碼模式)以及將圖片劃分成區塊的語法元素的一系列值。從而,提及對圖片或區塊進行譯碼通常應被理解為對針對形成圖片或區塊的語法元素的值進行譯碼。
HEVC定義了各種區塊,包括譯碼單元(CU)、預測單元(PU)和變換單元(TU)。根據HEVC,視訊譯碼器(例如視訊編碼器200)根據四叉樹結構將譯碼樹單元(CTU)劃分為CU。亦即,視訊譯碼器將CTU和CU劃分為四個相等的、不重疊的正方形,四叉樹的每個節點有零個或四個子節點。沒有子節點的節點可以被稱為「蔓葉線節點」,並且此類蔓葉線節點的CU可以包括一或多個PU及/或一或多個TU。視訊譯碼器可以進一步劃分PU和TU。例如,在HEVC中,殘差四叉樹(RQT)表示對TU進行的劃分。在HEVC中,PU表示訊框間預測資料,TU表示殘差資料。經訊框內預測的CU包括訊框內預測資訊,諸如,訊框內模式指示。
作為另一實例,視訊編碼器200和視訊解碼器300可以被配置為根據VVC進行操作。根據VVC,視訊譯碼器(諸如,視訊編碼器200)將圖片劃分成複數個譯碼樹單元(CTU)。視訊編碼器200可以根據樹結構(諸如,四叉樹二叉樹(QTBT)結構或多類型樹(MTT)結構)來劃分CTU。QTBT結構消除了多種劃分類型的概念,諸如,在HEVC的CU、PU和TU之間的分開。QTBT結構包括兩個級:根據四叉樹劃分來被劃分的第一級,以及根據二叉樹劃分來被劃分的第二級。QTBT結構的根節點對應於CTU。二叉樹的蔓葉線節點對應於CU。
在MTT劃分結構中,可以使用四叉樹(QT)劃分、二叉樹(BT)劃分和一或多個類型的三叉樹(TT)(亦稱為三分樹(TT))劃分來對區塊進行劃分。三叉或三分樹劃分是用於將區塊分離成三個子區塊的劃分。在一些實例中,三叉或三分樹劃分將區塊分割成三個子區塊,其中不經由中心分割原始區塊。MTT中的劃分類型(例如QT、BT和TT)可以是對稱的或不對稱的。
在一些實例中,視訊編碼器200和視訊解碼器300可以使用單個QTBT或MTT結構來表示亮度分量和色度分量中的每一個,而在其他實例中,視訊編碼器200和視訊解碼器300可以使用兩個或更多個QTBT或MTT結構,諸如,用於亮度分量的一個QTBT/MTT結構和用於兩個色度分量的另一個QTBT/MTT結構(或用於相應的色度分量的兩個QTBT/MTT結構)。
視訊編碼器200和視訊解碼器300可以被配置為使用根據HEVC的四叉樹劃分、QTBT劃分、MTT劃分或其他劃分結構。為了解釋的目的,關於QTBT劃分來呈現對本案內容的技術的描述。然而,應當理解,本案內容的技術亦可以應用於被配置為使用四叉樹劃分或其他類型的劃分的視訊譯碼器。
在一些實例中,CTU包括亮度取樣的譯碼樹區塊(CTB)、具有三個取樣陣列的圖片的色度取樣的兩個對應的CTB,或者單色圖片或經由使用三個分別的顏色平面和用於對取樣進行譯碼的語法結構進行編碼的圖片的取樣的CTB。對於某個N值,CTB可以是NxN取樣區塊,使得將分量分成CTB是劃分。分量是來自組成4:2:0、4:2:2或4:4:4顏色格式的圖片的三個陣列(亮度和兩個色度)之一的陣列或單個取樣,或者該陣列或組成單色格式的圖片的該陣列的單個取樣。在一些實例中,譯碼區塊是針對M和N的一些值的MxN取樣區塊,使得將CTB分成譯碼區塊是劃分。
區塊(例如,CTU或CU)可以在圖片中以各種方式被分類。作為一個實例,磚塊可以指圖片中的特定瓦片內的CTU行的矩形區域。瓦片可以是圖片中的特定瓦片列和特定瓦片行內的CTU的矩形區域。瓦片列是指CTU的矩形區域,其高度等於圖片的高度和由語法元素指定的寬度(例如,在圖片參數集中)。瓦片行是指具有由語法元素(例如,在圖片參數集中)指定的高度和等於圖片寬度的寬度的CTU的矩形區域。
在一些實例中,瓦片可以被劃分為多個磚塊,每個磚塊可以包括瓦片內的一或多個CTU行。未被劃分為多個磚塊的瓦片亦可以稱為磚塊。然而,作為瓦片的真實子集的磚塊可以不被稱為瓦片。
圖片中的磚塊亦可以被排列成條帶。條帶可以是可以排他地包含在單個網路抽象層(NAL)單元中的圖片的整數個磚塊。在一些實例中,條帶包括多個完整瓦片或僅一個瓦片的完整磚塊的連續序列。
本案內容可以互換地使用「NxN」和「N×N」來表示區塊(諸如CU或其他視訊區塊)的在垂直維度和水平維度上的取樣尺寸,例如,16x16取樣或16×16取樣。通常,16x16 CU在垂直方向上有16個取樣(y=16),在水平方向上有16個取樣(x=16)。同樣,NxN CU通常在垂直方向上有N個取樣,在水平方向上有N個取樣,其中N表示非負整數值。CU中的取樣可以按行和列來佈置。此外,CU在水平方向上不必有與在垂直方向上相同數量的取樣。例如,CU可以包括NxM個取樣,其中M不一定等於N。
視訊編碼器200對針對表示預測資訊及/或殘差資訊以及其他資訊的CU的視訊資料進行編碼。預測資訊指示如何預測CU以便形成針對CU的預測區塊。殘差資訊通常表示在進行編碼之前的CU的取樣與預測區塊之間的逐取樣差異。
為了預測CU,視訊編碼器200通常可以經由訊框間預測或訊框內預測來形成針對CU的預測區塊。訊框間預測通常指根據經先前譯碼的圖片的資料來預測CU,而訊框內預測通常指根據相同圖片的經先前譯碼的資料來預測CU。為了執行訊框間預測,視訊編碼器200可以使用一或多個運動向量來產生預測區塊。視訊編碼器200通常可以執行運動搜尋,以辨識與CU例如就CU與參考區塊之間的差異而言接近地匹配的參考區塊。視訊編碼器200可以使用絕對差的和(SAD)、平方差的和(SSD)、平均絕對差(MAD)、均方差(MSD)或其他此類差計算以計算差異度量,以決定參考區塊是否與當前CU接近地匹配。在一些實例中,視訊編碼器200可以使用單向預測或雙向預測來預測當前CU。
VVC的一些實例亦提供仿射運動補償模式,其可以被視為訊框間預測模式。在仿射運動補償模式中,視訊編碼器200可以決定表示非平移運動的兩個或更多個運動向量,例如,放大或縮小、旋轉、透視運動或其他不規則運動類型。
為了執行訊框內預測,視訊編碼器200可以選擇訊框內預測模式以產生預測區塊。VVC的一些實例提供了67種訊框內預測模式,包括各種方向模式,以及平面模式和DC模式。通常,視訊編碼器200選擇訊框內預測模式,該訊框內預測模式描述對當前區塊(例如,CU的區塊)的相鄰取樣,其中從相鄰取樣預測當前區塊的取樣。假設視訊編碼器200以光柵掃瞄順序(從左到右、從上到下)對CTU和CU進行譯碼,此種取樣通常可以在與當前區塊相比相同的圖片中的當前區塊的上方、左上方,或者左。
視訊編碼器200對表示用於當前區塊的預測模式的資料進行編碼。例如,對於訊框間預測模式,視訊編碼器200可以對表示使用了各種可用的訊框間預測模式中的何種訊框間預測模式,以及針對對應的模式的運動資訊的資料進行編碼。例如,對於單向訊框間預測或雙向訊框間預測,視訊編碼器200可以使用AMVP或合併模式對運動向量進行編碼。視訊編碼器200可以使用類似的模式,以編碼針對仿射運動補償模式的運動向量。
在諸如對區塊的訊框內預測或訊框間預測之類的預測之後,視訊編碼器200可以計算針對區塊的殘差資料。諸如殘差區塊的殘差資料表示區塊與使用對應的預測模式形成的針對區塊的預測區塊之間的逐取樣差異。視訊編碼器200可以對殘差區塊應用一或多個變換,以在變換域而不是取樣域中產生經變換的資料。例如,視訊編碼器200可以對殘差視訊資料應用離散餘弦變換(DCT)、整數變換、小波變換或概念上類似的變換。另外,視訊編碼器200可以在第一變換之後應用第二變換,諸如,模式相關的不可分二次變換(MDNSST)、信號相關變換、Karhunen-Loeve變換(KLT)等。視訊編碼器200在應用一或多個變換之後產生變換係數。
如前述,在用以產生變換係數的任何變換之後,視訊編碼器200可以執行對變換係數的量化。量化通常指用於將變換係數量化以可能減少用於表示變換係數的資料的量,從而提供進一步的壓縮的程序。經由執行量化程序,視訊編碼器200可以減小與部分或全部變換係數相關聯的位元深度。例如,視訊編碼器200可以在量化期間將 n-位元的值向下捨入成 m-位元的值,其中 n大於 m。在一些實例中,為了執行量化,視訊編碼器200可以執行對要被量化的值的逐位元右移。
在量化之後,視訊編碼器200可以掃瞄變換係數,根據包括經量化的變換係數的二維矩陣來產生一維向量。掃瞄可以被設計為:在向量的前面放置較高能量的(並從而較低頻率的)變換係數,並在向量的後面放置較低能量的(並從而較高頻率的)變換係數。在一些實例中,視訊編碼器200可以利用預定義的掃瞄順序,以掃瞄經量化的變換係數,以產生序列化的向量,並且隨後對向量的經量化的變換係數進行熵編碼。在其他實例中,視訊編碼器200可以執行自我調整掃瞄。在掃瞄經量化的變換係數以形成一維向量之後,視訊編碼器200可以例如根據上下文自我調整二進位算術譯碼(CABAC),來對一維向量進行熵編碼。視訊編碼器200亦可以對針對用於描述與經編碼的視訊資料相關聯的中繼資料的語法元素的值進行熵編碼,以供視訊解碼器300在解碼視訊資料時使用。
為了執行CABAC,視訊編碼器200可以將上下文模型內的上下文指派給要傳輸的符號。例如,上下文可以關於符號的相鄰值是否為零值。概率決定可以是基於被指派給符號的上下文的。
視訊編碼器200亦可以例如在圖片頭、區塊頭、條帶頭或其他語法資料(諸如,序列參數集(SPS)、圖片參數集(PPS),或視訊參數集(VPS))中,產生去往視訊解碼器300的語法資料,諸如,基於區塊的語法資料、基於圖片的語法資料和基於序列的語法資料。視訊解碼器300同樣可以解碼此種語法資料,以決定如何解碼對應的視訊資料。
以此種方式,視訊編碼器200可以產生位元串流,該位元串流包括經編碼的視訊資料,例如,用於描述將圖片劃分成區塊(例如,CU)的劃分以及針對區塊的預測資訊及/或殘差資訊的語法元素。最終,視訊解碼器300可以接收位元串流並解碼經編碼的視訊資料。
通常,視訊解碼器300執行與視訊編碼器200執行的程序相互的程序,以解碼位元串流的經編碼的視訊資料。例如,視訊解碼器300可以使用CABAC以與視訊編碼器200的CABAC編碼程序基本類似的(儘管相互的)方式,來解碼針對位元串流的語法元素的值。語法元素可以定義:用於將圖片劃分成CTU的劃分資訊,以及根據對應的劃分結構(諸如QTBT結構)對每個CTU進行劃分以定義CTU的CU。語法元素亦可以定義針對視訊資料的區塊(例如,CU)的預測和殘差資訊。
殘差資訊可以由例如經量化的變換係數來表示。視訊解碼器300可以將區塊的經量化的變換係數逆量化(inverse quantize)和逆變換(inverse transform),以再生針對該區塊的殘差區塊。視訊解碼器300使用以信號傳遞傳輸的預測模式(訊框內預測或訊框間預測)和相關的預測資訊(例如,用於訊框間預測的運動資訊)以形成針對該區塊的預測區塊。隨後,視訊解碼器300可以(在逐取樣的基礎上)組合預測區塊和殘差區塊以再生原始區塊。視訊解碼器300可以執行另外的處理,諸如執行去區塊程序以減少沿區塊的邊界的視覺偽影(visual artifacts)。
本案內容通常可以提及「以信號傳輸」特定資訊,例如語法元素。術語「以信號傳輸」通常可以指對針對被用於解碼經編碼的視訊資料的語法元素及/或其他資料的值的傳送。亦即,視訊編碼器200可以以信號傳輸針對位元串流中的語法元素的值。通常,信號傳輸指產生位元串流中的值。如前述,源設備102可以基本上即時地或不即時地將位元串流傳輸給目的地設備116,諸如,可能發生在將語法元素儲存到儲存設備112以供目的地設備116稍後取得時。
圖2A和圖2B是圖示示例性四叉樹二叉樹(QTBT)結構130和對應的譯碼樹單元(CTU)132的概念圖。實線表示四叉樹分離,虛線表示二叉樹分離。在二叉樹的每個經分離的(亦即,非葉)節點中,一個標誌被以信號傳輸以指示使用了何種分離類型(亦即,水平或垂直),其中在此實例中,0表示水平分離,1表示垂直分離。對於四叉樹分離,不需要指示分離類型,此情形是因為四叉樹節點將區塊水平地且垂直地分離成大小相等的4個子區塊。相應地,視訊編碼器200可以編碼並且視訊解碼器300可以解碼針對QTBT結構130中的區域樹級(亦即,實線)的語法元素(例如,分離資訊)和針對QTBT結構130中的預測樹級(亦即,虛線)的語法元素(例如,分離資訊)。視訊編碼器200可以編碼並且視訊解碼器300可以解碼針對由QTBT結構130中的終端蔓葉線節點表示的CU的視訊資料,諸如,預測資料和變換資料。
通常,圖2B的CTU 132可以與用於定義與在第一級和第二級處的QTBT結構130中的節點對應的區塊的大小的參數相關聯。該等參數可以包括CTU大小(表示取樣中CTU 132的大小)、最小四叉樹大小(MinQTSize,表示允許的最小四叉樹蔓葉線節點大小)、最大二叉樹大小(MaxBTSize,表示允許的最大二叉樹根節點大小)、最大二叉樹深度(MaxBTDepth,表示允許的最大二叉樹深度)和最小二叉樹大小(MinBTSize,表示允許的最小二叉樹蔓葉線節點大小)。
與CTU對應的QTBT結構的根節點可以在QTBT結構的第一層級處具有四個子節點,每個子節點可以按照四叉樹劃分來被劃分。亦即,第一級的節點要麼是蔓葉線節點(沒有子節點),要麼有四個子節點。QTBT結構130的實例表示此種節點包括父節點和具有用於分支的實線的子節點。若第一級的節點不大於允許的最大二叉樹根節點大小(MaxBTSize),則可以經由相應的二叉樹來進一步劃分該等節點。可以反覆運算地進行對一個節點的二叉樹分離,直到經由分離產生的節點達到允許的最小二叉樹蔓葉線節點大小(MinBTSize)或允許的最大二叉樹深度(MaxBTDepth)為止。QTBT結構130的實例表示此種節點具有用於分支的虛線。二叉樹蔓葉線節點被稱為CU,其被用於預測(例如,圖片內預測或圖片間預測)和變換,而不需要進行任何進一步的劃分。如前述,CU亦可以被稱為「視訊區塊」或「區塊」。
在QTBT劃分結構的一個實例中,CTU大小被設為128x128(亮度取樣和兩個對應的64x64色度取樣),MinQTSize被設為16x16,MaxBTSize被設為64x64,MinBTSize(對於寬度和高度兩者)被設為4,MaxBTDepth被設為4。首先對CTU應用四叉樹劃分,以產生四叉樹蔓葉線節點。四叉樹蔓葉線節點可以具有從16x16(亦即MinQTSize)到128x128(亦即CTU大小)的大小。若四叉樹蔓葉線節點是128x128,則該四叉樹蔓葉線節點可以不經由二叉樹被進一步分離,此情形是因為其大小超過了MaxBTSize(亦即,在本例中為64x64)。否則,四叉樹蔓葉線節點可以經由二叉樹被進一步劃分。因此,四叉樹蔓葉線節點亦是二叉樹的根節點,並且具有為0的二叉樹深度。當二叉樹深度達到MaxBTDepth(本例中為4)時,不允許進行進一步分離。二叉樹節點具有等於MinBTSize(本例中為4)的寬度意味著:對於二叉樹節點,不允許進行進一步的垂直分離(亦即,對寬度進行分割)。類似地,二叉樹節點具有等於MinBTSize的高度意味著:針對該二叉樹節點,不允許執行進一步的水平分離(亦即,對高度進行分割)。如前述,二叉樹的蔓葉線節點被稱為CU,並且根據預測和變換進行進一步處理而無需進一步劃分。
在HEVC中,條帶中最大的譯碼單元是CTB,亦稱為CTU。CTB包含四叉樹,其節點是CU。在HEVC主簡介中,CTB的大小通常範圍為16x16到64x64,儘管在某些情況下亦可能支援與8x8一樣小的CTB大小。CU的大小範圍可以從與CTB相同的大小到小至8x8的大小。每個CU使用一種譯碼模式(例如,訊框間或訊框內)進行編碼。當對CU進行訊框間譯碼時,CU可能進一步劃分為2個或4個PU,或者若不應用進一步的劃分,則可能僅變成一個PU。當一個CU中存在兩個PU時,兩個PU可以是一半大小的矩形,或兩個大小為CU大小的1/4或3/4的矩形。
當對CU進行訊框間譯碼時,每個PU具有運動資訊集合,該運動資訊集合是利用唯一的訊框間預測模式推導的。在HEVC標準中,對於PU,有兩種訊框間預測模式,分別稱為合併模式(其中跳過模式被認為是合併模式的一種特殊情況)和AMVP模式。
在AMVP或合併模式中,視訊編碼器200和視訊解碼器300可以被配置以維持運動向量(MV)候選列表,其中該列表包括多個運動向量預測器。視訊編碼器200和視訊解碼器300可以被配置為經由從MV候選列表中選擇候選,來產生針對當前PU的運動向量以及在合併模式中的參考索引。
在HEVC中,MV候選列表包含多達5個用於合併模式的候選並且僅包含兩個用於AMVP模式的候選。合併候選可以包含運動資訊集合,例如,對應於參考圖片列表(列表0和列表1)的運動向量和參考索引。若合併候選由合併索引來辨識,則視訊編碼器200和視訊解碼器300可以被配置為基於所選擇的候選來決定用於對當前區塊的預測的參考圖片以及相關聯的運動向量。相比而言,對於AMVP模式,對於來自列表0或列表1的每個潛在預測方向,參考索引與對MV候選列表的MV預測器(MVP)索引一起被顯式地以信號傳輸。在AMVP模式中,所預測的運動向量可以經由例如接收可以加到MVP的運動向量差來進一步細化。兩種模式中的候選列表的候選可以類似地根據相同的空間和時間相鄰區塊來推導。
圖3A是圖示用於合併模式的空間相鄰運動向量候選的實例的概念圖。視訊解碼器300可以經由將空間相鄰候選的運動資訊添加到候選列表來產生候選列表。針對特定的PU(PU0),空間MV候選是根據圖3A和圖3B中所示的相鄰區塊推導的,但是對於合併和AMVP模式,用於根據區塊產生候選的程序可能不同。在合併模式中,最多可以針對區塊140(PU0)推導多至5個空間MV候選,其順序如圖3A所示。順序如下:左(0)、上(1)、右上(2)、左下(3)、左上(4),如圖3A所示。
圖3B是圖示用於AMVP的空間相鄰運動向量候選的實例的概念圖。在AMVP模式中,區塊142(PU0)的相鄰區塊被分為兩組:包括區塊0和1的左側群組,以及包括區塊2、3和4的上方群組,如圖3B所示。對於每個群組,在相鄰區塊中的參考與由以信號傳輸的參考所指示的參考圖片相同的參考圖片的潛在候選被優先化,以形成該群組的最終候選。可能所有相鄰區塊皆不包含指向相同的參考圖片的運動向量。因此,若不能找到此種候選,則可以按比例調整第一可用候選以形成最終候選,從而允許補償時間距離差。
現在將論述HEVC中的時間運動向量預測。視訊編碼器200和視訊解碼器300可以被配置為在添加空間運動向量候選之後,將時間運動向量預測器(TMVP)候選(若被啟用且可用)添加到MV候選列表中。對於合併和AMVP模式,TMVP候選的運動向量推導程序可能是相同的。然而,在HEVC中,在合併模式下針對TMVP候選的目標參考索引可以設置為0。
圖4A是圖示針對區塊144(PU0)的TMVP候選的實例的概念圖。用於TMVP候選推導的主要區塊位置是在共置的PU外的右下區塊,在圖4A中顯示為區塊「T」,用以補償用於產生空間相鄰候選的上方區塊和左側區塊的偏差。然而,若該區塊位於當前CTB行之外或運動資訊不可用,則該區塊被PU的中心區塊替換。
視訊解碼器300可以根據以條帶級別指示的共置的圖片的共置的PU推導用於TMVP候選的運動向量。共置的PU的運動向量稱為共置的MV。例如,若參考圖片中的區塊和當前區塊皆包括對應於參考圖片和當前圖片中的相同的相對位置的至少一個圖元,則參考圖片中的區塊可以例如被認為是與當前圖片中的區塊共置的。
圖4B是圖示運動向量按比例調整程序146的實例的概念時序圖。類似於AVC中的時間直接模式,為了推導TMVP候選運動向量,視訊解碼器300可以按比例調整共置的MV以補償時間距離差,如圖4B所示。對於運動向量按比例調整,通常假設,在呈現時間中,運動向量的值是與圖片的距離成正比的。運動向量將兩個圖片關聯起來,亦即參考圖片和包含運動向量的圖片(亦即,包含圖片)。當利用運動向量來預測另一運動向量時,包含圖片和參考圖片的距離是基於圖片順序計數(POC)值計算的。
對於被預測的運動向量,相關聯的包含圖片和參考圖片可能不同。因此,可以計算基於POC的新距離,並且可以基於該兩個POC距離來按比例調整運動向量。對於空間相鄰候選,兩個運動向量的包含圖片是相同的,而參考圖片是不同的。在HEVC中,運動向量按比例調整適用於空間和時間相鄰候選的TMVP和AMVP兩者。
視訊編碼器200和視訊解碼器300可以被配置為執行偽運動向量候選產生。若運動向量候選列表不完整(例如,少於某個預定數量個候選),則產生偽運動向量候選並將其插入到列表的末尾,直到列表具有指定數量個候選。
在合併模式中,有兩種類型的偽MV候選:僅針對B條帶推導的組合候選和當第一種類型沒有提供足夠的偽候選時被用於AMVP的零運動向量候選。
對於已經在候選列表中並且具有必要運動資訊的每一對候選,經由參考列表0中的圖片的第一候選的運動向量與參考列表1中的圖片的第二候選的運動向量的組合,來推導雙向組合運動向量候選。
視訊編碼器200和視訊解碼器300可以被配置為執行用於候選插入的修剪程序。來自不同的區塊的候選可能恰好是相同的,此舉降低了合併/AMVP候選列表的效率。應用修剪程序來解決該問題。修剪程序將一個候選與當前候選列表中的其他候選進行比較,以在一定程度上避免插入相同的候選。為了降低複雜度,僅應用了有限數量個修剪程序,而不是將每個潛在候選與所有其他現有候選進行比較。
視訊編碼器200和視訊解碼器300可以被配置為執行範本匹配(TM)預測。TM預測是基於訊框率升頻轉換(FRUC)技術的特殊合併模式。在此種模式下,區塊的運動資訊不被以信號傳輸,而是在解碼器側推導的。TM預測可以被應用於AMVP模式和一般合併模式兩者。在AMVP模式中,MVP候選選擇是基於範本匹配辨識候選來決定的,該候選導致當前區塊範本和參考區塊範本之間的最小差異。在一般合併模式下,可以以信號傳輸TM模式標誌,以指示使用TM,隨後可以將TM應用於由合併索引指示的合併候選以進行MV細化。
圖5圖示對在初始MV周圍的搜尋區域執行的示例性範本匹配程序。如圖5所示,視訊編碼器200和視訊解碼器300可以被配置為使用範本匹配來經由找到在當前圖片150中的當前範本148(當前CU的上相鄰區塊及/或左相鄰區塊)與參考圖片154中的用於參考區塊(與範本相同大小)的在參考範本152內的範本之間的最接近匹配,來推導當前CU的運動資訊。利用基於初始匹配誤差選擇的AMVP候選,視訊編碼器200和視訊解碼器300可以利用範本匹配來細化MVP。使用由以信號傳輸的合併索引指示的合併候選,對應於L0和L1的被合併MV可以經由範本匹配被獨立地細化。隨後可以基於較準確的被合併MV進一步細化被合併MV的較不準確。
視訊編碼器200和視訊解碼器300可以被配置為實現成本函數。當運動向量指向分數取樣位置時,需要運動補償內插。為了降低複雜度,可以將雙線性內插代替一般的8分接點DCT-IF內插,用於範本匹配以在參考圖片中產生範本。範本匹配的示例性匹配成本 C可以計算如下:
Figure 02_image001
其中
Figure 02_image003
是加權因數,其根據經驗被設置為4,
Figure 02_image005
Figure 02_image007
分別指示當前測試MV和初始MV(例如,AMVP模式下的MVP候選或合併模式下的合併MV)。SAD被用作範本匹配的匹配成本。
當使用TM時,視訊編碼器200和視訊解碼器300可以被配置為僅使用亮度取樣來細化運動向量(例如,初始MV)。然而,基於細化決定的運動向量可以被用於MC訊框間預測的亮度和色度兩者。在決定了MV之後,可以使用用於亮度的8分接點內插濾波器和用於色度的4分接點內插濾波器來執行最終的MC。
視訊編碼器200和視訊解碼器300可以被配置為實現搜尋程序。MV細化可以包括基於圖案的MV搜尋程序,其具有範本匹配成本的標準並利用分層結構。支援兩種搜尋圖案-菱形搜尋和交叉搜尋,用於MV細化。分層結構指定了用於細化MV的反覆運算程序,從粗略的MVD精度(例如,四分之一圖元)開始,到更精細的精度(例如,1/8圖元)結束。例如,四分之一圖元MV精度意味著在初始MV周圍的搜尋區域上執行範本匹配程序,以辨識被細化MV,其中搜尋的步長使用亮度取樣距離(或解析度)的四分之一作為(在初始MV和被細化MV之間的)MVD精度。以菱形圖案以四分之一亮度取樣MVD精度,隨後是以交叉圖案以四分之一亮度取樣MVD精度,隨後是以交叉圖案以八分之一亮度取樣MVD細化,直接搜尋MV。MV細化的搜尋範圍被設置為在初始MV周圍的(-8,+8)個亮度取樣。當當前區塊是雙向預測時,兩個MV皆被獨立地細化,隨後其中最好的一個(在匹配成本態樣)被設置為先驗,用以用BCW權重值進一步細化另一MV。
視訊編碼器200和視訊解碼器300可以被配置為執行雙邊匹配預測。雙邊匹配(亦稱為雙邊合併)(BM)預測是另一種基於FRUC技術的合併模式。當將BM模式應用於區塊時,視訊編碼器200和視訊解碼器300可以使用以信號傳輸的合併候選索引推導兩個初始運動向量MV0和MV1,以在被構造的合併列表中選擇合併候選。當實現雙邊匹配時,視訊編碼器200和視訊解碼器300在MV0和MV1周圍進行搜尋並且基於最小雙邊匹配成本推導最終的MV0'和MV1'。
指向兩個參考區塊的運動向量差MVD0(由MV0'–MV0表示)和MVD1(由MV1'–MV1表示)可以與在當前圖片與兩個參考圖片之間的時間距離(TD)(例如,TD0和TD1)成比例。圖6圖示MVD0和MVD1的實例,其中在當前圖片156與參考圖片158之間的距離(TD1)是在當前圖片156與參考圖片160之間的距離(TD0)的4倍。圖6圖示MVD0和MVD1基於時間距離成比例的實例。
然而,有一種可選設計,其中MVD0和MVD1 成鏡像,而不管時間距離TD0和TD1是多少。圖7圖示不管在當前圖片162與參考圖片164之間的時間距離(TD1)以及在當前圖片162與參考圖片166之間的時間距離(TD0)是多少,MVD0和MVD1成鏡像的實例。圖7顯示了成鏡像的MVD0和MVD1的實例,其中TD1是TD0的4倍。
圖8圖示用於實現雙邊匹配的在搜尋範圍[-8, 8]中的3×3方形搜尋圖案的實例。當實現雙邊匹配時,視訊編碼器200和視訊解碼器300可以被配置為在初始MV0和MV1周圍執行局部搜尋以得到最終的MV0'和MV1'。在圖8的實例中,初始MV指向取樣170,最終MV指向取樣172。局部搜尋應用3×3方形搜尋圖案以依次通過搜尋範圍[-8, 8]。取樣174表示在取樣170、172和取樣176周圍的在搜尋範圍內的取樣的實例。取樣176表示對應於在搜尋程序的中間反覆運算期間決定的MV的取樣的實例。在每次搜尋反覆運算中,計算搜尋圖案中8個周圍MV的雙邊匹配成本,並將其與中心MV的雙邊匹配成本進行比較。具有最小雙邊匹配成本的MV成為下一次搜尋反覆運算中的新中心MV。當當前中心MV在3×3方形搜尋圖案內具有最小成本或局部搜尋達到預定義的最大搜尋反覆運算時,終止局部搜尋。
視訊編碼器200和視訊解碼器300可以被配置為執行解碼器側運動向量細化(DMVR)。在VVC中,可以應用DMVR來提高合併模式的MV的準確性。在雙向預測操作中,在參考圖片列表L0和參考圖片列表L1中的初始MV周圍搜尋被細化MV。DMVR程序計算參考圖片列表L0和列表L1中兩個候選區塊之間的失真。
圖9圖示解碼器側運動向量細化的實例。如圖9所示,視訊編碼器200和視訊解碼器300可以被配置為基於在初始MV周圍的每個MV候選計算區塊178與區塊180之間的SAD。具有最低SAD的MV候選成為被細化MV並被用於產生雙向預測信號。
由DMVR程序推導出的被細化MV被用於產生訊框間預測取樣,亦被用於時間運動向量預測,以用於未來的圖片譯碼。而原始MV被用於解區塊程序,亦被用於空間運動向量預測,以用於未來的CU譯碼。DMVR是基於子區塊的合併模式,其利用具有16x16個亮度取樣的預定義的最大處理單元。當CU的寬度及/或高度大於16個亮度取樣時,可以進一步將CU分離成寬度及/或高度等於16個亮度取樣的子區塊。
視訊編碼器200和視訊解碼器300可以被配置為實現搜尋方案。在DVMR中,搜尋點在初始MV周圍,並且MV偏移遵循MV差鏡像規則。換言之,由候選MV對(MV0, MV1)表示的由DMVR檢查的任何點皆遵循以下兩個等式:
Figure 02_image009
Figure 02_image011
其中
Figure 02_image013
表示初始MV與參考圖片之一中的被細化MV之間的細化偏移量。在DMVR中,細化搜尋範圍是來自初始MV的兩個整數亮度取樣。搜尋包括整數取樣偏移搜尋階段和分數取樣細化階段。
視訊編碼器200和視訊解碼器300可以被配置為應用25點全搜尋以進行整數取樣偏移搜尋。首先計算初始MV對的SAD。若初始MV對的SAD小於閾值,則終止DMVR的整數取樣偏移搜尋階段。否則,計算並將按柵掃瞄順序檢查剩餘的24個點的SAD。選擇SAD最小的點作為整數取樣偏移搜尋階段的輸出。為了減少DMVR細化的不確定性帶來的損失,建議在DMVR程序期間優先考慮原始MV。由初始MV候選參考的參考區塊之間的SAD被減少了SAD值的1/4。
在整數取樣搜尋之後,視訊編碼器200和視訊解碼器300可以被配置為執行分數取樣細化。為了節省計算複雜度,經由使用參數誤差面等式來推導分數取樣細化,而不是使用SAD比較進行額外搜尋。基於整數取樣搜尋階段的輸出有條件地引動分數取樣細化。當整數取樣搜尋階段以在第一次反覆運算搜尋或第二次反覆運算搜尋中具有最小SAD的中心結束時,進一步應用分數取樣細化。
在基於參數誤差面的子圖元偏移估計中,中心位置成本和距中心四個相鄰位置的成本被用於擬合以下形式的二維拋物線誤差面等式:
Figure 02_image015
其中(
Figure 02_image017
對應於成本最小的分數位置,C對應於最小成本值。經由使用五個搜尋點的成本值求解上述等式,(
Figure 02_image017
計算為:
Figure 02_image019
Figure 02_image021
Figure 02_image023
Figure 02_image025
的值被自動限制在-8和8之間,此情形是因為所有成本值皆是正的,並且最小值是 E(0, 0)。此情形對應於VVC中具有1/16圖元MV精度的半圖元偏移。計算出的分數
Figure 02_image027
被加到整數距離細化MV以獲得子圖元準確細化增量MV。
視訊編碼器200和視訊解碼器300可以被配置為執行雙線性內插和取樣填充。在VVC中,MV的最大解析度為1/16亮度取樣。使用8分接點內插濾波器對分數位置處的取樣進行內插。在DMVR中,搜尋點在具有整數取樣偏移的初始分數圖元MV周圍,因此需要對該等分數位置的取樣進行內插以進行DMVR搜尋程序。為了降低計算複雜度,使用雙線性內插濾波器以產生分數取樣,用於DMVR中的搜尋程序。另一個重要的效果是:經由使用雙線性濾波器,在2取樣搜尋範圍內,與普通的運動補償程序相比,DVMR不存取較多的參考取樣。在經由DMVR搜尋程序獲得被細化MV之後,應用普通的8分接點內插濾波器來產生最終預測。為了不比普通的MC程序中存取更多的參考取樣,可以從該等可用取樣中,填充基於原始MV對於內插程序不需要的但基於被細化MV對於內插程序需要的取樣。
視訊編碼器200和視訊解碼器300可以被配置為實現用於DMVR的一或多個啟用條件。在一個實例中,視訊編碼器200和視訊解碼器300可以被配置為若以下條件皆被滿足(例如,存在或真),則啟用DMVR。 •具有雙向預測MV的CU級合併模式 •相對於當前圖片,一張參考圖片在過去,另一張參考圖片在未來 •從兩個參考圖片到當前圖片的距離(例如,POC差)相同 •CU擁有超過64個亮度取樣 •CU高度和CU寬度均大於或等於8個亮度取樣 •BCW權重索引指示相等的權重 •對於當前區塊沒有啟用WP •當前區塊不使用被組合訊框內和訊框間預測(CIIP)模式
視訊編碼器200和視訊解碼器300可以被配置為實現利用運動向量差的合併模式(MMVD)。MMVD是一種合併模式,其允許顯式地以信號傳輸額外的運動向量差以細化合並模式的運動場。可以在發送跳過標誌、合併標誌和一般合併標誌之後立即以信號傳輸MMVD標誌,以指示MMVD模式是否被用於CU。在MMVD中,在選擇了合併候選後,經由以信號傳輸的MVD資訊進一步細化合併候選。進一步的資訊包括合併候選標誌、用於指定運動幅度的索引和用於指示運動方向的索引。在MMVD模式下,選擇合併列表中的前2個候選中的一個候選作為MV基礎。以信號傳輸合併候選標誌,以指定使用何者。
圖10圖示MMVD搜尋點的實例。點182和184表示由起始MV辨識的起始點。其他點對應於被細化運動向量。距離索引指定運動幅度資訊並指示距起始點的預定義的偏移。如圖10所示,可以將偏移加到起始MV的水平分量或垂直分量。距離索引和預定義的偏移的關係定義為2 idx-2,其中索引(idx)為範圍在0到7之間的整數。當圖片頭語法(例如pic_fpel_mmvd_enabled_flag)被設置為啟用時,索引到偏移映射可以被更改為2 idx
方向索引表示MVD相對於起始點的方向。方向索引可以表示四個方向,如下表所示,其中00、01、10、11分別代表右、左、上、下。MVD符號可能根據起始MV的類型而不同。當起始MV是非預測MV或雙向預測MV(其中兩個列表皆指向當前圖片的同一側(亦即,兩個參考的POC皆大於當前圖片的POC,或者皆小於當前圖片的POC))時,下表中的符號指定了加到起始MV的MV偏移的符號。當起始MV是雙向預測MV(其中兩個MV指向當前圖片的不同側(亦即,一個參考的POC大於當前圖片的POC,另一參考的POC小於當前圖片的POC))時,下表中的符號指定加到起始MV的list0(列表0)MV分量的MV偏移的符號,而list1(列表1)MV的符號具有相反的值。
方向IDX 00 01 10 11
x-軸 + N/A N/A
y-軸 N/A N/A +
當與AMVP和合併模式結合使用時,用於執行範本匹配(TM)的現有技術(例如,如上文關於範本匹配預測所描述的)可能導致效能下降。在AMVP模式下,TM從以四分之一圖元步長細化初始MV開始,而不管自我調整運動向量解析度(AMVR)的MV精度如何。然而,為了確保被細化MV具有來自AMVR(四分之一亮度取樣、半亮度取樣、整數亮度取樣或四亮度取樣)的預期精度,現有技術中用於CU的運動向量預測器是在與MVD相加之前,被捨入到與MVD的精度相同的精度。因此,被細化MV上的捨入誤差可能是不可避免的。在合併模式下,TM作為獨立模式工作,而不考慮與其他合併模式(例如,MMVD和雙邊匹配)的潛在組合或互動,導致譯碼增益態樣的效能較低。本案內容描述了可以解決該等問題的技術。
視訊編碼器200和視訊解碼器300可以被配置為基於AMVR實現用於TM的MV精度。本案內容的技術可以將TM的最佳MV精度與對AMVR的指示對準。即使有對AMVR選擇的顯式指示,如上文關於範本匹配預測所描述的TM亦總是以四分之一圖元步長細化初始MV,導致所得到的被細化MV上的潛在捨入誤差。例如,若初始MV是具有整數圖元AMVR的(0, 0),則經TM細化的MV可以是(0.25, 0.25)。由於捨入,經TM細化的MV可能被捨入到其他精度而不是搜尋到的精度,此舉觸發對運動向量的精度(例如,如用AMVR所指示)的在經TM細化的MV上的意外捨入誤差,並且基本上浪費專用於執行解碼器側搜尋的計算能力。為了避免此種潛在的誤差源,本案內容描述了用於強制TM的搜尋步長與被指示的AMVR對準的技術。特別是,對於給定的AMVR模式(例如,4圖元、1圖元、半圖元、四分之一圖元、1/8圖元、1/16圖元,以及針對所有冪2精度的圖元),視訊編碼器200和視訊解碼器300可以被配置為:停止以由AMVR指示的相同MV精度的TM的細化程序,並且不超出該MV精度。換言之,經TM細化的MV可以被限制為具有等於或大於但不小於AMVR模式的MV精度的MV精度。
視訊編碼器200和視訊解碼器300可以被配置為基於AMVR模式的MV精度來決定具有分層搜尋圖案的TM MV細化程序的初始步長。初始步長可以與AMVR的精度相同或更高。通常,當AMVR指定N圖元MV精度(例如,N是冪2的數,包括4、1、1/2、1/4、1/8、1/16)時,初始步長可以例如是M圖元,其被設置為等於N、2N、4N或具有冪2比例的更大值。因此,視訊編碼器200和視訊解碼器300可以被配置為將如上文關於範本匹配預測所描述的搜尋程序實現為四重程序。
首先,視訊編碼器200或視訊解碼器300可以利用給定的搜尋圖案(例如,菱形、方形、交叉)以M圖元亮度取樣MV精度搜尋初始MV。隨後,視訊編碼器200或視訊解碼器300可以利用與在先前程序中使用的搜尋圖案相同或不同的另一搜尋圖案以相同的M圖元亮度取樣MV精度進一步細化被細化MV。隨後,視訊編碼器200或視訊解碼器300可以以與利用給定的搜尋圖案的先前反覆運算的亮度取樣MV精度相比而言較細化的2倍的亮度取樣MV精度(例如,從n圖元到n/2圖元),進一步反覆運算地細化被細化MV。視訊編碼器200或視訊解碼器300可以繼續反覆運算程序直到精度達到由AMVR指示的N圖元MV精度為止。
在一個實例中,給定四分之一圖元(1/4圖元)AMVR被譯碼區塊,視訊編碼器200或視訊解碼器300可以決定TM MV細化程序的初始步長等於1圖元。隨後,視訊編碼器200或視訊解碼器300以1圖元精度開始TM MV細化程序,隨後以1/2圖元精度進行第二輪細化,在以1/4圖元精度進行第三輪細化時停止。
在一個實例中,(M, N)的值可以是對於4圖元AMVR的(4, 4)、對於1圖元AMVR的(1, 1)、對於半圖元AMVR的(1, 1/2)、對於四分之一圖元AMVR的(1, 1/4)、對於1/8圖元AMVR的(1, 1/8),以及對於1/16圖元AMVR的(1, 1/16)。在某些情況下(例如,合併模式),當位元串流中並不總是顯式地指示AMVR時,可以將(M, N)的設置指定為在序列、圖片、條帶、瓦片、子圖片級別的或預定義的(1, 1/4)、(1, 1/8)或(1, 1/16)。在該等實例中,M代表初始步長,N代表最終步長,其大於或等於初始MV的精度。
在一個實例中,M的值可以依賴於序列解析度。一般而言,對於較高解析度的序列,視訊編碼器200和視訊解碼器300可以使用較大的M值,而對於較低解析度的序列,可以使用較小的M值。
視訊編碼器200和視訊解碼器300可以被配置為對TM執行簡化的雙向細化。本案內容的技術可以經由移除用於雙向預測區塊的一個單向MV細化程序來簡化TM。當使用雙向預測對當前訊框間區塊進行編碼時,上述關於範本匹配預測的TM獨立地細化每個單向MV,隨後,具有較大匹配誤差的一個MV(亦即,以下稱為第二MV)經由使用另一個MV(亦即,以下稱為第一MV)作為用於聯合最佳化的先驗被進一步細化。然而,由於兩個MV皆針對為相同的當前區塊範本找到最佳匹配被進行了細化,因此聯合最佳化可能已降低了對於雙向預測情況進行較好預測的機會。一般而言,雙向預測中的第二MV被用於較好地補償原始區塊取樣與對應於第一MV的預測取樣之間的增量信號。因此,本案內容描述了將TM簡化為雙重MV細化程序的技術。視訊編碼器200和視訊解碼器300可以首先在雙向預測中選擇第一MV用於獨立細化,隨後將經TM細化的第一MV作為先驗以細化第二MV。
有若干程序可以被用於指定用以挑選第一MV以進行獨立細化的標準。例如,MV Lx可能是唯一一個被獨立細化的,並且被設置為先驗以利用BCW權重值細化另一MV,其中Lx可以被預定義為L0或L1或在序列、圖片、條帶、瓦片、子圖片、CTU或區塊級別上被指定。Lx可以基於何者參考圖片具有對當前圖片較短的POC距離來決定。在一些實例中,可以基於何者參考圖片具有對當前圖片較長的POC距離來決定Lx。在一些實例中,可以基於何者參考圖片具有較小的量化參數(QP)值來決定Lx。在一些實例中,可以基於何者參考圖片具有較大的QP值來決定Lx。在一些實例中,當啟用ph_mvd_l1_zero_flag時,可以將Lx設置為等於L0。(注意ph_mvd_l1_zero_flag在各種視訊標準中的命名可能不同,但其功能保持不變,亦即,強制MVD L1為零並跳過針對MVD L1的語法信號傳遞。)在一些實例中,當ph_mvd_l1_zero_flag被禁用時,可以將Lx設置為等於L0。在一些實例中,可以基於MVL0和MVL1中的何者可以在TM的MV細化程序發生之前產生較低匹配成本來決定Lx。匹配成本可以與範本匹配成本(亦即,如前述的範本匹配預測)或僅將來自範本區塊的每N個(例如,2、3、4、...)取樣考慮到匹配成本計算中的被子取樣範本匹配成本相同。
在其他實例中,可以基於在兩個MV上發生TM的MV細化程序之後,MV L0和MV L1中的何者可以產生較低的匹配成本,來決定Lx。隨後,將其中的最佳MV(在匹配成本態樣)設置為先驗,以利用BCW權重值細化另一個MV的原始向量(在MV細化之前)。
視訊編碼器200和視訊解碼器300可以被配置為實現用於TM合併模式的雙邊匹配。在當前CU是雙向預測時,本案內容的技術可以將雙邊匹配的概念擴展到TM合併模式(稱為雙邊TM或TM 雙邊)。利用此舉,TM的匹配程序變成了尋找可以最小化兩個參考區塊範本之間的差異的最佳匹配。值得注意的是,如前述,雙邊TM不同於雙邊匹配,雙邊匹配基於兩個參考區塊之間的最小成本來細化MV,而雙邊TM基於兩個範本之間的最小成本來細化MV。
在一個實例中,當CU屬於雙向預測時,對於TM,視訊編碼器200和視訊解碼器300可以被配置為跳過用於每個單向MV的MV細化程序(亦即,TM 2uni),但應用雙邊TM找到最佳匹配用以最小化兩個參考區塊範本之間的增量。簡而言之,處理順序記為{TM 雙邊}。
在另一實例中,當CU屬於雙向預測時,對於TM,視訊編碼器200和視訊解碼器300可以被配置為仍獨立地執行針對每個單向MV的MV細化程序。隨後,視訊編碼器200和視訊解碼器300可以被配置為在被細化MV之上執行雙邊TM,以找到用以最小化兩個參考區塊範本之間的增量的最佳匹配。簡而言之,處理順序記為{TM 2uni, TM 雙邊}。
在一些實例中,當CU屬於雙向預測時,對於TM,視訊編碼器200和視訊解碼器300可以被配置為仍執行一般MV細化程序以獨立地細化每個單向MV,隨後是如上關於用於MV的範本匹配預測之聯合最佳化(亦即,TM bi),此舉導致較大的匹配成本。隨後,視訊編碼器200和視訊解碼器300可以被配置為在被細化MV之上執行雙邊匹配以找到用以最小化兩個參考區塊範本之間的增量的最佳匹配。簡而言之,處理順序記為{TM 2uni, TM bi, TM 雙邊}。
上述一些實例的處理順序可以顛倒,其中雙邊TM在一般TM之前執行。簡而言之,處理順序是{TM 雙邊, TM 2uni}或{TM 雙邊, TM 2uni, TM bi}。
與前述實例中的一些實例相比,可以經由使用一般雙邊匹配或基於PU的DMVR來替換雙邊TM。簡而言之,處理順序包括但不限於{TM 2uni, BM}、{TM 2uni, TM bi, BM}、{BM, TM 2uni}和{BM, TM 2uni, TM bi}。注意,BM可以經由使用DMVR來替換,此舉取決於在視訊轉碼器中實現BM和DMVR中的何者。
在一個實例中,當用雙向預測來編碼CU時,視訊編碼器200和視訊解碼器300可以被配置為在執行一般TM和雙邊TM之後將基於子區塊的DMVR或基於子區塊的BM應用於所得到的運動場。因此,該等解碼側模式的處理順序總結如下: •{TM 2uni, BM, 子區塊BM}或{TM 2uni, TM 雙邊, 子區塊BM}; •{TM 2uni, TM bi, BM, 子區塊BM}或{TM 2uni, TM bi, TM 雙邊, 子區塊BM}; •{BM, TM 2uni, 子區塊BM}或{TM 雙邊, TM 2uni, 子區塊BM}; •{BM, TM 2uni, TM bi, 子區塊BM}或{TM 雙邊, TM 2uni, TM bi, 子區塊BM}。 注意,BM可以經由使用DMVR來替換,此舉取決於在視訊轉碼器中實現BM和DMVR中的何者。
基於以上實例,可以去除基於PU的BM或TM 雙邊以減少複雜度管理負擔,從而導致: •{TM 2uni, 子區塊BM}; •{TM 2uni, TM bi, 子區塊BM}; •{TM 2uni, 子區塊BM}; •{TM 2uni, TM bi, 子區塊BM}。 注意,BM可以經由使用DMVR來替換,此舉取決於在視訊轉碼器中實現BM和DMVR中的何者。
在一個實例中,當CU屬於雙向預測時,視訊編碼器200和視訊解碼器300可以被配置為有條件地執行雙邊TM,遵循與上文針對DMVR描述的相同的啟用條件。當不滿足條件時,視訊編碼器200和視訊解碼器300可以被配置為在不用雙邊匹配的情況下執行TM;否則,當滿足條件時,對於TM執行雙邊匹配。請注意,當雙邊BM被DMVR或BM替換時,同樣的規則適用。
在另一個實例中,基於以上實例,當雙向預測的TM成本比最佳單向預測的TM成本大N倍時,TM bi可以將雙向預測運動退化為單向運動,其中N可以是預定義的比例,例如1.125、1.25、1.5等,或在序列、圖片、條帶、瓦片、子圖片、CTU或區塊級別被指定。當滿足此種條件時,經由TM推導的得到的運動場變為單向的,恰好跳過BM和子區塊BM。
在一個實例中,視訊編碼器200和視訊解碼器300可以被配置為基於BM或雙邊TM的匹配成本,有條件地跳過TM合併模式的MV細化程序(取決於在例如實例4、5和6中採用何種方法)。在一般TM(亦即,TM 2uni和TM bi)之前應用BM(或TM 雙邊)的情況下,若BM(或TM 雙邊)的雙邊匹配成本小於給定的閾值,則可以跳過一般TM的MV細化程序。閾值可以被定義為區塊取樣的數量的函數,亦即 f(scale)=scale*區塊取樣的數量(或當使用TM 雙邊時, f(scale)=scale*範本區塊取樣的數量),其中scale(比例)可以是正實數,例如,按照序列、圖片、子圖片、瓦片、條帶指定的或預定義的0.5、0.75、1.0、1.25、1.50、1.75、2.0等。
在一個實例中,可以將一般TM及/或雙邊TM作為一個額外的通道(pass)嵌入到多通道DMVR中,用於子區塊程序之前的MV細化。一般TM或雙邊TM可以出現在多通道DMVR的第一通道之前(或之後)。下文總結了所有可能的組合: •{TM 2uni, 多通道DMVR}; •{TM 2uni, TM bi, 多通道DMVR}; •{TM 雙邊, 多通道DMVR}; •{TM 雙邊, TM 2uni, 多通道DMVR}; •{TM 雙邊, TM 2uni, TM bi, 多通道DMVR}; •{TM 2uni, TM 雙邊, 多通道DMVR}; •{TM 2uni, TM bi, TM 雙邊, 多通道DMVR}。
在一個實例中,如美國臨時專利申請案第63/129,221中所述,一般TM及/或雙邊TM可以替代多通道DMVR的第一通道。下文總結了所有可能的組合: •{TM 2uni, 其第一通道被移除的多通道DMVR}; •{TM 2uni, TM bi, 其第一通道被移除的多通道DMVR}; •{TM 雙邊, 其第一通道被移除的多通道DMVR}; •{TM 雙邊, TM 2uni, 其第一通道被移除的多通道DMVR}; •{TM 雙邊, TM 2uni, TM bi, 其第一通道被移除的多通道DMVR}; •{TM 2uni, TM 雙邊, 其第一通道被移除的多通道DMVR}; •{TM 2uni, TM bi, TM 雙邊, 其第一通道被移除的多通道DMVR}。
視訊編碼器200和視訊解碼器300可以被配置為實現利用TM的MMVD。本案內容的技術將TM應用於MMVD候選以進行MV細化。可以將TM應用於MMVD的基向量或每個MMVD候選。
在一個實例中,TM僅應用於MMVD基向量。在一個實例中,TM僅應用於MMVD基向量,其中最好的一個MMVD基向量被決定為最終的MMVD基向量以產生MMVD候選。如此,不需要以信號傳輸被發送以指示對MMVD基向量的選擇的標誌。換言之,MMVD基向量的索引是根據TM推導的,而不是從對位元串流的解碼中推導的。在一個實例中,經由針對每個MMVD基向量計算的TM成本來簡化先前實例中的MMVD基向量選擇,而無需執行MV細化。僅選擇具有較低TM成本的該項作為MMVD基向量並將其應用於MV細化。經TM細化的向量用作MMVD基向量以產生MMVD候選。注意,在該實例中不需要以信號傳輸被發送指示對MMVD基向量的選擇的標誌。在一個實例中,TM針對每個可能的MMVD候選執行。該實例可以獨立工作,亦可以與用於細化MMVD基向量的上述實例組合。在一個實例中,可以從一般合併候選列表或TM候選列表中對MMVD基向量進行子取樣。子取樣程序可以包括對來自前述候選列表的前N個進行子取樣,其中N可以被預定義為1、2、3、4等,或者在序列、條帶、瓦片、圖片或子圖片級別上被指定。
視訊編碼器200和視訊解碼器300可以被配置為利用基於匹配成本的啟用條件。可以根據BM或雙邊TM的匹配成本來有條件地禁用用於TM合併模式的雙邊匹配(取決於在上文實例4、5和6中針對用於TM合併模式的雙邊匹配採用的方法)。在此種情況下,當在一般TM(亦即TM 2uni和TM bi)之前應用BM(或TM 雙邊)時,若BM(或TM 雙邊)的雙邊匹配成本小於給定的閾值,則可以跳過一般TM。閾值可以被定義為區塊取樣的數量的函數,亦即 f(scale)=scale*區塊取樣的數量(或當使用TM 雙邊時, f(scale)=scale*範本區塊取樣的數量),其中scale(比例)可以是正實數,例如,按照序列、圖片、子圖片、瓦片、條帶指定的或預定義的0.5、0.75、1.0、1.25、1.50、1.75、2.0等。
圖11是圖示可以執行本案內容的技術的示例性視訊編碼器200的方塊圖。圖11是為了解釋的目的而提供的,並且不應被認為是對本案內容中廣泛例示和描述的技術的限制。為了解釋的目的,本案內容根據VVC(正在開發的ITU-T H.266)和HEVC(ITU-T H.265)的技術描述了視訊編碼器200。然而,本案內容的技術可以由被配置符合其他視訊譯碼標準的視訊編碼設備執行。
在圖11的實例中,視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘差產生單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波器單元216、經解碼圖片緩衝器(DPB)218和熵編碼單元220。視訊資料記憶體230、模式選擇單元202、殘差產生單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波器單元216、DPB 218以及熵編碼單元220中的任一個或全部可以在一或多個處理器或處理電路系統中實現。例如,視訊編碼器200的單元可以被實現為一或多個電路或邏輯元件,作為硬體電路系統的一部分,或作為處理器、ASIC或FPGA的一部分。此外,視訊編碼器200可以包括另外的或替代的處理器或處理電路系統用以執行該等和其他功能。
視訊資料記憶體230可以儲存要由視訊編碼器200的元件編碼的視訊資料。視訊編碼器200可以從例如視訊源104(圖1)接收儲存在視訊資料記憶體230中的視訊資料。DPB 218可以充當儲存參考視訊資料的參考圖片記憶體,參考視訊資料用於由視訊編碼器200預測後續的視訊資料。視訊資料記憶體230和DPB 218可以由多種記憶體設備(諸如,動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻RAM(MRAM)、電阻RAM(RRAM)或其他類型的記憶體設備)中的任何一種形成。視訊資料記憶體230和DPB 218可以由相同的記憶體設備或分別的記憶體設備提供。在各種實例中,如圖所示,視訊資料記憶體230可以與視訊編碼器200的其他元件在晶片上,或者相對於彼等元件在晶片外。
在本案內容中,對視訊資料記憶體230的提及不應被解釋為僅限於視訊編碼器200內部的記憶體,除非專門描述為如此,或視訊編碼器200外部的記憶體,除非專門描述為如此。相反,對視訊資料記憶體230的提及應被理解為提及儲存視訊編碼器200接收到用於進行編碼的視訊資料(例如,用於要編碼的當前區塊的視訊資料)的參考記憶體。圖1的記憶體106亦可以提供對來自視訊編碼器200的各個單元的輸出的臨時儲存。
圖11的各個單元被圖示以幫助理解由視訊編碼器200執行的操作。該等單元可以被實現為固定功能電路、可程式設計電路或其組合。固定功能電路是指提供特定功能的電路,並被預設在可以執行的操作上。可程式設計電路是指可以被程式設計以執行各種任務,並在可以被執行的操作中提供靈活功能的電路。例如,可程式設計電路可以執行使可程式設計電路以由軟體或韌體的指令所定義的方式進行操作的軟體或韌體。固定功能電路可以執行軟體指令(例如,以接收參數或輸出參數),但是固定功能電路執行的操作的類型通常是不變的。在一些實例中,該等單元中的一或多個單元可以是不同的電路區塊(固定功能的或可程式設計的),並且在一些實例中,該等單元中的一或多個單元可以是積體電路。
視訊編碼器200可以包括算術邏輯單位(ALU)、基本功能單元(EFU)、數位電路、類比電路及/或由可程式設計電路形成的可程式設計核。在使用由可程式設計電路執行的軟體執行視訊編碼器200的操作的實例中,記憶體106(圖1)可以儲存視訊編碼器200接收並執行的軟體的指令(例如,目標代碼),或者視訊編碼器200內的另一記憶體(未圖示)可以儲存此種指令。
視訊資料記憶體230被配置為儲存接收到的視訊資料。視訊編碼器200可以從視訊資料記憶體230取得視訊資料的圖片,並將視訊資料提供給殘差產生單元204和模式選擇單元202。視訊資料記憶體230中的視訊資料可以是要編碼的原始視訊資料。
模式選擇單元202包括運動估計單元222、運動補償單元224和訊框內預測單元226。模式選擇單元202可以包括用於根據其他預測模式執行視訊預測的另外的功能單元。作為實例,模式選擇單元202可以包括調色板單元、區塊內複製單元(其可以是運動估計單元222及/或運動補償單元224的一部分)、仿射單元、線性模型(LM)單元等。
模式選擇單元202通常協調多個編碼通路(pass)以測試編碼參數的組合以及針對此種組合的結果率失真值(resulting rate-distortion value)。編碼參數可以包括將CTU劃分為CU、針對CU的預測模式、針對CU的殘差資料的變換類型、針對CU的殘差資料的量化參數等。模式選擇單元202可以最終選擇具有與其他經測試的組合相比而言較好的率失真值的編碼參數的組合。
視訊編碼器200可以將從視訊資料記憶體230取得的圖片劃分成一系列CTU,並將一或多個CTU封裝在條帶內。模式選擇單元202可以根據樹結構(諸如上述HEVC的QTBT結構或四叉樹結構)來劃分圖片的CTU。如前述,視訊編碼器200可以經由根據樹結構劃分CTU,來形成一或多個CU。此種CU通常亦可以被稱為「視訊區塊」或「區塊」。
通常,模式選擇單元202亦控制其元件(例如,運動估計單元222、運動補償單元224和訊框內預測單元226)以產生針對當前區塊(例如,當前CU,或在HEVC中的PU和TU的重疊部分)的預測區塊。對於當前區塊的訊框間預測,運動估計單元222可以執行運動搜尋以辨識一或多個參考圖片(例如,在DPB 218中儲存的一或多個先前經譯碼的圖片)中的一或多個接近地匹配的參考區塊。具體地,運動估計單元222可以例如根據絕對差的和(SAD)、平方差和(SSD)、平均絕對差(MAD)、均方差(MSD)等來計算表示潛在參考區塊與當前區塊的相似程度的值。運動估計單元222通常可以使用當前區塊與正在考慮的參考區塊之間的逐取樣差異來執行該等計算。運動估計單元222可以辨識具有從該等計算得到的最低值的參考區塊,該最低值指示與當前區塊最接近地匹配的參考區塊。
運動估計單元222可以形成一或多個運動向量(MV),其定義相對於當前圖片中的當前區塊的位置的參考圖片中的參考區塊的位置。隨後,運動估計單元222可以將運動向量提供給運動補償單元224。例如,對於單向訊框間預測,運動估計單元222可以提供單個運動向量,而對於雙向訊框間預測,運動估計單元222可以提供兩個運動向量。隨後,運動補償單元224可以使用運動向量來產生預測區塊。例如,運動補償單元224可以使用運動向量來取得參考區塊的資料。作為另一實例,若運動向量具有分數取樣精度,則運動補償單元224可以根據一或多個內插濾波器來對針對預測區塊的值進行內插。此外,對於雙向訊框間預測,運動補償單元224可以取得由相應的運動向量辨識的針對兩個參考區塊的資料,並且例如經由逐取樣平均或加權平均來組合取得的資料。
在一些譯碼場景中,運動補償單元224可使用運動向量和運動向量細化來產生預測區塊。例如,運動向量細化可以基於範本匹配。例如,運動補償單元224可以基於運動向量辨識初始當前區塊範本,使用被設置為初始步長的步長來搜尋在初始當前區塊範本周圍的其他範本,並且從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長。運動補償單元224可以使用多種不同的搜尋圖案來執行搜尋。
作為另一實例,對於訊框內預測或訊框內預測譯碼,訊框內預測單元226可以根據與當前區塊相鄰的取樣來產生預測區塊。例如,對於方向模式,訊框內預測單元226通常可以在數學上組合相鄰取樣的值,並在當前區塊上在所定義的方向上填充該等計算值,以產生預測區塊。作為另一實例,對於DC模式,訊框內預測單元226可以計算當前區塊的相鄰取樣的平均值,並且產生預測區塊以針對預測區塊的每個取樣包括得到的此平均值。
模式選擇單元202將預測區塊提供給殘差產生單元204。殘差產生單元204從視訊資料記憶體230接收當前區塊的未經編碼的原始版本,並從模式選擇單元202接收預測區塊。殘差產生單元204計算當前區塊與預測區塊之間的逐取樣差異。得到的逐取樣差異定義了針對當前區塊的殘差區塊。在一些實例中,殘差產生單元204亦可以決定殘差區塊中的取樣值之間的差異,以使用殘差差分脈衝碼調制(RDPCM)產生殘差區塊。在一些實例中,可以使用執行二進位減法的一或多個減法器電路來形成殘差產生單元204。
在模式選擇單元202將CU劃分成PU的實例中,每個PU可以與亮度預測單元和對應的色度預測單元相關聯。視訊編碼器200和視訊解碼器300可以支援具有各種大小的PU。如前述,CU的大小可以指CU的亮度譯碼區塊的大小,PU的大小可以指PU的亮度預測單元的大小。假設特定CU的大小是2Nx2N,視訊編碼器200可以支援針對訊框內預測的2Nx2N或NxN的PU大小,以及針對訊框間預測的2Nx2N、2NxN、Nx2N、NxN或類似的對稱PU大小。視訊編碼器200和視訊解碼器300亦可以支援對於針對訊框間預測的2NxnU、2NxnD、nLx2N和nRx2N的PU大小的非對稱劃分。
在模式選擇單元202不將CU進一步劃分成PU的實例中,每個CU可以與亮度譯碼區塊和對應的色度譯碼區塊相關聯。如前述,CU的大小可以指CU的亮度譯碼區塊的大小。視訊編碼器200和視訊解碼器300可以支援2Nx2N、2NxN或Nx2N的CU大小。
對於其他視訊譯碼技術(諸如,區塊內複製模式譯碼、仿射模式譯碼和線性模型(LM)模式譯碼,作為一些實例),模式選擇單元202經由與譯碼技術相關聯的相應單元來產生正被編碼的當前區塊的預測區塊。在一些實例中,例如調色板模式譯碼,模式選擇單元202可以不產生預測區塊,而是產生指示用於基於被選擇的調色板來重構區塊的方式的語法元素。在此種模式中,模式選擇單元202可以將該等語法元素提供給熵編碼單元220以進行編碼。
如前述,殘差產生單元204接收針對當前區塊和對應的預測區塊的視訊資料。殘差產生單元204隨後產生針對當前區塊的殘差區塊。為了產生殘差區塊,殘差產生單元204計算預測區塊與當前區塊之間的逐取樣差異。
變換處理單元206將一或多個變換應用於殘差區塊,以產生變換係數區塊(本文稱為「變換係數區塊」)。變換處理單元206可以將各種變換應用於殘差區塊以形成變換係數區塊。例如,變換處理單元206可以將離散餘弦變換(DCT)、方向變換、Karhunen-Loeve變換(KLT)或概念上類似的變換應用於殘差區塊。在一些實例中,變換處理單元206可以對殘差區塊執行多個變換,例如,主變換和次變換,諸如旋轉變換。在一些實例中,變換處理單元206不對殘差區塊應用變換。
量化單元208可以量化變換係數區塊中的變換係數,以產生經量化的變換係數區塊。量化單元208可以根據與當前區塊相關聯的量化參數(QP)值對變換係數區塊的變換係數進行量化。視訊編碼器200(例如,經由模式選擇單元202)可以經由調整與CU相關聯的QP值來調整被應用於與當前區塊相關聯的變換係數區塊的量化的程度。量化可能造成資訊的損失,並且因此,經量化的變換係數可以具有與由變換處理單元206產生的原始變換係數相比而言較低的精度。
逆量化單元210和逆變換處理單元212可以對經量化的變換係數區塊分別應用逆量化和逆變換,以根據變換係數區塊重構殘差區塊。重構單元214可以基於所重構的殘差區塊和由模式選擇單元202產生的預測區塊來產生與當前區塊對應的經重構的區塊(儘管可能具有一定程度的失真)。例如,重構單元214可以將所重構的殘差區塊的取樣添加到來自由模式選擇單元202產生的預測區塊的對應取樣中,以產生經重構的區塊。
濾波器單元216可以對經重構的區塊執行一或多個濾波操作。例如,濾波器單元216可以執行去區塊操作以減少沿CU的邊緣的區塊狀偽影。在一些實例中,可以跳過濾波器單元216的操作。
視訊編碼器200將經重構的區塊儲存在DPB 218中。例如,在當不執行濾波器單元216的操作時的實例中,重構單元214可以將經重構的區塊儲存到DPB 218。在當執行濾波器單元216的操作時的實例中,濾波器單元216可以將經濾波的經重構的區塊儲存到DPB 218。運動估計單元222和運動補償單元224可以從DPB 218取得由所重構的(和潛在地經濾波的)區塊形成的參考圖片,以對經隨後編碼的圖片的區塊進行訊框間預測。另外,訊框內預測單元226可以使用當前圖片的DPB 218中的經重構的區塊,以對當前圖片中的其他區塊進行訊框內預測。
通常,熵編碼單元220可以對從視訊編碼器200的其他功能元件接收的語法元素進行熵編碼。例如,熵編碼單元220可以對來自量化單元208的經量化的變換係數區塊進行熵編碼。作為另一實例,熵編碼單元220可以對來自模式選擇單元202的預測語法元素(例如,用於訊框間預測的運動資訊或用於訊框內預測的訊框內模式資訊)進行熵編碼。熵編碼單元220可以對作為視訊資料的另一實例的語法元素執行一或多個熵編碼操作,以產生經熵編碼的資料。例如,熵編碼單元220可以執行上下文自我調整可變長度譯碼(CAVLC)操作、CABAC操作、可變到可變(V2V)長度譯碼操作、基於語法的上下文自我調整二進位算術譯碼(SBAC)操作、概率區間劃分熵(PIPE)譯碼操作、指數Golomb編碼操作,或對資料的另一種類型的熵編碼操作。在一些實例中,熵編碼單元220可以在語法元素未經熵編碼的旁路模式下進行操作。
視訊編碼器200可以輸出位元串流,該位元串流包括為重構條帶或圖片的區塊所需的經熵編碼的語法元素。具體地,熵編碼單元220可以輸出位元串流。
以上描述的操作是關於區塊來描述的。此種描述應被理解為是用於亮度譯碼區塊及/或色度譯碼區塊的操作。如前述,在一些實例中,亮度譯碼區塊和色度譯碼區塊是CU的亮度分量和色度分量。在一些實例中,亮度譯碼區塊和色度譯碼區塊是PU的亮度分量和色度分量。
在一些實例中,對於色度譯碼區塊,不需要重複相對於亮度譯碼區塊執行的操作。作為一個實例,對於辨識針對色度區塊的運動向量(MV)和參考圖片,不需要重複用於辨識針對亮度譯碼區塊的運動向量(MV)和參考圖片的操作。而是,可以放縮針對亮度譯碼區塊的MV,以決定針對色度區塊的MV,並且參考圖片可以相同。作為另一實例,對於亮度譯碼區塊和色度譯碼區塊,訊框內預測程序可以是相同的。
圖12是圖示可以執行本案內容的技術的示例性視訊解碼器300的方塊圖。圖12是為了解釋的目的而提供的,並且不限制在本案內容中泛泛例示和描述的技術。為了解釋的目的,本案內容根據VVC(正在開發的ITU-T H.266)和HEVC(ITU-T H.265)的技術描述了視訊解碼器300。然而,本案內容的技術可以由被配置符合其他視訊譯碼標準的視訊譯碼設備來執行。
在圖12的實例中,視訊解碼器300包括經譯碼圖片緩衝器(CPB)記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波器單元312和經解碼圖片緩衝器(DPB)314。CPB記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波器單元312和DPB 314中的任何一個或全部可以在一或多個處理器中或在處理電路系統中實現。例如,視訊解碼器300的單元可以被實現為一或多個電路或邏輯元件,作為硬體電路系統的一部分,或作為處理器、ASIC或FPGA的一部分。此外,視訊解碼器300可以包括另外的或替代的處理器或處理電路系統,用以執行該等和其他功能。
預測處理單元304包括運動補償單元316和訊框內預測單元318。預測處理單元304可以包括用於根據其他預測模式執行預測的另外的單元。作為實例,預測處理單元304可以包括調色板單元、區塊內複製單元(其可以形成運動補償單元316的一部分)、仿射單元、線性模型(LM)單元等。在其他實例中,視訊解碼器300可以包括更多、更少或不同的功能元件。
CPB記憶體320可以儲存要由視訊解碼器300的元件解碼的視訊資料,諸如經編碼的視訊位元串流。儲存在CPB記憶體320中的視訊資料可以例如從電腦可讀取媒體110(圖1)獲得。CPB記憶體320可以包括儲存來自經編碼的視訊位元串流的經編碼的視訊資料(例如,語法元素)的CPB。此外,CPB記憶體320可以儲存經譯碼的圖片的語法元素以外的視訊資料,諸如表示來自視訊解碼器300的各個單元的輸出的臨時資料。DPB 314通常儲存經解碼的圖片,視訊解碼器300可以在解碼經編碼的視訊位元串流的後續資料或圖片時將該等經解碼的圖片輸出及/或用作參考視訊資料。CPB記憶體320和DPB 314可以由各種記憶體設備中的任何一種(諸如,DRAM(包括SDRAM)、MRAM、RRAM或其他類型的記憶體設備)形成。CPB記憶體320和DPB 314可以由相同的記憶體設備或分別的記憶體設備提供。在各種實例中,CPB記憶體320可以與視訊解碼器300的其他元件在晶片上,或者相對於該等元件在晶片外。
另外或替代地,在一些實例中,視訊解碼器300可以從記憶體120(圖1)取得經譯碼的視訊資料。亦即,記憶體120可以如前述與CPB記憶體320一起儲存資料。同樣,當視訊解碼器300的部分或全部功能實現在要由視訊解碼器300的處理電路系統執行的軟體中時,記憶體120可以儲存要由視訊解碼器300執行的指令。
圖12所示的各種單元被圖示以幫助理解由視訊解碼器300執行的操作。該等單元可以被實現為固定功能電路、可程式設計電路或其組合。類似於圖11,固定功能電路是指提供特定功能的電路,並被預設在可以執行的操作上。可程式設計電路是指可以被程式設計以執行各種任務,並在可以被執行的操作中提供靈活功能的電路。例如,可程式設計電路可以執行使可程式設計電路以由軟體或韌體的指令所定義的方式進行操作的軟體或韌體。固定功能電路可以執行軟體指令(例如,以接收參數或輸出參數),但是固定功能電路執行的操作的類型通常是不變的。在一些實例中,該等單元中的一或多個單元可以是不同的電路區塊(固定功能的或可程式設計的),並且在一些實例中,該等單元中的一或多個單元可以是積體電路。
視訊解碼器300可以包括ALU、EFU、數位電路、類比電路及/或由可程式設計電路形成的可程式設計核。在當視訊解碼器300的操作由在可程式設計電路上執行的軟體執行時的實例中,晶片上或晶片外記憶體可以儲存視訊解碼器300接收和執行的軟體的指令(例如,目標代碼)。
熵解碼單元302可以從CPB接收經編碼的視訊資料,並且對視訊資料進行熵解碼以再生語法元素。預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310和濾波器單元312可以基於從位元串流提取的語法元素產生經解碼的視訊資料。
通常,視訊解碼器300逐區塊地重構圖片。視訊解碼器300可以單獨地對每個區塊執行重構操作(其中當前正經重構的亦即經解碼的區塊可以被稱為「當前區塊」)。
熵解碼單元302可以對語法元素進行熵解碼,其中語法元素定義經量化的變換係數區塊的經量化的變換係數,以及變換資訊(諸如量化參數(QP)及/或變換模式指示)。逆量化單元306可以使用與經量化的變換係數區塊相關聯的QP以決定量化的程度,並且同樣地,決定供逆量化單元306要應用的逆量化的程度。逆量化單元306可以例如執行逐位元左移操作以對經量化的變換係數進行逆量化。逆量化單元306由此可以形成包括變換係數的變換係數區塊。
在逆量化單元306形成變換係數區塊之後,逆變換處理單元308可以對變換係數區塊應用一或多個逆變換,以產生與當前區塊相關聯的殘差區塊。例如,逆變換處理單元308可以對變換係數區塊應用逆DCT、逆整數變換、逆Karhunen-Loeve變換(KLT)、逆旋轉變換、逆方向變換或另一逆變換。
此外,預測處理單元304根據由熵解碼單元302熵解碼了的預測資訊語法元素來產生預測區塊。例如,若預測資訊語法元素指示當前區塊是經訊框間預測的,則運動補償單元316可以產生預測區塊。在此種情況下,預測資訊語法元素可以指示DPB 314中要從其取得參考區塊的參考圖片,以及辨識相對於當前圖片中的當前區塊的位置的參考圖片中的參考區塊的位置的運動向量。運動補償單元316通常可以以基本上類似於關於運動補償單元224(圖11)所描述的方式的方式來執行訊框間預測程序。
運動補償單元316包括DMVR單元317,其可以執行在本案內容中描述的各種技術,包括在本文描述的TM技術。DMVR單元317例如可以被配置為經由辨識當前圖片內的當前區塊範本並在搜尋區域內搜尋與當前區塊範本對應的最終參考區塊範本,基於TM來細化運動向量。為了在搜尋區域內進行搜尋,DMVR單元317可以被配置為基於運動向量辨識初始參考區塊範本,使用被設置為初始步長的步長搜尋在初始參考區塊範本周圍的其他參考區塊範本,從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長。DMVR單元317隨後可以基於最終參考區塊範本來決定針對區塊的預測區塊。例如,預測區塊可以是最終參考區塊範本的右下側的區塊,如圖5所示。
作為另一實例,若預測資訊語法元素指示當前區塊是訊框內預測的,則訊框內預測單元318可以根據由預測資訊語法元素指示的訊框內預測模式來產生預測區塊。同樣,訊框內預測單元318可以以與關於訊框內預測單元226(圖11)所描述的方式基本上類似的方式來執行訊框內預測程序。訊框內預測單元318可以從DPB 314取得當前區塊的相鄰取樣的資料。
重構單元310可以使用預測區塊和殘差區塊來重構當前區塊。例如,重構單元310可以將殘差區塊的取樣添加到預測區塊的對應取樣中,以重構當前區塊。
濾波器單元312可以對經重構的區塊執行一或多個濾波操作。例如,濾波器單元312可以執行去區塊操作以減少沿經重構的區塊的邊緣的區塊性偽影。並非在所有實例中皆必須執行濾波器單元312的操作。
視訊解碼器300可以將經重構的區塊儲存在DPB 314中。例如,在當不執行濾波器單元312的操作時的實例中,重構單元310可以將經重構的區塊儲存到DPB 314。在當執行濾波器單元312的操作時的實例中,濾波器單元312可以將經濾波的經重構的區塊儲存到DPB 314。如前述,DPB 314可以向預測處理單元304提供參考資訊,諸如,針對訊框內預測的當前圖片的取樣和針對後續運動補償的經先前解碼的圖片的取樣。此外,視訊解碼器300可以從DPB 314輸出經解碼的圖片(例如,經解碼的視訊),以便隨後在諸如圖1的顯示設備118的顯示設備上呈現。
圖13是圖示用於根據本案內容的技術編碼當前區塊的示例性程序的流程圖。當前區塊可以包括當前CU。儘管關於視訊編碼器200(圖1和圖11)進行了描述,但是應理解,其他設備可以被配置為執行類似於圖13的程序的程序。
在該實例中,視訊編碼器200初始地預測當前區塊(350)。例如,視訊編碼器200可以形成針對當前區塊的預測區塊。隨後,視訊編碼器200可以計算針對當前區塊的殘差區塊(352)。為了計算殘差區塊,視訊編碼器200可以計算原始的未經編碼的區塊與針對當前區塊的預測區塊之間的差異。視訊編碼器200隨後可以變換殘差區塊並量化殘差區塊的變換係數(354)。接下來,視訊編碼器200可以掃瞄殘差區塊的經量化的變換係數(356)。在掃瞄期間或在掃瞄之後,視訊編碼器200可以對變換係數進行熵編碼(358)。例如,視訊編碼器200可以使用CAVLC或CABAC對變換係數進行編碼。隨後,視訊編碼器200可以輸出區塊的經熵編碼的資料(360)。
圖14是圖示用於根據本案內容的技術解碼視訊資料的當前區塊的示例性程序的流程圖。當前區塊可以包括當前CU。儘管關於視訊解碼器300(圖1和圖12)進行了描述,但是應理解,其他設備可以被配置為執行類似於圖14的程序的程序。
視訊解碼器300可以接收針對當前區塊的經熵編碼的資料,諸如,經熵編碼的預測資訊和針對對應於當前區塊的殘差區塊的變換係數的經熵編碼的資料(370)。視訊解碼器300可以對經熵編碼的資料進行熵解碼,以決定針對當前區塊的預測資訊並再生殘差區塊的變換係數(372)。視訊解碼器300可以例如使用由針對當前區塊的預測資訊指示的訊框內或訊框間預測模式來預測當前區塊(374),以計算針對當前區塊的預測區塊。隨後,視訊解碼器300可以逆掃瞄再生的變換係數(376),以建立經量化的變換係數的區塊。視訊解碼器300隨後可以對變換係數進行逆量化和對變換係數應用逆變換以產生殘差區塊(378)。最終,視訊解碼器300可以經由組合預測區塊和殘差區塊來最終解碼當前區塊(380)。
圖15是圖示根據本案內容的技術,用於解碼當前區塊的示例性程序的流程圖。當前區塊可以包括當前CU。將關於通用視訊解碼器描述圖15,通用視訊解碼器可以例如對應於視訊解碼器300(圖1和圖12)或對應於視訊編碼器200的視訊解碼循環(圖1和圖11)。然而,應當理解,其他設備可以被配置為執行類似於圖15的程序的程序。
視訊解碼器決定當前圖片的區塊是以訊框間預測模式被編碼的(400)。訊框間預測模式例如可以是AMVP模式或合併模式。
視訊解碼器基於訊框間預測模式來決定針對當前區塊的運動向量(402)並且決定針對運動向量的運動向量精度(404)。例如,若訊框間預測模式是AMVP模式,則視訊解碼器可以經由接收在位元串流中指示運動向量精度的語法元素來決定針對當前區塊的運動向量精度。例如,若訊框間預測模式是合併模式,則視訊解碼器可以經由根據合併列表中的候選決定運動向量精度來決定針對當前區塊的運動向量精度。
視訊解碼器辨識當前圖片內的當前區塊範本(406)。例如,視訊解碼器可以定位在當前區塊周圍的範本,該範本包括在當前區塊的左上側的取樣,例如圖5所示。
視訊解碼器在搜尋區域內搜尋對應於參考區塊範本的最終當前區塊範本(408)。例如,搜尋區域可以是在根據運動向量決定的在參考圖片中的參考區塊的左上取樣的x方向上的8個取樣內並且在該左上取樣的y方向上的8個取樣內的區域。
為了在搜尋區域內搜尋與當前區塊範本對應的最終參考區塊範本,視訊解碼器基於運動向量來辨識初始參考區塊範本(410),使用被設置為初始步長的步長來搜尋在初始參考區塊範本周圍的其他參考區塊範本(412),並且從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長為止(414)。
與總是使用諸如1/8圖元步長的預設圖元步長的技術相比,根據本案內容的技術,在一些譯碼場景中最終步長可以大於1/8圖元。在搜尋區域內被用於搜尋的所有步長值皆可以大於或等於運動向量精度。例如,初始步長可以等於n-圖元,並且為了從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長為止,視訊解碼器可以將步長從n-圖元減小到n/2-圖元,並繼續將步長減小1/2倍,直到步長等於運動向量精度為止。
為了反覆運算地減小初始步長直到最終步長等於運動向量精度,視訊解碼器可以例如決定步長等於運動向量精度,並且回應於決定步長等於運動向量精度,終止對步長的反覆運算地減小。另外或替代地,為了反覆運算地減小初始步長直到最終步長等於運動向量精度,視訊解碼器可以例如使用初始步長搜尋在初始當前區塊範本周圍的其他範本,以決定第一被細化運動向量;將步長從初始步長反覆運算地減小到較精細的步長;基於第一被細化運動向量來辨識新的初始當前區塊範本;並使用較精細的步長搜尋在新的初始當前區塊範本周圍的第二組其他範本,以決定第二被細化運動向量。另外或替代地,為了反覆運算地減小初始步長直到最終步長等於運動向量精度,視訊解碼器可以使用初始步長和第一搜尋圖案搜尋在初始當前區塊範本周圍的其他範本,以決定第一被細化運動向量;基於第一被細化運動向量來辨識新的初始當前區塊範本;並且使用初始步長和第二搜尋圖案搜尋在新的初始當前區塊範本周圍的第二組其他範本,以決定第二被細化運動向量。
視訊解碼器基於最終當前區塊範本來決定針對當前區塊的預測區塊(416)。由於運動向量細化程序,基於最終當前區塊範本針對當前區塊決定的預測區塊可能與由運動向量辨識的初始參考區塊不同。
視訊解碼器基於所決定的預測區塊對當前圖片進行解碼(418)。視訊解碼器可以例如將所決定的預測加到殘差區塊以形成重構區塊,並對重構區塊執行一或多個濾波操作。
視訊解碼器輸出當前圖片的經解碼版本(420)。為了輸出當前圖片的經解碼版本,視訊解碼器可以被配置為輸出當前圖片的經解碼版本以供顯示。在視訊解碼器是視訊編碼器的元件的情況下,視訊解碼器可以被配置為經由儲存當前圖片的經解碼版本以用於編碼視訊資料的後續區塊,來輸出當前圖片的經解碼版本。
以下編號的條款說明了本案內容中描述的設備和技術的一或多個態樣。
條款1A、一種解碼視訊資料的方法,該方法包括以下步驟:決定視訊資料的當前區塊是以訊框間預測模式被編碼的;使用訊框間預測模式來對視訊資料的當前區塊進行解碼。
條款2A、根據條款1A之方法,其中使用訊框間預測模式來對視訊資料的當前區塊進行解碼包括:維護針對當前區塊的候選列表;從候選列表中選擇候選;使用所選擇的候選的運動資訊來對視訊資料的當前區塊進行解碼。
條款3A、根據條款1A或2A之方法,亦包括以下步驟:使用等於或大於用於對區塊進行解碼的運動向量的運動向量解析度的初始步長來執行範本匹配運動向量細化程序。
條款4A、根據條款1A-3A中任一項之方法,其中該訊框間預測模式包括雙向訊框間預測模式,該方法亦包括以下步驟:對第一單向運動向量執行範本匹配運動向量細化程序;在對第一運動向量進行範本匹配運動向量細化程序後,對第二單向運動向量執行範本匹配運動向量細化程序。
條款5A、根據條款3A或4A之方法,其中執行範本匹配運動向量細化程序包括:基於運動向量來辨識參考圖片中的初始位置;在初始位置周圍的搜尋區域中執行範本匹配,使用所選擇的候選的運動資訊來對視訊資料的當前區塊進行解碼包括;基於範本匹配來辨識參考區塊。
條款6A、根據條款1A-5A中任一項之方法,其中解碼方法作為編碼方法的一部分來執行。
條款7A、一種用於對視訊資料進行譯碼的設備,該設備包括一或多個用於執行根據條款1A-6A中任一項之方法的構件。
條款8A、根據條款7A之設備,其中該一或多個構件包括在電路系統中實現的一或多個處理器。
條款9A、根據條款7A或8A之設備,亦包括用於儲存視訊資料的記憶體。
條款10A、根據條款7A-9A中任一項之設備,亦包括被配置為顯示經解碼的視訊資料的顯示器。
條款11A、根據條款7A-10A中任一項之設備,其中該設備包括相機、電腦、行動設備、廣播接收器設備或機上盒中的一或多個。
條款12A、根據條款7A-11A中任一項之設備,其中該設備包括視訊解碼器。
條款13A、根據條款7A-12A中任一項之設備,其中該設備包括視訊編碼器。
條款14A、一種其上儲存有指令的電腦可讀取儲存媒體,當執行該等指令時,使一或多個處理器執行根據條款1A-6A中任一項之方法。
條款15A、一種用於編碼視訊資料的設備,該設備包括:用於決定視訊資料的當前區塊是以訊框間預測模式被編碼的構件;用於使用訊框間預測模式來對視訊資料的當前區塊進行解碼的構件。
條款1B、一種用於對視訊資料進行解碼的設備,該設備包括:記憶體,用於儲存視訊資料;及在電路系統中實現並被配置為進行如下操作的一或多個處理器:決定當前圖片的當前區塊是以訊框間預測模式被編碼的;基於訊框間預測模式來決定針對當前區塊的運動向量;決定針對運動向量的運動向量精度;辨識當前圖片內的當前區塊範本;在搜尋區域內搜尋對應於當前區塊範本的最終參考區塊範本,其中為了在搜尋區域內搜尋,一或多個處理器亦被配置為:基於運動向量來辨識初始參考區塊範本,使用被設置為初始步長的步長搜尋在初始參考區塊範本周圍的其他參考區塊範本,以及從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長;基於最終參考區塊範本來決定針對當前區塊的預測區塊;基於所決定的預測區塊來對當前圖片進行解碼;及輸出當前圖片的經解碼版本。
條款2B、根據條款1B之設備,其中為了從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長,一或多個處理器亦被配置為:決定步長等於運動向量精度;並且回應於決定步長等於運動向量精度,終止反覆運算地減小步長。
條款3B、根據條款1B之設備,其中為了反覆運算地減小初始步長直到最終步長等於運動向量精度,一或多個處理器亦被配置為:使用初始步長搜尋在初始參考區塊範本周圍的其他參考區塊範本,以決定第一被細化運動向量;將步長從初始步長反覆運算地減小到較精細的步長;基於第一被細化運動向量來辨識新的初始參考區塊範本;並使用較精細的步長搜尋在新的初始參考區塊範本周圍的第二組其他參考區塊範本,以決定第二被細化運動向量。
條款4B、根據條款1B之設備,其中初始步長等於n-圖元,並且為了從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長,一或多個處理器亦被配置為將步長從n-圖元減小到n/2-圖元。
條款5B、根據條款1B之設備,其中被用於在搜尋區域內搜尋的所有步長值皆大於或等於運動向量精度。
條款6B、根據條款1B之設備,其中為了反覆運算地減小步長,一或多個處理器亦被配置為將步長減小1/2倍。
條款7B、根據條款1B之設備,其中為了反覆運算地減小初始步長直到最終步長等於運動向量精度,一或多個處理器亦被配置為:使用初始步長和第一搜尋圖案搜尋在初始參考區塊範本周圍的其他參考區塊範本,以決定第一被細化運動向量;基於第一被細化運動向量來辨識新的初始參考區塊範本;及使用初始步長和第二搜尋圖案搜尋在新的初始參考區塊範本周圍的第二組其他參考區塊範本,以決定第二被細化運動向量。
條款8B、根據條款1B之設備,其中運動向量辨識參考圖片中的參考區塊的左上取樣,並且搜尋區域是在左上取樣的x方向上的8個取樣內並且在左上取樣的y方向上的8個取樣內的區域。
條款9B、根據條款1B之設備,其中運動向量精度和最終步長大於1/8圖元。
條款10B、根據條款1B之設備,其中訊框間預測模式包括AMVP模式,並且決定針對當前區塊的運動向量精度包括在位元串流中接收指示運動向量精度的語法元素。
條款11B、根據條款1B之設備,其中訊框間預測模式包括合併模式,並且決定針對當前區塊的運動向量精度包括根據合併列表中的候選決定運動向量精度。
條款12B、根據條款1B的設備,其中為了輸出當前圖片的經解碼版本,一或多個處理器亦被配置為輸出當前圖片的經解碼版本以供顯示。
條款13B、根據條款1B之設備,其中用於解碼的設備被配置為作為對當前圖片執行編碼程序的一部分對當前圖片的當前區塊進行解碼,並且其中為了輸出當前圖片的經解碼版本,一或多個處理器亦被配置為儲存當前圖片的經解碼版本以用於編碼視訊資料的後續區塊。
條款14B、根據條款1B之設備,其中設備包括無線通訊設備,亦包括被配置為接收經編碼的視訊資料的接收器。
條款15B、根據條款14B之設備,其中無線通訊設備包括電話手機,並且其中接收器被配置為根據無線通訊標準對包括經編碼的視訊資料的信號進行解調。
條款16B、根據條款1B之設備,亦包括:顯示器,被配置為顯示經解碼的視訊資料。
條款17B、根據條款1B之設備,其中設備包括電腦、行動設備、廣播接收器設備或機上盒中的一或多個。
條款18B、根據條款1B之設備,其中設備包括被配置為擷取視訊資料的相機。
條款19B、一種對視訊資料進行解碼的方法,該方法包括以下步驟:決定當前圖片的當前區塊是以訊框間預測模式被編碼的;基於訊框間預測模式來決定針對當前區塊的運動向量;決定針對運動向量的運動向量精度;辨識當前圖片內的當前區塊範本;在搜尋區域內搜尋對應於當前區塊範本的最終參考區塊範本,其中在搜尋區域內搜尋包括:基於運動向量來辨識初始參考區塊範本,使用設置為初始步長的步長搜尋在初始參考區塊範本周圍的其他參考區塊範本,以及從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長;基於最終參考區塊範本來決定針對當前區塊的預測區塊;基於所決定的預測區塊來對當前圖片進行解碼;及輸出當前圖片的經解碼版本。
條款20B、根據條款19B之方法,其中從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長包括:決定步長等於運動向量精度;並且回應於決定步長等於運動向量精度,終止反覆運算地減小步長。
條款21B、根據條款19B之方法,其中反覆運算地減小初始步長直到最終步長等於運動向量精度包括:使用初始步長搜尋在初始參考區塊範本周圍的其他參考區塊範本,以決定第一被細化運動向量;將步長從初始步長反覆運算地減小到較精細的步長;基於第一被細化運動向量來辨識新的初始參考區塊範本;並使用較精細的步長搜尋在新的初始參考區塊範本周圍的第二組其他參考區塊範本,以決定第二被細化運動向量。
條款22B、根據條款19B之方法,其中初始步長等於n-圖元,並且從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長包括將步長從n-圖元減小到n/2-圖元。
條款23B、根據條款19B之方法,其中被用於在搜尋區域內搜尋的所有步長值皆大於或等於運動向量精度。
條款24B、根據條款19B之方法,其中反覆運算地減小步長包括將步長減小1/2倍。
條款25B、根據條款19B之方法,其中反覆運算地減小初始步長直到最終步長等於運動向量精度包括:使用初始步長和第一搜尋圖案搜尋在初始參考區塊範本周圍的其他參考區塊範本,以決定第一被細化運動向量;基於第一被細化運動向量來辨識新的初始參考區塊範本;並且使用初始步長和第二搜尋圖案搜尋在新的初始參考區塊範本周圍的第二組其他參考區塊範本,以決定第二被細化運動向量。
條款26B、根據條款19B之方法,其中運動向量辨識參考圖片中的參考區塊的左上取樣,並且搜尋區域是在左上取樣的x方向上的8個取樣內並且在左上取樣的y方向上的8個取樣內的區域。
條款27B、根據條款19B之方法,其中運動向量精度和最終步長大於1/8圖元。
條款28B、根據條款19B之方法,其中訊框間預測模式包括AMVP模式,並且決定針對當前區塊的運動向量精度包括在位元串流中接收指示運動向量精度的語法元素。
條款29B、根據條款19B之方法,其中訊框間預測模式包括合併模式,並且決定針對當前區塊的運動向量精度包括根據合併列表中的候選決定運動向量精度。
條款30B、根據條款19B之方法,其中輸出當前圖片的經解碼版本包括輸出當前圖片的經解碼版本以供顯示。
條款31B、根據條款19B之方法,其中解碼方法作為視訊編碼處理的一部分執行,並且其中輸出當前圖片的經解碼版本包括儲存當前圖片的經解碼版本以用於編碼視訊資料的後續區塊。
條款32B、一種儲存指令的電腦可讀取儲存媒體,該等指令在由一或多個處理器執行時使該一或多個處理器進行如下操作:決定當前圖片的當前區塊是以訊框間預測模式被編碼的;基於訊框間預測模式來決定針對當前區塊的運動向量;決定針對運動向量的運動向量精度;辨識當前圖片內的當前區塊範本;在搜尋區域內搜尋對應於當前區塊範本的最終參考區塊範本,其中為了在搜尋區域內搜尋,該等指令使一或多個處理器進行如下操作:基於運動向量來辨識初始參考區塊範本,使用設置為初始步長的步長搜尋在初始參考區塊範本周圍的其他參考區塊範本,以及從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長;基於最終參考區塊範本來決定針對當前區塊的預測區塊;基於所決定的預測區塊來對當前圖片進行解碼;及輸出當前圖片的經解碼版本。
條款33B、根據條款32B之電腦可讀取儲存媒體,其中為了從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長,一或多個處理器亦被配置為:決定步長等於運動向量精度;並且回應於決定步長等於運動向量精度,終止反覆運算地減小步長。
條款34B、根據條款32B之電腦可讀取儲存媒體,其中為了反覆運算地減小初始步長直到最終步長等於運動向量精度,一或多個處理器亦被配置為:使用初始步長搜尋在初始參考區塊範本周圍的其他參考區塊範本,以決定第一被細化運動向量;將步長從初始步長反覆運算地減小到較精細的步長;基於第一被細化運動向量來辨識新的初始參考區塊範本;並使用較精細的步長搜尋在新的初始參考區塊範本周圍的第二組其他參考區塊範本,以決定第二被細化運動向量。
條款35B、根據條款32B之電腦可讀取儲存媒體,其中初始步長等於n-圖元,並且為了從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長,一或多個處理器亦被配置為將步長從n-圖元減小到n/2-圖元。
條款36B、根據條款32B之電腦可讀取儲存媒體,其中被用於在搜尋區域內搜尋的所有步長值皆大於或等於運動向量精度。
條款37B、根據條款32B之電腦可讀取儲存媒體,其中為了反覆運算地減小步長,一或多個處理器亦被配置為將步長減小1/2倍。
條款38B、根據條款32B之電腦可讀取儲存媒體,其中為了反覆運算地減小初始步長直到最終步長等於運動向量精度,一或多個處理器亦被配置為:使用初始步長和第一搜尋圖案搜尋在初始參考區塊範本周圍的其他參考區塊範本,以決定第一被細化運動向量;基於第一被細化運動向量來辨識新的初始參考區塊範本;及使用初始步長和第二搜尋圖案搜尋在新的初始參考區塊範本周圍的第二組其他參考區塊範本,以決定第二被細化運動向量。
條款39B、根據條款32B之電腦可讀取儲存媒體,其中運動向量辨識參考圖片中的參考區塊的左上取樣,並且搜尋區域是在左上取樣的x方向上的8個取樣內並且在左上取樣的y方向上的8個取樣內的區域。
條款40B、根據條款32B之電腦可讀取儲存媒體,其中運動向量精度和最終步長大於1/8圖元。
條款41B、根據條款32B之電腦可讀取儲存媒體,其中訊框間預測模式包括AMVP模式,並且決定針對當前區塊的運動向量精度包括在位元串流中接收指示運動向量精度的語法元素。
條款42B、根據條款32B之電腦可讀取儲存媒體,其中訊框間預測模式包括合併模式,並且決定針對當前區塊的運動向量精度包括根據合併列表中的候選決定運動向量精度。
條款43B、根據條款32B之電腦可讀取儲存媒體,其中為了輸出當前圖片的經解碼版本,一或多個處理器亦被配置為輸出當前圖片的經解碼版本以供顯示。
條款44B、根據條款32B之電腦可讀取儲存媒體,其中用於解碼的設備被配置為作為對當前圖片執行編碼程序的一部分對當前圖片的當前區塊進行解碼,並且其中為了輸出當前圖片的經解碼版本,一或多個處理器亦被配置為儲存當前圖片的經解碼版本以用於編碼視訊資料的後續區塊。
條款45B、一種用於解碼視訊資料的設備,該設備包括:用於決定當前圖片的當前區塊是以訊框間預測模式被編碼的構件;用於基於訊框間預測模式來決定針對當前區塊的運動向量的構件;用於決定針對運動向量的運動向量精度的構件;用於辨識當前圖片內的當前區塊範本的構件;用於在搜尋區域內搜尋對應於當前區塊範本的最終參考區塊範本的構件,其中用於在搜尋區域內搜尋的構件包括:用於基於運動向量來辨識初始參考區塊範本的構件,用於使用被設置為初始步長的步長搜尋在初始參考區塊範本周圍的其他參考區塊範本的構件,以及用於從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長的構件;用於基於最終參考區塊範本來決定針對當前區塊的預測區塊的構件;用於基於所決定的預測區塊來對當前圖片進行解碼的構件;及輸出當前圖片的經解碼版本的構件。
條款1C、一種用於對視訊資料進行解碼的設備,該設備包括:記憶體,用於儲存視訊資料;及在電路系統中實現並被配置為進行如下操作的一或多個處理器:決定當前圖片的當前區塊是以訊框間預測模式被編碼的;基於訊框間預測模式來決定針對當前區塊的運動向量;決定針對運動向量的運動向量精度;辨識當前圖片內的當前區塊範本;在搜尋區域內搜尋對應於當前區塊範本的最終參考區塊範本,其中為了在搜尋區域內搜尋,一或多個處理器亦被配置為:基於運動向量來辨識初始參考區塊範本,使用被設置為初始步長的步長搜尋在初始參考區塊範本周圍的其他參考區塊範本,以及從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長;基於最終參考區塊範本來決定針對當前區塊的預測區塊;基於所決定的預測區塊來對當前圖片進行解碼;及輸出當前圖片的經解碼版本。
條款2C、根據條款1C之設備,其中為了從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長,一或多個處理器亦被配置為:決定步長等於運動向量精度;並且回應於決定步長等於運動向量精度,終止反覆運算地減小步長。
條款3C、根據條款1C-2C中任一項之設備,其中為了反覆運算地減小初始步長直到最終步長等於運動向量精度,一或多個處理器亦被配置為:使用初始步長搜尋在初始參考區塊範本周圍的其他參考區塊範本,以決定第一被細化運動向量;將步長從初始步長反覆運算地減小到較精細的步長;基於第一被細化運動向量來辨識新的初始參考區塊範本;並使用較精細的步長搜尋在新的初始參考區塊範本周圍的第二組其他參考區塊範本,以決定第二被細化運動向量。
條款4C、根據條款1C-3C中任一項之設備,其中初始步長等於n-圖元,並且為了從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長,一或多個處理器亦被配置為將步長從n-圖元減小到n/2-圖元。
條款5C、根據條款1C-4C中任一項之設備,其中被用於在搜尋區域內搜尋的所有步長值皆大於或等於運動向量精度。
條款6C、根據條款1C-5C中任一項之設備,其中為了反覆運算地減小步長,一或多個處理器亦被配置為將步長減小1/2倍。
條款7C、根據條款1C-6C中任一項之設備,其中為了反覆運算地減小初始步長直到最終步長等於運動向量精度,一或多個處理器亦被配置為:使用初始步長和第一搜尋圖案搜尋在初始參考區塊範本周圍的其他參考區塊範本,以決定第一被細化運動向量;基於第一被細化運動向量來辨識新的初始參考區塊範本;及使用初始步長和第二搜尋圖案搜尋在新的初始參考區塊範本周圍的第二組其他參考區塊範本,以決定第二被細化運動向量。
條款8C、根據條款1C-7C中任一項之設備,其中運動向量辨識參考圖片中的參考區塊的左上取樣,並且搜尋區域是在左上取樣的x方向上的8個取樣內並且在左上取樣的y方向上的8個取樣內的區域。
條款9C、根據條款1C-8C中任一項之設備,其中運動向量精度和最終步長大於1/8圖元。
條款10C、根據條款1C-9C中的任一項之設備,其中訊框間預測模式包括AMVP模式,並且決定針對當前區塊的運動向量精度包括在位元串流中接收指示運動向量精度的語法元素。
條款11C、根據條款1C-10C中任一項之設備,其中訊框間預測模式包括合併模式,並且決定針對當前區塊的運動向量精度包括根據合併列表中的候選決定運動向量精度。
條款12C、根據條款1C-11C中任一項之設備,其中為了輸出當前圖片的經解碼版本,一或多個處理器亦被配置為輸出當前圖片的經解碼版本以供顯示。
條款13C、根據條款1C-12C中任一項之設備,其中用於解碼的設備被配置為作為對當前圖片執行編碼程序的一部分對當前圖片的當前區塊進行解碼,並且其中為了輸出當前圖片的經解碼版本,一或多個處理器亦被配置為儲存當前圖片的經解碼版本以用於編碼視訊資料的後續區塊。
條款14C、根據條款1C-13C中任一項之設備,其中設備包括無線通訊設備,亦包括被配置為接收經編碼的視訊資料的接收器。
條款15C、根據條款14C之設備,其中無線通訊設備包括電話手機,並且其中接收器被配置為根據無線通訊標準對包括經編碼的視訊資料的信號進行解調。
條款16C、根據條款1C-15C中任一項之設備,亦包括:顯示器,被配置為顯示經解碼的視訊資料。
條款17C、根據條款1C-16C中任一項之設備,其中設備包括電腦、行動設備、廣播接收器設備或機上盒中的一或多個。
條款18C、根據條款1C-17C中任一項之設備,其中設備包括被配置為擷取視訊資料的相機。
條款19C、一種對視訊資料進行解碼的方法,該方法包括以下步驟:決定當前圖片的當前區塊是以訊框間預測模式被編碼的;基於訊框間預測模式來決定針對當前區塊的運動向量;決定針對運動向量的運動向量精度;辨識當前圖片內的當前區塊範本;在搜尋區域內搜尋對應於當前區塊範本的最終參考區塊範本,其中在搜尋區域內搜尋包括:基於運動向量來辨識初始參考區塊範本,使用設置為初始步長的步長搜尋在初始參考區塊範本周圍的其他參考區塊範本,以及從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長;基於最終參考區塊範本來決定針對當前區塊的預測區塊;基於所決定的預測區塊來對當前圖片進行解碼;及輸出當前圖片的經解碼版本。
條款20C、根據條款19C之方法,其中從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長包括:決定步長等於運動向量精度;並且回應於決定步長等於運動向量精度,終止反覆運算地減小步長。
條款21C、根據條款19C-20C中任一項之方法,其中反覆運算地減小初始步長直到最終步長等於運動向量精度包括:使用初始步長搜尋在初始參考區塊範本周圍的其他參考區塊範本,以決定第一被細化運動向量;將步長從初始步長反覆運算地減小到較精細的步長;基於第一被細化運動向量來辨識新的初始參考區塊範本;並使用較精細的步長搜尋在新的初始參考區塊範本周圍的第二組其他參考區塊範本,以決定第二被細化運動向量。
條款22C、根據條款19C-21C中任一項之方法,其中其中初始步長等於n-圖元,並且從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長包括將步長從n-圖元減小到n/2-圖元。
條款23C、根據條款19C-22C中任一項之方法,其中被用於在搜尋區域內搜尋的所有步長值皆大於或等於運動向量精度。
條款24C、根據條款19C-23C中任一項之方法,其中反覆運算地減小步長包括將步長減小1/2倍。
條款25C、根據條款19C-24C中任一項之方法,其中反覆運算地減小初始步長直到最終步長等於運動向量精度包括:使用初始步長和第一搜尋圖案搜尋在初始參考區塊範本周圍的其他參考區塊範本,以決定第一被細化運動向量;基於第一被細化運動向量來辨識新的初始參考區塊範本;並且使用初始步長和第二搜尋圖案搜尋在新的初始參考區塊範本周圍的第二組其他參考區塊範本,以決定第二被細化運動向量。
條款26C、根據條款19C-25C中任一項之方法,其中運動向量辨識參考圖片中的參考區塊的左上取樣,並且搜尋區域是在左上取樣的x方向上的8個取樣內並且在左上取樣的y方向上的8個取樣內的區域。
條款27C、根據條款19C-26C中任一項之方法,其中運動向量精度和最終步長大於1/8圖元。
條款28C、根據條款19C-27C中的任一項之方法,其中訊框間預測模式包括AMVP模式,並且決定針對當前區塊的運動向量精度包括在位元串流中接收指示運動向量精度的語法元素。
條款29C、根據條款19C-28C中任一項之方法,其中訊框間預測模式包括合併模式,並且決定針對當前區塊的運動向量精度包括根據合併列表中的候選決定運動向量精度。
條款30C、根據條款19C-29C中任一項之方法,其中輸出當前圖片的經解碼版本包括輸出當前圖片的經解碼版本以供顯示。
條款31C、根據條款19C-30C中任一項之方法,其中解碼方法作為視訊編碼處理的一部分執行,並且其中輸出當前圖片的經解碼版本包括儲存當前圖片的經解碼版本以用於編碼視訊資料的後續區塊。
條款32C、一種儲存指令的電腦可讀取儲存媒體,該等指令在由一或多個處理器執行時使該一或多個處理器進行如下操作:決定當前圖片的當前區塊是以訊框間預測模式被編碼的;基於訊框間預測模式來決定針對當前區塊的運動向量;決定針對運動向量的運動向量精度;辨識當前圖片內的當前區塊範本;在搜尋區域內搜尋對應於當前區塊範本的最終參考區塊範本,其中為了在搜尋區域內搜尋,該等指令使一或多個處理器進行如下操作:基於運動向量來辨識初始參考區塊範本,使用設置為初始步長的步長搜尋在初始參考區塊範本周圍的其他參考區塊範本,以及從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長;基於最終參考區塊範本來決定針對當前區塊的預測區塊;基於所決定的預測區塊來對當前圖片進行解碼;及輸出當前圖片的經解碼版本。
條款33C、根據條款32C之電腦可讀取儲存媒體,其中為了從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長,一或多個處理器亦被配置為:決定步長等於運動向量精度;並且回應於決定步長等於運動向量精度,終止反覆運算地減小步長。
條款34C、根據條款32C-33C中任一項之電腦可讀取儲存媒體,其中為了反覆運算地減小初始步長直到最終步長等於運動向量精度,一或多個處理器亦被配置為:使用初始步長搜尋在初始參考區塊範本周圍的其他參考區塊範本,以決定第一被細化運動向量;將步長從初始步長反覆運算地減小到較精細的步長;基於第一被細化運動向量來辨識新的初始參考區塊範本;並使用較精細的步長搜尋在新的初始參考區塊範本周圍的第二組其他參考區塊範本,以決定第二被細化運動向量。
條款35C、根據條款32C-34C中任一項之電腦可讀取儲存媒體,其中初始步長等於n-圖元,並且為了從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長,一或多個處理器亦被配置為將步長從n-圖元減小到n/2-圖元。
條款36C、根據條款32C-35C中任一項之電腦可讀取儲存媒體,其中被用於在搜尋區域內搜尋的所有步長值皆大於或等於運動向量精度。
條款37C、根據條款32C-36C中任一項的電腦可讀取儲存媒體,其中為了反覆運算地減小步長,一或多個處理器亦被配置為將步長減小1/2倍。
條款38C、根據條款32C-37C中任一項的電腦可讀取儲存媒體,其中為了反覆運算地減小初始步長直到最終步長等於運動向量精度,一或多個處理器亦被配置為:使用初始步長和第一搜尋圖案搜尋在初始參考區塊範本周圍的其他參考區塊範本,以決定第一被細化運動向量;基於第一被細化運動向量來辨識新的初始參考區塊範本;及使用初始步長和第二搜尋圖案搜尋在新的初始參考區塊範本周圍的第二組其他參考區塊範本,以決定第二被細化運動向量。
條款39C、根據條款32C-38C中任一項之電腦可讀取儲存媒體,其中運動向量辨識參考圖片中的參考區塊的左上取樣,並且搜尋區域是在左上取樣的x方向上的8個取樣內並且在左上取樣的y方向上的8個取樣內的區域。
條款40C、根據條款32C-39C中任一項之電腦可讀取儲存媒體,其中運動向量精度和最終步長大於1/8圖元。
條款41C、根據條款32C-40C中任一項之電腦可讀取儲存媒體,其中訊框間預測模式包括AMVP模式,並且決定針對當前區塊的運動向量精度包括在位元串流中接收指示運動向量精度的語法元素。
條款42C、根據條款32C-41C中任一項之電腦可讀取儲存媒體,其中訊框間預測模式包括合併模式,並且決定針對當前區塊的運動向量精度包括根據合併列表中的候選決定運動向量精度。
條款43C、根據條款32C-42C中任一項之電腦可讀取儲存媒體,其中為了輸出當前圖片的經解碼版本,一或多個處理器亦被配置為輸出當前圖片的經解碼版本以供顯示。
條款44C、根據條款32C-43C中任一項之電腦可讀取儲存媒體,其中用於解碼的設備被配置為作為對當前圖片執行編碼程序的一部分對當前圖片的當前區塊進行解碼,並且其中為了輸出當前圖片的經解碼版本,一或多個處理器亦被配置為儲存當前圖片的經解碼版本以用於編碼視訊資料的後續區塊。
條款45C、一種用於解碼視訊資料的設備,該設備包括:用於決定當前圖片的當前區塊是以訊框間預測模式被編碼的構件;用於基於訊框間預測模式來決定針對當前區塊的運動向量的構件;用於決定針對運動向量的運動向量精度的構件;用於辨識當前圖片內的當前區塊範本的構件;用於在搜尋區域內搜尋對應於當前區塊範本的最終參考區塊範本的構件,其中用於在搜尋區域內搜尋的構件包括:用於基於運動向量來辨識初始參考區塊範本的構件,用於使用被設置為初始步長的步長搜尋在初始參考區塊範本周圍的其他參考區塊範本的構件,以及用於從初始步長反覆運算地減小步長,直到步長被設置為等於運動向量精度的最終步長的構件;用於基於最終參考區塊範本來決定針對當前區塊的預測區塊的構件;用於基於所決定的預測區塊來對當前圖片進行解碼的構件;及輸出當前圖片的經解碼版本的構件。
應當認識到,根據實例,在本文描述的任何技術的特定行為或事件可以以不同的順序執行,可以一起添加、合併或省略(例如,並非所有描述的行為或事件對於技術的實踐皆是必需的)。此外,在特定的實例中,動作或事件可以併發地執行,例如,經由多執行緒處理、中斷處理或多個處理器,而不是順序地執行。
在一或多個實例中,所描述的功能可以以硬體、軟體、韌體或其任何組合實現。若以軟體實現,則該等功能可以作為電腦可讀取媒體上的一或多個指令或代碼儲存在電腦可讀取媒體上或經由電腦可讀取媒體傳輸,並由基於硬體的處理單元執行。電腦可讀取媒體可以包括電腦可讀取儲存媒體,其對應於諸如資料儲存媒體之類的有形媒體,或者包括例如根據通訊協定促進電腦程式從一個地方傳輸到另一個地方的任何媒體的通訊媒體。以此種方式,電腦可讀取媒體通常可對應於(1)非暫時性的有形電腦可讀取儲存媒體或(2)諸如信號或載波的通訊媒體。資料儲存媒體可以是可由一或多個電腦或一或多個處理器存取的任何可用媒體,以取得用於實現在本案內容中描述的技術的指令、代碼及/或資料結構。電腦程式產品可以包括電腦可讀取媒體。
作為實例而非限制,此種電腦可讀取儲存媒體可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存、磁碟儲存或其他磁儲存設備、快閃記憶體,或任何其他可用於以指令或資料結構的形式儲存所需程式碼並可由電腦存取的媒體。此外,任何連接皆恰當地稱為電腦可讀取媒體。例如,若使用同軸電纜、光纖電纜、雙絞線、數位用戶線路(DSL)或無線技術(諸如紅外、無線電和微波)從網站、伺服器或其他遠端源傳輸指令,則同軸電纜、光纖電纜、雙絞線、DSL或無線技術(諸如紅外、無線電和微波)皆包含在媒體的定義中。然而,應當理解,電腦可讀取儲存媒體和資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而是指向非暫時性有形儲存媒體。本文所使用的磁碟和光碟包括壓縮光碟(CD)、鐳射光碟、光碟、數位多功能光碟(DVD)、軟碟和藍光光碟,其中磁碟通常以磁性方式再現資料,而光碟則以鐳射以光學方式再現資料。上述的組合亦應包括在電腦可讀取媒體的範疇內。
指令可以由一或多個處理器(諸如一或多個DSP、通用微處理器、ASIC、FPGA或其他等效整合或個別邏輯電路系統)執行。因此,如本文所使用的術語「處理器」和「處理電路系統」可以指上述結構或適於實現本文所描述的技術的任何其他結構中的任何一個。另外,在一些態樣中,本文所描述的功能性可以在被配置用於編碼和解碼的專用硬體及/或軟體模組內提供,或併入組合式轉碼器中。此外,該等技術可以完全實現在一或多個電路或邏輯元件中。
本案內容的技術可以實現在多種設備或裝置(包括無線手持設備、積體電路(IC)或一組IC(例如,晶片組))中。在本案內容中描述了各種元件、模組或單元,以強調被配置為執行所揭示的技術的設備的功能態樣,但不一定需要由不同的硬體單元實現。而是,如前述,各種單元可以組合在轉碼器硬體單元中,或者由交互操作硬體單元的集合(包括如前述的一或多個處理器)結合適合的軟體及/或韌體來提供。
已描述了各種實例。該等和其他實例在以下請求項的範疇內。
100:視訊編碼和解碼系統 102:源設備 104:視訊源 106:記憶體 108:輸出介面 110:電腦可讀取媒體 112:儲存設備 114:檔案伺服器 116:目的地設備 118:顯示設備 120:記憶體 122:輸入介面 130:QTBT結構 132:CTU 140:區塊 142:區塊 144:區塊 146:運動向量按比例調整程序 148:當前範本 150:當前圖片 152:參考範本 154:參考圖片 156:當前圖片 158:參考圖片 160:參考圖片 162:當前圖片 164:參考圖片 166:參考圖片 170:取樣 172:取樣 174:取樣 176:取樣 178:區塊 180:區塊 182:點 184:點 200:視訊編碼器 202:模式選擇單元 204:殘差產生單元 206:變換處理單元 208:量化單元 210:逆量化單元 212:逆變換處理單元 214:重構單元 216:濾波器單元 218:經解碼圖片緩衝器(DPB) 220:熵編碼單元 222:運動估計單元 224:運動補償單元 226:訊框內預測單元 230:視訊資料記憶體 300:視訊解碼器 302:熵解碼單元 304:預測處理單元 306:逆量化單元 308:逆變換處理單元 310:重構單元 312:濾波器單元 314:經解碼圖片緩衝器(DPB) 316:運動補償單元 317:DMVR單元 318:訊框內預測單元 320:CPB記憶體 350:步驟 352:步驟 354:步驟 356:步驟 358:步驟 360:步驟 370:步驟 372:步驟 374:步驟 376:步驟 378:步驟 380:步驟 400:步驟 402:步驟 404:步驟 406:步驟 408:步驟 410:步驟 412:步驟 414:步驟 416:步驟 418:步驟 420:步驟 MV 0:初始運動向量 MV 0':最終運動向量 MV 1:初始運動向量 MV 1':最終運動向量 MV diff:運動向量差 TD0:時間距離 TD1:時間距離
圖1是圖示可以執行本案內容的技術的示例性視訊編碼和解碼系統的方塊圖。
圖2A和圖2B是圖示示例性四叉樹二叉樹(QTBT)結構和對應的譯碼樹單元(CTU)的概念圖。
圖3A是圖示用於合併模式的空間運動向量候選的概念圖。
圖3B是圖示用於高級運動向量預測(AMVP)模式的空間運動向量候選的概念圖。
圖4A是圖示時間運動向量候選的概念圖。
圖4B是圖示運動向量比例調整的概念圖。
圖5圖示了示例性範本匹配程序。
圖6和圖7圖示關於時間距離的運動向量差異的實例。
圖8圖示雙邊匹配的示例性搜尋圖案。
圖9圖示示例性解碼側運動向量細化程序。
圖10圖示利用運動向量差的合併模式(MMVD)搜尋點的實例。
圖11是圖示可以執行本案內容的技術的示例性視訊編碼器的方塊圖。
圖12是圖示可以執行本案內容的技術的示例性視訊解碼器的方塊圖。
圖13是圖示根據本案內容的技術用於編碼當前區塊的示例性程序的流程圖。
圖14是圖示根據本案內容的技術用於解碼當前區塊的示例性程序的流程圖。
圖15是圖示根據本案內容的技術用於解碼當前區塊的示例性程序的流程圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
400:步驟
402:步驟
404:步驟
406:步驟
408:步驟
410:步驟
412:步驟
414:步驟
416:步驟
418:步驟
420:步驟

Claims (45)

  1. 一種用於對視訊資料進行解碼的設備,該設備包括: 一記憶體,被配置為儲存該視訊資料; 在電路系統中實現並被配置為進行如下操作的一或多個處理器: 決定一當前圖片的一當前區塊是以一訊框間預測模式被編碼的; 基於該訊框間預測模式來決定針對該當前區塊的一運動向量; 決定針對該運動向量的一運動向量精度; 辨識該當前圖片內的一當前區塊範本; 在一搜尋區域內搜尋對應於該當前區塊範本的一最終參考區塊範本,其中為了在該搜尋區域內搜尋,該一或多個處理器亦被配置為: 基於該運動向量來辨識一初始參考區塊範本, 使用被設置為一初始步長的一步長搜尋在該初始參考區塊範本周圍的其他參考區塊範本,以及 從該初始步長反覆運算地減小該步長,直到該步長被設置為等於該運動向量精度的一最終步長; 基於該最終參考區塊範本來決定針對該當前區塊的一預測區塊; 基於所決定的該預測區塊來對該當前圖片進行解碼;及 輸出該當前圖片的一經解碼版本。
  2. 根據請求項1之設備,其中為了從該初始步長反覆運算地減小該步長,直到該步長被設置為等於該運動向量精度的該最終步長,該一或多個處理器亦被配置為: 決定該步長等於該運動向量精度;及 回應於決定該步長等於該運動向量精度,終止該反覆運算地減小該步長。
  3. 根據請求項1之設備,其中為了反覆運算地減小該初始步長,直到該最終步長等於該運動向量精度,該一或多個處理器亦被配置為: 使用該初始步長搜尋在該初始參考區塊範本周圍的該等其他參考區塊範本,以決定一第一被細化運動向量; 將該步長從該初始步長反覆運算地減小到一較精細的步長; 基於該第一被細化運動向量來辨識一新的初始參考區塊範本;及 使用該較精細的步長搜尋在該新的初始參考區塊範本周圍的一第二組其他參考區塊範本,以決定一第二被細化運動向量。
  4. 根據請求項1之設備,其中該初始步長等於n-圖元,並且為了從該初始步長反覆運算地減小該步長,直到該步長被設置為等於該運動向量精度的該最終步長,該一或多個處理器亦被配置為將該步長從n-圖元減小到n/2-圖元。
  5. 根據請求項1之設備,其中被用於在該搜尋區域內搜尋的所有步長值皆大於或等於該運動向量精度。
  6. 根據請求項1之設備,其中為了反覆運算地減小該步長,該一或多個處理器亦被配置為將該步長減小一1/2倍。
  7. 根據請求項1之設備,其中為了反覆運算地減小該初始步長直到該最終步長等於該運動向量精度,該一或多個處理器亦被配置為: 使用該初始步長和一第一搜尋圖案搜尋在該初始參考區塊範本周圍的該等其他參考區塊範本,以決定一第一被細化運動向量; 基於該第一被細化運動向量來辨識一新的初始參考區塊範本;及 使用該初始步長和一第二搜尋圖案搜尋在該新的初始參考區塊範本周圍的一第二組其他參考區塊範本,以決定一第二被細化運動向量。
  8. 根據請求項1之設備,其中該運動向量辨識一參考圖片中的一參考區塊的一左上取樣,並且該搜尋區域是在該左上取樣的一x方向上的8個取樣內並且在該左上取樣的一y方向上的8個取樣內的一區域。
  9. 根據請求項1之設備,其中該運動向量精度和該最終步長大於1/8圖元。
  10. 根據請求項1之設備,其中該訊框間預測模式包括一AMVP模式,並且決定針對該當前區塊的該運動向量精度包括在一位元串流中接收指示該運動向量精度的一語法元素。
  11. 根據請求項1之設備,其中該訊框間預測模式包括一合併模式,並且決定針對該當前區塊的該運動向量精度包括根據一合併列表中的一候選決定該運動向量精度。
  12. 根據請求項1之設備,其中為了輸出該當前圖片的該經解碼版本,該一或多個處理器亦被配置為輸出該當前圖片的該經解碼版本以供顯示。
  13. 根據請求項1之設備,其中用於進行解碼的該設備被配置為作為對該當前圖片執行一編碼程序的一部分對該當前圖片的該當前區塊進行解碼,並且其中為了輸出該當前圖片的該經解碼版本,該一或多個處理器亦被配置為儲存該等當前圖片的該經解碼版本以用於編碼該視訊資料的後續區塊。
  14. 根據請求項1之設備,其中該設備包括一無線通訊設備,亦包括被配置為接收經編碼的視訊資料的一接收器。
  15. 根據請求項14之設備,其中該無線通訊設備包括一電話手機,並且其中該接收器被配置為根據一無線通訊標準對包括該經編碼的視訊資料的一信號進行解調。
  16. 根據請求項1之設備,亦包括:一顯示器,被配置為顯示經解碼的視訊資料。
  17. 根據請求項1之設備,其中該設備包括一電腦、一行動設備、一廣播接收器設備或一機上盒中的一或多個。
  18. 根據請求項1之設備,其中該設備包括被配置為擷取該視訊資料的一相機。
  19. 一種對視訊資料進行解碼的方法,該方法包括以下步驟: 決定一當前圖片的一當前區塊是以一訊框間預測模式被編碼的; 基於該訊框間預測模式來決定針對該當前區塊的一運動向量; 決定針對該運動向量的一運動向量精度; 辨識該當前圖片內的一當前區塊範本; 在一搜尋區域內搜尋對應於該當前區塊範本的一最終參考區塊範本,其中在該搜尋區域內搜尋之步驟包括以下步驟: 基於該運動向量來辨識一初始參考區塊範本, 使用被設置為一初始步長的一步長搜尋在該初始參考區塊範本周圍的其他參考區塊範本,以及 從該初始步長反覆運算地減小該步長,直到該步長被設置為等於該運動向量精度的一最終步長; 基於該最終參考區塊範本來決定針對該當前區塊的一預測區塊; 基於所決定的該預測區塊來對該當前圖片進行解碼;及 輸出該當前圖片的一經解碼版本。
  20. 根據請求項19之方法,其中從該初始步長反覆運算地減小該步長,直到該步長被設置為等於該運動向量精度的該最終步長,包括以下步驟: 決定該步長等於該運動向量精度;及 回應於決定該步長等於該運動向量精度,終止反覆運算地減小該步長。
  21. 根據請求項19之方法,其中反覆運算地減小該初始步長,直到該最終步長等於該運動向量精度,包括以下步驟: 使用該初始步長搜尋在該初始參考區塊範本周圍的該等其他參考區塊範本,以決定一第一被細化運動向量; 將該步長從該初始步長反覆運算地減小到一較精細的步長; 基於該第一被細化運動向量來辨識一新的初始參考區塊範本;及 使用該較精細的步長搜尋在該新的初始參考區塊範本周圍的一第二組其他參考區塊範本,以決定一第二被細化運動向量。
  22. 根據請求項19之方法,其中該初始步長等於n-圖元,並且從該初始步長反覆運算地減小該步長,直到該步長被設置為等於該運動向量精度的該最終步長,包括以下步驟:將該步長從n-圖元減小到n/2-圖元。
  23. 根據請求項19之方法,其中被用於在該搜尋區域內搜尋的所有步長值皆大於或等於該運動向量精度。
  24. 根據請求項19之方法,其中該反覆運算地減小該步長之步驟包括以下步驟:將該步長減小一1/2倍。
  25. 根據請求項19之方法,其中反覆運算地減小該初始步長直到該最終步長等於該運動向量精度,包括以下步驟: 使用該初始步長和一第一搜尋圖案搜尋在該初始參考區塊範本周圍的該等其他參考區塊範本,以決定一第一被細化運動向量; 基於該第一被細化運動向量來辨識一新的初始參考區塊範本;及 使用該初始步長和一第二搜尋圖案搜尋在該新的初始參考區塊範本周圍的一第二組其他參考區塊範本,以決定一第二被細化運動向量。
  26. 根據請求項19之方法,其中該運動向量辨識一參考圖片中的一參考區塊的一左上取樣,並且該搜尋區域是在該左上取樣的一x方向上的8個取樣內並且在該左上取樣的一y方向上的8個取樣內的一區域。
  27. 根據請求項19之方法,其中該運動向量精度和該最終步長大於1/8圖元。
  28. 根據請求項19之方法,其中該訊框間預測模式包括一AMVP模式,並且決定針對該當前區塊的該運動向量精度之步驟包括以下步驟:在一位元串流中接收指示該運動向量精度的一語法元素。
  29. 根據請求項19之方法,其中該訊框間預測模式包括一合併模式,並且決定針對該當前區塊的該運動向量精度之步驟包括以下步驟:根據一合併列表中的一候選決定該運動向量精度。
  30. 根據請求項19之方法,其中輸出該當前圖片的該經解碼版本之步驟包括以下步驟:輸出該當前圖片的該經解碼版本以供顯示。
  31. 根據請求項19之方法,其中用於進行解碼的該方法作為一視訊編碼處理的一部分執行,並且其中輸出該當前圖片的該經解碼版本之步驟包括以下步驟:儲存該等當前圖片的該經解碼版本以用於編碼該視訊資料的後續區塊。
  32. 一種儲存指令的電腦可讀取儲存媒體,該等指令在由一或多個處理器執行時使該一或多個處理器進行如下操作: 決定一當前圖片的一當前區塊是以一訊框間預測模式被編碼的; 基於該訊框間預測模式來決定針對該當前區塊的一運動向量; 決定針對該運動向量的一運動向量精度; 辨識該當前圖片內的一當前區塊範本; 在一搜尋區域內搜尋對應於該當前區塊範本的一最終參考區塊範本,其中為了在該搜尋區域內搜尋,該等指令使該一或多個處理器進行如下操作: 基於該運動向量來辨識一初始參考區塊範本, 使用被設置為一初始步長的一步長搜尋在該初始參考區塊範本周圍的其他參考區塊範本,以及 從該初始步長反覆運算地減小該步長,直到該步長被設置為等於該運動向量精度的一最終步長; 基於該最終參考區塊範本來決定針對該當前區塊的一預測區塊; 基於所決定的該預測區塊來對該當前圖片進行解碼;及 輸出該當前圖片的一經解碼版本。
  33. 根據請求項32之電腦可讀取儲存媒體,其中為了從該初始步長反覆運算地減小該步長,直到該步長被設置為等於該運動向量精度的該最終步長,該一或多個處理器亦被配置為: 決定該步長等於該運動向量精度;及 回應於決定該步長等於該運動向量精度,終止該反覆運算地減小該步長。
  34. 根據請求項32之電腦可讀取儲存媒體,其中為了反覆運算地減小該初始步長,直到該最終步長等於該運動向量精度,該一或多個處理器亦被配置為: 使用該初始步長搜尋在該初始參考區塊範本周圍的該等其他參考區塊範本,以決定一第一被細化運動向量; 將該步長從該初始步長反覆運算地減小到一較精細的步長; 基於該第一被細化運動向量來辨識一新的初始參考區塊範本;及 使用該較精細的步長搜尋在該新的初始參考區塊範本周圍的一第二組其他參考區塊範本,以決定一第二被細化運動向量。
  35. 根據請求項32之電腦可讀取儲存媒體,其中該初始步長等於n-圖元,並且為了從該初始步長反覆運算地減小該步長,直到該步長被設置為等於該運動向量精度的該最終步長,該一或多個處理器亦被配置為將該步長從n-圖元減小到n/2-圖元。
  36. 根據請求項32之電腦可讀取儲存媒體,其中被用於在該搜尋區域內搜尋的所有步長值皆大於或等於該運動向量精度。
  37. 根據請求項32之電腦可讀取儲存媒體,其中為了反覆運算地減小該步長,該一或多個處理器亦被配置為將該步長減小一1/2倍。
  38. 根據請求項32之電腦可讀取儲存媒體,其中為了反覆運算地減小該初始步長直到該最終步長等於該運動向量精度,該一或多個處理器亦被配置為: 使用該初始步長和一第一搜尋圖案搜尋在該初始參考區塊範本周圍的該等其他參考區塊範本,以決定一第一被細化運動向量; 基於該第一被細化運動向量來辨識一新的初始參考區塊範本;及 使用該初始步長和一第二搜尋圖案搜尋在該新的初始參考區塊範本周圍的一第二組其他參考區塊範本,以決定一第二被細化運動向量。
  39. 根據請求項32之電腦可讀取儲存媒體,其中該運動向量辨識一參考圖片中的一參考區塊的一左上取樣,並且該搜尋區域是在該左上取樣的一x方向上的8個取樣內並且在該左上取樣的一y方向上的8個取樣內的一區域。
  40. 根據請求項32之電腦可讀取儲存媒體,其中該運動向量精度和該最終步長大於1/8圖元。
  41. 根據請求項32之電腦可讀取儲存媒體,其中該訊框間預測模式包括一AMVP模式,並且決定針對該當前區塊的該運動向量精度包括在一位元串流中接收指示該運動向量精度的一語法元素。
  42. 根據請求項32之電腦可讀取儲存媒體,其中該訊框間預測模式包括一合併模式,並且決定針對該當前區塊的該運動向量精度包括根據一合併列表中的一候選決定該運動向量精度。
  43. 根據請求項32之電腦可讀取儲存媒體,其中為了輸出該當前圖片的該經解碼版本,該一或多個處理器亦被配置為輸出該當前圖片的該經解碼版本以供顯示。
  44. 根據請求項32之電腦可讀取儲存媒體,其中用於進行解碼的該設備被配置為作為對該當前圖片執行一編碼程序的一部分對該當前圖片的該當前區塊進行解碼,並且其中為了輸出該當前圖片的該經解碼版本,該一或多個處理器亦被配置為儲存該等當前圖片的該經解碼版本以用於編碼該視訊資料的後續區塊。
  45. 一種用於對視訊資料進行解碼的設備,該設備包括: 用於決定一當前圖片的一當前區塊是以一訊框間預測模式被編碼的構件; 用於基於該訊框間預測模式來決定針對該當前區塊的一運動向量的構件; 用於決定針對該運動向量的一運動向量精度的構件; 用於辨識該當前圖片內的一當前區塊範本的構件; 用於在一搜尋區域內搜尋對應於該當前區塊範本的一最終參考區塊範本的構件,其中該用於在該搜尋區域內搜尋的構件包括: 用於基於該運動向量來辨識一初始參考區塊範本的構件, 用於使用被設置為一初始步長的一步長搜尋在該初始參考區塊範本周圍的其他參考區塊範本的構件,以及 用於從該初始步長反覆運算地減小該步長,直到該步長被設置為等於該運動向量精度的一最終步長的構件; 用於基於該最終參考區塊範本來決定針對該當前區塊的一預測區塊的構件; 用於基於所決定的該預測區塊來對該當前圖片進行解碼的構件;及 用於輸出該當前圖片的一經解碼版本的構件。
TW110148413A 2020-12-29 2021-12-23 視訊譯碼中的範本匹配 TW202232956A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063131676P 2020-12-29 2020-12-29
US63/131,676 2020-12-29
US17/558,119 2021-12-21
US17/558,119 US11758151B2 (en) 2020-12-29 2021-12-21 Template matching in video coding

Publications (1)

Publication Number Publication Date
TW202232956A true TW202232956A (zh) 2022-08-16

Family

ID=79927080

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110148413A TW202232956A (zh) 2020-12-29 2021-12-23 視訊譯碼中的範本匹配

Country Status (11)

Country Link
US (1) US20230362391A1 (zh)
EP (1) EP4272436A1 (zh)
JP (1) JP2024501137A (zh)
KR (1) KR20230125784A (zh)
AU (1) AU2021416082A1 (zh)
BR (1) BR112023012151A2 (zh)
CA (1) CA3198100A1 (zh)
CL (1) CL2023001900A1 (zh)
MX (1) MX2023007564A (zh)
TW (1) TW202232956A (zh)
WO (1) WO2022146833A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024182669A1 (en) * 2023-03-02 2024-09-06 Ofinno, Llc Template-based weight derivation for block prediction

Also Published As

Publication number Publication date
CL2023001900A1 (es) 2024-01-05
CA3198100A1 (en) 2022-07-07
AU2021416082A9 (en) 2024-09-05
WO2022146833A1 (en) 2022-07-07
US20230362391A1 (en) 2023-11-09
AU2021416082A1 (en) 2023-05-18
KR20230125784A (ko) 2023-08-29
MX2023007564A (es) 2023-07-11
JP2024501137A (ja) 2024-01-11
BR112023012151A2 (pt) 2023-11-28
EP4272436A1 (en) 2023-11-08

Similar Documents

Publication Publication Date Title
US11206396B2 (en) Local illumination compensation in video coding
US11936877B2 (en) Template matching based affine prediction for video coding
US11758151B2 (en) Template matching in video coding
CN113892264A (zh) 使用非矩形预测模式来减少用于视频数据预测的运动场存储
US20230117308A1 (en) Decoder side motion derivation using spatial correlation
US20230094825A1 (en) Motion vector difference sign prediction for video coding
US20230007238A1 (en) Using unrefined motion vectors for performing decoder-side motion vector derivation
US20220311997A1 (en) Adaptively coding motion information for multiple hypothesis prediction for video coding
US20220248047A1 (en) Model-based motion vector difference derivation and template matching prediction for video coding
WO2022221140A1 (en) Template matching based affine prediction for video coding
KR20230135587A (ko) 비디오 코딩을 위한 모델-기반 모션 벡터 차이 도출및 템플릿 매칭 예측
US20230362391A1 (en) Template matching in video coding
US12113987B2 (en) Multi-pass decoder-side motion vector refinement
CN116636213A (zh) 视频译码中的模板匹配
US20240129481A1 (en) Regression-based decoder side affine motion derivation for video coding
US20240121399A1 (en) Decoder-side control point motion vector refinement for affine inter-prediction in video coding
US20240179342A1 (en) Adaptive bilateral matching for decoder side affine motion vector refinement
US20230336713A1 (en) Methods for adaptive signaling of maximum number of merge candidates in multiple hypothesis prediction
TW202232951A (zh) 多通路解碼器側運動向量細化
WO2024081497A1 (en) Regression-based decoder side affine motion derivation for video coding
TW202243475A (zh) 視頻譯碼中的雙向光流
CN116803081A (zh) 用于视频编解码的基于模型的运动矢量差导出和模板匹配预测
WO2024148066A1 (en) Template matching for flipped intra block copy
CN117203966A (zh) 用于视频译码的基于模板匹配的仿射预测
CN117546467A (zh) 使用未经细化的运动向量来执行解码器侧运动向量推导