TWI803563B - 改良的解碼器側之運動向量推導 - Google Patents

改良的解碼器側之運動向量推導 Download PDF

Info

Publication number
TWI803563B
TWI803563B TW108101853A TW108101853A TWI803563B TW I803563 B TWI803563 B TW I803563B TW 108101853 A TW108101853 A TW 108101853A TW 108101853 A TW108101853 A TW 108101853A TW I803563 B TWI803563 B TW I803563B
Authority
TW
Taiwan
Prior art keywords
block
video data
mode
video
dmvd
Prior art date
Application number
TW108101853A
Other languages
English (en)
Other versions
TW201933866A (zh
Inventor
陳義文
錢威俊
孫宇辰
張理
莊孝強
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201933866A publication Critical patent/TW201933866A/zh
Application granted granted Critical
Publication of TWI803563B publication Critical patent/TWI803563B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供例如在將一或多個約束應用至運動資訊時，與解碼器側運動向量推導(DMVD)相關之改良的系統及方法，該運動資訊諸如藉由DMVD導出之一MV，及/或一初始MV與藉由DMVD導出之一MV之間的一MV差。此等技術可應用於現有視訊編解碼器中之任一者，諸如高效率視訊寫碼(HEVC)，及/或可為任何未來視訊寫碼標準中之一高效寫碼工具。在一個實例中，可限定用於DMVD之區塊大小。在另一實例中，可藉由不搜尋由原始運動向量指示之外部參考區塊而簡化FRUC雙側匹配。

Description

改良的解碼器側之運動向量推導
本發明係關於視訊編碼及視訊解碼。
數位視訊能力可併入至廣泛範圍之裝置中，該等裝置包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄裝置、數位媒體播放器、視訊遊戲裝置、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議裝置、視訊串流裝置等。數位視訊裝置實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)定義之標準、最近定案之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的技術。視訊裝置可藉由實施此等視訊壓縮技術而更高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(即，視訊圖框或視訊圖框之一部分)分割成視訊區塊，其亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)圖塊中的視訊區塊係使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測經編碼。圖像之經框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測產生用於待寫碼之區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量，及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料經編碼。經框內寫碼區塊係根據框內寫碼模式及殘餘資料經編碼。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生可接著進行量化之殘餘變換係數。可掃描最初配置成二維陣列之經量化變換係數，以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至較多壓縮。
大體而言，本發明描述與解碼器側運動向量推導(DMVD)相關之技術，包括用於導出用於編碼視訊資料區塊之運動資訊(例如，一或多個運動向量、精度及一或多個參考圖像索引)，及用於由視訊解碼器判定與由視訊編碼器所選相同之運動資訊的技術。使用由視訊編碼器使用之相同(或互逆)推導技術，視訊解碼器可在未接收到具體識別運動資訊之任何語法元素的情況下判定何運動資訊用於編碼視訊資料。
在一個實例中，一種方法包括：判定以框間預測模式寫碼視訊資料區塊；隱含地判定針對視訊資料區塊啟用解碼器側運動向量推導(DMVD)模式；判定用於視訊資料區塊之運動資訊；使用運動資訊來根據DMVD模式判定參考區塊；及基於參考區塊而產生用於視訊資料區塊之預測性區塊。
在另一實例中，一種用於解碼視訊資料之裝置包括經組態以儲存視訊資料之記憶體，及經組態以進行以下操作之一或多個處理器：判定以框間預測模式寫碼視訊資料區塊；隱含地判定針對視訊資料區塊啟用解碼器側運動向量推導(DMVD)模式；判定用於視訊資料區塊之運動資訊；使用運動資訊來根據DMVD模式判定參考區塊；及基於參考區塊而產生用於視訊資料區塊之預測性區塊。
在另一實例中，一種儲存指令之電腦可讀儲存媒體，該等指令在由一或多個處理器執行時致使一或多個處理器：判定以框間預測模式寫碼視訊資料區塊；隱含地判定針對視訊資料區塊啟用解碼器側運動向量推導(DMVD)模式；判定用於視訊資料區塊之運動資訊；使用運動資訊來根據DMVD模式判定參考區塊；及基於參考區塊而產生用於視訊資料區塊之預測性區塊。
在另一實例中，一種用於解碼視訊資料之設備包括：用於判定以框間預測模式寫碼視訊資料區塊的構件；用於隱含地判定針對視訊資料區塊啟用解碼器側運動向量推導(DMVD)模式的構件；用於判定用於視訊資料區塊之運動資訊的構件；用於使用運動資訊來根據DMVD模式判定參考區塊的構件；及用於基於參考區塊而產生用於視訊資料區塊之預測性區塊的構件。
在另一實例中，一種解碼視訊資料之方法包括：判定以框間預測模式寫碼視訊資料區塊；判定針對視訊資料區塊啟用解碼器側運動向量推導(DMVD)模式；判定用於視訊資料區塊之運動資訊；使用運動資訊來根據DMVD模式判定參考區塊，其中進一步限定參考區塊以節約記憶體存取頻寬；及基於經限定參考區塊而產生用於視訊資料區塊之預測性區塊。可在至少一個維度上減少經限定參考區塊之大小。經限定參考區塊僅包括可由原始運動向量指示之參考像素。可藉由用以下操作中之至少一者來判定在經限定參考區塊外部的參考像素之值而產生預測性區塊：利用具有較短抽頭之內插濾波器、自附近可用參考像素複製像素值、自附近可用參考像素內插像素值。運動資訊可包含運動向量、運動向量精度及參考圖像索引中之一些或全部。DMVD模式可包含圖案匹配運動向量推導模式、雙向光流模式、雙側模板匹配模式中之一者。判定針對視訊資料區塊啟用DMVD模式可包含基於用於寫碼視訊資料區塊之一或多個相鄰區塊的模式，判定針對視訊資料區塊啟用DMVD模式。一或多個相鄰區塊可包含時間相鄰區塊。判定針對視訊資料區塊啟用DMVD模式可包含回應於包含視訊資料區塊之當前圖塊的低延遲條件為真，判定針對視訊資料區塊啟用DMVD模式，其中低延遲條件需要當前圖塊之所有參考圖像在顯示次序上在當前圖塊之前。DMVD模式可包含圖框速率向上轉換(FRUC)模板匹配模式。判定用於視訊資料區塊之運動資訊可包含判定視訊資料區塊之參考索引，且其中判定針對視訊資料區塊啟用DMVD模式包含回應於判定視訊資料區塊之參考索引的值等於零，判定針對視訊資料區塊啟用DMVD模式。該方法可執行為視訊編碼程序之解碼迴路的部分。
在另一實例中，一種用於解碼視訊資料之裝置包括經組態以儲存視訊資料之記憶體，及經組態以進行以下操作之一或多個處理器：判定以框間預測模式寫碼視訊資料區塊；判定針對視訊資料區塊啟用解碼器側運動向量推導(DMVD)模式；判定用於視訊資料區塊之運動資訊；使用運動資訊來根據DMVD模式判定參考區塊，其中進一步限定參考區塊以節約記憶體存取頻寬；及基於經限定參考區塊而產生用於視訊資料區塊之預測性區塊。可在至少一個維度上減少經限定參考區塊之大小。經限定參考區塊僅包括可由原始運動向量指示之參考像素。可藉由用以下操作中之至少一者來判定在經限定參考區塊外部的參考像素之值而產生預測性區塊：利用具有較短抽頭之內插濾波器、自附近可用參考像素複製像素值、自附近可用參考像素內插像素值。運動資訊可包含運動向量、運動向量精度及參考圖像索引中之一些或全部。DMVD模式可包含圖案匹配運動向量推導模式、雙向光流模式、雙側模板匹配模式中之一者。判定針對視訊資料區塊啟用DMVD模式可包含基於用於寫碼視訊資料區塊之一或多個相鄰區塊的模式，判定針對視訊資料區塊啟用DMVD模式。一或多個相鄰區塊可包含時間相鄰區塊。判定針對視訊資料區塊啟用DMVD模式可包含回應於包含視訊資料區塊之當前圖塊的低延遲條件為真，判定針對視訊資料區塊啟用DMVD模式，其中低延遲條件需要當前圖塊之所有參考圖像在顯示次序上在當前圖塊之前。DMVD模式可包含圖框速率向上轉換(FRUC)模板匹配模式。判定用於視訊資料區塊之運動資訊可包含判定視訊資料區塊之參考索引，且其中判定針對視訊資料區塊啟用DMVD模式包含回應於判定視訊資料區塊之參考索引的值等於零，判定針對視訊資料區塊啟用DMVD模式。該方法可執行為視訊編碼程序之解碼迴路的部分。
在另一實例中，一種用於解碼視訊資料之裝置包括用於儲存視訊資料之構件，及用於處理之構件，該構件經組態以：判定以框間預測模式寫碼視訊資料區塊；判定針對視訊資料區塊啟用解碼器側運動向量推導(DMVD)模式；判定用於視訊資料區塊之運動資訊；使用運動資訊來根據DMVD模式判定參考區塊，其中進一步限定參考區塊以節約記憶體存取頻寬；及基於經限定參考區塊而產生用於視訊資料區塊之預測性區塊。可在至少一個維度上減少經限定參考區塊之大小。經限定參考區塊僅包括可由原始運動向量指示之參考像素。可藉由用以下操作中之至少一者來判定在經限定參考區塊外部的參考像素之值而產生預測性區塊：利用具有較短抽頭之內插濾波器、自附近可用參考像素複製像素值、自附近可用參考像素內插像素值。運動資訊可包含運動向量、運動向量精度及參考圖像索引中之一些或全部。DMVD模式可包含圖案匹配運動向量推導模式、雙向光流模式、雙側模板匹配模式中之一者。判定針對視訊資料區塊啟用DMVD模式可包含基於用於寫碼視訊資料區塊之一或多個相鄰區塊的模式，判定針對視訊資料區塊啟用DMVD模式。一或多個相鄰區塊可包含時間相鄰區塊。判定針對視訊資料區塊啟用DMVD模式可包含回應於包含視訊資料區塊之當前圖塊的低延遲條件為真，判定針對視訊資料區塊啟用DMVD模式，其中低延遲條件需要當前圖塊之所有參考圖像在顯示次序上在當前圖塊之前。DMVD模式可包含圖框速率向上轉換(FRUC)模板匹配模式。判定用於視訊資料區塊之運動資訊可包含判定視訊資料區塊之參考索引，且其中判定針對視訊資料區塊啟用DMVD模式包含回應於判定視訊資料區塊之參考索引的值等於零，判定針對視訊資料區塊啟用DMVD模式。該方法可執行為視訊編碼程序之解碼迴路的部分。
在另一實例中，一種儲存指令之電腦可讀非暫時性儲存媒體，該等指令在由一或多個處理器執行時致使一或多個處理器執行一程序，該程序包括：判定以框間預測模式寫碼視訊資料區塊；判定針對視訊資料區塊啟用解碼器側運動向量推導(DMVD)模式；判定用於視訊資料區塊之運動資訊；使用運動資訊來根據DMVD模式判定參考區塊，其中進一步限定參考區塊以節約記憶體存取頻寬；及基於經限定參考區塊而產生用於視訊資料區塊之預測性區塊。可在至少一個維度上減少經限定參考區塊之大小。經限定參考區塊僅包括可由原始運動向量指示之參考像素。可藉由用以下操作中之至少一者來判定在經限定參考區塊外部的參考像素之值而產生預測性區塊：利用具有較短抽頭之內插濾波器、自附近可用參考像素複製像素值、自附近可用參考像素內插像素值。運動資訊可包含運動向量、運動向量精度及參考圖像索引中之一些或全部。DMVD模式可包含圖案匹配運動向量推導模式、雙向光流模式、雙側模板匹配模式中之一者。判定針對視訊資料區塊啟用DMVD模式可包含基於用於寫碼視訊資料區塊之一或多個相鄰區塊的模式，判定針對視訊資料區塊啟用DMVD模式。一或多個相鄰區塊可包含時間相鄰區塊。判定針對視訊資料區塊啟用DMVD模式可包含回應於包含視訊資料區塊之當前圖塊的低延遲條件為真，判定針對視訊資料區塊啟用DMVD模式，其中低延遲條件需要當前圖塊之所有參考圖像在顯示次序上在當前圖塊之前。DMVD模式可包含圖框速率向上轉換(FRUC)模板匹配模式。判定用於視訊資料區塊之運動資訊可包含判定視訊資料區塊之參考索引，且其中判定針對視訊資料區塊啟用DMVD模式包含回應於判定視訊資料區塊之參考索引的值等於零，判定針對視訊資料區塊啟用DMVD模式。該方法可執行為視訊編碼程序之解碼迴路的部分。
下文在附圖及描述中闡述本發明之一或多個實例的細節。其他特徵、目標及優勢自描述、圖式及申請專利範圍將係顯而易見的。
本申請案主張2018年1月18日申請之美國臨時專利申請案第62/618,902號的權益，該申請案據此以全文引用之方式併入。
提出了例如在將一或多個約束應用至運動資訊時，與解碼器側運動向量推導(DMVD)相關之改良的技術，該運動資訊諸如藉由DMVD導出之運動向量(MV)，及/或初始MV與藉由DMVD導出之MV之間的MV差。此等技術可應用於現有視訊編解碼器中之任一者(諸如，高效率視訊寫碼(HEVC))，及/或可為任何未來視訊寫碼標準中之高效寫碼工具。在一個實例中，可限定用於DMVD之區塊大小。在另一實例中，可藉由不搜尋由原始運動向量指示之外部參考區塊而簡化FRUC雙側匹配。
本發明描述與解碼器側運動向量推導(DMVD)相關之技術。本發明之技術可結合現有視訊編解碼器(諸如，高效率視訊寫碼(HEVC)標準)一起使用，或可用作任何未來視訊寫碼標準中之高效寫碼工具。
大體而言，本發明描述用於導出用於編碼視訊資料區塊之運動資訊(例如，一或多個運動向量、精度及一或多個參考圖像索引)，及用於由視訊解碼器判定與由視訊編碼器所選相同之運動資訊的技術。使用由視訊編碼器使用之相同(或互逆)推導技術，視訊解碼器可在未接收到具體識別運動資訊之任何語法元素的情況下判定何運動資訊用於編碼視訊資料。然而，在一些寫碼情境中，視訊編碼器仍可明確地編碼用於編碼區塊之運動資訊中的一些。
可參考視訊寫碼器描述本發明中之各種技術，該視訊寫碼器意欲為可指視訊編碼器抑或視訊解碼器之一般術語。除非另外明確地陳述，否則不應假定關於視訊編碼器或視訊解碼器描述之技術不可由視訊編碼器或視訊解碼器中之另一者執行。舉例而言，在許多情況下，視訊解碼器執行與視訊編碼器相同或有時互逆之寫碼技術，以便解碼經編碼視訊資料。在許多情況下，視訊編碼器亦包括視訊解碼迴路，且因此視訊編碼器執行作為編碼視訊資料之部分的視訊解碼。因此，除非另外說明，否則本發明中關於視訊解碼器描述之技術亦可由視訊編碼器執行，且反之亦然。
本發明亦可使用諸如當前層、當前區塊、當前圖像、當前圖塊等之術語。在本發明之上下文中，術語當前意欲識別相較於(例如)先前經寫碼層、區塊、圖像及圖塊或尚待寫碼之區塊、圖像及圖塊的當前正被寫碼之層、區塊、圖像、圖塊等。
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統10之方塊圖。如圖1中所示出，系統10包括源裝置12，其產生稍後待由目的地裝置14解碼之經編碼視訊資料。源裝置12及目的地裝置14可包含廣泛範圍之裝置中之任一者，包括桌上型電腦、筆記型(即，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手持機、所謂的「智慧型」平板、電視、攝影機、顯示裝置、數位媒體播放器、視訊遊戲控制台、視訊串流裝置等。在一些狀況下，源裝置12及目的地裝置14可能經裝備以用於無線通信。
目的地裝置14可經由鏈路16接收待解碼之經編碼視訊資料。鏈路16可包含能夠將經編碼視訊資料自源裝置12移動至目的地裝置14之任何類型之媒體或裝置。在一個實例中，鏈路16可包含使得源裝置12能夠即時地將經編碼視訊資料直接傳輸至目的地裝置14的通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，並將其傳輸至目的地裝置14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)的部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源裝置12至目的地裝置14的通信之任何其他設備。
在另一實例中，可將經編碼資料自輸出介面22輸出至儲存裝置26。類似地，可由輸入介面自儲存裝置26存取經編碼資料。儲存裝置26可包括多種分散式或本端存取之資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在另一實例中，儲存裝置26可對應於可保持由源裝置12產生的經編碼視訊之檔案伺服器或另一中間儲存裝置。目的地裝置14可經由串流或下載而自儲存裝置26存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料，並將經編碼視訊資料傳輸至目的地裝置14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)裝置或本端磁碟機。目的地裝置14可通過任何標準資料連接(包括網際網路連接)存取經編碼視訊資料。此連接可包括適於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)或兩者之組合。經編碼視訊資料自儲存裝置26之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術未必限於無線應用或設定。該等技術可應用於支援多種多媒體應用(諸如，(例如)經由網際網路之空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸)中之任一者的視訊寫碼、供儲存於資料儲存媒體上之數位視訊的編碼、儲存於資料儲存媒體上之數位視訊的解碼，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸，以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源裝置12包括視訊源18、視訊編碼器20及輸出介面22。在一些狀況下，輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。在源裝置12中，視訊源18可包括諸如視訊俘獲裝置(例如，視訊攝影機)、含有先前所俘獲視訊之視訊存檔、用以自視訊內容提供者接收視訊之視訊饋入介面，及/或用於將電腦圖形資料產生為源視訊的電腦圖形系統之源，或此等源之組合。作為一個實例，若視訊源18為視訊攝影機，則源裝置12及目的地裝置14可形成所謂的攝影機電話或視訊電話。然而，本發明中所描述之技術可大體上適用於視訊寫碼，且可應用於無線及/或有線應用。
可由視訊編碼器20編碼所俘獲視訊、預俘獲之視訊或電腦產生之視訊。經編碼視訊資料可經由源裝置12之輸出介面22直接傳輸至目的地裝置14。經編碼視訊資料亦可(或替代地)儲存至儲存裝置26上，以供稍後由目的地裝置14或其他裝置存取以用於解碼及/或播放。
目的地裝置14包括輸入介面28、視訊解碼器30及顯示裝置32。在一些狀況下，輸入介面28可包括接收器及/或數據機。目的地裝置14之輸入介面28經由鏈路16接收經編碼視訊資料。經由鏈路16傳達或在儲存裝置26上提供之經編碼視訊資料可包括由視訊編碼器20所產生之多種語法元素，其供諸如視訊解碼器30之視訊解碼器在解碼視訊資料時使用。傳輸於通信媒體上、儲存於儲存媒體上，或儲存於檔案伺服器之經編碼視訊資料內可包括此等語法元素。
顯示裝置32可與目的地裝置14整合或在該目的地裝置外部。在一些實例中，目的地裝置14可包括整合顯示裝置且亦經組態以與外部顯示裝置介接。在其他實例中，目的地裝置14可為顯示裝置。大體而言，顯示裝置32向使用者顯示經解碼視訊資料，且可包含多種顯示裝置中之任一者，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示裝置。
視訊編碼器20及視訊解碼器30可根據諸如HEVC標準之視訊壓縮標準操作，且可符合HEVC測試模型(HM)。視訊編碼器20及視訊解碼器30可另外根據HEVC擴展(諸如範圍擴展、多視圖擴展(MV-HEVC)，或已由視訊寫碼聯合合作小組(JCT-VC)以及ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)的3D視訊寫碼擴展開發聯合合作小組(JCT-3V)開發的可縮放擴展(SHVC))來操作。
視訊編碼器20及視訊解碼器30亦可根據其他專屬或行業標準(諸如ITU-T H.264標準，被替代地稱作ISO/IEC MPEG-4，第10部分，進階視訊寫碼(AVC))，或此等標準之擴展(諸如可縮放視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展)操作。然而，本發明之技術並不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263及ISO/IEC MPEG-4 Visual。
ITU-T VCEG (Q6/16)及ISO/IEC MPEG (JTC 1/SC 29/WG 11)現正研究對於將具有顯著超過當前HEVC標準(包括其當前擴展及針對螢幕內容寫碼及高動態範圍寫碼的近期擴展)之壓縮能力的未來視訊寫碼技術標準化的潛在需要。該等群組正共同致力於聯合合作工作(被稱為聯合視訊探索小組(JVET))中之此探索活動，以評估由此領域中之專家提出的壓縮技術設計。JVET在2015年10月19日至21日期間第一次會面。且參考軟體之最新版本(即，聯合探索模型5(JEM 5))可自https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-5.0/下載。聯合探索測試模型5(JEM5)之演算法描述可被稱為JVET-E1001。
本發明之技術可利用HEVC術語，以易於解釋。然而，不應假定本發明之技術限於HEVC，而實際上，明確預期本發明之技術可實施於HEVC之後續標準及其擴展中。視訊編碼器20及視訊解碼器30可根據多個標準編碼及解碼視訊資料。
儘管圖1中未示出，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體，以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則在一些實例中，MUX-DEMUX單元可符合ITU H.223多工器協定或其他協定(諸如，使用者資料報協定(UDP))。
視訊編碼器20及視訊解碼器30可各自被實施為多種合適之編碼器電路或解碼器電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當技術部分以軟體實施時，裝置可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，並使用一或多個處理器執行硬體中之該等指令，以執行本發明之技術。視訊編碼器20及視訊解碼器30中的各者可包括在一或多個編碼器或解碼器中，編碼器抑或解碼器中的一者可整合為各別裝置中的組合式編碼器/解碼器(編解碼器)之部分。
在HEVC及其他視訊寫碼規範中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。在一個實例方法中，圖像可包括三個樣本陣列，其表示為SL 、SCb 及SCr 。在此實例方法中，SL 為明度樣本之二維陣列(即，區塊)。SCb 為Cb色度樣本之二維陣列。SCr 為Cr色度樣本之二維陣列。色度樣本亦可在本文中被稱作「色度(chroma)」樣本。在其他情況下，圖像可係單色的，且可僅包括明度樣本陣列。
為產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)之集合。CTU中之每一者可包含明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用於對寫碼樹型區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包含單個寫碼樹型區塊，及用於對寫碼樹型區塊之樣本進行寫碼的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括按光柵掃描次序連續地定序之整數數目個CTU。
為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞回地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名為「寫碼樹型單元」。寫碼區塊可為樣本之N×N區塊。CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊，及色度樣本之兩個對應寫碼區塊，及用於對寫碼區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單個寫碼區塊，及用於對寫碼區塊之樣本進行寫碼之語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為上面應用相同預測之樣本的矩形(即，正方形或非正方形)區塊。CU之預測單元(PU)可包含明度樣本之預測區塊、色度樣本之兩個對應預測區塊，及用於對預測區塊進行預測之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，PU可包含單個預測區塊，及用於對預測區塊進行預測的語法結構。視訊編碼器20可產生CU之每一PU的明度預測區塊、Cb預測區塊及Cr預測區塊之預測性明度區塊、Cb區塊及Cr區塊。
視訊編碼器20可使用框內預測或框間預測，以產生PU之預測性區塊。若視訊編碼器20使用框內預測以產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之經解碼樣本而產生PU之預測性區塊。若視訊編碼器20使用框間預測以產生PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本而產生PU之預測性區塊。
在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、Cb區塊及Cr區塊之後，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中的對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中的每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中的對應樣本之間的差異。
此外，視訊編碼器20可使用四分樹分割，以將CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊分解為一或多個明度變換區塊、Cb變換區塊及Cr變換區塊。變換區塊為上面應用相同變換之樣本的矩形(例如，正方形或非正方形)區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊，及用於對變換區塊樣本進行變換之語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb變換區塊可為CU之Cb殘餘區塊的子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單個變換區塊，及用於對變換區塊之樣本進行變換的語法結構。
視訊編碼器20可將一或多個變換應用至TU之明度變換區塊，以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用至TU之Cb變換區塊，以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用至TU之Cr變換區塊，以產生TU之Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化係數區塊。量化大體上指變換係數經量化以可能減少用於表示變換係數的資料之量，從而提供進一步壓縮之程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文自適應性二進位算術寫碼(CABAC)。
視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。位元串流可包含一序列網路抽象層(NAL)單元。NAL單元為含有NAL單元中的資料之類型之指示，及含有彼資料的呈按需要穿插有仿真阻止位元之原始位元組序列有效負載(RBSP)之形式的位元組之語法結構。NAL單元中之每一者包括NAL單元標頭，且囊封RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組之語法結構。在一些情況下，RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封用於PPS之RBSP，第二類型之NAL單元可囊封用於經寫碼圖塊之RBSP，第三類型之NAL單元可囊封用於SEI訊息之RBSP等等。囊封用於視訊寫碼資料之RBSP (與用於參數集及SEI訊息之RBSP相對)的NAL單元可被稱作VCL NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。另外，視訊解碼器30可解析位元串流以自位元串流獲得語法元素。視訊解碼器30可至少部分地基於自位元串流獲得之語法元素而重建構視訊資料之圖像。重建構視訊資料之程序可大體上與由視訊編碼器20執行之程序互逆。另外，視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反變換，以重建構與當前CU之TU相關聯的變換區塊。藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應樣本，視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。
在HEVC中，圖塊中之最大寫碼單元被稱作寫碼樹型區塊(CTB)或寫碼樹型單元(CTU)。CTB含有四分樹，該四分樹之節點為寫碼單元。CTB之大小可介於HEVC主規範中之16×16至64×64的範圍(儘管技術上可支援8×8 CTB大小)。CU可與CTB一樣大或與8×8一樣小，或可為介於其間之大小。每一CU通常係使用一個寫碼模式來寫碼。當CU經框間寫碼時，經框間寫碼CU可進一步分割成2個或4個PU，或當不應用進一步分割時僅具有一個PU。當兩個PU存在於一個CU中時，兩個PU可為一半大小的矩形或具有CU之¼或¾大小的兩個矩形大小。當CU經框間寫碼時，針對每一PU存在運動資訊之一個集合。另外，每一PU係用唯一框間預測模式來寫碼以導出運動資訊之集合。
為了減少傳輸運動資訊(例如，運動向量、參考索引及/或運動向量精度)所需之位元速率，視訊寫碼標準通常使用不同類型之運動向量預測。在HEVC標準中，舉例而言，對於PU存在兩種框間預測模式，分別命名為合併模式(其中跳過模式被視為合併模式之特殊狀況)及進階運動向量預測(AMVP)模式。
在AMVP抑或合併模式中，視訊解碼器30針對多個運動向量預測值維持運動向量(MV)候選清單。視訊解碼器30藉由自MV候選清單獲取一個候選而產生當前PU之運動向量，以及合併模式中之參考索引。視訊編碼器20與視訊解碼器30兩者皆產生相同的候選清單。本發明將自視訊解碼器30之視角描述運動向量預測，但應理解，視訊編碼器20大體上實施相同的技術。
在基本HEVC標準中，MV候選清單對於合併模式至多含有五個候選且對於AMVP模式僅含有兩個候選，但其他標準可使用不同數目個候選。合併候選可含有運動資訊之集合，例如，對應於一個或兩個參考圖像清單(清單0及清單1)之運動向量及參考索引。若合併候選由合併索引識別，則視訊解碼器30使用所識別合併候選之運動向量及參考圖像索引來預測當前區塊。然而，在針對自清單0抑或清單1之每一潛在預測方向的AMVP模式下，需要明確地將參考索引，連同MV預測值(MVP)索引傳信至MV候選清單，此係由於AMVP候選僅含有運動向量。在AMVP模式中，可進一步改進經預測運動向量。
如可自上文看出，合併候選對應於運動資訊之整個集合，而AMVP候選僅含有用於特定預測方向之一個運動向量及參考索引。兩種模式之候選可類似地自相同空間及時間相鄰區塊導出。
圖2A為示出用於合併模式之空間相鄰運動向量候選之實例的概念圖。藉由將空間相鄰候選之運動資訊添加至候選清單，視訊解碼器30可產生候選清單。儘管自區塊產生候選之方法對於合併模式及AMVP模式而言不同，但對於特定PU(PU0 )，空間MV候選係自圖2A及圖2B中示出之相鄰區塊所導出。在合併模式中，可用圖2A中以數字示出之次序導出至多四個空間MV候選，且該次序如下：左側(0, A1)、上方(1, B1)、右上(2, B0)、左下(3, A0)及左上(4, B2)，如圖2A中所示出。
圖2B為示出用於進階運動向量預測模式之空間相鄰運動向量候選之實例的概念圖。在AVMP模式中，相鄰區塊被劃分成兩個群組：由區塊0及1組成之左群組及由區塊2、3及4組成之上群組，如圖2B中所示出。對於每一群組，參考與由所傳信參考索引所指示相同的參考圖像的相鄰區塊中之潛在候選具有待選擇以形成群組之最終候選的最高優先級。有可能所有相鄰區塊均不含有指向相同參考圖像的運動向量。因此，若無法找到此候選，則視訊解碼器30可縮放第一可用候選以形成最終候選，因此可補償時間距離差。
視訊編碼器20及視訊解碼器30可如在HEVC標準中般執行時間運動向量預測(TMVP)。視訊解碼器30可在空間運動向量候選之後將TMVP候選(若經啟用且可用)添加至MV候選清單中。用於TMVP候選之運動向量推導程序對於合併及AMVP模式兩者而言相同；然而，在HEVC中，用於合併模式中之TMVP候選的目標參考索引始終被設定為0。
圖3A為示出時間運動向量預測值候選之實例的概念圖。用於TMVP候選推導之原始區塊位置為如圖3A中示出為區塊「T」的共置PU外部之右下區塊，以補償用於產生空間相鄰候選之上方及左側區塊之偏差。然而，若彼區塊位於當前CTB列之外部或運動資訊不可用，則區塊被PU之中央區塊取代。
視訊解碼器30可自圖塊層級中指示的共置圖像之共置PU導出用於TMVP候選之運動向量。用於共置PU之運動向量被稱為共置MV。若參考圖像中之區塊與當前圖像中之區塊各自包括對應於參考圖像及當前圖像中之同一相對位置的至少一個像素，則參考圖像中之區塊可例如被視為與當前區塊共置。
圖3B為示出運動向量縮放之實例的概念時序圖。類似於AVC中之時間直接模式，為導出TMVP候選運動向量，視訊解碼器30可縮放共置MV以補償時間距離差，如圖3B中所示出。在運動向量縮放的情況下，大體上假定運動向量之值與呈現時間中的圖像之距離成比例。運動向量與兩個圖像相關聯：參考圖像及含有運動向量之圖像(亦即，含有圖像)。當利用運動向量預測另一運動向量時，基於圖像次序計數(POC)值而計算含有圖像與參考圖像之距離。
當運動向量正經預測時，其參考圖像與運動向量預測值之參考圖像可不同。因此，對新距離(基於POC)進行計算。且基於此兩個POC距離而縮放運動向量。在HEVC中，對於空間及時間相鄰候選，運動向量縮放適用於TMVP及AMVP兩者。
關於人工運動向量候選產生，若運動向量候選清單不完整，則視訊解碼器30可產生人工運動向量候選插入清單末尾處之人工運動向量候選，直至清單已滿或直至用於人工候選之選項已耗盡為止。
在合併模式中，存在兩種類型之人工MV候選：僅針對B圖塊導出之組合式候選，及僅在第一類型並未提供足夠人工候選時才使用的零候選。
對於已在候選清單中且具有必要運動資訊之每一對候選，視訊解碼器30可藉由參考清單0中之圖像之第一候選的運動向量與參考清單1中之圖像之第二候選的運動向量之組合，導出雙向組合式運動向量候選。
關於用於候選插入之修剪程序，來自不同區塊之候選可恰好相同，由於清單中存在候選重複，此情況降低了合併/AMVP候選清單之效率。為有助於減少此低效，視訊解碼器30可應用修剪程序。作為修剪程序之部分，視訊解碼器30比較當前候選清單中之一個候選與其他候選，以在一定程度上避免插入相同候選。為減少複雜度，可僅應用有限數目個修剪程序，而非比較每一潛在候選與所有其他現有候選。
JEM參考軟體包括利用DMVD以導出或改進用於當前區塊之運動向量的若干框間寫碼工具。一種此DMVD工具為圖案匹配運動向量推導(PMMVD)模式，其為基於圖框速率向上轉換(FRUC)技術之特殊合併模式。當實施JEM參考軟體時，在PMMVD模式中，視訊解碼器30可導出用於區塊之運動資訊而非接收顯式傳信。
當CU之合併旗標為真時，視訊解碼器30可接收該CU之FRUC旗標。當FRUC旗標為假時，視訊解碼器30可接著接收合併索引並使用常規合併模式。當FRUC旗標為真時，視訊解碼器30可接收額外FRUC模式旗標，以指示將使用哪種方法(例如，雙側匹配或模板匹配)來導出用於區塊之運動資訊。如下為用以寫碼FRUC之旗標的語法表：
Figure 108101853-A0304-0001
在運動推導程序期間，視訊解碼器30可首先基於雙側匹配或模板匹配而導出用於整個CU之初始運動向量。首先，檢查CU之合併清單(或被稱作PMMVD種)，且選擇產生最小匹配成本之候選作為起始點。接著，基於雙側匹配或模板匹配圍繞起始點執行本地搜尋，且將產生最小匹配成本之MV視為用於整個CU之MV。隨後，在子區塊層級處用作為起始點的經導出CU運動向量來進一步改進運動資訊。
圖4為示出雙側匹配之實例的概念圖。如圖4中所示出，雙側匹配用於藉由在兩個不同參考圖像(Ref0及Ref1)中，沿著當前區塊(Cur)之運動軌跡找到兩個參考區塊(R0 及R1 )之間的最佳匹配而導出當前區塊之運動資訊。當將影像序列(例如，參考圖框及當前圖框)視為3維連續時空場時，運動軌跡可包括區塊中之像素穿過空間及時間所遵循之路徑。在假定連續運動軌跡的情況下，指向兩個參考區塊(R0 及R1 )之運動向量MV0及MV1與當前圖像(Cur)與兩個參考圖像(Ref0及Ref1)之間的時間距離成比例。所導出MV 100及102係使用雙側匹配導出，且其分別指向參考區塊R'0 及R'1 。作為特殊狀況，在當前圖像(Cur)在時間上處於兩個參考圖像(Ref0及Ref1)之間，且自當前圖像至兩個參考圖像之時間距離相同時，雙側匹配變為基於鏡像之雙向MV。因此，所導出運動向量100及102被類似地鏡像。
圖5為示出模板匹配之實例的概念圖。如圖5中所示出，模板匹配用於藉由在當前圖像中之模板(當前區塊之頂部及/或左側相鄰區塊)與參考圖像(Ref0及Ref1)中之區塊(與模板具有相同大小)之間找到最佳匹配，導出當前區塊(Cur)之運動資訊。模板可包括用於藉由搜尋R0 及R1 之相鄰區塊，將所關注區塊(Cur)與候選參考(具有MV0之R0 及具有MV1之R1 )或所導出參考(具有MV 110之R'0 及具有MV 112之R'1 )進行比較的區塊之相鄰像素。最類似的參考接著用作預測。
在視訊編碼器20處，關於是否將FRUC合併模式用於CU的決策係基於如針對正常合併候選進行的RD成本選擇。亦即，藉由使用RD成本選擇針對CU檢查兩個匹配模式(雙側匹配及模板匹配)兩者。產生最小成本之模式進一步與其他CU模式相比較。若FRUC匹配模式為最高效模式，則對於CU將FRUC旗標設定成真且使用相關匹配模式。
在第5次JVET會議中，提出「FRUC模式中之增強型模板匹配(Enhanced Template Matching in FRUC Mode)」(JVET-E0035，可在http://phenix.it-sudparis.eu/jvet/處獲得)以進一步改良FRUC模板匹配。圖6A中示出例示性FRUC模板匹配模式之流程圖。在第一步驟中，自list0參考圖像找到匹配當前區塊之當前模板TC 的模板T0 (及其對應運動資訊MV0)。在第二步驟中，自list1參考圖像找到模板T1 (及其對應運動資訊MV1)。將所獲得運動資訊MV0及MV1用以執行雙向預測以產生當前區塊之預測值。
圖6A及圖6B為示出對圖框速率向上轉換模板匹配模式之實例所提出修改的流程圖。可藉由在單向預測與雙向預測之間引入雙向模板匹配及自適應性選擇來增強FRUC模板匹配模式。圖6B中加下劃線示出相對於圖6A之例示性修改。
可基於單向模板匹配而實施雙向模板匹配。如圖6A中所示出，首先在模板匹配之第一步驟中自List0參考圖像找到匹配的模板T0 (120)。應注意，此處之List0僅用作實例。實際上，是否在第一步驟中使用List0或List1自適應於當前模板與對應參考圖像中之初始模板之間的初始失真成本。初始模板可用在執行第一模板匹配之前可用的當前區塊之初始運動資訊來判定。在模板匹配之第一步驟中將使用對應於最小初始模板失真成本之參考圖像清單。舉例而言，若對應於list0之初始模板失真成本不大於對應於List1之成本，List0用於模板匹配之第一步驟中，且List1用於第二步驟中)，則如下更新當前區塊之當前模板TC ： T' C = 2*TC - T0
在第二模板匹配中使用經更新當前模板T' C (而非當前模板TC )來自List1參考圖像找到另一匹配的模板T1 (122)。結果，藉由聯合地使用List0及List1參考圖像找到匹配的模板T1 (124)。此匹配程序被稱作雙向模板匹配。
對用於運動補償預測(MCP)的單向預測與雙向預測之間的選擇可係基於模板匹配失真。如圖6B中所示出，在模板匹配期間，可將模板T0 與TC (當前模板)之間的失真計算為cost0(130)，可更新當前模板(132)，且可將模板T1 與T'C (經更新當前模板)之間的失真計算為cost1(134)。若cost0小於0.5*cost1(136)，則可將基於MV0之單向預測應用於FRUC模板匹配模式(138)；否則，應用基於MV0及MV1之雙向預測(140)。應注意，將cost0與0.5*cost1進行比較，此係由於cost1指示模板T1 與T'C (經更新當前模板)之間的差，該差為TC (當前模板)與其預測0.5*(T0 +T1 )之間的差的2倍。應注意，MCP可應用於PU層級運動改進。子PU層級運動改進可保持不變。
圖7為示出光流軌跡之實例的概念圖。JEM亦包括稱為雙向光流(BIO)之寫碼模式。BIO為像素式運動改進，其在雙向預測之狀況下在區塊式運動補償頂部執行。由於BIO補償區塊內部可進行的精細運動，因此啟用BIO產生放大之區塊大小以供運動補償。樣本層級運動改進可並不需要竭盡式搜尋或傳信，此係由於明確等式可針對每一樣本給出精細運動向量。
假設
Figure 02_image001
為補償區塊運動之後的來自參考k (k =0,1)之明度值，且
Figure 02_image003
、
Figure 02_image005
分別為
Figure 02_image001
梯度之水平分量及垂直分量。假定光流係有效的，運動向量場
Figure 02_image007
由以下等式給出
Figure 02_image009
。 (1)
針對每一樣本之運動軌跡將光流等式與厄米特內插組合，得出一唯一三階多項式，其最終匹配函數值
Figure 02_image001
及導出項
Figure 02_image012
、
Figure 02_image014
兩者。此多項式之值在t =0下為BIO預測：
Figure 02_image016
。 (2)
此處，
Figure 02_image018
及
Figure 02_image020
表示至參考圖框之距離，如圖7中所示出。距離
Figure 02_image018
及
Figure 02_image020
係針對Ref0及Ref1基於POC進行計算：t0 =POC(當前)-POC(Ref0)、t1 = POC(Ref1)- POC(當前)。若預測兩者均來自相同時間方向(兩者均來自過去或兩者均來自未來)，則正負號不同
Figure 02_image022
。在此狀況下，僅當預測並非來自相同時刻(
Figure 02_image024
)時才應用BIO，參考區域兩者均具有非零運動(
Figure 02_image026
、
Figure 02_image028
、
Figure 02_image030
、
Figure 02_image032
)，且區塊運動向量與時間距離成比例(
Figure 02_image034
)。
運動向量場
Figure 02_image007
係藉由最小化點A與點B中之值之間的差∆來判定(圖7中的運動軌跡與參考圖框平面之交叉點)。模型僅將本地泰勒擴展(Taylor expansion)之第一線性術語用於∆：
Figure 02_image037
(3)
(1)中之所有值取決於樣本位置(i' ,j' )，其迄今為止被省略。假定運動在局部環境中係恆定的，則位於當前預測點(i ,j )中心之(2M+1)×(2M+1)方形窗Ω內的∆經最小化：
Figure 02_image039
(4)
對於此最佳化問題，可使用在垂直方向且接著在水平方向進行第一最小化的簡化解決方案。其產生
Figure 02_image041
(5)
Figure 02_image043
(6) 其中，
Figure 108101853-A0304-0002
為了避免被零或極小值除，等式(2)、(3)中引入規律化參數r 及m 。
Figure 02_image055
(8)
Figure 02_image057
(9) 此處，d 為輸入視訊之內部位元深度。
在一些狀況下，BIO之MV方案可能由於雜訊或不規律運動而不可靠。因此，在BIO中，MV方案之量值被削剪至某些臨限值thBIO。基於當前圖像之所有參考圖像是否均來自一個方向而判定該臨限值。若當前圖像中之當前圖像之所有參考圖像來自一個方向，則臨限值之值設定成
Figure 02_image059
，否則設定成
Figure 02_image061
。
使用符合HEVC運動補償程序之操作，在運動補償內插的同時計算BIO之梯度(2D可分離FIR)。根據區塊運動向量之分數部分，此2D可分離FIR的輸入與運動補償程序及分數位置(fracX ,fracY )的輸入為相同參考圖框樣本。在使用BIOfilterS 對應於具有去縮放移位d -8之分數位置fracY 首先垂直地內插水平梯度
Figure 02_image063
信號的狀況下，在水平方向上對應於具有去縮放移位18-d 之分數位置fracX 應用梯度濾波器BIOfilterG 。在使用BIOfilterG 對應於具有去縮放移位d -8之分數位置fracY 垂直地應用垂直梯度
Figure 02_image065
第一梯度濾波器的狀況下，使用BIOfilterS 在水平方向上對應於具有去縮放移位18-d 之分數位置fracX 來執行信號移位。用於梯度計算BIOfilterG及信號移位BIOfilterF之內插濾波器的長度較短(6-抽頭)以便維持合理的複雜度。表1示出用於BIO中之區塊運動向量之不同分數位置的梯度計算之濾波器。表2示出用於BIO中之預測信號產生的內插濾波器。
圖8為示出用於8×4區塊之雙向光流的實例的概念圖。圖8示出用於針對8×4區塊執行梯度計算之技術的實例。對於8×4區塊，視訊解碼器30需要提取經運動補償之預測值且計算當前區塊內的所有像素以及像素外部兩條線的HOR/VER梯度，此係因為求解每一像素之vx及vy需要位於每一像素中心之窗Ω內的像素之HOR/VER梯度值及經運動補償之預測值，如等式(4)中所示出。且在JEM中，此窗之大小設定為5×5，因此需要提取經運動補償之預測值且計算像素外部兩條線的梯度。表 1 ：用於 BIO 中之梯度計算的濾波器
Figure 108101853-A0304-0003
 表 2 ：用於 BIO 中之預測信號產生的內插濾波器
Figure 108101853-A0304-0004
在JEM中，當兩個預測來自不同參考圖像時，BIO應用於所有雙向預測區塊。當針對CU啟用LIC時，BIO停用。
圖9為示出基於雙側模板匹配之所提出解碼器側運動向量推導之實例的概念圖。JEM亦包括稱為模板匹配之寫碼工具。視訊解碼器30分別自list0之初始MV0及list1之MV1產生作為兩個預測區塊之加權組合的雙側模板，如圖9中所示出。
模板匹配操作由計算參考圖像中之所產生模板與樣本區域(圍繞初始預測區塊)之間的成本量測組成。對於兩個參考圖像中之每一者，將產生最小模板成本之MV視為彼清單之經更新MV以替換原始MV。最終，兩個新MV(即，如圖8中所示出之MV0'及MV1')用於常規雙向預測。如區塊匹配運動估計中所常用的，絕對差(SAD)之總和用作成本量度。
所提出DMVD技術應用於雙向預測之合併模式而無需傳輸額外語法元素，其中一個預測來自過去之參考圖像且另一預測來自未來之參考圖像。
在JEM4.0中，當針對一個CU選擇LIC、仿射、子CU合併候選或FRUC時，不應用DMVD。
圖10A及圖10B為示出其中可應用重疊區塊運動補償(OBMC)(諸如JEM中包括之OBMC)的子區塊之實例說明的概念圖。OBMC已用於早幾代視訊標準，例如，如同H.263。在JEM中，針對所有經運動補償(MC)之區塊邊界執行OBMC，CU之右側及底部邊界除外。此外，其應用於明度及色度分量兩者。在JEM中，MC區塊對應於寫碼區塊。當CU係用子CU模式(包括子CU合併、仿射及FRUC模式，如Kaiming He、Jian Sun及Xiaoou Tang之「導引式影像過濾(Guided image filtering)」(圖案分析及機器智能，IEEE彙刊，第35卷，第6期，第1397至1409頁，2013)中所描述)經寫碼時，CU之每一子區塊為MC區塊。為按統一方式處理CU邊界，針對所有MC區塊邊界在子區塊層級處執行OBMC，其中子區塊大小設定為等於4×4，如圖10A及圖10B中所說明。
當OBMC應用於當前子區塊時，除了當前運動向量以外，四個連接的相鄰子區塊之運動向量在可用且不相同於當前運動向量的情況下亦用以導出用於當前子區塊之預測區塊。基於多個運動向量的此等多個預測區塊經組合以產生當前子區塊之最終預測信號。
圖11A至圖11D為示出重疊區塊運動補償加權之實例的概念圖。如圖11A至圖11D中所示出，基於相鄰子區塊之運動向量的預測區塊表示為PN ，其中N指示相鄰上方、下方、左側及右側子區塊之索引，且基於當前子區塊之運動向量的預測區塊表示為PC 。當PN 係基於含有與當前子區塊相同之運動資訊的相鄰子區塊之運動資訊時，並不自PN 執行OBMC。否則，將PN 之每一像素添加至PC 中之相同像素，即將PN 之四列/四行添加至PC 。加權因子{1/4, 1/8, 1/16, 1/32}用於PN ，且加權因子{3/4, 7/8, 15/16, 31/32}用於PC 。例外情況為較小MC區塊(即，當寫碼區塊之高度或寬度等於4或CU係用子CU模式經寫碼時)，對於該等區塊，僅將PN 之兩列/兩行添加至PC 。在此狀況下，加權因子{1/4, 1/8}用於PN ，且加權因子{3/4, 7/8}用於PC 。對於基於垂直(水平)相鄰子區塊之運動向量產生的PN ，以同一加權因子將PN 之同一列(行)中的像素添加至PC 。應注意，BIO亦應用於預測區塊Pn之推導。
在JEM中，對於大小小於或等於256個明度樣本的CU，傳信CU層級旗標以指示是否針對當前CU應用OBMC。對於大小大於256個明度樣本或未用AMVP模式經寫碼之CU，根據預設而應用OBMC。在編碼器處，當OBMC應用於CU時，在運動估計階段期間考慮其影響。藉由使用頂部相鄰區塊及左側相鄰區塊之運動資訊的預測信號用以補償當前CU之原始信號之頂部邊界及左側邊界，且接著應用正常運動估計程序。
本發明之技術可解決上文所介紹問題中的一些或全部。所有DMVD相關方法(BIO、FRUC雙側匹配、FRUC模板匹配、雙側模板匹配等等)可提供顯著的位元速率降低。然而，DMVD方法之寫碼複雜度較高。此外，當前FRUC設計中存在冗餘傳信。本發明介紹可修改及/或簡化DMVD之技術。下文描述本發明之技術。所描述技術可個別地應用。在一些實例中，可應用其任何組合。
本發明之技術包括針對DMVD模式之開/關控制。在一個實例中，視訊解碼器30可藉由位元串流中之所傳信語法明確地判定DMVD模式之開/關。在另一實例中，視訊解碼器30可基於經寫碼資訊而隱含地判定DMVD模式之開/關。寫碼資訊可包括(但不限於)空間或時間相鄰區塊之寫碼模式、當前區塊之寫碼模式、當前POC及參考圖像POC之POC資訊，或當前圖塊之低延遲條件(LDC)等等。低延遲條件(LDC)為當前圖塊之所有參考圖像在顯示次序方面是否在當前圖塊之前的條件。當當前圖塊之所有參考圖像皆在當前圖塊之前時，LDC設定成真；否則，LDC設定成假。
在一個實例中，視訊解碼器30可基於當前圖塊之LDC為真而判定啟用子區塊層級FRUC模板匹配，並基於當前圖塊之LDC為假而判定停用子區塊層級FRUC模板匹配。
本發明之技術亦包括針對DMVD模式之約束。在一個實例中，DMVD模式之MV推導被約束為在某些條件下執行。下文描述實例條件，但亦可使用其他條件。
在第一實例中，視訊解碼器30可僅在參考索引等於一個或若干預定數字N時執行MV推導。在一些實例中，N可等於0，0之索引對應於參考圖像清單中之第一圖像，該第一圖像可通常為提供最佳預測之參考圖像，此係由於第一參考圖像與具有最低量化參數之當前圖像最近。可針對List0或List1單獨地或聯合地檢查此條件。在一個實例中，當當前區塊為雙向預測框間區塊且被聯合地檢查時，僅在L0及L1參考索引兩者皆等於一個或若干預定數字N(例如，N=0)時執行MV推導。在另一實例中，當單獨地檢查時，在L0及L1參考索引等於一個抑或若干預定數字N(例如，N=0)時執行MV推導。
在第二實例中，對於DMVD模式，視訊解碼器30可僅在MV候選在預定範圍內時使用MV候選。可在位元串流中預定義或傳信該範圍。預定範圍可限制必須檢查的運動向量之數目，且因此減少記憶體存取頻寬及整個寫碼複雜度。
在第三實例中，對於DMVD模式，視訊解碼器30可僅在參考圖像與當前圖像之間的POC距離小於或等於預定數字N(例如，N=4)時執行MV推導。視訊解碼器30可針對List0或List1單獨地或聯合地檢查此條件。在一個實例中，當聯合地檢查時，視訊解碼器30可僅在兩清單的參考圖像與當前圖像之間的POC距離小於或等於預定數字N(例如，N=4)時執行MV推導。在另一實例中，當聯合地檢查時，視訊解碼器30可僅在L0抑或L1中之一者的參考圖像與當前圖像之間的POC距離小於或等於預定數字N(例如，N=4)時執行MV推導。
在另一實例中，視訊解碼器30可首先導出用於使用FRUC雙側匹配或FRUC模板匹配模式寫碼的CU之初始運動向量以供後續本地搜尋。視訊解碼器30可針對list0及list1兩者僅測試參考索引等於零之MV候選，以選擇用於進一步改進之初始運動向量。在另一實例中，視訊解碼器30可首先導出用於使用FRUC雙側匹配或FRUC模板匹配模式寫碼的CU之初始運動向量以供後續本地搜尋。僅測試處於一範圍內的MV候選以選擇用於進一步改進之初始運動向量。在另一實例中，並不將雙側模板匹配應用於List0抑或List1 MV中具有非零參考索引之MV。在另一實例中，並不將BIO應用於List0抑或List1 MV中具有非零參考索引之MV。
在另一實例中，可以如下方式執行BIO之開/關切換：若內插像素P0與P1之間的SAD大於臨限值，則停用BIO，此係由於區塊之運動軌跡在找到相同目標方面可係次佳的。在另一實例中，計算當前經重建構圖框之模板與Ref0/Ref1中之相關聯區域之間的SAD值。若SAD值之比率遠大於1(或遠小於1)，則停用BIO。可預定臨限值或通過SPS/PPS/圖塊標頭傳信臨限值。
本發明之技術亦包括傳信fruc_mode之約束。當FRUC旗標為真時，傳信額外FRUC模式旗標(或索引)以指示將使用哪種方法(雙側匹配或模板匹配)來導出用於區塊之運動資訊。然而，雙側匹配可僅在存在用於當前圖像之至少兩個不同參考圖像時起作用。在JEM中，僅在slice_type != P_slice時傳信fruc_mode。然而，即使當前圖像為B圖塊，亦有可能僅存在用於當前圖像之一個參考圖像，此意謂參考清單0中僅存在一個參考圖像且參考清單1中僅存在一個參考圖像，且該等參考圖像為相同圖像。在此狀況下，若fruc_mode指示正使用雙側匹配，則解碼器將以未知方式執行。為解決此問題，提出若干解決方案。
在一個實例中，若參考清單0中僅存在一個參考圖像且參考清單1中僅存在一個參考圖像並且參考圖像為相同圖像，則可並不傳信fruc_mode旗標(其指示FRUC雙側匹配是否應用於區塊)。在此狀況下，可隱含地進行其他FRUC模式(例如，模板匹配)。例示性語法表為
Figure 108101853-A0304-0005
在另一實例中，如JEM中所定義般傳信FRUC模式旗標。但在雙側匹配無法起作用的狀況下省略該傳信。舉例而言，當參考清單0中僅存在一個參考圖像且參考清單1中僅存在一個參考圖像並且參考圖像為相同圖像時，可傳信FRUC模式旗標，但可省略或忽略FRUC模式旗標之值，此意謂不論FRUC模式旗標之值為0還是1，都將應用模板匹配。
圖12為說明可實施本發明中描述之技術的實例視訊編碼器20之方塊圖。視訊編碼器20可對視訊圖塊內之視訊區塊執行框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減小或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減小或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中的任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之壓縮模式中的任一者。
在圖12之實例中，視訊編碼器20包括視訊資料記憶體33、分割單元35、預測處理單元41、求和器50、變換處理單元52、量化單元54、熵編碼單元56。預測處理單元41包括運動估計單元(MEU) 42、運動補償單元(MCU) 44及框內預測單元46。對於視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換處理單元60、求和器62、濾波器單元64及經解碼圖像緩衝器(DPB) 66。
如圖12中所示出，視訊編碼器20接收視訊資料並將所接收視訊資料儲存於視訊資料記憶體33中。視訊資料記憶體33可儲存待由視訊編碼器20之組件編碼的視訊資料。儲存於視訊資料記憶體33中之視訊資料可例如自視訊源18獲得。DPB 66可為參考圖像記憶體，其儲存用於由視訊編碼器20(例如)以框內或框間寫碼模式編碼視訊資料之參考視訊資料。視訊資料記憶體33及DPB 66可由諸如動態隨機存取記憶體(DRAM)之多種記憶體裝置中之任一者形成，包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體裝置。視訊資料記憶體33及DPB 66可由相同記憶體裝置或單獨記憶體裝置提供。在各種實例中，視訊資料記憶體33可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。
分割單元35自視訊資料記憶體33擷取視訊資料並將視訊資料分割成視訊區塊。此分割亦可包括分割成圖塊、圖像塊或其他較大單元，以及(例如)根據LCU及CU之四分樹結構的視訊區塊分割。視訊編碼器20大體上說明編碼待編碼視訊圖塊內之視訊區塊的組件。圖塊可被劃分成多個視訊區塊(且可能被劃分成稱作圖像塊之視訊區塊集合)。預測處理單元41可基於誤差結果(例如，寫碼速率及失真程度)而選擇用於當前視訊區塊的複數個可能寫碼模式中之一者，諸如複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者。預測處理單元41可將所得經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料，並提供至求和器62以重建構經編碼區塊以用於用作參考圖像。
預測處理單元41內之框內預測單元46可執行當前視訊區塊相對於與待寫碼之當前區塊在相同圖框或圖塊中的一或多個相鄰區塊之框內預測性寫碼，以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊的框間預測性寫碼，以提供時間壓縮。運動估計單元42及運動補償單元44可經組態以根據本發明中描述之技術執行DMVD。
運動估計單元42可經組態以根據視訊序列之預定圖案來判定用於視訊圖塊之框間預測模式。預定圖案可將序列中之視訊圖塊指定為P圖塊或B圖塊。運動估計單元42及運動補償單元44可高度整合，但出於概念目的而單獨說明。由運動估計單元42所執行之運動估計為產生估計視訊區塊之運動的運動向量之程序。舉例而言，運動向量可指示當前視訊圖框或圖像內之視訊區塊的PU相對於參考圖像內之預測性區塊的移位。
預測性區塊為發現在像素差方面緊密匹配待寫碼視訊區塊之PU的區塊，該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差異度量予以判定。在一些實例中，視訊編碼器20可計算儲存於DPB 66中之參考圖像的子整數像素位置之值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋，並輸出具有分數像素精度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼圖塊中之視訊區塊的PU之運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等參考圖像清單中之每一者識別儲存在DPB 66中之一或多個參考圖像。運動估計單元42將所計算運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44所執行之運動補償可涉及基於由運動估計(可能執行子像素精度之內插)所判定之運動向量而提取或產生預測性區塊。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。視訊編碼器20藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值。像素差值形成用於區塊之殘餘資料，且可包括明度及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊圖塊相關聯之語法元素，以供視訊解碼器30在解碼視訊圖塊之視訊區塊時使用。
在預測處理單元41經由框內預測抑或框間預測產生當前視訊區塊之預測性區塊之後，視訊編碼器20藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似變換之變換將殘餘視訊資料變換為殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域(諸如，頻域)。
變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減少位元速率。量化程序可減少與係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。在另一實例中，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56對經量化變換係數進行熵編碼。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在由熵編碼單元56進行熵編碼之後，可將經編碼位元串流傳輸至視訊解碼器30，或加以存檔以供稍後由視訊解碼器30傳輸或擷取。熵編碼單元56亦可熵編碼正經寫碼之當前視訊圖塊之運動向量及其他語法元素。
反量化單元58及反變換處理單元60分別應用反量化及反變換，以重建構像素域中之殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像清單中之一者內的參考圖像中之一者之預測性區塊來計算參考區塊。運動補償單元44亦可對經重建構殘餘區塊應用一或多個內插濾波器，以計算用於運動估計之子整數像素值。求和器62將經重建構殘餘區塊添加至由運動補償單元44產生之運動補償預測區塊以產生經重建構區塊。
濾波器單元64對經重建構區塊(例如，求和器62之輸出)進行濾波，且將經濾波之經重建構區塊儲存於DPB 66中以供用作參考區塊。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊，以對後續視訊圖框或圖像中之區塊進行框間預測。濾波器單元64意欲表示解區塊濾波器、樣本自適應性偏移(SAO)濾波器及自適應性迴路濾波器(ALF)，或任何其他類型之迴路濾波器中的任一者或任何組合。解區塊濾波器可例如應用解區塊濾波，以濾波區塊邊界來自經重建構視訊移除區塊效應假影。SAO濾波器可將偏移應用於經重建構像素值，以便改良總體寫碼品質。亦可使用額外迴路濾波器(迴路內或迴路後)。
圖13為說明可實施本發明中描述之技術的實例視訊解碼器30之方塊圖。圖13之視訊解碼器30可例如經組態以接收上文關於圖12之視訊編碼器20所描述的傳信。在圖13之實例中，視訊解碼器30包括視訊資料記憶體78、熵解碼單元80、預測處理單元81、反量化單元86、反變換處理單元88、求和器90、濾波器單元92及DPB 94。預測處理單元81包括運動補償單元82及框內預測單元84。在一些實例中，視訊解碼器30可執行與關於來自圖12之視訊編碼器20所描述之編碼遍次大體上互逆的解碼遍次。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊，及相關聯語法元素的經編碼視訊位元串流。視訊解碼器30將所接收之經編碼視訊位元串流儲存於視訊資料記憶體78中。視訊資料記憶體78可儲存待由視訊解碼器30之組件解碼之視訊資料，諸如經編碼視訊位元串流。儲存於視訊資料記憶體78中之視訊資料可(例如)經由鏈路16自儲存裝置26或自本端視訊源(諸如攝影機)或藉由存取實體資料儲存媒體而獲得。視訊資料記憶體78可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。DPB 94可為參考圖像記憶體，其儲存用於由視訊解碼器30(例如)以框內或框間寫碼模式解碼視訊資料之參考視訊資料。視訊資料記憶體78及DPB 94可由諸如DRAM、SDRAM、MRAM、RRAM或其他類型之記憶體裝置的多種記憶體裝置中之任一者形成。視訊資料記憶體78及DPB 94可由相同記憶體裝置或單獨記憶體裝置提供。在各種實例中，視訊資料記憶體78可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。
視訊解碼器30之熵解碼單元80熵解碼儲存於視訊資料記憶體78中之視訊資料，以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉發至預測處理單元81。視訊解碼器30可接收視訊圖塊層級及/或視訊區塊層級處之語法元素。
當視訊圖塊經寫碼為經框內寫碼(I)圖塊時，預測處理單元81之框內預測單元84可基於來自當前圖框或圖像之先前經解碼區塊的所傳信框內預測模式及資料，產生用於當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼圖塊(例如，B圖塊或P圖塊)時，預測處理單元81之運動補償單元82基於自熵解碼單元80接收到之運動向量及其他語法元素，產生用於當前視訊圖塊之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單中之一者內的參考圖像中之一者產生。視訊解碼器30可基於儲存於DPB 94中之參考圖像，使用預設建構技術來建構參考圖框清單，清單0及清單1。
運動補償單元82結合視訊解碼器30之其他部分可經組態以根據本發明中描述之技術執行DMVD。運動補償單元82藉由解析運動向量及其他語法元素來判定用於當前視訊圖塊之視訊區塊的預測資訊，並使用預測資訊以產生用於正經解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元82使用所接收語法元素中之一些以判定用於寫碼視訊圖塊之視訊區塊的預測模式(例如，框內或框間預測)、框間預測圖塊類型(例如，B圖塊或P圖塊)、用於圖塊之參考圖像清單中之一或多者的建構資訊、圖塊之每一經框間編碼視訊區塊的運動向量、圖塊之每一經框間寫碼視訊區塊之框間預測狀態，及其他用以解碼當前視訊圖塊中之視訊區塊的資訊。
運動補償單元82亦可執行基於內插濾波器之內插。運動補償單元82可使用如由視訊編碼器20在視訊區塊之編碼期間所使用的內插濾波器，以計算參考區塊之子整數像素的內插值。在此狀況下，運動補償單元82可自所接收語法元素判定由視訊編碼器20所使用之內插濾波器，並使用該等內插濾波器以產生預測性區塊。
反量化單元86反量化(即，解量化)位元串流中所提供並由熵解碼單元80解碼之經量化變換係數。反量化程序可包括使用由視訊編碼器20所計算的用於視訊圖塊中之每一視訊區塊的量化參數，以判定量化程度及(同樣地)應應用之反量化程度。反變換處理單元88將反變換(例如，反DCT、反整數變換或概念上類似之反變換程序)應用於變換係數，以便在像素域中產生殘餘區塊。
在預測處理單元使用例如框內或框間預測產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由對來自反變換處理單元88之殘餘區塊與由運動補償單元82產生之對應預測性區塊進行求和而形成經重建構視訊區塊。求和器90表示執行此求和運算之一或多個組件。
濾波器單元92表示解區塊濾波器、SAO濾波器及ALF，或任何其他類型之迴路濾波器(寫碼迴路內抑或寫碼迴路後)中之任一者或任何組合。給定圖框或圖像中之經解碼視訊區塊接著儲存於DPB 94中，該DPB儲存用於後續運動補償之參考圖像。DPB 94可為額外記憶體的部分或與其分離，該額外記憶體儲存用於稍後呈現於顯示裝置(諸如圖1之顯示裝置32)上之經解碼視訊。
圖14為說明本發明中描述之實例視訊解碼技術的流程圖。將參考一般視訊解碼器(諸如但不限於視訊解碼器30)描述圖14之技術。在一些情況下，圖14之技術可由諸如視訊編碼器20之視訊編碼器執行，在此狀況下，一般視訊解碼器對應於視訊編碼器之解碼迴路。
在圖14之實例中，視訊解碼器判定以框間預測模式寫碼視訊資料區塊(202)。視訊解碼器隱含地判定針對視訊資料區塊啟用DMVD模式(204)。DMVD模式可例如為圖案匹配運動向量推導模式、雙向光流模式、雙側模板匹配模式或重疊區塊運動補償模式，或另一DMVD模式中之一者。
在一個實例中，為隱含地判定針對視訊資料區塊啟用DMVD模式，視訊解碼器可基於用於寫碼視訊資料區塊之一或多個相鄰區塊的模式，判定針對視訊資料區塊啟用DMVD模式。一或多個相鄰區塊可為時間相鄰區塊抑或空間相鄰區塊。在另一實例中，為隱含地判定針對視訊資料區塊啟用DMVD模式，視訊解碼器可回應於包含視訊資料區塊之當前圖塊的低延遲條件為真，判定針對視訊資料區塊啟用DMVD模式(例如，FRUC模板匹配模式)，其中低延遲條件需要當前圖塊之所有參考圖像在顯示次序上在當前圖塊之前。
在另一實例中，為隱含地判定針對視訊資料區塊啟用DMVD模式，視訊解碼器可回應於視訊資料區塊為B圖塊，視訊資料區塊之第一參考圖像清單僅包括一個參考圖像，視訊資料區塊之第二參考圖像清單僅包括一個參考圖像，且第一參考圖像清單之唯一參考圖像與第二參考圖像清單之唯一參考圖像為相同參考圖像，判定針對視訊資料區塊啟用DMVD模式。在另一實例中，為判定用於視訊資料區塊之運動資訊，視訊解碼器可判定視訊資料區塊之參考索引，且為隱含地判定針對視訊資料區塊啟用DMVD模式，視訊解碼器可回應於判定視訊資料區塊之參考索引值等於零，判定針對視訊資料區塊啟用DMVD模式。
視訊解碼器判定用於視訊資料區塊之運動資訊(206)。運動資訊例如包括運動向量、運動向量精度及參考圖像索引中之一些或全部。視訊解碼器使用運動資訊以根據DMVD模式判定參考區塊(208)。視訊解碼器基於參考區塊而產生用於視訊資料區塊之預測性區塊(210)。視訊解碼器可將殘餘資料添加至預測性區塊以產生經重建構視訊資料區塊，並處理經重建構視訊資料區塊以產生經解碼視訊資料區塊。該處理可例如包括一或多個迴路內或迴路後濾波操作。
視訊解碼器輸出經解碼視訊資料區塊。在視訊解碼器為視訊編碼器之部分的情況下，視訊解碼器可藉由將包括經解碼視訊資料區塊之圖像儲存於經解碼圖像緩衝器中，以用作編碼後續視訊資料圖像之參考圖像而輸出經解碼視訊資料區塊。在視訊解碼器解碼用於顯示之視訊資料的情況下，視訊解碼器可藉由將包括經解碼視訊資料區塊之圖像儲存於經解碼圖像緩衝器中，以用作解碼後續視訊資料圖像之參考圖像，並藉由將包括經解碼視訊資料區塊之圖像輸出至顯示裝置而輸出經解碼視訊資料區塊。
圖15為說明與簡化雙側匹配相關之實例的概念圖。一種實例方法為限定用於DMVD之區塊大小。應瞭解，DMVD尋求使用先前經解碼資訊在解碼器側處導出諸如運動向量、預測方向之運動資訊。在當前方法中，可首先在解碼器側處導出像素群組。接著使用像素群組進一步導出運動資訊。舉例而言，在圖框速率向上轉換(FRUC)模板匹配中，當前區塊之模板及參考區塊之模板用於DMVD。在FRUC雙側匹配中，沿著參考區塊之運動軌跡的鏡像對用於DMVD。在雙側模板匹配中，經雙向預測產生之模板用於DMVD。在BIO中，參考區塊用於DMVD。
限定用於DMVD之區塊大小可有助於限定或限制記憶體存取頻寬。論述了簡化FRUC雙側匹配及FRUC雙側模板匹配之若干方法。並非使用原始區塊大小1500，而是可使用較小的收縮區塊大小1502。
對於FRUC雙側匹配，可將沿著參考區塊之運動軌跡的鏡像對之區塊大小限定為小於當前區塊之大小。因此，DMVD將不使用除了由當前區塊之原始L0及L1運動向量所提取之參考像素以外的參考像素。在一個實例中，將用於DMVD之參考區塊自區塊邊界垂直地收縮k個像素及/或水平地收縮l個像素，如圖15中所說明。可基於縱橫比或相鄰運動向量將k及l兩者預定義為DMVD之搜尋範圍或任何常數。舉例而言，若當前區塊之寬度比高度大得多，則可將l設定為大於k。在另一實例中，若大部分相鄰運動向量相比y方向在x方向上具有量值，則可將k設定為大於或等於l。替代地，可在SPS/VPS/PPS/圖塊標頭中傳信k及/或l。值k及/或l亦可取決於當前區塊之區塊大小。在另一實例中，可僅利用位於某些相對位置處之樣本，該等位置諸如定義為(x, y)之座標，其中x可為奇數(或偶數)值且y可為奇數(或偶數)。
對於FRUC雙側模板匹配，經雙向預測產生之模板的區塊大小可被限定為小於當前區塊之大小，因此DMVD將不使用除了由當前區塊之原始L0及L1運動向量所提取之參考像素以外的參考像素。在一個實例中，將經雙向預測產生之模板的區塊自外部或邊緣垂直地收縮k個像素且水平地收縮l個像素，如圖15中所說明。如所論述，k及l可被預定義為DMVD之搜尋範圍或任何常數。替代地，可自區塊寬度及高度M及N導出k及l。在另一實例中，可僅利用位於某些相對位置處之樣本，該等位置諸如定義為(x, y)之座標，其中x可為奇數(或偶數)值，且y可為奇數(偶數)值。
對於FRUC雙側匹配及FRUC雙側模板匹配兩者，若由搜尋範圍內之MV指示的參考像素並不位於由原始MV(例如，DMVD之前的MV)指示的參考區塊內，則參考像素可被標記為「不可用」且可被替代像素替換。如圖16中所說明，由原始運動提取之參考區塊分別為R0及R1。由DMVD導出之運動向量提取的參考區塊為R'0及R'1。並不位於原始參考區塊內之參考像素被標記為不可用。
若干方法可產生用於標記為不可用之彼等像素的替代像素。在一個實例中，可使用由DMVD導出之MV，但用具有較短抽頭之內插濾波器來產生替代像素，該等濾波器諸如雙線性內插濾波器或HEVC色度4抽頭內插濾波器。在另一實例中，藉由自並未標記為不可用之最近水平或垂直像素複製像素值而產生替代像素。在像素重複之後，可應用1D/2D外插濾波器以基於可用的參考像素而平滑化重複之參考像素。可預定義或通過SPS/VPS/PPS/圖塊標頭傳信濾波器。在另一實例中，對於FRUC雙側匹配及FRUC雙側模板匹配兩者，可將用於產生「所有像素」線索之內插程序簡化為具有較短抽頭之內插濾波器。舉例而言，在JEM中，HEVC內插濾波器(8抽頭)用於產生雙側模板搜尋之像素線索(或稱為雙側模板)。可使用具有較短抽頭之濾波器，諸如雙線性濾波器或HEVC色度濾波器(4抽頭)。
圖16為示出運動改進之實例的概念圖。說明與產生替代像素值相關之實例。在藉由DMVD判定最終MV之後，將最終MV用於自list0抑或list1參考圖像提取參考區塊以產生最終運動補償預測值。為限定記憶體存取頻寬，可使用若干方法以簡化FRUC雙側匹配及FRUC雙側模板匹配。
對於FRUC雙側匹配及FRUC雙側模板匹配兩者，若由DMVD導出之MV指示的參考像素並不位於由原始MV(例如，DMVD之前的MV)指示的參考區塊內，則彼參考像素被標記為不可用。如圖16中所說明，由原始運動向量1600提取之參考區塊分別為R0及R1。由DMVD導出之運動向量1602提取的參考區塊為R'0及R'1。並不位於原始參考區塊內之彼等參考像素被標記為不可用，如所說明。
對於FRUC雙側匹配及FRUC雙側模板匹配兩者，每一像素皆具有分別來自list0及list1參考圖像之兩個參考像素。存在三種可能狀況：
第一種：若list0及list1參考像素兩者皆未被標記為「不可用」，則可藉由習知方法(諸如，如HEVC中支援的此等兩像素之平均值或加權平均值)產生相關聯像素之最終預測值。
第二種：若list0抑或list1參考像素被標記為不可用，則僅未被標記為「不可用」之參考像素可用作最終預測值。
第三種：若list0及list1參考像素兩者皆被標記為「不可用」，則如下文所論述之替代方法可用於產生最終預測值。此等方法亦可應用於2)以產生list0抑或list1中之「不可用」參考像素。若其被應用於2)，則相比於用以下方法產生的標記為「不可用」之像素，未標記為「不可用」之參考像素可被給予較高權重。
提出不同方法以產生用於彼等標記為不可用之參考像素的替代像素值。
在一個實例中，使用藉由DMVD導出之MV，但用具有較短抽頭之內插濾波器產生替代像素，該等濾波器諸如雙線性內插濾波器或HEVC色度4抽頭內插濾波器。
在另一實例中，藉由自並未標記為不可用之最近水平或垂直像素複製像素值而產生替代像素。在像素重複之後，可應用1D/2D外插濾波器以基於可用的參考像素而平滑化重複之參考像素。可預定義或通過SPS/VPS/PPS/圖塊標頭傳信濾波器。
在另一實例中，若MV在DMVD之後並未改變，則可以相同於習知方法(諸如，HEVC或JEM中使用之方法)之方式執行運動補償。若MV被DMVD改變，則使用藉由DMVD導出之MV，但用具有較短抽頭之內插濾波器產生區塊內之所有像素，該等濾波器諸如雙線性內插濾波器或HEVC色度4抽頭內插濾波器。
結合OBMC，在基於相鄰子區塊之運動資訊而產生預測區塊時，用具有較短抽頭之內插濾波器使用相鄰子區塊之運動資訊來產生預測值，該等濾波器諸如雙線性內插濾波器或HEVC色度4抽頭內插濾波器。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而在電腦可讀媒體上儲存或傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體或通信媒體，電腦可讀儲存媒體對應於諸如資料儲存媒體之有形媒體，通信媒體包括促進電腦程式自一處至另一處之轉移(例如，根據通信協定)的任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)非暫時性有形電腦可讀儲存媒體，或(2)通信媒體(諸如，信號或載波)。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取，以擷取用於實施本發明中所描述之技術的指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存裝置、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，將任何連接適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫態媒體，而是實際上關於非暫態有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。上文各者之組合亦應包括於電腦可讀媒體之範疇內。
可由一或多個處理器執行指令，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效之整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指前述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能性可提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，可在一或多個電路或邏輯元件中充分實施該等技術。
本發明之技術可實施於廣泛多種裝置或設備中，包括無線手持機、積體電路(IC)或IC之集合(例如，晶片組)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之裝置的功能態樣，但未必需要由不同硬體單元來實現。確切而言，如上文所描述，各種單元可與合適的軟體及/或韌體一起組合於編解碼器硬體單元中或由互操作性硬體單元之集合提供，硬體單元包括如上文所描述之一或多個處理器。
各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統 12‧‧‧源裝置 14‧‧‧目的地裝置 16‧‧‧鏈路 18‧‧‧視訊源 20‧‧‧視訊編碼器 22‧‧‧輸出介面 26‧‧‧儲存裝置 28‧‧‧輸入介面 30‧‧‧視訊解碼器 32‧‧‧顯示裝置 33‧‧‧視訊資料記憶體 35‧‧‧分割單元 41‧‧‧預測處理單元 42‧‧‧運動估計單元(MEU) 44‧‧‧運動補償單元(MCU) 46‧‧‧框內預測單元 50‧‧‧求和器 52‧‧‧變換處理單元 54‧‧‧量化單元 56‧‧‧熵編碼單元 58‧‧‧反量化單元 60‧‧‧反變換處理單元 62‧‧‧求和器 64‧‧‧濾波器單元 66‧‧‧經解碼圖像緩衝器(DPB) 78‧‧‧視訊資料記憶體 80‧‧‧熵解碼單元 81‧‧‧預測處理單元 82‧‧‧運動補償單元 84‧‧‧框內預測單元 86‧‧‧反量化單元 88‧‧‧反變換處理單元 90‧‧‧求和器 92‧‧‧濾波器單元 94‧‧‧DPB 100‧‧‧所導出運動向量(MV) 102‧‧‧所導出運動向量(MV) 110‧‧‧MV 112‧‧‧MV 120‧‧‧步驟 122‧‧‧步驟 124‧‧‧步驟 130‧‧‧步驟 132‧‧‧步驟 134‧‧‧步驟 136‧‧‧步驟 138‧‧‧步驟 140‧‧‧步驟 202‧‧‧步驟 204‧‧‧步驟 206‧‧‧步驟 208‧‧‧步驟 210‧‧‧步驟 1500‧‧‧原始區塊大小 1502‧‧‧收縮區塊大小 1600‧‧‧原始運動向量 1602‧‧‧運動向量 Cur‧‧‧當前圖像/當前區塊 MV0‧‧‧運動向量 MV0'‧‧‧新MV MV1‧‧‧運動向量 MV1'‧‧‧新MV P0‧‧‧內插像素 P1‧‧‧內插像素 PC‧‧‧基於當前子區塊之運動向量的預測區塊 PN‧‧‧基於相鄰子區塊之運動向量的預測區塊 R0‧‧‧參考區塊 R'0‧‧‧參考區塊 R1‧‧‧參考區塊 R'1‧‧‧參考區塊 Ref0‧‧‧參考圖像 Ref1‧‧‧參考圖像 T0‧‧‧模板 T1‧‧‧模板 TC‧‧‧當前模板 T' C‧‧‧經更新當前模板
圖1為說明可利用本發明之用於支援解碼器側之運動向量推導技術的實例視訊編碼及解碼系統之方塊圖。
圖2A為示出用於合併模式之空間相鄰運動向量候選之實例的概念圖。
圖2B為示出用於進階運動向量預測模式之空間相鄰運動向量候選之實例的概念圖。
圖3A為示出時間運動向量預測值候選之實例的概念圖。
圖3B為示出運動向量縮放之實例的概念時序圖。
圖4為示出雙側匹配之實例的概念圖。
圖5為示出模板匹配之實例的概念圖。
圖6A及圖6B為示出對圖框速率向上轉換模板匹配模式之實例所提出修改的流程圖。
圖7為示出光流軌跡之實例的概念圖。
圖8為示出用於8×4區塊之雙向光流的實例的概念圖。
圖9為示出基於雙側模板匹配之所提出解碼器側運動向量推導之實例的概念圖。
圖10A及圖10B為示出可應用重疊區塊運動補償之子區塊之實例說明的概念圖。
圖11A至圖11D為示出重疊區塊運動補償加權之實例的概念圖。
圖12為說明可實施支援解碼器側運動向量推導之技術的視訊編碼器之實例的方塊圖。
圖13為說明解碼經編碼視訊序列並執行解碼器側運動向量推導之視訊解碼器之實例的方塊圖。
圖14為說明根據本發明中所描述之技術解碼視訊資料之實例方法的流程圖。
圖15為說明與簡化雙側匹配相關之實例的概念圖。
圖16為示出運動改進之實例的概念圖。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源裝置
14‧‧‧目的地裝置
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
26‧‧‧儲存裝置
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示裝置

Claims (25)

  1. 一種解碼視訊資料之方法，該方法包含：判定以一框間預測模式寫碼一視訊資料區塊；判定針對該視訊資料區塊啟用一解碼器側運動向量推導(DMVD)模式；判定用於該視訊資料區塊之運動資訊，包含判定該視訊資料區塊之一參考索引；使用該運動資訊來根據該DMVD模式判定一參考區塊，其中進一步限定該參考區塊為小於該視訊資料區塊之大小；及憑藉由自一最近水平可用參考像素或一最近垂直可用參考像素複製像素值來判定在該經限定參考區塊外部的參考像素之值，基於該經限定參考區塊而產生用於該視訊資料區塊之一預測性區塊。
  2. 如請求項1之方法，其中在至少一個維度上減少該經限定參考區塊之大小。
  3. 如請求項1之方法，其中該經限定參考區塊僅包括由一原始運動向量指示之參考像素。
  4. 如請求項1之方法，其中該運動資訊包含一運動向量、一運動向量精度及一參考圖像索引中之一些或全部。
  5. 如請求項1之方法，其中該DMVD模式包含一圖案匹配運動向量推導模式、一雙向光流模式、一雙側模板匹配模式中之一者。
  6. 如請求項1之方法，其中判定針對該視訊資料區塊啟用該DMVD模式包含基於用於寫碼該視訊資料區塊之一或多個相鄰區塊的模式，判定針對該視訊資料區塊啟用該DMVD模式。
  7. 如請求項6之方法，其中該一或多個相鄰區塊包含一時間相鄰區塊。
  8. 如請求項1之方法，其中判定針對該視訊資料區塊啟用該DMVD模式包含回應於包含該視訊資料區塊之一當前圖塊的一低延遲條件為真，判定針對該視訊資料區塊啟用該DMVD模式，其中該低延遲條件需要該當前圖塊之所有參考圖像在顯示次序上在該當前圖塊之前。
  9. 如請求項8之方法，其中該DMVD模式包含一圖框速率向上轉換(FRUC)模板匹配模式。
  10. 如請求項1之方法，其中該方法執行為一視訊編碼程序之一解碼迴路的部分。
  11. 一種用於解碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存該視訊資料；及一或多個處理器，其經組態以： 判定以一框間預測模式寫碼一視訊資料區塊，判定針對該視訊資料區塊啟用一解碼器側運動向量推導(DMVD)模式，判定用於該視訊資料區塊之運動資訊，包含判定該視訊資料區塊之一參考索引，使用該運動資訊來根據該DMVD模式判定一參考區塊，其中進一步限定該參考區塊為小於該視訊資料區塊之大小，及憑藉由自一最近水平可用參考像素或一最近垂直可用參考像素複製像素值來判定在該經限定參考區塊外部的參考像素之值，基於該經限定參考區塊而產生用於該視訊資料區塊之一預測性區塊。
  12. 如請求項11之裝置，其中在至少一個維度上減少該經限定參考區塊之大小。
  13. 如請求項11之裝置，其中該經限定參考區塊僅包括由一原始運動向量指示之參考像素。
  14. 如請求項11之裝置，其中該運動資訊包含一運動向量、一運動向量精度及一參考圖像索引中之一些或全部。
  15. 如請求項11之裝置，其中該DMVD模式包含一圖案匹配運動向量推導模式、一雙向光流模式、一雙側模板匹配模式中之一者。
  16. 如請求項11之裝置，其中判定針對該視訊資料區塊啟用該DMVD模式包含基於用於寫碼該視訊資料區塊之一或多個相鄰區塊的模式，判定針對該視訊資料區塊啟用該DMVD模式。
  17. 如請求項16之裝置，其中該一或多個相鄰區塊包含一時間相鄰區塊。
  18. 如請求項11之裝置，其中判定針對該視訊資料區塊啟用該DMVD模式包含回應於包含該視訊資料區塊之一當前圖塊的一低延遲條件為真，判定針對該視訊資料區塊啟用該DMVD模式，其中該低延遲條件需要該當前圖塊之所有參考圖像在顯示次序上在該當前圖塊之前。
  19. 如請求項18之裝置，其中該DMVD模式包含一圖框速率向上轉換(FRUC)模板匹配模式。
  20. 如請求項11之裝置，其中該處理器執行為一視訊編碼程序之一解碼迴路的部分。
  21. 一種用於解碼視訊資料之裝置，該裝置包含：用於儲存該視訊資料之構件；及與該用於儲存之構件通信用於處理之構件，該用於處理之構件經組態以：判定以一框間預測模式寫碼一視訊資料區塊， 判定針對該視訊資料區塊啟用一解碼器側運動向量推導(DMVD)模式，判定用於該視訊資料區塊之運動資訊，包含判定該視訊資料區塊之一參考索引，使用該運動資訊來根據該DMVD模式判定一參考區塊，其中進一步限定該參考區塊為小於該視訊資料區塊之大小，及憑藉由自附近可用參考像素複製像素值、自一最近水平可用參考像素或一最近垂直可用參考像素內插像素值來判定在該經限定參考區塊外部的參考像素之值，基於該經限定參考區塊而產生用於該視訊資料區塊之一預測性區塊。
  22. 一種儲存指令之電腦可讀非暫時性儲存媒體，該等指令在由一或多個處理器執行時致使該一或多個處理器執行一程序，該程序包含：判定以一框間預測模式寫碼一視訊資料區塊；判定針對該視訊資料區塊啟用一解碼器側運動向量推導(DMVD)模式；判定用於該視訊資料區塊之運動資訊，包含判定該視訊資料區塊之一參考索引；使用該運動資訊來根據該DMVD模式判定一參考區塊，其中進一步限定該參考區塊為小於該視訊資料區塊之大小；及憑藉由自一最近水平可用參考像素或一最近垂直可用參考像素複製像素值來判定在該經限定參考區塊外部的參考像素之值，基於該經限定參考區塊而產生用於該視訊資料區塊之一預測性區塊。
  23. 如請求項22之媒體，其中在至少一個維度上減少該經限定參考區塊之大小。
  24. 如請求項22之媒體，其中該經限定參考區塊僅包括由一原始運動向量指示之參考像素。
  25. 如請求項22之媒體，其中該運動資訊包含一運動向量、一運動向量精度及一參考圖像索引中之一些或全部。
TW108101853A 2018-01-18 2019-01-17 改良的解碼器側之運動向量推導 TWI803563B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862618902P 2018-01-18 2018-01-18
US62/618,902 2018-01-18
US16/249,371 US11265551B2 (en) 2018-01-18 2019-01-16 Decoder-side motion vector derivation
US16/249,371 2019-01-16

Publications (2)

Publication Number Publication Date
TW201933866A TW201933866A (zh) 2019-08-16
TWI803563B true TWI803563B (zh) 2023-06-01

Family

ID=67214508

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108101853A TWI803563B (zh) 2018-01-18 2019-01-17 改良的解碼器側之運動向量推導

Country Status (8)

Country Link
US (1) US11265551B2 (zh)
EP (1) EP3741119A1 (zh)
KR (1) KR20200108432A (zh)
CN (1) CN111602399B (zh)
BR (1) BR112020014522A2 (zh)
SG (1) SG11202005204SA (zh)
TW (1) TWI803563B (zh)
WO (1) WO2019143795A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111201795B (zh) * 2017-10-09 2022-07-26 华为技术有限公司 存储访问窗口和用于运动矢量修正的填充
US11750832B2 (en) * 2017-11-02 2023-09-05 Hfi Innovation Inc. Method and apparatus for video coding
CN112166608A (zh) * 2018-04-06 2021-01-01 Vid拓展公司 采用简化梯度推导的双向光流方法
US10958928B2 (en) * 2018-04-10 2021-03-23 Qualcomm Incorporated Decoder-side motion vector derivation for video coding
WO2020003274A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in lut
EP3794824A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Conditions for updating luts
TWI752331B (zh) 2018-06-29 2022-01-11 大陸商北京字節跳動網絡技術有限公司 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
MX2020013828A (es) 2018-06-29 2021-03-25 Beijing Bytedance Network Tech Co Ltd Interaccion entre lut y amvp.
CN110662057B (zh) 2018-06-29 2022-06-21 北京字节跳动网络技术有限公司 视频处理方法、装置、设备以及存储比特流的方法
EP3794825A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Update of look up table: fifo, constrained fifo
CN110662051B (zh) 2018-06-29 2022-06-07 北京字节跳动网络技术有限公司 来自多个查找表（lut）的选择
TWI734133B (zh) 2018-07-02 2021-07-21 大陸商北京字節跳動網絡技術有限公司 更新查找表的規則
TWI752341B (zh) 2018-08-04 2022-01-11 大陸商北京字節跳動網絡技術有限公司 不同解碼器側運動矢量推導模式之間的交互
CN111064961B (zh) 2018-09-12 2023-06-09 北京字节跳动网络技术有限公司 视频处理方法和装置
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
WO2020084465A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Simplified coding of generalized bi-directional index
CN117880513A (zh) * 2018-10-22 2024-04-12 北京字节跳动网络技术有限公司 基于编解码信息的解码器侧运动矢量推导的限制
CN111083491A (zh) 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 细化运动矢量的利用
CN111630865B (zh) 2018-11-12 2023-06-27 北京字节跳动网络技术有限公司 广义双向预测模式的线缓冲器减少
JP7241870B2 (ja) 2018-11-20 2023-03-17 北京字節跳動網絡技術有限公司 部分的な位置に基づく差分計算
WO2020103872A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Prediction refinement for combined inter intra prediction mode
CN113273186A (zh) 2019-01-10 2021-08-17 北京字节跳动网络技术有限公司 Lut更新的调用
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
CN113383548A (zh) * 2019-02-03 2021-09-10 北京字节跳动网络技术有限公司 Mv精度和mv差编解码之间的相互作用
WO2020164580A1 (en) * 2019-02-14 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Size selective application of decoder side refining tools
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
US11206425B2 (en) * 2019-03-11 2021-12-21 Alibaba Group Holding Limited Inter prediction methods for coding video data
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
KR102610709B1 (ko) 2019-04-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
CN113767637B (zh) 2019-04-28 2023-09-22 北京字节跳动网络技术有限公司 对称运动矢量差编解码
WO2020228659A1 (en) 2019-05-11 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Coding tools with reference picture resampling
SG11202112656UA (en) 2019-06-21 2021-12-30 Panasonic Ip Corp America Encoder, decoder, encoding method, and decoding method
WO2021018031A1 (en) 2019-07-27 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Restrictions of usage of tools according to reference picture types
KR20220073752A (ko) 2019-10-12 2022-06-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩 툴들을 위한 상위 레벨 신택스
CN113709502B (zh) * 2021-03-19 2022-12-23 杭州海康威视数字技术股份有限公司 解码方法、编码方法、装置、设备及机器可读存储介质
CN117501691A (zh) * 2021-05-17 2024-02-02 抖音视界有限公司 用于视频处理的方法、设备和介质
KR20230040295A (ko) * 2021-09-15 2023-03-22 주식회사 케이티 비디오 신호 부호화/복호화 방법, 그리고 비트스트림을 저장한 기록 매체
WO2023080464A1 (ko) * 2021-11-05 2023-05-11 삼성전자 주식회사 Ai 기반 필터링을 위한 영상 처리 방법 및 장치
WO2023141036A1 (en) * 2022-01-18 2023-07-27 Beijing Dajia Internet Information Technology Co., Ltd. Bilateral matching based reference picture reordering
WO2023194599A1 (en) * 2022-04-08 2023-10-12 Interdigital Ce Patent Holdings, Sas Memory bandwidth constrained template-based operations

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084512A1 (en) * 2015-11-20 2017-05-26 Mediatek Inc. Method and apparatus of motion vector prediction or merge candidate derivation for video coding

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130272409A1 (en) * 2012-04-12 2013-10-17 Qualcomm Incorporated Bandwidth reduction in video coding through applying the same reference index
US9648319B2 (en) * 2012-12-12 2017-05-09 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
WO2015166639A1 (ja) * 2014-04-28 2015-11-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化方法、復号方法、符号化装置および復号装置
US11330284B2 (en) * 2015-03-27 2022-05-10 Qualcomm Incorporated Deriving motion information for sub-blocks in video coding
WO2017036414A1 (en) * 2015-09-02 2017-03-09 Mediatek Inc. Method and apparatus of decoder side motion derivation for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084512A1 (en) * 2015-11-20 2017-05-26 Mediatek Inc. Method and apparatus of motion vector prediction or merge candidate derivation for video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
網路文獻 Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer Ohm, Jill Boyce CHEN J ET AL: "JVET-G1001- Algorithm description of Joint Exploration Test Model 7 (JEM7)", 19 August 2017 Joint Video Exploration Team 2017/07/21
網路文獻 Motoharu Ueda MOTOHARU UEDA: "Bi-prediction by single motion vector using decoder-side inter-reference ME", 5. JCT-VC MEETING; 96. MPEG MEETING; 16-3-2011 - 23-3-2011 Joint Collaborative Team on Video Coding 2011/03/23;網路文獻 Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer Ohm, Jill Boyce CHEN J ET AL: "JVET-G1001- Algorithm description of Joint Exploration Test Model 7 (JEM7)", 19 August 2017 Joint Video Exploration Team 2017/07/21 *

Also Published As

Publication number Publication date
BR112020014522A2 (pt) 2020-12-08
US11265551B2 (en) 2022-03-01
SG11202005204SA (en) 2020-08-28
US20190222848A1 (en) 2019-07-18
TW201933866A (zh) 2019-08-16
KR20200108432A (ko) 2020-09-18
WO2019143795A1 (en) 2019-07-25
CN111602399B (zh) 2023-10-20
EP3741119A1 (en) 2020-11-25
CN111602399A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
TWI803563B (zh) 改良的解碼器側之運動向量推導
JP7278333B2 (ja) 復号器側動きベクトル導出によって導出された動きベクトル情報を制約すること
TWI761415B (zh) 用於雙向光學流（ｂｉｏ）之運動向量重建
CN111989922B (zh) 用于对视频数据进行解码的方法、设备和装置
CN110431842B (zh) 解码器侧运动向量导出
JP6740243B2 (ja) ビデオコーディングにおける動きベクトル導出
CN111567043B (zh) 对视频数据进行译码的方法、装置和计算机可读存储介质
CN111201793A (zh) 用于fruc的低复杂度设计
CN110915214A (zh) 用于运动向量推导的基于部分重构建的模板匹配
JP2022548650A (ja) 履歴ベースの動きベクトル予測