TWI718412B - 用於訊框速率上升轉換(fruc)之低複雜度設計 - Google Patents

用於訊框速率上升轉換(fruc)之低複雜度設計 Download PDF

Info

Publication number
TWI718412B
TWI718412B TW107132866A TW107132866A TWI718412B TW I718412 B TWI718412 B TW I718412B TW 107132866 A TW107132866 A TW 107132866A TW 107132866 A TW107132866 A TW 107132866A TW I718412 B TWI718412 B TW I718412B
Authority
TW
Taiwan
Prior art keywords
motion vector
vector information
initial
block
improved
Prior art date
Application number
TW107132866A
Other languages
English (en)
Other versions
TW201924344A (zh
Inventor
錢威俊
莊孝強
李想
陳建樂
章立
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201924344A publication Critical patent/TW201924344A/zh
Application granted granted Critical
Publication of TWI718412B publication Critical patent/TWI718412B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種解碼視訊資料之方法包括藉由實施於處理電路中之一視訊解碼器建構針對一當前訊框之一部分之運動向量資訊之一候選者清單。該方法包括藉由該視訊解碼器接收指示運動向量資訊之該候選者清單之起始運動向量資訊之發信資訊，該起始運動向量資訊指示一參考訊框中之一初始位置。該方法包括藉由該視訊解碼器基於雙側匹配或範本匹配中之一或多者改進該起始運動向量資訊以判定改進運動向量資訊，該改進運動向量資訊指示該參考訊框中的在距該初始位置之一搜尋範圍內之一改進位置。該方法包括藉由該視訊解碼器基於該改進運動向量資訊產生一預測性區塊，及藉由該視訊解碼器基於該預測性區塊解碼該當前訊框。

Description

用於訊框速率上升轉換(FRUC)之低複雜度設計
本發明係關於視訊編碼及解碼。
數位視訊頻能力可併入至廣泛範圍之裝置中，該等裝置包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄裝置、數位媒體播放器、視訊遊戲裝置、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議裝置、視訊串流裝置及其類似者。數位視訊裝置實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、ITU-T H.265定義之標準、高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的彼等技術。視訊裝置可藉由實施此等視訊壓縮技術而更高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可將視訊截塊(亦即，視訊訊框或視訊訊框之一部分)分割成視訊區塊，該等視訊區塊亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)截塊中的視訊區塊。圖像之框間寫碼(P或B)截塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。空間或時間預測導致用於待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量來編碼，且殘餘資料指示經寫碼區塊與預測性區塊之間的差。框內寫碼區塊係根據框內寫碼模式及殘餘資料編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致可接著進行量化之殘餘變換係數。
一般而言，本發明描述關於對用於訊框速率上升轉換(FRUC)之現有技術之改進的技術。美國專利公開案第US-2016-0286230號描述基於FRUC之技術。本發明之用於低複雜度FRUC之技術可應用至諸如HEVC(高效率視訊寫碼)之現有視訊編解碼器中的任一者，或可為用於諸如當前在開發中之多功能視訊寫碼標準之將來視訊寫碼標準的高效寫碼工具。更明確而言，本發明描述與減小來自外部記憶體之用以執行對FRUC之搜尋操作的參考樣本之數量相關的技術。
在一個實例中，一種解碼視訊資料之方法包括：藉由實施於處理電路中之一視訊解碼器建構針對一當前訊框之一部分之運動向量資訊之一候選者清單；藉由該視訊解碼器接收指示運動向量資訊之該候選者清單之起始運動向量資訊之發信資訊，該起始運動向量資訊指示一參考訊框中之一初始位置；藉由該視訊解碼器基於雙側匹配或範本匹配中之一或多者改進該起始運動向量資訊以判定改進運動向量資訊，該改進運動向量資訊指示該參考訊框中的在距該初始位置之一搜尋範圍內之一改進位置；藉由該視訊解碼器基於該改進運動向量資訊產生一預測性區塊；及藉由該視訊解碼器基於該預測性區塊解碼該當前訊框。
在另一實例中，一種用於解碼視訊資料之裝置包括：一記憶體，其經經組態以儲存該視訊資料；及處理電路。該處理電路經組態以：建構針對一當前訊框之一部分之運動向量資訊之一候選者清單；接收指示運動向量資訊之該候選者清單之起始運動向量資訊之發信資訊，該起始運動向量資訊指示一參考訊框中之一初始位置；基於雙側匹配或範本匹配中之一或多者改進該起始運動向量資訊以判定改進運動向量資訊，該改進運動向量資訊指示該參考訊框中的在距該初始位置之一搜尋範圍內之一改進位置；基於該改進運動向量資訊產生一預測性區塊；及基於該預測性區塊解碼該當前訊框。
在另一實例中，一種非暫時性電腦可讀媒體組態有一或多個指令，該一或多個指令在執行時使得一或多個處理器：建構針對一當前訊框之一部分之運動向量資訊之一候選者清單；接收指示運動向量資訊之該候選者清單之起始運動向量資訊之發信資訊，該起始運動向量資訊指示一參考訊框中之一初始位置；基於雙側匹配或範本匹配中之一或多者改進該起始運動向量資訊以判定改進運動向量資訊，該改進運動向量資訊指示該參考訊框中的在距該初始位置之一搜尋範圍內之一改進位置；基於該改進運動向量資訊產生一預測性區塊；及基於該預測性區塊解碼該當前訊框。
在另一實例中，一種裝置包含：用於建構針對一當前訊框之一部分之運動向量資訊之一候選者清單的構件；用於接收指示運動向量資訊之該候選者清單之起始運動向量資訊之發信資訊的構件，該起始運動向量資訊指示一參考訊框中之一初始位置；用於基於雙側匹配或範本匹配中之一或多者改進該起始運動向量資訊以判定改進運動向量資訊的構件，該改進運動向量資訊指示該參考訊框中的在距該初始位置之一搜尋範圍內之一改進位置；用於基於該改進運動向量資訊產生一預測性區塊的構件；及用於基於該預測性區塊解碼該當前訊框的構件。
在另一實例中，一種編碼視訊資料之方法包括：藉由實施於處理電路中之一視訊編碼器建構針對一當前訊框之一部分之運動向量資訊之一候選者清單；藉由該視訊編碼器選擇運動向量資訊之該候選者清單之起始運動向量資訊，該起始運動向量資訊指示一參考訊框中之一初始位置；藉由該視訊編碼器基於雙側匹配或範本匹配中之一或多者改進該起始運動向量資訊以判定改進運動向量資訊，該改進運動向量資訊指示該參考訊框中的在距該初始位置之一搜尋範圍內之一改進位置；藉由該視訊編碼器基於該改進運動向量資訊產生一預測性區塊；藉由該視訊編碼器基於該預測性區塊產生針對視訊資料之該當前區塊之殘餘樣本值；及藉由該視訊編碼器輸出該等殘餘樣本值之一指示及指示運動向量資訊之該候選者清單之該起始運動向量資訊之發信資訊。
在另一實例中，一種用於編碼視訊資料之裝置包括：經組態以儲存視訊資料之記憶體；及處理電路。該處理電路經組態以：建構針對一當前訊框之一部分之運動向量資訊之一候選者清單；選擇運動向量資訊之該候選者清單之起始運動向量資訊，該起始運動向量資訊指示一參考訊框中之一初始位置；基於雙側匹配或範本匹配中之一或多者改進該起始運動向量資訊以判定改進運動向量資訊，該改進運動向量資訊指示該參考訊框中的在距該初始位置之一搜尋範圍內之一改進位置；基於該改進運動向量資訊產生一預測性區塊；基於該預測性區塊產生針對視訊資料之該當前區塊之殘餘樣本值；及輸出該等殘餘樣本值之一指示及指示運動向量資訊之該候選者清單之該起始運動向量資訊之發信資訊。
在另一實例中，一種非暫時性電腦可讀媒體組態有一或多個指令，該一或多個指令在執行時使得一或多個處理器：建構針對一當前訊框之一部分之運動向量資訊之一候選者清單；選擇運動向量資訊之該候選者清單之起始運動向量資訊，該起始運動向量資訊指示一參考訊框中之一初始位置；基於雙側匹配或範本匹配中之一或多者改進該起始運動向量資訊以判定改進運動向量資訊，該改進運動向量資訊指示該參考訊框中的在距該初始位置之一搜尋範圍內之一改進位置；基於該改進運動向量資訊產生一預測性區塊；基於該預測性區塊產生針對視訊資料之該當前區塊之殘餘樣本值；及輸出該等殘餘樣本值之一指示及指示運動向量資訊之該候選者清單之該起始運動向量資訊之發信資訊。
在另一實例中，一種裝置包含：用於建構針對一當前訊框之一部分之運動向量資訊之一候選者清單的構件；用於選擇運動向量資訊之該候選者清單之起始運動向量資訊的構件，該起始運動向量資訊指示一參考訊框中之一初始位置；用於基於雙側匹配或範本匹配中之一或多者改進該起始運動向量資訊以判定改進運動向量資訊的構件，該改進運動向量資訊指示該參考訊框中的在距該初始位置之一搜尋範圍內之一改進位置；用於基於該改進運動向量資訊產生一預測性區塊的構件；用於基於該預測性區塊產生針對視訊資料之該當前區塊之殘餘樣本值的構件；及用於輸出該等殘餘樣本值之一指示及發信資訊的構件，該發信資訊指示運動向量資訊之該候選者清單之該起始運動向量資訊。
在以下隨附圖式及描述中闡述本發明之一或多個態樣的細節。本發明中所描述之技術的其他特徵、目標及優點將自描述、圖式及申請專利範圍顯而易見。
本申請案主張2017年10月11日申請之美國臨時專利申請案第62 / 571 , 161 號之權益，該申請案之全部內容特此以引用之方式併入。
本發明之技術係關於基於區塊之視訊寫碼中的解碼器側運動資訊導出、區塊分割及/或視訊資料內插。該等技術可應用於現存視訊編解碼器中之任一者(諸如，高效視訊寫碼(HEVC))，或可為用於任何將來視訊寫碼標準之高效寫碼工具。
視訊寫碼裝置實施視訊壓縮技術以高效地編碼及解碼視訊資料。視訊壓縮技術可包括應用空間預測(例如，框內預測)、時間預測(例如，框間預測)及/或其他預測技術以減少或移除視訊序列中固有之冗餘。視訊編碼器通常將原始視訊序列之每一圖像分割成被稱作視訊區塊或寫碼單元(下文更詳細地描述)之矩形區域。可使用特定預測模式來編碼此等視訊區塊。
對於框間預測模式，視訊編碼器通常在另一時間位置中之訊框(其被稱作參考訊框)中搜尋與正經編碼之區塊類似的區塊。視訊編碼器可將搜尋限定於自待編碼之區塊的某一空間位移。可使用包括水平位移分量及垂直位移分量之二維(2D)運動向量來定位最佳匹配。對於框內預測模式，視訊編碼器可基於來自同一圖像內之先前經編碼相鄰區塊的資料使用空間預測技術而形成預測區塊。
視訊編碼器可判定預測錯誤，亦即，正經編碼之區塊中的像素值與預測區塊(亦被稱作殘餘值)之間的差。視訊編碼器亦可將諸如離散餘弦變換(DCT)之變換應用於預測誤差以產生變換係數。在變換之後，視訊編碼器可量化變換係數。經量化變換係數及運動向量可使用語法元素來表示，且連同控制資訊一起形成視訊序列之經寫碼表示。在一些情況下，視訊編碼器可熵寫碼語法元素，藉此進一步減少其表示所需之位元的數目。
視訊解碼器可使用上文所論述之語法元素及控制資訊建構用於解碼當前訊框之預測性資料(例如，預測性區塊)。舉例而言，視訊解碼器可將預測區塊與經壓縮預測誤差相加。視訊解碼器可藉由使用經量化係數而加權變換基底函數來判定經壓縮預測誤差。經重建構訊框與原始訊框之間的差被稱作重建構誤差。
在一些情況下，視訊解碼器或後處理裝置可基於一或多個參考圖像而內插圖像。此類經內插圖像不包括於經編碼位元串流中。視訊解碼器或後處理裝置可內插圖像以向上轉換經編碼位元串流之原始訊框速率。此程序可被稱作訊框速率向上轉換(FRUC)。替代地或另外，視訊解碼器或後處理裝置可內插圖像以插入被視訊編碼器跳過之一或多個圖像，從而以減小之訊框速率編碼視訊序列。在任一狀況下，視訊解碼器或後處理裝置內插不包括於已由視訊解碼器接收之經編碼位元串流中的訊框。視訊解碼器或後處理裝置可使用數個內插技術中之任一者例如使用經運動補償之訊框內插、訊框重複或訊框平均而對圖像進行內插。
雖然用於內插圖像之某些技術已出於向上轉換之目的使用，但此類技術在視訊寫碼期間尚未廣泛使用例如以寫碼包括於經編碼位元串流中的視訊資料。舉例而言，用於內插圖像之技術可為相對時間密集的及/或需要相對大量的處理功率。因此，在解碼視訊資料時，此類技術通常尚未在迴路中執行。
根據本文所描述之一或多項技術，並非自外部記憶體擷取參考樣本以執行對運動向量資訊(例如，播種運動向量)之候選者清單之每一運動向量的搜尋，視訊解碼器可僅自外部記憶體擷取樣本以執行對藉由視訊編碼器發信之運動向量資訊之候選者清單之起始運動向量資訊的搜尋。以此方式，視訊解碼器可減小來自外部記憶體之用以執行搜尋的參考樣本之量，以藉此減小用以執行解碼器側運動資訊導出的能量的量。舉例而言，組態視訊解碼器以接收指示運動向量資訊之候選者清單之起始運動向量資訊之發信資訊且改進起始運動向量資訊可減小用以執行解碼器側運動資訊導出之能量的量。在一些實例中，組態視訊編碼器以選擇運動向量資訊之候選者清單之起始運動向量資訊且輸出指示運動向量資訊之候選者清單之起始運動向量資訊之發信資訊之指示可減小用以執行解碼器側運動資訊導出的能量的量。
如本發明中所使用，術語視訊寫碼一般指視訊編碼或視訊解碼。類似地，術語視訊寫碼器可一般指視訊編碼器或視訊解碼器。此外，本發明中關於視訊解碼所描述之某些技術亦可應用於視訊編碼，且反之亦然。舉例而言，視訊編碼器及視訊解碼器時常經組態以執行相同程序或互逆程序。又，作為判定如何編碼視訊資料之程序的部分，視訊編碼器通常執行視訊解碼。
圖1為說明可利用本發明之FRUC技術之實例視訊編碼及解碼系統10的方塊圖。如圖1中所示，系統10包括源裝置12，該源裝置12提供待在稍後時間由目的地裝置14解碼之經編碼視訊資料。詳言之，源裝置12經由電腦可讀媒體16將視訊資料提供至目的地裝置14。源裝置12及目的地裝置14可包括廣泛範圍之裝置中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、平板電腦、電視、攝影機、顯示裝置、數位媒體播放器、視訊遊戲控制台、視訊串流裝置或其類似者。在一些情況下，源裝置12及目的地裝置14可能經裝備以用於無線通信。因此，源裝置12及目的地裝置14可為無線通信裝置。源裝置12為實例視訊編碼裝置(亦即，用於編碼視訊資料之裝置)。目的地裝置14為實例視訊解碼裝置(亦即，用於解碼視訊資料之裝置)。
在圖1之實例中，源裝置12包括視訊源18、經組態以儲存視訊資料之儲存媒體19、視訊編碼器20及輸出介面24。目的地裝置14包括輸入介面26、經組態以儲存經編碼視訊資料之儲存媒體28、視訊解碼器30及顯示裝置32。在其他實例中，源裝置12及目的地裝置14包括其他組件或配置。舉例而言，源裝置12可自外部視訊源(諸如，外部攝影機)接收視訊資料。同樣地，目的地裝置14可與外部顯示裝置介接，而非包括整合顯示裝置。
圖1之所說明系統10僅為一個實例。用於處理視訊資料之技術可由任何數位視訊編碼及/或解碼裝置執行。儘管本發明之技術一般由視訊編碼裝置執行，但該等技術亦可由通常被稱作「編解碼器」之視訊編碼器/解碼器執行。源裝置12及目的地裝置14僅為源裝置12產生經寫碼視訊資料以供傳輸至目的地裝置14的此類寫碼裝置之實例。在一些實例中，源裝置12及目的地裝置14可以實質上對稱方式操作，使得源裝置12及目的地裝置14中的每一者包括視訊編碼及解碼組件。因此，系統10可支援源裝置12與目的地裝置14之間的單向或雙向視訊傳輸，例如用於視訊串流、視訊播放、視訊廣播或視訊電話。
源裝置12之視訊源18可包括視訊俘獲裝置，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊資料的視訊饋入介面。作為另一替代，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、經存檔視訊及電腦產生之視訊的組合。源裝置12可包含經組態以儲存視訊資料之一或多個資料儲存媒體(例如，儲存媒體19)。本發明中所描述之技術可大體上適用於視訊寫碼，且可應用於無線及/或有線應用。在每一狀況下，俘獲、預先俘獲或電腦產生之視訊可由視訊編碼器20編碼。輸出介面24可將經編碼視訊資訊輸出至電腦可讀媒體16。
目的地裝置14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源裝置12移動至目的地裝置14的任一類型之媒體或裝置。在一些實例中，電腦可讀媒體16包含通信媒體以使源裝置12能夠即時地將經編碼視訊資料直接傳輸至目的地裝置14。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將其傳輸至目的地裝置14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源裝置12至目的地裝置14的通信之任何其他設備。目的地裝置14可包含經組態以儲存經編碼視訊資料及經解碼視訊資料之一或多個資料儲存媒體。
在一些實例中，經編碼資料可自輸出介面24輸出至儲存裝置。類似地，可藉由輸入介面自儲存裝置存取經編碼資料。儲存裝置可包括多種分散式或本端存取之資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在再一實例中，儲存裝置可對應於檔案伺服器或可儲存由源裝置12產生之經編碼視訊的另一中間儲存裝置。目的地裝置14可經由串流或下載自儲存裝置存取儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地裝置14之任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)裝置或本端磁碟機。目的地裝置14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此可包括無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)或兩者之適合於存取儲存於檔案伺服器上之經編碼視訊資料的組合。自儲存裝置的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。
該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應性串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
電腦可讀媒體16可包括暫時性媒體，諸如無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、快閃驅動器、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(圖中未示)可自源裝置12接收經編碼視訊資料，且例如經由網路傳輸將經編碼視訊資料提供至目的地裝置14。類似地，諸如光碟衝壓設施之媒體生產設施的計算裝置可自源裝置12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體16可理解為包括各種形式之一或多個電腦可讀媒體。
目的地裝置14之輸入介面26自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20之視訊編碼器20定義之語法資訊，該語法資訊亦由視訊解碼器30使用，該語法資訊包括描述區塊及其他經寫碼單元(例如，圖像群組(GOP))之特性及/或處理的語法元素。儲存媒體28可經組態以儲存經編碼視訊資料，諸如藉由輸入介面26接收之經編碼視訊資料(例如，位元串流)。顯示裝置32向使用者顯示經解碼視訊資料，且可包含多種顯示裝置中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示裝置。
視訊編碼器20及視訊解碼器30各自可實施為多種合適編碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時，裝置可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且使用一或多個處理器在硬體中執行該等指令，以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別裝置中之組合式編碼器/解碼器(編解碼器)之部分。
在一些實例中，視訊編碼器20及視訊解碼器30可根據視訊寫碼標準諸如現有或未來標準來操作。實例視訊寫碼標準包括但不限於：ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦被稱作ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。另外，最近已藉由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)之視訊寫碼聯合協作小組(JCT-VC)以及3D視訊寫碼擴展開發聯合協作小組(JCT-3V)開發新的視訊寫碼標準，亦即高效率視訊寫碼(HEVC)或ITU-T H.265，包括其範圍及螢幕內容寫碼擴展、3D視訊寫碼(3D-HEVC)與多視圖擴展(MV-HEVC)，及可縮放擴展(SHVC)。
在HEVC及其他視訊寫碼規範中，視訊序列通常包括一系列圖像。圖像亦可被稱為「訊框」。圖像可包括標示為SL 、SCb 及SCr 之三個樣本陣列。SL 為明度樣本之二維陣列(即，區塊)。SCb 為Cb色訊樣本之二維陣列。SCr 為Cr色訊樣本之二維陣列。色訊樣本亦可在本文中被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。
為產生圖像之經編碼表示，視訊編碼器20可編碼視訊資料之圖像的區塊。視訊編碼器20可將視訊區塊之經編碼表示包括於位元串流中。舉例而言，在HEVC中，為產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)之集合。CTU中之每一者可包含一或多個寫碼樹型區塊(CTB)，且可包含用以寫碼該一或多個寫碼樹型區塊之樣本的語法結構。舉例而言，每一CTU可包含明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用以對寫碼樹型區塊之樣本寫碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包含單一寫碼樹型區塊及用以對該寫碼樹型區塊之樣本進行寫碼的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。語法結構可被定義為以指定次序一起存在於位元串流中之零或多個語法元素。CTB之大小可介於HEVC主設定檔中之16×16至64×64的範圍內(儘管技術上可支援8×8 CTB大小)。
在HEVC中，截塊包括以光柵掃描次序連續定序之整數數目個CTU。因此，在HEVC中，截塊中之最大寫碼單元稱為寫碼樹型區塊(CTB)。
在HEVC中，為產生圖像之經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名為「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。寫碼單元(CU)可包含一或多個寫碼區塊及用以對該一或多個寫碼區塊之樣本寫碼的語法結構。舉例而言，CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊，及色度樣本之兩個對應寫碼區塊，及用以對寫碼區塊之樣本寫碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單個寫碼區塊及用於對該寫碼區塊之樣本寫碼的語法結構。因此，CTB可含有四分樹，四分樹之節點為CU。
另外，視訊編碼器20可編碼CU。舉例而言，為編碼CU，視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為供應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含CU之一或多個預測區塊，及用以預測該一或多個預測區塊之語法結構。舉例而言，PU可包含明度樣本之預測區塊、色度樣本之兩個對應預測區塊，及用以對預測區塊進行預測之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，PU可包含單個預測區塊及用於對該預測區塊進行預測的語法結構。視訊編碼器20可針對CU之每一PU的預測區塊(例如，明度、Cb及Cr預測區塊)產生預測性區塊(例如，明度、Cb及Cr預測性區塊)。
在HEVC中，每一CU係以一個模式寫碼，該一個模式可為框內模式或框間模式。當CU經框間寫碼(亦即，應用框間模式)時，CU可進一步分割成2或4個PU或當不應用進一步分割時僅變成一個PU。當兩個PU存在於一個CU中時，兩個PU可為一半大小的矩形或具有CU之¼或¾大小的兩個矩形大小。如圖3中所示，存在用於運用框間預測模式寫碼之CU的八分割模式，亦即：PART_2N×2N、PART_2N×N、PART_N×2N、PART_N×N、PART_2N×nU、PART_2N×nD、PART_nL×2N及PART_nR×2N。
當CU經框間寫碼時，針對每一PU存在運動資訊之一個集合。另外，每一PU係運用唯一框間預測模式來寫碼以導出運動資訊集合。若視訊編碼器20使用框內預測來產生PU之預測性區塊，則視訊編碼器20可基於包括PU之圖像的經解碼樣本來產生PU之預測性區塊。當CU經框內寫碼時，2N×2N及N×N為僅容許之PU形狀，且在每一PU內，單個框內預測模式經寫碼(而色度預測模式係在CU層級處發信)。在當前CU大小等於序列參數集(SPS)中定義之最小CU大小時，僅允許N×N框內PU形狀。
視訊編碼器20可產生CU之一或多個殘餘區塊。舉例而言，視訊編碼器20可產生用於CU之明度殘餘區塊。CU之明度殘餘區塊中之各樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差。另外，視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中之每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差。
此外，視訊編碼器20可將CU之殘餘區塊分解成一或多個變換區塊。舉例而言，視訊編碼器20可使用四分樹分割以將CU之殘餘區塊分解成一或多個變換區塊。變換區塊為供應用相同變換之樣本的矩形((例如，正方形或非正方形)區塊。CU之變換單元(TU)可包含一或多個變換區塊。舉例而言，TU可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊，及用以對變換區塊樣本進行變換之語法結構。因此，CU之每一TU可具有明度變換區塊、Cb變換區塊以及Cr變換區塊。TU之明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單一變換區塊及用於變換該變換區塊之樣本的語法結構。
視訊編碼器20可將一或多個變換應用至TU之變換區塊，以產生TU之係數區塊。舉例而言，視訊編碼器20可將一或多個變換應用於TU之明度變換區塊，以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用至TU之Cb變換區塊以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊，以產生TU之Cr係數區塊。
在一些實例中，視訊編碼器20將變換之應用跳至變換區塊。在此等實例中，視訊編碼器20可處理殘餘樣本值，可以與變換係數相同之方式處理殘餘樣本值。因此，在視訊編碼器20跳過變換之應用的實例中，變換係數及係數區塊之以下論述可適用於殘餘樣本之變換區塊。
在產生係數區塊之後，視訊編碼器20可量化該係數區塊。量化大體上係指將變換係數量化以可能地減少用以表示變換係數之資料的量從而提供進一步壓縮的程序。在一些實例中，視訊編碼器20跳過量化。在視訊編碼器20將係數區塊量化之後，視訊編碼器20可產生指示經量化變換係數之語法元素。視訊編碼器20可熵編碼指示經量化變換係數之語法元素中的一或多者。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文自適應性二進位算術寫碼(CABAC)。
視訊編碼器20可輸出包括經編碼視訊資料之位元串流。舉例而言，位元串流可包含形成視訊資料及關聯資料之經寫碼圖像之表示的一系列位元。因此，位元串流包含視訊資料之經編碼表示。在一些實例中，經寫碼圖像之表示可包括區塊之經編碼表示。因此，視訊編碼器20可在位元串流中對區塊之經編碼表示中的區塊之變換係數發信。在一些情況下，視訊編碼器20可使用一或多個語法元素以對區塊之每一變換係數發信。
該位元串流可包含網路抽象層(NAL)單元之序列。NAL單元為含有如下兩者之語法結構：NAL單元中的資料之類型之指示，及含有彼資料的呈按需要穿插有仿真防止位元之原始位元組序列有效負載(RBSP)之形式的位元組。NAL單元中之每一者可包括NAL單元標頭且囊封RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組之語法結構。在一些情況下，RBSP包括零個位元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。此外，視訊解碼器30可剖析位元串流以自該位元串流獲得語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素而重建構視訊資料之圖像。重建構視訊資料之程序可與由視訊編碼器20執行之程序大體互逆。舉例而言，視訊解碼器30可使用PU之運動向量來判定當前CU之PU的預測性區塊。另外，視訊解碼器30可反量化當前CU之TU之係數區塊。視訊解碼器30可對係數區塊執行反變換，以重建構當前CU之TU的變換區塊。視訊解碼器30可藉由將當前CU之PU的預測性區塊之樣本與當前CU之TU的變換區塊之對應樣本相加來重建構當前CU之寫碼區塊。藉由重建構圖像之各CU的寫碼區塊，視訊解碼器30可重建構該圖像。
在2016年，MPEG及ITU-T VCEG形成聯合探索視訊小組(JVET)，以探索用於下一代視訊寫碼標準之新寫碼工具。參考軟體被稱作JEM(聯合探索模型)。對於每一區塊，運動資訊之一集合可供使用。運動資訊之一集合含有用於前向及後向預測方向之運動資訊。此處，前向及後向預測方向為雙向預測模式之兩個預測方向，且術語「前向」及「後向」不必具有幾何含義；實情為術語對應於當前圖像之參考圖像清單0 (RefPicList0)及參考圖像清單1 (RefPicList1)。當僅僅一個參考圖像清單可供用於一圖像或截塊時，僅僅RefPicList0可為可用的，且截塊之每一區塊之運動資訊始終為前向的。
在一些狀況下，運動向量連同其參考索引一起用於解碼程序中，此運動向量與相關聯參考索引被標示為運動資訊之單向預測性集合。在一些實例中，對於每一預測方向而言，運動資訊必須含有一參考索引及一運動向量。在一些狀況下，為簡單起見，可以假定運動向量自身具有相關聯參考索引的方式參考該運動向量。一參考索引用於識別當前參考圖像清單(RefPicList0或RefPicList1)中之一參考圖像。一運動向量具有一水平分量及一垂直分量。
視訊寫碼標準中廣泛使用圖像次序計數(POC)以識別圖像之顯示次序。儘管存在一個經寫碼視訊序列內之兩個圖像可具有同一POC值的情況，但經寫碼視訊序列內通常不發生此類情況。當位元串流中存在多個經寫碼視訊序列時，就解碼次序而言，具有同一POC值之圖像可更接近於彼此。圖像之POC值可用於參考圖像清單建構、如HEVC中之參考圖像集合之導出及運動向量按比例調整。
在H.264/AVC中，每一框間巨集區塊(MB)可以如下四種不同方式分割：一個16×16 MB分區；兩個16×8 MB分區；兩個8×16 MB分區；或四個8×8 MB分區。一個MB中之不同MB分區每一方向可具有不同參考索引值(RefPicList0或RefPicList1)。當MB不被分割成四個8×8 MB分區時，MB在每一方向上對於每一MB分區可僅具有一個運動向量。
在H.264/AVC中，當MB被分割成四個8×8 MB分區時，每一8×8 MB分區可進一步被分割成子區塊，該等子區塊中之每一者在每一方向可具有不同運動向量。可存在四種不同方式來自8×8 MB分區獲得子區塊：一個8×8子區塊；兩個8×4子區塊；兩個4×8子區塊；或四個4×4子區塊。每一子區塊在每一方向上可具有不同運動向量。因此，運動向量以等於、高於子區塊之位準呈現。
在AVC中，可在B截塊中針對跳過或直接模式而在MB或MB分區層級啟用時間直接模式。對於每一MB分區，與當前區塊之RefPicList1[0]中之當前MB分區共置的區塊之運動向量用以導出運動向量。共置區塊中之每一運動向量可基於POC距離按比例調整。在AVC中，直接模式亦可自空間相鄰者預測運動資訊。
在HEVC中，截塊中之最大寫碼單元稱為寫碼樹型區塊(CTB)。CTB含有四分樹，該四分樹之節點為寫碼單元。CTB之大小可介於HEVC主設定檔中之16×16至64×64的範圍內(儘管技術上可支援8×8 CTB大小)。寫碼單元(CU)大小可與CTB相同，但可為且小如8×8。每一寫碼單元藉由一個模式(框內模式或框間模式)寫碼。當CU經框間寫碼時，CU可進一步分割成2個或4個預測單元(PU)或當不應用進一步分割時變為僅一個PU。當兩個PU存在於一個CU中時，兩個PU可為一半大小的矩形或具有CU之¼或¾大小的兩個矩形大小。
當CU經框間寫碼時，針對每一PU存在運動資訊之一個集合。另外，每一PU係運用唯一框間預測模式來寫碼以導出運動資訊集合。
在HEVC標準中，對於預測單元(PU)存在分別命名為合併(跳過被視為合併之特殊狀況)及進階運動向量預測(AMVP)模式的兩個框間預測模式。
在AMVP或合併模式中，針對多個運動向量預測符維持運動向量(MV)候選者清單。當前PU之運動向量以及合併模式中之參考索引係藉由自MV候選者清單獲取一個候選者而產生。
MV候選者清單含有用於合併模式之至多5個候選者及用於AMVP模式之僅僅兩個候選者。合併候選者可含有運動資訊之集合，例如對應於參考圖像清單(清單0及清單1)及參考索引兩者的運動向量之集合。若由合併索引來識別合併候選者，則參考圖像用於當前區塊之預測，以及判定相關聯之運動向量。然而，在AMVP模式下，對於自清單0或清單1之每一潛在預測方向，需要明確地將參考索引連同針對MV候選者清單之MVP索引一起發信，此係因為AMVP候選者僅含有運動向量。在AMVP模式中，可進一步改進經預測運動向量。
合併候選者可對應於運動資訊之整個集合，而AMVP候選者僅含有用於特定預測方向之一個運動向量及參考索引。以類似方式自相同空間及時間相鄰區塊導出用於兩個模式之候選者。儘管自區塊產生候選者之技術對於合併及AMVP模式而言不同，但對於特定PU(PU0)而言，空間MV候選者係自圖2A及圖2B中展示之相鄰區塊導出。
圖2A及圖2B為說明HEVC中之空間相鄰候選者的概念圖。在一些實例中，視訊編碼器20及/或視訊解碼器30可針對PU0而自相鄰區塊0、相鄰區塊1、相鄰區塊2、相鄰區塊3或相鄰區塊4導出空間運動向量(MV)候選者。
在一些情況下，用於自區塊產生MV候選者的技術對於合併及AMVP模式不同。圖2A說明合併模式之一個實例。舉例而言，在HEVC中，視訊寫碼器(例如，圖1之視訊編碼器20及/或視訊解碼器30)可導出高達四個空間MV候選者。該等候選者可包括於具有特定次序之候選者清單中。在一個實例中，圖2A之實例的次序可為相鄰區塊0 (A1)、相鄰區塊1 (B1)、相鄰區塊2 (B0)、相鄰區塊3 (A0)及相鄰區塊4 (B2)。
圖2B說明AMVP模式之一個實例。舉例而言，在HEVC中，視訊寫碼器可將相鄰區塊分成兩個群組：左側群組，其包括相鄰區塊0及相鄰區塊1；及上方群組，其包括相鄰區塊2、相鄰區塊3及相鄰區塊4。對於每一群組，與參考與由發信之參考索引指示的參考圖像相同的參考圖像之相鄰區塊(對於當前經寫碼之區塊)相關聯的潛在運動向量候選者可具有最高優先以被選擇來形成群組之最終候選者。有可能的是相鄰區塊皆不含有指向同一參考圖像的運動向量。因此，若未能找到此候選者，則視訊寫碼器可按比例調整第一可用候選者以形成最終候選者，因此可補償時間距離差。
根據本發明之態樣，運動向量候選者(諸如，與展示於圖2A及圖2B中之相鄰區塊相關聯的運動向量)可用以導出區塊之運動向量。舉例而言，視訊寫碼器可產生候選者清單，該候選者清單包括來自展示於圖2A及圖2B中之相鄰區塊的運動向量候選者(例如，運動向量資訊之候選者清單)。在此實例中，視訊寫碼器可使用候選者清單中之候選者中的一或多者作為運動資訊導出程序(例如，雙側匹配、範本匹配或類似者)中的初始運動向量(例如，起始運動向量資訊)。視訊寫碼器可在運動向量導出程序之運動搜尋中應用運動向量候選者中之一或多者以識別參考資料。視訊寫碼器可自清單選擇出識別與參考資料緊密地匹配的候選者。舉例而言，視訊寫碼器可針對對應於當前區塊外部之第二參考資料集合的第一參考資料集合執行運動搜尋。在一些情況下，視訊寫碼器可(例如)藉由在由選定候選者指示之區域中執行額外運動搜尋來進一步改進候選者以使用運動資訊導出程序判定所導出之運動向量。
圖3A及圖3B為說明HEVC中之時間運動向量預測的概念圖。時間運動向量預測符(TMVP)候選在經啟用且可用時在空間運動向量候選之後被添加至MV候選者清單中。在HEVC中，用於TMVP候選者之運動向量導出的程序對於合併模式及AMVP模式兩者為相同的，然而，在合併模式中用於TMVP候選者之目標參考索引通常設定成零。
圖3A說明TMVP候選者之主要區塊位置(展示為區塊「T」)，其為共置PU外部之右下區塊。該位置可補償向用以產生空間相鄰候選者之上方區塊及左側區塊的偏置。然而，若區塊T位於當前CTB列外部或運動資訊不可用，則該區塊被PU之中心區塊取代，如在圖3A中由自區塊T起之虛線箭頭說明。
圖3B說明自如在截塊層級(例如，在截塊標頭中)指示之共置圖像92的共置PU 90導出當前圖像88之當前區塊86的TMVP候選者84。類似於AVC中之時間直接模式，TMVP候選者之運動向量可經受運動向量按比例調整，該操作經執行以補償距離差，例如，圖像之間的時間距離。關於運動向量按比例調整，視訊寫碼器(諸如，視訊編碼器20及/或視訊解碼器30)可經組態以最初判定運動向量之值與圖像在呈現時間上之距離成比例。運動向量與如下兩個圖像相關聯：參考圖像及含有運動向量之圖像(即，含有圖像)。當一運動向量被用以預測另一運動向量時，含有圖像與參考圖像之距離係基於POC值進行計算。
對於待預測之運動向量，運動向量之相關聯的含有圖像及運動向量之參考圖像兩者可不同。因此，視訊寫碼器可基於POC值而計算新距離，且視訊寫碼器可基於此等兩個POC距離而按比例調整運動向量。對於空間相鄰候選者，用於兩個運動向量之含有圖像相同，而參考圖像不同。在HEVC中，運動向量按比例調整應用於空間及時間鄰近候選者之TMVP及AMVP兩者。
在一些實例中，視訊寫碼器可經組態以判定一或多個假造運動向量候選者。舉例而言，若運動向量候選者清單並不完整，則視訊寫碼器可產生假造運動向量候選者，且在清單末尾插入假造運動向量候選者，直至該清單包括預定數目個條目。在合併模式中，存在兩種類型之假造MV候選者，包括僅針對B截塊導出之組合候選者，及零候選者。在一些情況下，若組合類型並不提供足夠假造候選者，則針對AMVP僅使用零候選者。
對於已在候選者清單中且具有必要運動資訊之每一對候選者，藉由參考清單0中之圖像的第一候選者之運動向量與參考清單1中之圖像的第二候選者之運動向量的組合來導出雙向組合運動向量候選者。
根據本發明之態樣，運動向量候選者(諸如，展示於圖3A及圖3B中之TMVP)可用以導出區塊之運動向量。舉例而言，視訊寫碼器可產生包括根據上文所描述之程序而判定之TMVP的候選者清單。在此實例中，視訊寫碼器可使用TMVP作為運動資訊導出程序(例如，雙側匹配、範本匹配或類似者)中的初始運動向量。視訊寫碼器可在運動向量導出程序中應用TMVP以識別參考資料。視訊寫碼器可在TMVP識別緊密地匹配之參考資料的情況下選擇TMVP。在一些情況下，視訊寫碼器可進一步改進TMVP以使用運動資訊導出程序判定所導出出之運動向量。
在一些實例中，視訊寫碼器可修剪包括運動向量候選者的候選者清單。舉例而言，在一些情況下，來自不同區塊之候選者可恰好相同，此降低合併/AMVP候選者清單之效率。視訊程式碼可應用修剪程序以解決此問題。視訊寫碼器可比較當前候選者清單中之一個候選者與其他候選者，以避免插入相同候選者。為降低複雜度，視訊寫碼器可僅應用有限數目次修剪程序而非比較每一潛在候選者與所有其他現存候選者。
在一些實例中，運動向量之值在呈現時間上與圖像之距離成比例。在此等實例中，運動向量可使兩個圖像即參考圖像與含有運動向量之圖像(即，含有圖像)相關聯。當一運動向量被用以預測另一運動向量時，含有圖像與參考圖像之距離係基於POC值進行計算。
對於待預測之運動向量，其相關聯之含有圖像及參考圖像可不同。因此，計算新距離(例如，基於POC)。且運動向量基於此等兩個POC距離按比例調整。對於空間相鄰候選者，用於兩個運動向量之含有圖像相同，而參考圖像不同。在HEVC中，運動向量按比例調整應用於空間及時間鄰近候選者之TMVP及AMVP兩者。
若運動向量候選者清單並不完整，則可產生假造運動向量候選者並在清單末尾插入假造運動向量候選者，直至運動向量候選者清單將具有所有候選者。在合併模式中，存在兩個類型之假造MV候選者：僅針對B截塊導出之組合式候選者，在第一類型並未提供足夠假造候選者情況下僅針對AMVP使用之零候選者。對於已在候選者清單中且具有必要運動資訊之每一對候選者，雙向組合式動向量候選者可藉由參考清單0中之圖像之第一候選者的運動向量與參考清單1中之圖像之第二候選者的運動向量之組合導出。
來自不同區塊之候選者可恰巧相同，此降低合併/AMVP候選者清單之效率。應用修剪程序以解決此問題。修剪程序將一個候選與當前候選者清單中之其他候選者相比較以避免插入在某些程度上相同之候選者。為減小複雜度，應用僅僅受限制數目個修剪程序，而非比較每一潛在候選者與所有其他現有候選者。
圖4為說明訊框速率上升轉換(FRUC)中之單側運動估計(ME)之實例的概念圖。詳言之，圖4說明當前訊框100、參考訊框102及內插訊框104。在一些情況下，視訊解碼器或後處理裝置可基於一或多個參考圖像而內插圖像。視訊解碼器或後處理裝置可內插圖像以向上轉換經編碼位元串流之原始訊框速率。替代地，視訊解碼器或後處理裝置可內插圖像以插入被視訊編碼器跳過之一或多個圖像，從而以減小之訊框速率編碼視訊序列。在任一狀況下，視訊解碼器或後處理裝置使用已解碼之圖像(諸如，當前訊框100及參考訊框102)內插不包括於已由視訊解碼器接收之經編碼位元串流中的訊框(諸如，經內插訊框104)。視訊解碼器或後處理裝置可使用數個內插技術中之任一者例如使用經運動補償之訊框內插、訊框重複或訊框平均而對圖像進行內插。
上文所提到之訊框內插技術為通常實施之迴路後內插。舉例而言，視訊解碼器通常接收及解碼經編碼位元串流以產生包括當前訊框100及參考訊框102之視訊序列的經重建構表示。在解碼迴路之後，視訊解碼器或另一後處理裝置可內插待由包括經內插訊框104之經重建構表示包括的圖像。在一些情況下，內插圖像之程序可被稱作訊框速率向上轉換(FRUC)，此係因為圖像之所得序列包括未包括於經編碼位元串流中之額外(經內插)圖像。
因此，FRUC技術可用於基於低訊框速率視訊產生高訊框速率視訊。FRUC已用於顯示器行業中。實例包括例如X.Chen、J.An、J.Zheng之「EE3: Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching」(JVET-E0052,2017年1月)，W.H.Lee、K.Choi、J.B.Ra的「Frame rate up conversion based on variational image fusion」(IEEE影像處理彙刊，第23卷第1號，2014年1月)，及U.S.Kim、M.H.Sunwoo的「New frame rate up-conversion algorithms with low computational complexity」(IEEE視訊技術電路及系統彙刊，第24卷第3號，2014年3月)。
FRUC演算法可分成兩種類型。一種類型之方法藉由簡單的訊框重複或平均化來內插中間訊框。然而，此方法在含有大量運動之圖像中提供不適當結果。稱為經運動補償FRUC (MC-FRUC)之另一類型的技術在在MC-FRUC產生中間訊框時考慮物件移動，且由兩個步驟組成：運動估計(ME)及經運動補償內插(MCI)。ME產生使用向量來表示物件運動之運動向量(MV)，而MCI使用MV來產生中間訊框。
區塊匹配演算法(BMA)廣泛地用於MC-FRUC中之ME，此係因為MC-FRUC實施簡單。BMA將影像分成區塊，且偵測彼等區塊之移動(例如)以判定區塊是否對應。兩個種類之ME主要用於BMA：單側ME及雙側ME。
如圖4中所展示，單側ME藉由自當前訊框100之參考訊框102搜尋最佳匹配區塊來獲得MV。接著，在經內插訊框中之運動軌跡上的區塊可經定位，以使得達成MV。如圖4中所展示，包括分別來自當前訊框100、參考訊框102及經內插訊框104之106A、106B及106C的三個區塊被涉及以遵循運動軌跡。儘管當前訊框100中之區塊106A屬於經寫碼區塊，但參考訊框102中之最佳匹配區塊106B可能不完全屬於經寫碼區塊，且經內插訊框104中之區塊106C亦不完全屬於經寫碼區塊。因此，區塊與未填充(孔)區之重疊區可出現於經內插訊框中。
為處置重疊，簡單FRUC演算法僅涉及對經重疊像素進行平均及覆寫經重疊像素。此外，孔由來自參考或當前訊框之像素值覆蓋。然而，此等演算法產生方塊假影及模糊。因此，提議運動場分段、使用離散哈特萊(Hartley)變換之連續外插及影像修復以處置孔及重疊而不增加方塊假影及模糊。
圖5為說明FRUC中之雙側運動估計(ME)之實例的概念圖。詳言之，圖5說明自當前訊框114之當前區塊112及參考訊框118之參考區塊116內插的經內插訊框110之經內插區塊108。如圖5中所展示，雙側ME為可用以避免由展示於圖4中之重疊及孔引起之問題的另一解決方案(在MC-FRUC中)。雙側ME分別使用當前訊框114之區塊112與參考訊框118之區塊116之間的時間對稱性來獲得通過經內插區塊108之MV。結果，雙側ME不產生重疊及孔。由於雙側ME假定當前區塊為正經處理之區塊，因此以某次序例如如在視訊寫碼之狀況下，此等區塊之序列將涵蓋整個中間圖像而無重疊。舉例而言，在視訊寫碼之狀況下，可以解碼次序處理區塊。
根據本發明之態樣，展示於圖5之實例中的雙側運動估計可用以導出運動資訊。舉例而言，視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可應用雙側匹配作為運動資訊導出模式以在寫碼期間導出運動資訊。在雙側匹配中，視訊寫碼器可針對對應於第二參考圖像中之第二參考資料集合的第一參考圖像中之第一參考資料集合執行運動搜尋。
根據本發明之其他態樣，視訊寫碼器(諸如，視訊編碼器20及/或視訊解碼器30)可使用展示於圖5中之雙側匹配技術在編碼或解碼迴路中產生經內插訊框。舉例而言，視訊寫碼器可使用圖像層級FRUC來使用經重建構像素陣列內插經內插圖像作為當前圖像之預測子。在一些實例中，此經內插圖像可被視為參考圖像或當前圖像之重建構。在其他實例中，視訊寫碼器可將當前圖像設定為等於經內插圖像。此圖像可藉由語法元素或解碼程序標記為可捨棄圖像及/或非參考圖像。
圖6為說明基於範本匹配之解碼器側運動向量導出(DMVD)之實例的概念圖。藉由進階視訊編解碼器，位元串流中運動資訊之位元百分數變得愈來愈高。在一些情況下，DMVD可減小運動資訊之位元成本。基於範本匹配之DMVD可展現寫碼效率改良，如描述於(例如)S. Kamp、M. Wien之「Decoder-side motion vector derivation for block-based video coding」(IEEE視訊技術電路及系統彙刊，第22卷，第12期，2012年12月)中。
在圖6之實例中，當前圖像120包括預測目標122 (例如，當前正經寫碼之區塊)及範本124。參考圖像126包括共置範本128、最佳匹配130及位移向量132。視訊寫碼器(諸如視訊編碼器20及/或視訊解碼器30)可使用範本124來搜尋預測目標122的最佳匹配(例如，而非使用尚未寫碼之預測目標122自身)。舉例而言，視訊寫碼器可執行運動搜尋以識別對應於預測目標122(例如，範本124)外部之第二參考集合的第一參考資料集合(例如，最佳匹配130)。如上文所提到，對應可基於參考資料之間的類似性的量而判定，且在本文中可被稱作判定「匹配」或「最佳匹配」。
在展示之實例中，視訊寫碼器可識別參考圖像126中之共置範本128。視訊寫碼器可接著搜尋最佳匹配130，其包括類似於範本124之像素值。視訊寫碼器可基於參考圖像126中之共置範本128及最佳匹配130的位移而判定位移向量132。
假定範本124及預測目標122來自同一物件，則範本之運動向量可用作預測目標之運動向量。因此，在圖8之實例中，視訊寫碼器可將位移向量132應用於預測目標122。由於在視訊編碼器及視訊解碼器兩者處進行範本匹配，因此可在解碼器側處導出運動向量以避免發信成本。
根據本發明之態樣，視訊寫碼器可應用範本匹配作為運動資訊導出模式。舉例而言，視訊寫碼器可應用範本匹配以藉由定位當前圖像之範本124與參考圖像126中之對應參考資料之間的最佳匹配來導出當前區塊之運動資訊。雖然圖6之實例將範本124說明為視訊資料之L形區塊，但應理解，可使用其他範本。舉例而言，視訊寫碼器可使用多個區塊作為範本，例如，定位於預測目標122之左側的一或多個區塊及定位於預測目標122上方的一或多個區塊。
根據本發明之態樣，視訊寫碼器可應用展示於圖6中之使用來自運動向量之候選者清單之一或多個運動向量的範本匹配技術。舉例而言，視訊寫碼器可經組態以使用本文中所描述之技術(例如，合併模式候選者、AMVP候選者、TMVP或類似者)之任何組合來判定一或多個候選運動向量。視訊寫碼器可接著經組態以將候選運動向量中之一或多者應用於範本124，從而定位共置範本128 (在此實例中，共置範本128之位置藉由一或多個候選運動向量指示且未必經嚴格地共置)。視訊寫碼器可經組態以判定候選運動向量中之哪一者產生範本區塊124與共置範本128之間的最佳匹配。
根據本發明之態樣，視訊寫碼器可接著經組態以改進候選運動向量，從而導出預測目標122之運動資訊。舉例而言，視訊寫碼器可在參考圖像126之藉由候選運動向量識別的區中搜尋範本124之最佳匹配。在判定最佳匹配後，視訊寫碼器即可判定範本124與經判定最佳匹配之間的位移。視訊寫碼器可將該位移指明為預測目標122之所導出之運動向量。
圖7為說明DMVD中之雙向運動向量導出之實例的概念圖。另一類別之DMVD為基於鏡像之雙向MV導出，如描述於(例如)邱義仁、徐立冬、張文浩、蔣洪之「Decoder-side Motion Estimation and Wiener filter for HEVC」(視覺通信及影像處理(VCIP)，2013年)。DMVD中之雙向運動向量導出的概念可類似於FRUC中之雙側ME。舉例而言，基於鏡像之MV導出可藉由以分數樣本準確度之圍繞搜尋中心的中心對稱運動估計來應用。
圖7之實例包括具有當前區塊142 (當前正經寫碼之區塊)之當前圖像140、識別第一參考圖像146 (L0 ref)之第一範本區塊144的第一候選運動向量PMV0及識別第二參考圖像150之第二範本區塊148的第二候選運動向量PMV1。視訊寫碼器可將dMV應用為偏移以在第一參考圖像146之搜尋窗口154中定位第一參考區塊152，且在第二參考圖像150之搜尋窗口158中定位第二參考區塊156。
舉例而言，視訊寫碼器可將dMV加至PMV0且自PMV1減去dMV以產生MV對：MV0及MV1。視訊寫碼器可檢查搜尋窗口154及158內之dMV的所有值以判定dMV之哪一值產生L0參考之第一參考區塊152 (例如，第一參考資料集合)與L1參考之第二參考區塊156 (例如，第二參考資料集合)之間的最佳匹配。在一些實例中，視訊寫碼器可基於絕對差和(SAD)而判定最佳匹配。在其他實例中，視訊寫碼器可使用另一量度來判定最佳匹配。搜尋窗口154及158之大小及位置可為預定義的或可在位元串流中發信。
視訊寫碼器可選擇具有最小SAD之MV對作為中心對稱運動估計之輸出。由於此技術將將來參考(在遲於當前訊框之時間位置處的參考)及較早參考(在早於當前訊框之時間位置處的參考)用於SAD匹配，因此選擇具有僅前一參考可用的最小SAD之MV不可應用至P訊框或低延遲B訊框。
根據本發明之態樣，視訊寫碼器可應用雙向運動向量導出技術作為運動資訊導出模式。在一些實例中，視訊寫碼器可應用使用來自運動向量之候選者清單之一或多個運動向量的展示於圖7中之技術。舉例而言，視訊寫碼器可經組態以使用本文中所描述之技術(例如，合併模式候選者、AMVP候選者、TMVP或類似者)之任何組合來判定一或多個候選運動向量。視訊寫碼器可接著經組態以應用候選運動向量中之一或多者作為PMV0及/或PMV1，從而定位第一範本區塊144及第二範本區塊148。視訊寫碼器可經組態以判定候選運動向量中之哪一者產生第一範本區塊144與第二範本區塊148之間的最佳匹配。
根據本發明之態樣，視訊寫碼器可接著經組態以改進候選運動向量，從而導出當前區塊142之運動資訊。舉例而言，視訊寫碼器可藉由以上文所描述之方式應用dMV之多種值來搜尋最佳匹配。以此方式，視訊寫碼器可導出MV對：MV0及MV1。
圖8A為說明基於擴展雙側匹配之運動向量導出的概念圖。基於鏡像之雙向MV導出(例如，如圖7中所展示)的一個潛在缺陷為，基於鏡像之雙向MV導出在當前圖像之兩個參考皆早於當前圖像或皆遲於當前圖像時不起作用。在一些情況下，本文中所描述之擴展雙側匹配技術克服當前圖像之所有參考圖像處於與當前圖像相同之側(在顯示次序上)的缺點。
圖8A之實例包括：包括當前區塊162之當前圖像160；包括第一參考區塊166之第一參考圖像(Ref0) 164；及包括第二參考區塊170之第二參考圖像(Ref1) 168。如圖8A中所展示，第一參考圖像(Ref0) 164及第二參考圖像(Ref1) 168在時間方向上皆位於當前圖像之前。假定第一參考區塊166、第二參考區塊170及當前區塊162係沿同一運動軌跡，則MV0與MV1之間的比率應等於時間距離TD0與TD1之間的比率。換言之，給定與當前圖像具有時間距離TD0及TD1之兩個參考Ref0及Ref1，對於Ref0中之任何MV0，可以按比例調整MV0方式來判定Ref1中之MV1。
視訊寫碼器可選擇最終MV0及MV1對作為使藉由MV0及MV1指向之區塊對之間的匹配成本最小化的對。理論上，當前區塊162可被視為基於第一參考區塊166及第二參考區塊170之經外插區塊。應注意，擴展雙側匹配在當前圖像在時間上處於兩個參考之間的雙向狀況下亦起作用。在此狀況下，當前區塊162可被視為基於第一參考區塊166及第二參考區塊170之經內插區塊。此外，本文中所描述之雙側匹配技術並不需要MV0與MV1之間的「鏡像關係」，甚至在雙向狀況下亦不需要。雙側匹配之假定為，MV0與MV1之間的比率與以下兩者之間的比率成比例：自Ref0至當前圖像之時間距離，及自Ref1至當前圖像之時間距離。
明顯地，對於除第一參考區塊166及第二參考區塊170外之參考區塊，視訊寫碼器可導出不同MV對。在一個實例中，視訊解碼器可選擇參考圖像以根據參考圖像在參考圖像清單中顯現之次序而執行雙側匹配。舉例而言，視訊寫碼器可選擇參考清單0中之第一參考作為Ref0，且選擇參考清單1中之第一參考作為Ref1。視訊寫碼器可接著搜尋MV對(MV0、MV1)。在另一實例中，視訊寫碼器基於初始清單(例如，初始運動向量候選者清單)中之條目而選擇Ref0。視訊寫碼器可接著將Ref1設定為另一參考圖像清單中在時間上最靠近當前圖像之參考圖像。因此，視訊寫碼器可在Ref0及Ref1中搜尋MV對(MV0、MV1)。
因此，根據本發明之態樣，視訊寫碼器可應用圖8A中所說明之擴展雙向運動導出技術作為運動資訊導出模式。舉例而言，視訊寫碼器可使用雙側匹配以藉由找到兩個不同參考圖像中沿當前區塊之運動軌跡的兩個區塊(例如，第一參考區塊166及第二參考區塊170)之間的最佳匹配來導出當前區塊162之運動資訊。在假定連續運動軌跡之情況下，指向兩個參考區塊(第一參考區塊166及第二參考區塊170)之運動向量MV0及MV1應與當前圖像與兩個參考圖像之間的時間距離(亦即，TD0及TD1)成比例。作為特殊狀況，在當前圖像160在時間上處於兩個參考圖像之間(如圖7之實例中所展示)且自當前圖像至兩個參考圖像之時間距離相同時，雙側匹配變為基於鏡像之雙向MV。
圖8B為說明使用DMVD解碼預測單元(PU)之實例的流程圖。在邱義仁、徐立冬、張文浩、蔣洪之「Decoder-side Motion Estimation and Wiener filter for HEVC」(視覺通信及影像處理(VCIP)，2013年)中，進一步提議在HEVC中藉由合併模式來組合基於鏡像之雙向MV導出。在所提議技術中，針對B截塊之PU添加被稱為pu_dmvd_flag之旗標以指示是否將DMVD模式應用於當前PU。因為DMVD模式並不在位元串流中明確地傳輸任何MV資訊，所以pu_dmvd_flag語法元素與HEVC中之合併模式的語法(其使用表示運動向量之資料的索引而非運動向量自身)整合。
在圖8B之實例中，視訊解碼器(諸如，視訊解碼器30)可開始解碼PU (180)。視訊解碼器30可例如基於包括於包括PU之位元串流中的語法來判定用以解碼PU之模式是否為合併模式(182)。若不使用合併模式(步驟182之「否」分支)，則視訊解碼器30可使用用於非合併PU之常規程序來解碼PU (184)且結束程序(186)。
若使用合併模式(步驟182之「是」分支)，則視訊解碼器30可基於pu_dmvd_flag語法元素之值而判定DMVD是否用以判定PU之運動資訊(188)。若不使用DMVD (步驟188之「否」分支)，則視訊解碼器30可使用常規合併模式來解碼PU (190)且結束程序(186)。若使用DMVD (步驟188之「是」分支)，則視訊解碼器30可應用DMVD程序來判定PU之運動資訊(192)且結束程序(186)。
為了找尋區塊之運動向量，快速運動搜尋方法用於許多實際視訊編解碼器中。存在提議於文獻中之許多快速運動搜尋方法，諸如基於區塊之梯度下降搜尋法(Block-Based Gradient Descent Search；BBGDS)，如描述於(例如)劉龍國、Ephraim Feig之「A block-based gradient descent search algorithm for block motion estimation in video coding」(IEEE視訊技術電路及系統彙刊，第6卷，第419至422頁，1996年8月)中；無限制中心偏置菱形搜尋法(Unrestricted Center-Biased Diamond Search；UCBDS)，如描述於Jo Yew Tham、Surendra Ranganath、Maitreya Ranganath及Ashraf Ali Kassim之「A novel unrestricted center-biased diamond search algorithm for block motion estimation」(IEEE視訊技術電路及系統彙刊，第8卷，第369至377頁，1998年8月)中；基於六邊形之搜尋法(HEXagon-Based Search；HEBS)，如描述於(例如)朱策、林曉及Lap-Pui Chau之「Hexagon-Based Search Pattern for Fast Block Motion Estimation」(IEEE視訊技術電路及系統彙刊，第12卷，第349至355頁，2002年5月)中。基本上，此等技術基於預定義搜尋型樣而僅搜尋一搜尋窗口內之某數目個位置。此等技術通常在運動少量且適度時良好地起作用。
圖9為說明雙側匹配之實例的概念圖。在美國專利申請公開案第2016/0286229號中，基於訊框速率向上轉換方法例如FRUC模式提議一種寫碼方法。大體而言，FRUC模式為專用合併模式，區塊之運動資訊並不藉由該專用合併模式發信但在解碼器側導出。
視訊編碼器20可在CU之合併旗標為真時發信該CU之FRUC旗標。當FRUC旗標為假時，視訊編碼器20可發信合併索引且使用常規合併模式。當FRUC旗標為真時，視訊編碼器20可發信額外FRUC模式旗標，以指示將使用哪種方法(雙側匹配或範本匹配)來導出區塊之運動資訊。
在運動導出程序中，視訊編碼器20及/或視訊解碼器30可基於雙側匹配或範本匹配而導出整個CU之初始運動向量(例如，播種運動向量、起始運動向量資訊等)。在此實例中，視訊編碼器20及/或視訊解碼器30可檢查CU之合併清單，且選擇致使最小匹配成本的候選者作為起始點。在此實例中，視訊編碼器20及/或視訊解碼器30基於雙側匹配或範本匹配圍繞起始點執行本地搜尋，且將產生最小匹配成本之MV視為用於整個CU之MV。隨後，視訊編碼器20及/或視訊解碼器30可進一步改進子區塊位準下的運動資訊與作為起始點之所導出CU運動向量。
在圖9之實例中，視訊編碼器20及/或視訊解碼器30可使用雙側匹配來藉由找尋沿著兩個不同參考圖像中當前區塊之運動軌跡之兩個區塊之間的最佳匹配而導出當前區塊201之運動資訊。舉例而言，視訊編碼器20及/或視訊解碼器30可找尋沿著當前區塊201之軌跡的Ref0之第一輸入參考區塊202與第二輸入參考區塊204之間的最佳匹配。
在假定連續運動軌跡情況下，分別指向第一輸入參考區塊202及第二輸入參考區塊204的運動向量MV0 206及MV1 208應與當前圖像200與第一輸入參考區塊202及與第二輸入參考區塊204之間的時間距離亦即TD0 210與TD1 212成比例。作為特殊狀況，在當前圖像200在時間上處於兩個參考圖像之間且自當前圖像至第一輸入參考區塊202及第二輸入參考區塊204之時間距離相同時，雙側匹配變為基於鏡像之雙向MV。
圖10為說明範本匹配之實例的概念圖。在圖10之實例中，視訊編碼器20及/或視訊解碼器30可使用範本匹配來藉由找尋當前圖像220中之範本(例如，當前區塊220之頂部相鄰區塊222及/或左側相鄰區塊224)與參考圖像230中之區塊(對於範本大小相同)之間的最佳匹配而導出當前區塊220之運動資訊。
在編碼器側，視訊編碼器20可基於RD成本選擇做出是否將FRUC合併模式用於CU的決策，如對正常合併候選者所進行。亦即，視訊編碼器20可藉由使用RD成本選擇來檢查針對CU的兩個匹配模式(例如，雙側匹配及範本匹配)。視訊編碼器20可比較導致最小成本(例如，雙側匹配及範本匹配)之一個模式與其他CU模式。若FRUC匹配模式為最有效的模式，則視訊編碼器20可針對CU將FRUC旗標設定為真，並使用相關匹配模式。
圖11為說明用於導出IC參數之相鄰樣本的概念圖。本地照明補償(LIC)係基於用於使用按比例調整比例因數a及偏移b之照明改變的線性模型。且LIC可針對每一模式間寫碼之寫碼單元(CU)自適應性地啟用或禁用。
當LIC應用於CU時，最小平方差方法用以藉由使用當前CU之相鄰樣本240及其對應參考樣本242而導出參數a及b。更具體而言，如圖11中所說明，使用CU之經次取樣(2:1次取樣)相鄰樣本240及參考圖像中的對應像素(藉由當前CU或子CU的運動資訊所識別)。IC參數被導出且針對每一預測方向分離地應用。
當CU藉由合併模式寫碼時，LIC旗標以類似於合併模式中之運動資訊複製的方式自相鄰區塊複製；否則，LIC旗標針對CU予以發信以指示LIC是否應用。
圖12為說明基於雙側範本匹配之解碼器側運動導出之實例的概念圖。在Chen、J.An、J.Zheng之「EE3: Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching」(JVET-E0052，2017年1月)中，解碼器側運動導出方法基於雙側範本匹配提議。視訊編碼器20及/或視訊解碼器30可分別自list0之初始MV0 及list1之MV1 產生雙側範本350作為兩個預測性區塊之加權組合，如圖12中所展示。舉例而言，視訊編碼器20及/或視訊解碼器30可分別自list0之初始MV0 356及list1之MV1 358產生針對像素「n」的本文中亦被簡稱為「Tn 」之雙側範本350作為以下兩者的經加權組合：針對像素「n」之第一輸入參考區塊(本文中簡稱為「R0,n 」)352，及針對像素「n」之第二輸入參考區塊354(本文中簡稱為「R1,n 」)。
範本匹配操作可包括計算所產生範本Tn =(R0 , n +R1 , n )/2與參考圖像中之樣本區域(圍繞初始預測區塊)之間的成本量測值。對於兩個參考圖像中之每一者，產生最小範本成本之MV被視為彼清單之經更新的MV以替換原始MV，亦即，
Figure 02_image001
(1)
Figure 02_image003
(2)
對於常規雙向預測而言，視訊編碼器20及/或視訊解碼器30可使用兩個新的MV，例如，如圖12中所展示之MV0 '360及MV1 '362。在一些實例中，視訊編碼器20及/或視訊解碼器30可使用絕對差和(SAD)為成本量測值。
視訊編碼器20及/或視訊解碼器30可在不傳輸額外語法元素情況下將DMVD應用於雙向預測之合併模式，其中一個預測係來自過去之參考圖像且另一預測係來自將來的參考圖像。在JEM4.0中，當針對一個CU選擇LIC、仿射、子CU合併候選者或FRUC時，不應用技術。
FRUC之多個播種本質潛在地可使用來自外部記憶體之增加量的參考樣本以執行搜尋。舉例而言，將雙向預測運動向量資訊添加至對應於單向預測運動向量的運動向量資訊之候選者清單的視訊編碼器20及/或視訊解碼器30可增大參考樣本之量。在一些狀況下，所有播種運動向量(例如，運動向量資訊中之候選者清單中的起始運動向量資訊)可落於參考訊框中之不相交區內，且因此視訊編碼器20及/或視訊解碼器30可提取所有參考樣本以執行FRUC搜尋以找尋最佳運動向量。此潛在地增大之參考樣本量可增大快取未命中之機會且因此在一些實施中可導致較高潛時的問題。
本發明描述潛在地解決現有FRUC設計中之以下複雜度問題的技術。在第一實例中，在現有FRUC搜尋中，一視訊寫碼器可導出播種運動向量集合(例如，運動向量資訊之候選者清單中的起始運動向量資訊)並搜尋其周圍區域。此情形可潛在地增大最差情境下的頻寬要求。在第二實例中，雙側範本匹配引入針對常規合併模式之一替代性運動改進方式且帶來寫碼效率，同時方案需要用於運動改進之雙側範本的額外緩衝器，該方案不符合其他運動改進方法且招致額外複雜度。在第三實例中，在現有FRUC設計中，一解碼器側運動搜索繼之以一子區塊改進，其中每一子區塊(例如，4×4子區塊)可具有指向參考訊框之不相交區的獨特播種運動向量。藉由播種運動向量中之每一者覆蓋之不相交搜尋範圍可增大頻寬要求以及計算複雜度同時獲得0.4%至1.1%之寫碼增益。
為了解決前述問題，提議若干種技術如下。
可個別地應用以下詳細列舉之技術。替代地，可應用此等技術之任何組合。請注意，參考索引資訊可被視為運動資訊之一部分，有時參考索引資訊及運動資訊在本文中聯合地稱為一運動資訊之集合。
在第一技術中，對於FRUC範本匹配或雙側匹配或者FRUC範本匹配或雙側匹配兩者，視訊編碼器20建構播種運動向量之一清單，且起始(播種)MV經發信而非被導出。換言之，例如，視訊編碼器20及/或視訊解碼器30可建構針對當前訊框之一部分之運動向量資訊之候選者清單。視訊編碼器20及/或視訊解碼器30可僅在起始MV周圍搜尋。當前訊框之部分可對應於當前訊框之一當前區塊、當前訊框之一當前寫碼單元或當前訊框之複數個寫碼單元。
視訊編碼器20可將起始MV發信至視訊解碼器30。舉例而言，視訊編碼器20可在一區塊層級發信起始(播種)MV。換言之，例如，視訊編碼器20可輸出殘餘樣本值之一指示及指示運動向量資訊之候選者清單之起始運動向量資訊之發信資訊。在一些實例中，視訊解碼器30可接收指示運動向量資訊之候選者清單之起始運動向量資訊之發信資訊，該起始運動向量資訊指示一參考訊框中之一初始位置。在一些實例中，視訊編碼器20可發信每一寫碼單元之起始MV。在一些實例中，視訊編碼器20可在較高層級(例如，覆蓋多個寫碼單元之較大區)發信起始MV。在此實例中，對於一區內之每一寫碼單元，視訊解碼器30可搜尋經發信MV周圍的較小範圍。在一些實例中，視訊編碼器20可自播種MV之建構清單發信索引或旗標以指示起始(播種)MV。
對於播種運動向量之初始候選者清單的建構，視訊編碼器20及/或視訊解碼器30可應用修剪程序。舉例而言，修剪可係基於當前區塊大小及待使用之運動向量的精度。換言之，例如，視訊編碼器20及/或視訊解碼器30可基於當前區塊之大小及/或針對改進運動向量資訊之運動向量精度來修剪來自運動向量資訊之初始候選者清單的第一候選運動向量資訊以產生運動向量資訊之候選者清單。在一些實例中，為了修剪，視訊編碼器20及/或視訊解碼器30可：(1)自運動向量資訊之候選者清單移除合併候選者；或(2)省略合併候選者的改進。為了修剪，視訊編碼器20及/或視訊解碼器30可判定針對改進運動向量資訊之運動向量精度(例如，像素精度)。
在一些實例中，視訊編碼器20及/或視訊解碼器30可基於清單中運動向量之類似性進行修剪。換言之，例如，視訊編碼器20及/或視訊解碼器30可基於運動向量資訊之初始候選者清單的第一候選運動向量資訊與第二候選運動向量資訊之間的類似性而修剪來自運動向量資訊之初始候選者清單的第一候選運動向量資訊以產生運動向量資訊之候選者清單。在一些實例中，為了修剪，視訊編碼器20及/或視訊解碼器30可基於第一候選運動向量資訊與第二候選運動向量資訊之間的類似性而判定運動向量資訊之候選者清單之第二候選運動向量資訊的運動向量精度。
類似性可係基於運動向量之間的距離。在一些實例中，視訊編碼器20及/或視訊解碼器30可使用以下規則等式：
Figure 02_image005
其中W 及H 分別為區塊之寬度及高度，且
Figure 02_image007
表示運動向量的精度(例如，如JEM中使用之1/16像素精度，且因此
Figure 02_image009
之值可為4)。對於新的候選者，若水平運動向量及垂直運動向量之絕對值皆小於先前(播種運動向量之清單建構的次序)候選者中任一者的
Figure 02_image011
，則視訊編碼器20及/或視訊解碼器30可並未將新的候選者添加至候選者清單。在一些實例中，視訊編碼器20及/或視訊解碼器30可經由序列參數集(SPS)、圖片參數集合(PPS)或截塊之語法元素發送臨限值。臨限值可包括針對區塊大小之臨限值、針對像素偏移之臨限值(例如，等式(3)中之4個像素)及MV精度。
在FRUC TM播種運動向量之導出期間，視訊編碼器20及/或視訊解碼器30可使用單向預測至雙向預測技術。在B截塊中，若導出之候選者中的任一者僅自L0或L1預測出，視訊編碼器20及/或視訊解碼器30可人工地產生成對之帶相反正負號的運動向量為其他清單之運動向量，且將候選者添加至具有雙向預測運動向量之候選者清單。換言之，例如，視訊編碼器20及/或視訊解碼器30可回應於判定當前訊框之部分對應於B截塊且單向預測運動向量資訊將包括於運動向量資訊之候選者清單中而將雙向預測運動向量資訊添加至對應於單向預測運動向量之運動向量資訊之候選者清單。舉例而言，視訊編碼器20及/或視訊解碼器30可產生雙向預測運動向量資訊以指示第一運動向量(例如，僅自L0或L1預測出)及具有相反正負號的對應於第一運動向量之第二運動向量。在一些實例中，視訊編碼器20及/或視訊解碼器30可指明L0之運動向量為MV0且L1運動向量不可用，且可設定假造L1運動向量L1'為具有設定為0之參考索引的-MV0，且反之亦然。
視訊編碼器20及/或視訊解碼器30可基於至當前訊框之相對時間距離來產生不可用運動向量。舉例而言，視訊編碼器20及/或視訊解碼器30可指明L0之運動向量為MV0且指明L0之運動向量至當前訊框之時間距離為POC0且L1中之參考訊框(參考索引0)至當前訊框之時間距離為POC1。L1之假造運動向量可撰寫為：
Figure 02_image013
替代始終將參考索引0用於不可用參考清單(List0/List1)，視訊編碼器20及/或視訊解碼器30可基於不可用清單中之圖像之平均QP值而選擇索引值。視訊編碼器20及/或視訊解碼器30可使用與最低平均QP值相關聯之圖像為參考索引。替代地或另外，視訊編碼器20及/或視訊解碼器30可選擇具有最小POC差之索引值或最小時間層索引。替代地或另外，視訊編碼器20可在截塊標頭、PPS、SPS或區塊層級發信參考索引。
視訊編碼器20可判定待在截塊層級發信之候選者的數目。替代地或另外，候選者之數目的發信可為模式相依的。舉例而言，IC及非IC狀況之發信可為獨特的。此情形包括但不限於FRUC TM播種候選者之數目在IC經啟用時為2，且候選者FRUC TM之數目在非IC狀況下為4。
在第二技術中，視訊編碼器20及/或視訊解碼器30可使用FRUC雙側匹配來執行藉由雙側範本匹配進行的運動改進。亦即，例如，視訊編碼器20及/或視訊解碼器30可基於雙側匹配或範本匹配中之一或多者改進該起始運動向量資訊以判定改進運動向量資訊，改進運動向量資訊指示該參考訊框的在距該初始位置之一搜尋範圍內之一改進位置。更具體而言，例如，視訊編碼器20及/或視訊解碼器30可基於第一初始位置與第二初始位置之間的匹配差而改進運動軌跡。視訊編碼器20及/或視訊解碼器30可作為分離FRUC模式將原始FRUC雙側匹配移動至常規合併模式的運動向量改進。
替代如雙側範本匹配例如X.Chen、J.An、J.Zheng之「EE3: Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching」(JVET-E0052，2017年1月)中描述的產生雙側範本及執行運動改進，視訊編碼器20及/或視訊解碼器30可使用如美國專利公開案第US-2016-0286230號中描述的雙側匹配。請注意，作為說明於圖9中之方案，視訊編碼器20及/或視訊解碼器30可執行Ref0中之區與Ref1中之區之間的搜尋。運動改進之搜尋範圍可設定為8，而搜尋範圍可經由較高層級語法元素發信。視訊編碼器20及/或視訊解碼器30可使用反覆地執行之整數像素搜尋，直至無進一步更新或達到搜尋範圍的邊界，繼之以使用同一停止規則的半像素搜尋。
視訊編碼器20及/或視訊解碼器30可以鏡像方式執行基於雙側之改進。亦即，例如，在搜尋改進運動向量期間，視訊編碼器20及/或視訊解碼器30可使用成對之帶相反正負號之運動向量改進來執行搜尋。換言之，例如，視訊編碼器20及/或視訊解碼器30可藉由運動向量改進來修改指定第一初始位置的運動向量軌跡之第一運動向量且藉由具有相反正負號之運動向量改進來修改指定第二初始位置的運動向量軌跡之第二運動向量。
視訊編碼器20及/或視訊解碼器30可以包括時間距離之鏡像方式界定兩個區。亦即，例如，視訊編碼器20及/或視訊解碼器30可考慮Ref0、Ref1與當前訊框之間的時間距離，且視訊編碼器20及/或視訊解碼器30可因此執行按比例調整以獲得針對Ref0及Ref1兩者的運動向量(例如，類似於等式(4))。換言之，例如，視訊編碼器20及/或視訊解碼器30可基於當前訊框與第一參考訊框之間的時間距離及當前訊框與第二參考訊框之間的時間距離來按比例調整運動軌跡。
視訊編碼器20及/或視訊解碼器30可分離地搜尋兩個區而不強加鏡像約束條件。初始地，視訊編碼器20及/或視訊解碼器30可固定MV0且搜尋MV1，且接著視訊編碼器20及/或視訊解碼器30可固定最佳MV1且搜尋MV0等。此程序可繼續，直至MV0及MV1兩者中不存在改變。換言之，例如，視訊編碼器20及/或視訊解碼器30可基於第一初始位置與第二初始位置之間的匹配差而改進指定第一初始位置的運動向量軌跡之第一運動向量以產生第一改進運動向量，且基於第一改進運動向量改進指定第二初始位置的運動向量軌跡之第二運動向量。
視訊編碼器20及/或視訊解碼器30可使用一量度來執行對運動向量改進之搜尋，例如但不限於絕對差和(SAD)、均值移除SAD (MR-SAD)、平方差和(SSD)、正規化交叉相關(NCC)或結構類似性索引(SSIM)。換言之，例如，視訊編碼器20及/或視訊解碼器30可基於量度來判定第一初始位置與第二初始位置之間的匹配差，其中量度包含以下各者中之一或多者：SAD、MR-SAD、SSD、NCC或SSIM。
視訊編碼器20及/或視訊解碼器30可基於區塊大小使用量度。換言之，例如，視訊編碼器20及/或視訊解碼器30可基於當前區塊之大小選擇來自複數個量度的量度。對於大型大小區塊，例如，視訊編碼器20及/或視訊解碼器30可使用MR-SAD、NCC或SSIM。換言之，例如，當當前區塊之大小超過區塊大小臨限值時，視訊編碼器20及/或視訊解碼器30可選擇量度作為MR-SAD、NCC或SSIM。對於小型大小區塊，例如，視訊編碼器20及/或視訊解碼器30可使用SAD或SSE。換言之，例如，當當前區塊之大小未超過區塊大小臨限值時，視訊編碼器20及/或視訊解碼器30可選擇量度作為SAD或SSE。用以區分小型區塊或大型區塊之臨限值可經預定義，或經由諸如SPS、PPS或截塊標頭之高層級語法來發信。在一些實例中，視訊編碼器20及/或視訊解碼器30可選擇一量度來基於其他高層級語法元素來執行搜尋。舉例而言，當指示照度改變是否存在之截塊層級旗標(例如，IC旗標)設定為1時，視訊編碼器20及/或視訊解碼器30可使用MR-SAD作為量度用於搜尋運動向量改進。
在第三技術中，對於FRUC範本匹配，視訊編碼器20及/或視訊解碼器30可選擇性地停用子區塊運動改進以減小藉由子區塊運動搜尋引入的額外播種。舉例而言，視訊編碼器20及/或視訊解碼器30可添加截塊層級切換器以判定子區塊運動改進是否經啟用。視訊編碼器20可基於先前訊框之統計而做出此決策。舉例而言，若先前訊框之平均區塊大小大於臨限值，則視訊編碼器20可啟用子區塊運動改進。在一些實例中，若先前訊框之平均區塊大小並不大於臨限值，則視訊編碼器20可停用子區塊運動改進。在一些實例中，視訊編碼器20可完全停用子區塊運動改進。
視訊編碼器20可部分停用子區塊運動改進。舉例而言，對於更靠近於左上位置之子區塊，視訊編碼器20可停用子區塊運動改進，同時對於更靠近右下位置之彼等子區塊，視訊編碼器20可啟用子區塊運動改進。
上述技術可應用至某些區塊大小及/或寫碼模式。
圖13為說明可實施本發明之技術之實例視訊編碼器20的方塊圖。出於解釋之目的而提供圖13，且不應將該圖視為對如本發明中廣泛例示及描述之技術的限制。本發明之技術可適用於各種寫碼標準或方法。
在圖13之實例中，視訊編碼器20包括預測處理單元400、視訊資料記憶體401、殘餘產生單元402、變換處理單元404、量化單元406、反量化單元408、反變換處理單元410、重建構單元412、濾波器單元414、經解碼圖像緩衝器416及熵編碼單元418。預測處理單元400包括框間預測處理單元420及框內預測處理單元426。框間預測處理單元420可包括運動估計單元及運動補償單元(圖中未示)。視訊編碼器20可經組態以執行用於實施FRUC之本文所描述的一或多項技術。
視訊資料記憶體401可經組態以儲存待由視訊編碼器20之組件編碼的視訊資料。可例如自視訊源18獲得儲存於視訊資料記憶體401中之視訊資料。經解碼圖像緩衝器416可為儲存參考視訊資料以用於由視訊編碼器20例如以框內或框間寫碼模式編碼視訊資料的參考圖像記憶體。視訊資料記憶體401及經解碼圖像緩衝器416可由多種記憶體裝置中之任一者形成，諸如動態隨機存取記憶體(DRAM)，包括同步DRAM (SDRAM)；磁阻式RAM (MRAM)；電阻式RAM (RRAM)或其他類型之記憶體裝置。視訊資料記憶體401及經解碼圖像緩衝器416可由相同記憶體裝置或單獨記憶體裝置提供。在各種實例中，視訊資料記憶體401可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。視訊資料記憶體401可與圖1之儲存媒體19相同或係該儲存媒體之部分。
視訊編碼器20接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之截塊中的每一CTU。該等CTU中之每一者可與圖像之相等大小的明度寫碼樹型區塊(CTB)及對應CTB相關聯。作為編碼CTU之部分，預測處理單元400可執行分割以將CTU之CTB劃分成逐漸較小的區塊。該等較小區塊可為CU之寫碼區塊。舉例而言，預測處理單元400可根據樹型結構分割與CTU相關聯的CTB。
視訊編碼器20可編碼CTU之CU以產生該等CU之經編碼表示(亦即，經寫碼CU)。作為編碼CU之部分，預測處理單元400可在CU之一或多個PU當中分割與CU相關聯之寫碼區塊。因此，每一PU可與明度預測區塊及對應色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測區塊的大小。假定特定CU之大小為2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的非對稱分割。
框間預測處理單元420可藉由對CU之每一PU執行框間預測而產生PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及用於PU之運動資訊。取決於PU係在I截塊中、P截塊中抑或B截塊中，框間預測處理單元420可針對CU之PU執行不同操作。在I截塊中，所有PU經框內預測。因此，若PU係在I截塊中，則框間預測處理單元420並不對PU執行框間預測。因此，對於以I模式編碼之區塊，經預測之區塊係使用空間預測自同一訊框內的先前經編碼之相鄰區塊形成。若PU係在P截塊中，則框間預測處理單元420可使用單向框間預測以產生PU之預測性區塊。若PU係在B截塊中，則框間預測處理單元420可使用單向或雙向框間預測以產生PU之預測性區塊。
框內預測處理單元426可藉由對PU執行框內預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及各種語法元素。框內預測處理單元426可對I截塊、P截塊及B截塊中之PU執行框內預測。
為對PU執行框內預測，框內預測處理單元426可使用多個框內預測模式來產生用於PU之預測性資料的多個集合。框內預測處理單元426可使用來自相鄰PU之樣本區塊的樣本以產生用於PU之預測性區塊。對於PU、CU及CTU，假定自左至右、自上而下之編碼次序，則該等相鄰PU可在PU上方、右上方、左上方或左側。框內預測處理單元426可使用各種數目之框內預測模式，例如，33個定向框內預測模式。在一些實例中，框內預測模式之數目可取決於與PU相關聯之區的大小。
預測處理單元400可自由框間預測處理單元420針對PU產生的預測性資料或由框內預測處理單元426針對PU產生的預測性資料中選擇用於CU之PU的預測性資料。在一些實例中，預測處理單元400基於數個預測性資料集合之速率/失真量度而選擇用於CU之PU的預測性資料。選定之預測性資料的預測性區塊在本文中可被稱作選定之預測性區塊。預測處理單位400可經組態以執行本文中所描述之一或多項技術從而判定針對發信之運動向量資訊之候選者清單之起始運動向量資訊。
殘餘產生單元402可基於CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)及CU之PU的選定預測性區塊(例如，預測性明度、Cb及Cr區塊)而產生CU之殘餘區塊(例如，明度、Cb及Cr殘餘區塊)。舉例而言，殘餘產生單元402可產生CU之殘餘區塊，以使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中的樣本與CU之PU之對應選定預測性樣本區塊中的對應樣本之間的差的值。
變換處理單元404可執行四分樹分割以將與CU相關聯之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此，TU可與一明度變換區塊及兩個色度變換區塊相關聯。CU之TU的明度變換區塊及色度變換區塊的大小及位置可或可不基於CU之PU的預測區塊之大小及位置。被稱為「殘餘四分樹」(RQT)之四分樹結構可包括與區中之每一者相關聯的節點。CU之TU可對應於RQT之葉節點。
變換處理單元404可藉由將一或多個變換應用於TU之變換區塊而產生CU之每一TU的變換係數區塊。變換處理單元404可將各種變換應用於與TU相關聯之變換區塊。舉例而言，變換處理單元404可將離散餘弦變換(DCT)、定向變換或概念上類似之變換應用至變換區塊。在一些實例中，變換處理單元404並不將變換應用於變換區塊。在此等實例中，變換區塊可被視為變換係數區塊。
量化單元406可將係數區塊中之變換係數量化。量化程序可減少與該等變換係數中之一些或全部相關聯的位元深度。舉例而言，n 位元變換係數可在量化期間被捨入至m 位元變換係數，其中n 大於m 。量化單元406可基於與CU相關聯之量化參數(QP)值量化與CU之TU相關聯之係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整應用於與CU相關聯之係數區塊的量化程度。量化可引入資訊的損失。因此，經量化變換係數可具有比最初變換係數低的精度。
反量化單元408及反變換處理單元410可分別將反量化及反變換應用於係數區塊，以自係數區塊重建構殘餘區塊。重建構單元412可將經重建構殘餘區塊與來自由預測處理單元400產生之一或多個預測性區塊的對應樣本相加以產生與TU相關聯之經重建構變換區塊。藉由以此方式重建構CU之各TU的變換區塊，視訊編碼器20可重建構CU之寫碼區塊。
濾波器單元414可執行一或多個解區塊操作以減小與CU相關聯之寫碼區塊中的區塊假影。經解碼圖像緩衝器416可在濾波器單元414對經重建構寫碼區塊執行一或多個解區塊操作之後儲存經重建構寫碼區塊。框間預測處理單元420可使用含有經重建構寫碼區塊之參考圖像以對其他圖像之PU執行框間預測。另外，框內預測處理單元426可使用經解碼圖像緩衝器416中之經重建構寫碼區塊以對處於與CU相同之圖像中的其他PU執行框內預測。
熵編碼單元418可自視訊編碼器20的其他功能組件接收資料。舉例而言，熵編碼單元418可自量化單元406接收係數區塊，並可自預測處理單元400接收語法元素。熵編碼單元418可對資料執行一或多個熵編碼操作以產生經熵編碼資料。舉例而言，熵編碼單元418可對資料執行CABAC操作、上下文自適應性可變長度寫碼(CAVLC)操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元418所產生之經熵編碼資料的位元串流。舉例而言，位元串流可包括表示用於CU之變換係數之值的資料。
圖14為說明經組態以實施本發明之技術之實例視訊解碼器30的方塊圖。出於解釋之目的而提供圖14，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖14之實例中，視訊解碼器30包括熵解碼單元450、視訊資料記憶體451、預測處理單元452、反量化單元454、反變換處理單元456、重建構單元458、濾波器單元460，及經解碼圖像緩衝器462。預測處理單元452包括運動補償單元464及框內預測處理單元466。在其他實例中，視訊解碼器30可包括較多、較少或不同的功能組件。視訊解碼器30可經組態以執行用於實施FRUC之本文所描述的一或多項技術。
視訊資料記憶體451可儲存待由視訊解碼器30之組件解碼的經編碼視訊資料，諸如經編碼視訊位元串流。儲存於視訊資料記憶體451中之視訊資料可(例如)經由視訊資料之有線或無線網路通信自電腦可讀媒體16例如自本端視訊源(諸如攝影機)或藉由存取實體資料儲存媒體而獲得。視訊資料記憶體451可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器462可為參考圖像記憶體，其儲存參考視訊資料以供用於藉由視訊解碼器30以例如框內寫碼模式或框間寫碼模式解碼視訊或以供輸出。視訊資料記憶體451及經解碼圖像緩衝器462可藉由多種記憶體裝置中之任一者形成，諸如DRAM，包括SDRAM、MRAM、RRAM，或其他類型之記憶體裝置。視訊資料記憶體451及經解碼圖像緩衝器462可由相同記憶體裝置或單獨記憶體裝置提供。在各種實例中，視訊資料記憶體451可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。視訊資料記憶體451可與圖1之儲存媒體28相同或係該儲存媒體之部分。
視訊資料記憶體451接收並儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元450可自視訊資料記憶體451接收經編碼視訊資料(例如，NAL單元)，且可剖析NAL單元以獲得語法元素。熵解碼單元450可對NAL單元中之經熵編碼語法元素進行熵解碼。預測處理單元452、反量化單元454、反變換處理單元456、重建構單元458及濾波器單元460可基於自位元串流提取之語法元素產生經解碼視訊資料。熵解碼單元450可執行大體上互逆於熵編碼單元418之彼程序的程序。預測處理單元452可經組態以執行本文中所描述之一或多項技術從而使用包括於發信資訊中之運動向量資訊之候選者清單之起始運動向量資訊。
除自位元串流獲得語法元素之外，視訊解碼器30可對未經分割之CU執行重建構操作。為對CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由對CU之每一TU執行重建構操作，視訊解碼器30可重建構CU之殘餘區塊。
作為對CU之TU執行重建構操作之部分，反量化單元454可反量化(例如，解量化)與TU相關聯之係數區塊。在反量化單元454反量化係數區塊之後，反變換處理單元456可將一或多個反變換應用於係數區塊以便產生與TU相關聯之殘餘區塊。舉例而言，反變換處理單元456可將反DCT、反整數變換、反卡忽南-洛維變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。
反量化單元454可執行本發明之特定技術。舉例而言，對於視訊資料之圖像的CTU之CTB內的複數個量化群組中之至少一個各別量化群組，反量化單元454可至少部分地基於在位元串流中發信的本端量化資訊導出用於各別量化群組之各別量化參數。另外，在此實例中，反量化單元454可基於用於各別量化群組之各別量化參數反量化CTU之CU的TU之變換區塊的至少一個變換係數。在此實例中，各別量化群組經定義為連續(在寫碼次序上)CU或寫碼區塊之群組，以使得各別量化群組之邊界必須為CU或寫碼區塊之邊界且各別量化群組之大小大於或等於臨限值。視訊解碼器30(例如，逆變換處理單元456、重建構單元458及濾波器單元460)可基於變換區塊之經反量化變換係數重建構CU的寫碼區塊。
若使用框內預測編碼PU，則框內預測處理單元466可執行框內預測以產生PU之預測性區塊。框內預測處理單元466可使用框內預測模式來基於樣本空間相鄰區塊產生PU之預測性區塊。框內預測處理單元466可基於自位元串流獲得的一或多個語法元素判定用於PU之框內預測模式。
若使用框間預測編碼PU，則熵解碼單元450可判定PU之運動資訊。運動補償單元464可基於PU之運動資訊而判定一或多個參考區塊。運動補償單元464可基於一或多個參考區塊產生PU之預測性區塊(例如，預測性明度、Cb及Cr區塊)。
重建構單元458可使用CU之TU的變換區塊(例如，明度、Cb及Cr變換區塊)及CU之PU的預測性區塊(例如，明度、Cb及Cr區塊)(亦即，可適用之框內預測資料或框間預測資料)來重建構CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)。舉例而言，重建構單元458可將變換區塊(例如，明度、Cb及Cr變換區塊)之樣本與預測性區塊(例如，亮度、Cb及Cr預測性區塊)之對應樣本相加來重建構CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)。
濾波器單元460可執行解區塊操作以減小與CU之寫碼區塊相關聯的區塊假影。視訊解碼器30可將CU之寫碼區塊儲存於經解碼圖像緩衝器462中。經解碼圖像緩衝器462可提供參考圖像用於後續運動補償、框內預測及在顯示裝置(諸如圖1之顯示裝置32)上的呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器462中之區塊對其他CU之PU執行框內預測或框間預測操作。
圖15為說明根據本發明中所描述之一或多項技術的用於視訊解碼之實例方法的方塊圖。初始地，視訊解碼器30接收位元串流，位元串流包括表示殘餘區塊之一或多個符號及指示起始運動向量資訊之發信資訊(502)。視訊解碼器30建構針對當前訊框之一部分之運動向量資訊之候選者清單(504)。視訊解碼器30基於雙側匹配或範本匹配中之一或多者改進起始運動向量資訊以判定改進運動向量資訊，改進運動向量資訊指示參考訊框中的在距初始位置之搜尋範圍內之改進位置(506)。視訊解碼器30基於改進運動向量資訊產生預測性區塊(508)。視訊解碼器30基於預測性區塊解碼當前訊框(510)。
圖16為說明本發明中所描述之一或多項技術的用於視訊編碼之實例方法的方塊圖。初始地，視訊編碼器20建構針對當前訊框之一部分之運動向量資訊之候選者清單(552)。視訊編碼器20選擇運動向量資訊之候選者清單之起始運動向量資訊，該起始運動向量資訊指示參考訊框中之初始位置(554)。視訊編碼器20基於雙側匹配或範本匹配中之一或多者改進起始運動向量資訊以判定改進運動向量資訊，改進運動向量資訊指示參考訊框中的在距初始位置之搜尋範圍內之改進位置(556)。視訊編碼器20基於改進運動向量資訊產生預測性區塊(558)。視訊編碼器20基於預測性區塊產生針對視訊資料之當前區塊之殘餘樣本值(560)。視訊編碼器20輸出位元串流，位元串流包括表示殘餘樣本值之指示的一或多個符號及指示運動向量資訊之候選者清單之起始運動向量資訊之發信資訊(562)。
出於說明之目的，本發明之某些態樣已經關於HEVC標準之擴展而描述。然而，本發明中所描述之技術可用於其他視訊寫碼程序，包括尚未開發之其他標準或專有視訊寫碼程序。
如本發明中所描述，視訊寫碼器可指視訊編碼器或視訊解碼器。類似地，視訊寫碼單元可指視訊編碼器或視訊解碼器。同樣地，在適用時，視訊寫碼可指視訊編碼或視訊解碼。在本發明中，片語「基於」可指示僅僅基於、至少部分地基於，或以某一方式基於。本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」以指一或多個樣本區塊及用以對樣本之一或多個區塊之樣本寫碼的語法結構。視訊單元之實例類型可包括CTU、CU、PU、變換單元(TU)、巨集區塊、巨集區塊分區等等。在一些情形中，PU之論述可與巨集區塊或巨集區塊分區之論述互換。視訊區塊之實例類型可包括寫碼樹型區塊、寫碼區塊及其他類型之視訊資料區塊。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行、可被添加、合併或完全省去(例如，並非所有所描述動作或事件為實踐該等技術所必要)。此外，在某些實例中，可例如經由多執行緒處理、中斷處理或多個處理器同時而非順序執行動作或事件。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而在電腦可讀媒體上儲存或傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括：電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體；或通信媒體，該通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體通常可對應於(1)非暫時性之有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉助於實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存裝置、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。而且，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術，自網站、伺服器或其他遠端源來傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為係關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。
指令可藉由包括一或多個處理器之固定功能及/或可程式化處理電路執行，該一或多個處理器係諸如一或多個DSP、通用微處理器、ASIC、FPGA或其他等效整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文所描述之功能可經提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛之多種裝置或設備中，包括無線手持機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之裝置的功能態樣，但未必要求由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於在編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體提供。
各種實例已予以了描述。此等及其他實例係在以下申請專利範圍之範疇內。
10‧‧‧系統 12‧‧‧源裝置 14‧‧‧目的地裝置 16‧‧‧電腦可讀媒體 18‧‧‧視訊源 19‧‧‧儲存媒體 20‧‧‧視訊編碼器 24‧‧‧輸出介面 26‧‧‧輸入介面 28‧‧‧儲存媒體 30‧‧‧視訊解碼器 32‧‧‧顯示裝置 84‧‧‧時間運動向量預測符(TMVP)候選者 86‧‧‧當前區塊 88‧‧‧當前圖像 90‧‧‧共置預測單元(PU) 92‧‧‧共置圖像 100‧‧‧當前訊框 102‧‧‧參考訊框 104‧‧‧內插訊框 106A‧‧‧區塊 106B‧‧‧最佳匹配區塊 106C‧‧‧區塊 108‧‧‧經內插區塊 110‧‧‧經內插訊框 112‧‧‧當前區塊 114‧‧‧當前訊框 116‧‧‧參考區塊 118‧‧‧參考訊框 120‧‧‧當前圖像 122‧‧‧預測目標 124‧‧‧範本 126‧‧‧參考圖像 128‧‧‧共置範本 130‧‧‧最佳匹配 132‧‧‧位移向量 140‧‧‧當前圖像 142‧‧‧當前區塊 144‧‧‧第一範本區塊 146‧‧‧第一參考圖像 148‧‧‧第二範本區塊 150‧‧‧第二參考圖像 152‧‧‧第一參考區塊 154‧‧‧搜尋窗口 156‧‧‧第二參考區塊 158‧‧‧搜尋窗口 160‧‧‧當前圖像 162‧‧‧當前區塊 164‧‧‧第一參考圖像(Ref0) 166‧‧‧第一參考區塊 168‧‧‧第二參考圖像(Ref1) 170‧‧‧第二參考區塊 180‧‧‧步驟 182‧‧‧步驟 184‧‧‧步驟 186‧‧‧步驟 188‧‧‧步驟 190‧‧‧步驟 192‧‧‧步驟 200‧‧‧當前區塊 201‧‧‧當前區塊 202‧‧‧第一輸入參考區塊 204‧‧‧第二輸入參考區塊 206‧‧‧運動向量MV0 208‧‧‧運動向量MV1 210‧‧‧時間距離TD0 212‧‧‧時間距離TD1 220‧‧‧當前圖像 222‧‧‧頂部相鄰區塊 224‧‧‧左側相鄰區塊 230‧‧‧參考圖像 240‧‧‧相鄰樣本 242‧‧‧對應參考樣本 350‧‧‧雙側範本 352‧‧‧第一輸入參考區塊 354‧‧‧第二輸入參考區塊 356‧‧‧初始運動向量MV0 358‧‧‧運動向量MV1 360‧‧‧運動向量MV0' 362‧‧‧運動向量MV1' 400‧‧‧預測處理單元 401‧‧‧視訊資料記憶體 402‧‧‧殘餘產生單元 404‧‧‧變換處理單元 406‧‧‧量化單元 408‧‧‧反量化單元 410‧‧‧反變換處理單元 412‧‧‧重建構單元 414‧‧‧濾波器單元 416‧‧‧經解碼圖像緩衝器 418‧‧‧熵編碼單元 420‧‧‧框間預測處理單元 426‧‧‧框內預測處理單元 450‧‧‧熵解碼單元 451‧‧‧視訊資料記憶體 452‧‧‧預測處理單元 454‧‧‧反量化單元 456‧‧‧反變換處理單元 458‧‧‧重建構單元 460‧‧‧濾波器單元 462‧‧‧經解碼圖像緩衝器 464‧‧‧運動補償單元 466‧‧‧框內預測處理單元 502‧‧‧步驟 504‧‧‧步驟 506‧‧‧步驟 508‧‧‧步驟 510‧‧‧步驟 552‧‧‧步驟 554‧‧‧步驟 556‧‧‧步驟 558‧‧‧步驟 560‧‧‧步驟 562‧‧‧步驟
圖1係說明可利用本發明中所描述之一或多項技術的實例視訊編碼及解碼系統之方塊圖。
圖2A為說明用於合併模式之空間相鄰MV候選者的概念圖。
圖2B為說明用於AMVP模式之空間相鄰MV候選者的概念圖。
圖3A為說明HEVC中之時間運動向量預測之第一概念圖。
圖3B為說明HEVC中之時間運動向量預測之第二概念圖。
圖4為說明FRUC中之單側ME的概念圖。
圖5為說明FRUC中之雙側ME的概念圖。
圖6為說明基於範本匹配之DMVD的概念圖。
圖7為說明DMVD中基於鏡像之雙向MV導出的概念圖。
圖8A為說明基於擴展雙側匹配之運動向量導出的概念圖。
圖8B為說明pu_dmvd_flag被添加之PU解碼的方塊圖。
圖9為說明雙側匹配之概念圖。
圖10為說明範本匹配之概念圖。
圖11為說明用於導出IC參數之相鄰樣本的概念圖。
圖12為說明基於雙側範本匹配之DMVD的概念圖。
圖13係說明可實施本發明中所描述之一或多項技術的實例視訊編碼器之方塊圖。
圖14為說明可實施本發明中所描述之一或多項技術的一實例視訊解碼器的方塊圖。
圖15為說明根據本發明中所描述之一或多項技術之視訊解碼器的實例操作之方塊圖。
圖16為說明根據本發明中所描述之一或多項技術之視訊編碼器之實例操作的方塊圖。
502‧‧‧步驟
504‧‧‧步驟
506‧‧‧步驟
508‧‧‧步驟
510‧‧‧步驟

Claims (32)

  1. 一種解碼視訊資料之方法，該方法包含：藉由一視訊解碼器接收指示一合併模式係用於一當前訊框之一部份之發信資訊；基於正被使用之該合併模式，藉由該視訊解碼器判定指示運動資訊之改進(refining)應由該視訊解碼器針對該當前訊框之該部份執行之發信資訊；藉由以下解碼該當前訊框之該部份：藉由實施於處理電路中之該視訊解碼器建構針對該當前訊框之該部分之運動向量資訊之一候選者清單；藉由該視訊解碼器接收指示運動向量資訊之該候選者清單之起始第一運動向量資訊之發信資訊，該起始第一運動向量資訊指示一第一參考訊框中之一第一初始位置且起始第二運動向量資訊指示在該第一參考訊框之該第一初始位置通過該當前訊框之該部分至一第二參考訊框之一第二初始位置之間延伸的一運動軌跡；藉由該視訊解碼器基於雙側匹配或範本匹配中之一或多者改進該起始第一運動向量資訊以判定改進第一運動向量資訊及改進該起始第二運動向量資訊以判定改進第二運動向量資訊，該改進第一運動向量資訊指示該第一參考訊框中的在距該第一初始位置之一搜尋範圍內之一改進位置，該改進第二運動向量資訊指示該第二參考訊框中的在距該第二初始位置之一搜尋範圍內之一改進位置，其中改進該起始第一運動向量資訊包含改進該運動軌跡且起始第二運動向量資訊係基於該第一初始位置與該第二初始位 置之間的一匹配差；藉由該視訊解碼器基於該改進第一運動向量資訊及該改進第二運動向量資訊產生一預測性區塊；及藉由該視訊解碼器基於該預測性區塊解碼該當前訊框之該部分。
  2. 如請求項1之方法，其中改進該起始第一運動向量資訊及該起始第二運動向量資訊包含：藉由該視訊解碼器判定針對該改進運動向量資訊之一運動向量精度，該運動向量精度表示由該改進運動向量資訊指示的一改進運動向量之一精度。
  3. 如請求項1之方法，其中建構運動向量資訊之該候選者清單包含：回應於判定該當前訊框之該部分對應於一B截塊且單向預測運動向量資訊將包括於運動向量資訊之該候選者清單中，將雙向預測運動向量資訊添加至對應於該單向預測運動向量之運動向量資訊之該候選者清單。
  4. 如請求項1之方法，其中該起始第一運動向量資訊及該起始第二運動向量資訊指示在該第一參考訊框之該第一初始位置通過該當前訊框之該部分至該第二參考訊框之該第二初始位置之間延伸的一運動軌跡且改進該起始第一運動向量資訊及該起始第二運動向量資訊，且改進該運動向量軌跡包含：藉由一運動向量改進來修改指定該第一初始位置的該運動向量軌跡之一第一運動向量；及 藉由具有一相反正負號(opposite sign)之該運動向量改進來修改指定該第二初始位置的該運動向量軌跡之一第二運動向量。
  5. 如請求項1之方法，其中改進該運動向量軌跡包含：基於該當前訊框與該第一參考訊框之間的一時間距離(temporal distance)及該當前訊框與該第二參考訊框之間的一時間距離而按比例調整(scaling)該運動軌跡。
  6. 如請求項1之方法，其中改進該運動向量軌跡包含：基於該第一初始位置與該第二初始位置之間的該匹配差而改進指定該第一初始位置的該運動向量軌跡之一第一運動向量以產生一第一改進運動向量；及基於該第一改進運動向量而改進指定該第二初始位置的該運動向量軌跡之一第二運動向量。
  7. 如請求項1之方法，其中改進該運動軌跡包含：基於一量度而判定該第一初始位置與該第二初始位置之間的該匹配差，其中該量度包含以下各者中之一或多者：一絕對差總和(SAD)、一均值移除SAD(MR-SAD)、一平方差總和(SSD)、正規化交叉相關(NCC)或一結構類似性索引(SSIM)。
  8. 如請求項7之方法，其中改進該運動軌跡包含：基於該當前區塊之一大小而自複數個量度選擇該量度。
  9. 如請求項7之方法，其中改進該運動軌跡包含：在該當前區塊之該大小超過一區塊大小臨限值時，選擇該量度作為MR-SAD、NCC或SSIM；及在該當前區塊之該大小未超過一區塊大小臨限值時，選擇該量度作為SAD或SSE。
  10. 如請求項1之方法，其中該當前訊框之該部分對應於該當前訊框之一當前區塊、該當前訊框之一當前寫碼單元或該當前訊框之複數個寫碼單元。
  11. 一種解碼視訊資料之方法，該方法包含：藉由實施於處理電路中之一視訊解碼器建構針對一當前訊框之一部分之運動向量資訊之一候選者清單，其中該當前訊框之該部分為該當前訊框之一當前區塊且其中建構運動向量資訊之該候選者清單包含：當(W．H<64)==>mvd th =4≪(mv precision -2)時計算mvd th =4≪mv precision ，且當(W．H<256)時計算mvd th =4≪(mv precision -1)，其中mv precision 表示該運動向量精度，W為該當前區塊之一寬度，且H為該當前區塊之一高度；藉由該視訊解碼器接收指示運動向量資訊之該候選者清單之起始運動向量資訊之發信資訊，該起始運動向量資訊指示一參考訊框中之一初始位置；藉由該視訊解碼器基於雙側匹配或範本匹配中之一或多者改進該起 始運動向量資訊以判定改進運動向量資訊，該改進運動向量資訊指示該參考訊框中的在距該初始位置之一搜尋範圍內之一改進位置；藉由該視訊解碼器基於該改進運動向量資訊產生一預測性區塊；及藉由該視訊解碼器基於該預測性區塊解碼該當前訊框。
  12. 一種解碼視訊資料之方法，該方法包含：藉由實施於處理電路中之一視訊解碼器建構針對一當前訊框之一部分的運動向量資訊之一候選者清單，其中建構運動向量資訊之該候選者清單包含：回應於判定該當前訊框之該部分對應於一B截塊且單向預測運動向量資訊將被包括於運動向量資訊之該候選者清單中，將雙向預測運動向量資訊添加至對應於該單向預測運動向量之運動向量資訊之該候選者清單，其中該單向預測運動向量資訊指示一第一運動向量，且其中將該雙向預測運動向量資訊添加至運動向量資訊之該候選者清單包含產生該雙向預測運動向量資訊以指示該第一運動向量及具有一相反正負號的對應於該第一運動向量之一第二運動向量；藉由該視訊解碼器接收指示運動向量資訊之該候選者清單之起始運動向量資訊之發信資訊，該起始運動向量資訊指示一參考訊框中之一初始位置；藉由該視訊解碼器基於雙側匹配或範本匹配中之一或多者改進該起始運動向量資訊以判定改進運動向量資訊，該改進運動向量資訊指示該參考訊框中的在距該初始位置之一搜尋範圍內之一改進位置； 藉由該視訊解碼器基於該改進運動向量資訊產生一預測性區塊；及藉由該視訊解碼器基於該預測性區塊解碼該當前訊框。
  13. 一種解碼視訊資料之方法，該方法包含：藉由實施於處理電路中之一視訊解碼器建構針對一當前訊框之一部分的運動向量資訊之一候選者清單，其中建構運動向量資訊之該候選者清單包含：回應於判定該當前訊框之該部分對應於一B截塊且單向預測運動向量資訊將被包括於運動向量資訊之該候選者清單中，將雙向預測運動向量資訊添加至對應於該單向預測運動向量之運動向量資訊之該候選者清單；其中該單向預測運動向量資訊指示針對一第一參考訊框之一第一運動向量(MV0)；其中該雙向預測運動向量資訊指示該第一運動向量及針對一第二參考訊框之一第二運動向量(MV1)；且其中添加該雙向預測運動向量資訊包含計算
    Figure 107132866-A0305-02-0073-3
    ，其中POC0表示自該第一參考訊框至該當前訊框之一時間距離且POC1表示自該第二參考訊框至該當前訊框之一時間距離；藉由該視訊解碼器接收指示運動向量資訊之該候選者清單之起始運動向量資訊之發信資訊，該起始運動向量資訊指示一參考訊框中之一初始位置；藉由該視訊解碼器基於雙側匹配或範本匹配中之一或多者改進該起始運動向量資訊以判定改進運動向量資訊，該改進運動向量資訊指示該參 考訊框中的在距該初始位置之一搜尋範圍內之一改進位置；藉由該視訊解碼器基於該改進運動向量資訊產生一預測性區塊；及藉由該視訊解碼器基於該預測性區塊解碼該當前訊框。
  14. 一種用於解碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存該視訊資料；及處理電路，其經組態以：藉由一視訊解碼器接收指示一合併模式係用於一當前訊框之一部份之發信資訊，基於正被使用之該合併模式判定指示運動資訊之改進應由該處理電路針對該當前訊框之該部份執行之發信資訊，藉由以下解碼該當前訊框之該部份：建構針對該當前訊框之該部分之運動向量資訊之一候選者清單；接收指示運動向量資訊之該候選者清單之起始第一運動向量資訊之發信資訊，該起始第一運動向量資訊指示一第一參考訊框中之一第一初始位置且起始第二運動向量資訊指示一第二參考訊框中之一第二初始位置；基於雙側匹配或範本匹配中之一或多者改進該起始第一運動向量資訊以判定改進第一運動向量資訊及改進該起始第二運動向量資訊以判定改進第二運動向量資訊，該改進第一運動向量資訊指示該第一參考訊框中的在距該第一初始位置之一搜尋範圍內之一改進位置，該改進第二運動向量資訊指示該第二參考訊框中的在距該第二初始位置之一搜尋範圍內之一改進位置，其中，改進該起始第一運 動向量資訊及該起始第二運動向量資訊係基於該第一初始位置與該第二初始位置之間的一匹配差；基於該改進第一運動向量資訊及該改進第二運動向量資訊產生一預測性區塊；及基於該預測性區塊解碼該當前訊框之該部分。
  15. 如請求項14之裝置，其中為了改進該起始第一運動向量資訊及該起始第二運動向量資訊，該處理電路經組態以：判定針對該改進運動向量資訊之一運動向量精度，該運動向量精度表示由該改進運動向量資訊指示的一改進運動向量之一精度。
  16. 如請求項14之裝置，其中，為了建構運動向量資訊之該候選者清單，該處理電路經組態以：回應於判定該當前訊框之該部分對應於一B截塊且單向預測運動向量資訊將被包括於運動向量資訊之該候選者清單中，將雙向預測運動向量資訊添加至對應於該單向預測運動向量之運動向量資訊之該候選者清單。
  17. 如請求項14之裝置，其中該起始第一運動向量資訊及該起始第二運動向量資訊指示在該第一參考訊框之該第一初始位置通過該當前訊框之該部分至該第二參考訊框之該第二初始位置之間延伸的一運動軌跡及資訊，且為了改進該運動向量軌跡，該處理電路經組態以：藉由一運動向量改進來修改指定該第一初始位置的該運動向量軌跡之一第一運動向量；及 藉由具有一相反正負號之該運動向量改進來修改指定該第二初始位置的該運動向量軌跡之一第二運動向量。
  18. 如請求項17之裝置，其中，為了改進該運動向量軌跡，該處理電路經組態以：基於該當前訊框與該第一參考訊框之間的一時間距離及該當前訊框與該第二參考訊框之間的一時間距離而按比例調整該運動軌跡。
  19. 如請求項17之裝置，其中，為了改進該運動向量軌跡，該處理電路經組態以：基於該第一初始位置與該第二初始位置之間的該匹配差而改進指定該第一初始位置的該運動向量軌跡之一第一運動向量以產生一第一改進運動向量；及基於該第一改進運動向量而改進指定該第二初始位置的該運動向量軌跡之一第二運動向量。
  20. 如請求項17之裝置，其中，為了改進該運動軌跡，該處理電路經組態以：基於一量度而判定該第一初始位置與該第二初始位置之間的該匹配差，其中該量度包含以下各者中之一或多者：一絕對差總和(SAD)、一均值移除SAD(MR-SAD)、一平方差總和(SSD)、正規化交叉相關(NCC)或一結構類似性索引(SSIM)。
  21. 如請求項20之裝置，其中，為了改進該運動軌跡，該處理電路經組態以：基於該當前區塊之一大小而自複數個量度選擇該量度。
  22. 如請求項20之裝置，其中，為了改進該運動軌跡，該處理電路經組態以：在該當前區塊之該大小超過一區塊大小臨限值時，選擇該量度作為MR-SAD、NCC或SSIM；及在該當前區塊之該大小未超過一區塊大小臨限值時，選擇該量度作為SAD或SSE。
  23. 如請求項14之裝置，其中該當前訊框之該部分對應於該當前訊框之一當前區塊、該當前訊框之一當前寫碼單元或該當前訊框之複數個寫碼單元。
  24. 如請求項14之裝置，其中該裝置包含一無線通信裝置，其進一步包含經組態以接收經編碼視訊資料之一接收器。
  25. 如請求項24之裝置，其中該無線通信裝置包含一電話手機且其中該接收器經組態以根據一無線通信標準解調變包含該經編碼視訊資料之一信號。
  26. 一種用於解碼視訊資料之裝置，該裝置包含： 一記憶體，其經組態以儲存該視訊資料；及處理電路，其經組態以：建構針對一當前訊框之一部分之運動向量資訊之一候選者清單，其中該當前訊框之該部分為該當前訊框之一當前區塊，且其中，為了建構運動向量資訊之該候選者清單，該處理電路經組態以：當(W．H<64)==>mvd th =4≪(mv precision -2)時計算mvd th =4≪mv precision ，且當(W．H<256)時計算mvd th =4≪(mv precision -1)，其中mv precision 表示該運動向量精度，W為該當前區塊之一寬度，且H為該當前區塊之一高度；接收指示運動向量資訊之該候選者清單之起始運動向量資訊之發信資訊，該起始運動向量資訊指示一參考訊框中之一初始位置；基於雙側匹配或範本匹配中之一或多者改進該起始運動向量資訊以判定改進運動向量資訊，該改進運動向量資訊指示該參考訊框中的在距該初始位置之一搜尋範圍內之一改進位置；基於該改進運動向量資訊產生一預測性區塊；及基於該預測性區塊解碼該當前訊框。
  27. 一種用於解碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存該視訊資料；及處理電路，其經組態以：建構針對一當前訊框之一部分之運動向量資訊之一候選者清單，其中，為了建構運動向量資訊之該候選者清單，該處理電路經組態以： 回應於判定該當前訊框之該部分對應於一B截塊且單向預測運動向量資訊將被包括於運動向量資訊之該候選者清單中，將雙向預測運動向量資訊添加至對應於該單向預測運動向量之運動向量資訊之該候選者清單，其中該單向預測運動向量資訊指示一第一運動向量，且其中，為了將該雙向預測運動向量資訊添加至運動向量資訊之該候選者清單，該處理電路經組態以產生該雙向預測運動向量資訊以指示該第一運動向量及具有一相反正負號的對應於該第一運動向量之一第二運動向量；接收指示運動向量資訊之該候選者清單之起始運動向量資訊之發信資訊，該起始運動向量資訊指示一參考訊框中之一初始位置；基於雙側匹配或範本匹配中之一或多者改進該起始運動向量資訊以判定改進運動向量資訊，該改進運動向量資訊指示該參考訊框中的在距該初始位置之一搜尋範圍內之一改進位置；基於該改進運動向量資訊產生一預測性區塊；及基於該預測性區塊解碼該當前訊框。
  28. 一種用於解碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存該視訊資料；及處理電路，其經組態以：建構針對一當前訊框之一部分之運動向量資訊之一候選者清單，其中，為了建構運動向量資訊之該候選者清單，該處理電路經組態以：回應於判定該當前訊框之該部分對應於一B截塊且單向預測運動向 量資訊將被包括於運動向量資訊之該候選者清單中，將雙向預測運動向量資訊添加至對應於該單向預測運動向量之運動向量資訊之該候選者清單，其中該單向預測運動向量資訊指示針對一第一參考訊框之一第一運動向量(MV0)；其中該雙向預測運動向量資訊指示該第一運動向量及針對一第二參考訊框之一第二運動向量(MV1)；且其中，為了添加該雙向預測運動向量資訊，該處理電路經組態以計算
    Figure 107132866-A0305-02-0080-1
    ，其中POC0表示自該第一參考訊框至該當前訊框之一時間距離且POC1表示自該第二參考訊框至該當前訊框之一時間距離；接收指示運動向量資訊之該候選者清單之起始運動向量資訊之發信資訊，該起始運動向量資訊指示一參考訊框中之一初始位置；基於雙側匹配或範本匹配中之一或多者改進該起始運動向量資訊以判定改進運動向量資訊，該改進運動向量資訊指示該參考訊框中的在距該初始位置之一搜尋範圍內之一改進位置；基於該改進運動向量資訊產生一預測性區塊；及基於該預測性區塊解碼該當前訊框。
  29. 一種編碼視訊資料之方法，該方法包含：藉由實施於處理電路中之一視訊編碼器建構針對一當前訊框之一部分之運動向量資訊之一候選者清單；藉由該視訊編碼器選擇運動向量資訊之該候選者清單之起始第一運 動向量資訊，該起始第一運動向量資訊指示一第一參考訊框中之一第一初始位置且一起始第二運動向量資訊指示一第二參考訊框中之一第二初始位置；藉由該視訊編碼器基於雙側匹配或範本匹配中之一或多者改進該起始第一運動向量資訊以判定改進第一運動向量資訊及改進該起始第二運動向量資訊以判定改進第二運動向量資訊，該改進第一運動向量資訊指示該第一參考訊框中的在距該第一初始位置之一搜尋範圍內之一改進位置，該改進第二運動向量資訊指示該第二參考訊框中的在距該第二初始位置之一搜尋範圍內之一改進位置，其中改進該起始第一運動向量資訊及該起始第二運動向量資訊係基於該第一初始位置與該第二初始位置之間的一匹配差；藉由該視訊編碼器基於該改進第一運動向量資訊及該改進第二運動向量資訊產生一預測性區塊；藉由該視訊編碼器基於該預測性區塊產生針對視訊資料之該當前區塊之該部分之殘餘樣本值；及藉由該視訊編碼器輸出該等殘餘樣本值之一指示及指示運動向量資訊之該候選者清單之該起始運動向量資訊之發信資訊。
  30. 一種用於編碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存該視訊資料；及處理電路，其經組態以：建構針對一當前訊框之一部分之運動向量資訊之一候選者清單；選擇運動向量資訊之該候選者清單之起始第一運動向量資訊，該 起始第一運動向量資訊指示一第一參考訊框中之一第一初始位置且起始第二運動向量資訊指示一第二參考訊框中之一第二初始位置；基於雙側匹配或範本匹配中之一或多者改進該起始第一運動向量資訊以判定改進第一運動向量資訊及改進該起始第二運動向量資訊以判定改進第二運動向量資訊，該改進第一運動向量資訊指示該參考訊框中的在距該第一初始位置之一搜尋範圍內之一第一改進位置，該改進第二運動向量資訊指示該第二參考訊框中的在距該第二初始位置之一搜尋範圍內之一改進位置，其中，該處理電路經組態以基於該第一初始位置與該第二初始位置之間的一匹配差來改進該起始第一運動向量資訊及起始第二運動向量資訊；基於該改進第一運動向量資訊及該改進第二運動向量資訊產生一預測性區塊；基於該預測性區塊產生針對視訊資料之該當前區塊之殘餘樣本值；及輸出該等殘餘樣本值之一指示及指示運動向量資訊之該候選者清單之該起始運動向量資訊之發信資訊。
  31. 如請求項30之裝置，其中該裝置包含一無線通信裝置，該裝置進一步包含經組態以傳輸經編碼視訊資料之一傳輸器。
  32. 如請求項31之裝置，其中該無線通信裝置包含一電話手機，且其中該傳輸器經組態以根據一無線通信標準調變包含該經編碼視訊資料之一信號。
TW107132866A 2017-10-11 2018-09-18 用於訊框速率上升轉換(fruc)之低複雜度設計 TWI718412B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762571161P 2017-10-11 2017-10-11
US62/571,161 2017-10-11
US16/131,860 US10785494B2 (en) 2017-10-11 2018-09-14 Low-complexity design for FRUC
US16/131,860 2018-09-14

Publications (2)

Publication Number Publication Date
TW201924344A TW201924344A (zh) 2019-06-16
TWI718412B true TWI718412B (zh) 2021-02-11

Family

ID=65993609

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107132866A TWI718412B (zh) 2017-10-11 2018-09-18 用於訊框速率上升轉換(fruc)之低複雜度設計

Country Status (9)

Country Link
US (2) US10785494B2 (zh)
EP (1) EP3695605A1 (zh)
KR (1) KR102261696B1 (zh)
CN (2) CN111201793B (zh)
AU (1) AU2018349463B2 (zh)
BR (1) BR112020006875A2 (zh)
SG (1) SG11202001991TA (zh)
TW (1) TWI718412B (zh)
WO (1) WO2019074622A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11252464B2 (en) 2017-06-14 2022-02-15 Mellanox Technologies, Ltd. Regrouping of video data in host memory
US12058309B2 (en) * 2018-07-08 2024-08-06 Mellanox Technologies, Ltd. Application accelerator
US20200014945A1 (en) * 2018-07-08 2020-01-09 Mellanox Technologies, Ltd. Application acceleration
US10785494B2 (en) 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
US10834409B2 (en) * 2018-04-06 2020-11-10 Arris Enterprises Llc System and method of implementing multiple prediction models for local illumination compensation
EP3777179A1 (en) * 2018-04-12 2021-02-17 ARRIS Enterprises LLC Motion information storage for video coding and signaling
US10469869B1 (en) * 2018-06-01 2019-11-05 Tencent America LLC Method and apparatus for video coding
GB2588004B (en) 2018-06-05 2023-03-01 Beijing Bytedance Network Tech Co Ltd Interaction between IBC and affine
WO2019234674A1 (en) * 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Integer motion compensation
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
EP3841751B1 (en) * 2018-09-19 2024-04-17 Huawei Technologies Co., Ltd. Method for skipping refinement based on patch similarity in bilinear interpolation based decoder-side motion vector refinement
CN110944196B (zh) 2018-09-24 2023-05-30 北京字节跳动网络技术有限公司 简化的基于历史的运动矢量预测
CN117615125A (zh) * 2018-10-08 2024-02-27 华为技术有限公司 用于译码块的几何划分块的帧间预测的装置及方法
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
CN111083491B (zh) 2018-10-22 2024-09-20 北京字节跳动网络技术有限公司 细化运动矢量的利用
WO2020094150A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in current picture referencing
WO2020098644A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
CN113170171B (zh) 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
CN117319644A (zh) 2018-11-20 2023-12-29 北京字节跳动网络技术有限公司 基于部分位置的差计算
JP7164813B2 (ja) * 2018-11-21 2022-11-02 日本電信電話株式会社 予測装置、予測方法、及びプログラム。
JP7257524B2 (ja) * 2019-01-02 2023-04-13 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ビデオエンコーディング／デコーディングシステムにおけるサイド動き精細化
CN113261296A (zh) 2019-01-06 2021-08-13 北京达佳互联信息技术有限公司 双向光流的比特宽度控制
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
US11997308B2 (en) * 2019-03-08 2024-05-28 Interdigital Madison Patent Holdings, Sas Local illumination compensation for video encoding or decoding
CN116248891A (zh) * 2019-03-14 2023-06-09 华为技术有限公司 帧间预测的方法及相关装置
KR102610709B1 (ko) 2019-04-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
WO2020228836A1 (en) 2019-05-16 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Sub-region based determination of motion information refinement
KR20220016075A (ko) 2019-06-04 2022-02-08 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 모션 후보 리스트 구성 프로세스의 조건부 구현
WO2020244571A1 (en) 2019-06-04 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction using neighboring block information
EP3967040A4 (en) 2019-06-06 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. CONSTRUCTION OF MOTION CANDIDATE LISTS FOR VIDEO ENCODING
US11272200B2 (en) * 2019-06-24 2022-03-08 Tencent America LLC Method and apparatus for video coding
CN114128295B (zh) 2019-07-14 2024-04-12 北京字节跳动网络技术有限公司 视频编解码中几何分割模式候选列表的构建
CN114287135A (zh) * 2019-08-23 2022-04-05 北京字节跳动网络技术有限公司 参考图片重采样中的剪切
CN117615155A (zh) 2019-09-19 2024-02-27 北京字节跳动网络技术有限公司 视频编解码中的参考样点位置推导
KR20220066045A (ko) 2019-09-19 2022-05-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩의 스케일링 윈도우
CN117596389A (zh) 2019-09-28 2024-02-23 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
EP4026336A4 (en) 2019-10-05 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. LEVEL-BASED SIGNALING OF VIDEO CODING TOOLS
WO2021068956A1 (en) 2019-10-12 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Prediction type signaling in video coding
JP7414980B2 (ja) * 2019-10-13 2024-01-16 北京字節跳動網絡技術有限公司 参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用
BR112022012807A2 (pt) 2019-12-27 2022-09-27 Beijing Bytedance Network Tech Co Ltd Método de processamento de vídeo, aparelho para processar dados de vídeo e meios não transitórios legíveis por computador
JP2023518713A (ja) * 2020-03-24 2023-05-08 アリババ グループ ホウルディング リミテッド 映像録画のサインデータハイディング
US11575926B2 (en) 2020-03-29 2023-02-07 Alibaba Group Holding Limited Enhanced decoder side motion vector refinement
CN113840148A (zh) * 2020-06-24 2021-12-24 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及计算机存储介质
CN114071159B (zh) * 2020-07-29 2023-06-30 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器及计算机可读存储介质
US11936899B2 (en) * 2021-03-12 2024-03-19 Lemon Inc. Methods and systems for motion candidate derivation
US11671616B2 (en) 2021-03-12 2023-06-06 Lemon Inc. Motion candidate derivation
WO2023020389A1 (en) * 2021-08-19 2023-02-23 Mediatek Singapore Pte. Ltd. Method and apparatus for low-latency template matching in video coding system
US12114009B2 (en) * 2021-09-22 2024-10-08 Tencent America LLC Method and apparatus for adaptive reordering for reference frames
US11917176B2 (en) * 2021-09-28 2024-02-27 Avago Technologies International Sales Pte. Limited Low-latency and high-throughput motion vector refinement with template matching
WO2023055146A1 (ko) * 2021-09-29 2023-04-06 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
US20240015319A1 (en) * 2022-07-11 2024-01-11 Tencent America LLC Partition, motion vector (mv) derivation of template-matching, and subblock mv derivation for subblock based mv predictor

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130083853A1 (en) * 2011-10-04 2013-04-04 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
US20130163668A1 (en) * 2011-12-22 2013-06-27 Qualcomm Incorporated Performing motion vector prediction for video coding
US20140161189A1 (en) * 2012-12-07 2014-06-12 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
US20140169475A1 (en) * 2012-12-17 2014-06-19 Qualcomm Incorporated Motion vector prediction in video coding
US20150023423A1 (en) * 2013-07-17 2015-01-22 Qualcomm Incorporated Block identification using disparity vector in video coding
US20150078450A1 (en) * 2013-09-13 2015-03-19 Qualcomm Incorporated Video coding techniques using asymmetric motion partitioning
US20160105670A1 (en) * 2014-10-14 2016-04-14 Qualcomm Incorporated Amvp and merge candidate list derivation for intra bc and inter prediction unification

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9426463B2 (en) * 2012-02-08 2016-08-23 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
US10820007B2 (en) * 2015-01-21 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for decoding inter-layer video, and method and apparatus for encoding inter-layer video
US11477477B2 (en) * 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
US10200711B2 (en) 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
EP3876541A1 (en) 2015-09-02 2021-09-08 Mediatek Inc. Fast sum of absolute differences calculation for motion vector derivation in video coding
CN114449287A (zh) * 2016-03-16 2022-05-06 联发科技股份有限公司 视频编码的样式基础的运动向量推导之方法及装置
US11638027B2 (en) 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US10701390B2 (en) 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US10477237B2 (en) 2017-06-28 2019-11-12 Futurewei Technologies, Inc. Decoder side motion vector refinement in video coding
WO2019072368A1 (en) 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. LIMITED MEMORY ACCESS WINDOW FOR MOTION VECTOR REFINEMENT
US10785494B2 (en) 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130083853A1 (en) * 2011-10-04 2013-04-04 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
US20130163668A1 (en) * 2011-12-22 2013-06-27 Qualcomm Incorporated Performing motion vector prediction for video coding
US20140161189A1 (en) * 2012-12-07 2014-06-12 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
US20140169475A1 (en) * 2012-12-17 2014-06-19 Qualcomm Incorporated Motion vector prediction in video coding
US20150023423A1 (en) * 2013-07-17 2015-01-22 Qualcomm Incorporated Block identification using disparity vector in video coding
US20150078450A1 (en) * 2013-09-13 2015-03-19 Qualcomm Incorporated Video coding techniques using asymmetric motion partitioning
US20160105670A1 (en) * 2014-10-14 2016-04-14 Qualcomm Incorporated Amvp and merge candidate list derivation for intra bc and inter prediction unification

Also Published As

Publication number Publication date
WO2019074622A1 (en) 2019-04-18
BR112020006875A2 (pt) 2020-10-06
EP3695605A1 (en) 2020-08-19
CN111201793A (zh) 2020-05-26
AU2018349463B2 (en) 2021-05-20
KR102261696B1 (ko) 2021-06-04
KR20200058445A (ko) 2020-05-27
US10785494B2 (en) 2020-09-22
US20190110058A1 (en) 2019-04-11
AU2018349463A1 (en) 2020-04-02
SG11202001991TA (en) 2020-04-29
US20200221110A1 (en) 2020-07-09
CN117615152A (zh) 2024-02-27
US11297340B2 (en) 2022-04-05
TW201924344A (zh) 2019-06-16
CN111201793B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
TWI718412B (zh) 用於訊框速率上升轉換(fruc)之低複雜度設計
TWI736872B (zh) 基於解碼器側運動向量推導之運動向量預測推導之限制
TWI714565B (zh) 視訊寫碼中運動向量推導
US11265551B2 (en) Decoder-side motion vector derivation
TWI761415B (zh) 用於雙向光學流（ｂｉｏ）之運動向量重建
US10757442B2 (en) Partial reconstruction based template matching for motion vector derivation
TWI696384B (zh) 在視頻寫碼中用於仿射運動模型之運動向量預測
TWI688262B (zh) 用於視訊寫碼之重疊運動補償
US11425387B2 (en) Simplified local illumination compensation
WO2020056798A1 (zh) 一种视频编解码的方法与装置
TW201817238A (zh) 用於視訊寫碼之適應性運動向量精準度
TW201924350A (zh) 視訊寫碼中之仿射運動向量預測
TW201711463A (zh) 判定用於視訊寫碼之照明補償狀態之系統及方法
WO2020057648A1 (zh) 一种帧间预测方法和装置