TW201941612A - 對進階時間運動向量預測之改良 - Google Patents

對進階時間運動向量預測之改良 Download PDF

Info

Publication number
TW201941612A
TW201941612A TW108109180A TW108109180A TW201941612A TW 201941612 A TW201941612 A TW 201941612A TW 108109180 A TW108109180 A TW 108109180A TW 108109180 A TW108109180 A TW 108109180A TW 201941612 A TW201941612 A TW 201941612A
Authority
TW
Taiwan
Prior art keywords
block
motion vector
image
current
video data
Prior art date
Application number
TW108109180A
Other languages
English (en)
Inventor
韓鈺
張凱
張理
錢威俊
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201941612A publication Critical patent/TW201941612A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種解碼器裝置包括一處理器，其用以判定哪個圖像為一同置圖像，且判定該同置圖像中的對應於當前寫碼圖像中之視訊資料之當前區塊的視訊資料之一相關聯區塊的一位置，此基於使用該當前寫碼圖像中之經先前解碼區塊以找出該同置圖像中之該相關聯區塊與該當前寫碼圖像中之該當前區塊之間的一初始運動向量。該視訊資料之該相關聯區塊包括至少一個第一導出運動向量。當該初始mv(運動向量)指向該同置圖像時，該處理器可判定與該當前寫碼圖像中之該當前區塊相關聯的至少一個第二導出運動向量。該處理器可基於該至少一個第二導出運動向量判定該當前寫碼圖像中的視訊資料之該當前區塊之運動資訊。

Description

對進階時間運動向量預測之改良
本發明係關於用於視訊寫碼之裝置、系統及方法。
數位視訊能力可併入至廣泛範圍之裝置中，該等裝置包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄裝置、數位媒體播放器、視訊遊戲裝置、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳話會議裝置、視訊串流裝置及其類似者。數位視訊裝置實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、ITU-T H.265定義之標準、高效視訊寫碼(HEVC)標準及此等標準之擴展中所描述的彼等技術。視訊裝置可藉由實施此等視訊壓縮技術而更高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有的冗餘。針對基於區塊之視訊寫碼，視訊圖塊(亦即，視訊圖框或視訊圖框之一部分)可分割成視訊區塊，視訊區塊亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)圖塊中的視訊區塊。圖像之經框間寫碼(P或B)圖塊中的視訊區塊可使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。空間或時間預測產生用於待寫碼之區塊(亦即，當前區塊)的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量來編碼，且殘餘資料指示經寫碼區塊與預測性區塊之間的差。經框內寫碼區塊係根據框內寫碼模式及殘餘資料來編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致可接著進行量化之殘餘變換係數。
大體而言，本發明描述與對進階運動向量預測之改良相關的技術。本發明之技術可應用於未來視訊寫碼標準。
在一個實例中，該等技術係關於一種用於解碼一當前寫碼圖像中的視訊資料之一當前區塊的裝置。該裝置可包括一記憶體，其經組態以儲存視訊資料。該裝置亦可包括一處理器，其經組態以判定哪個圖像為一同置圖像，且判定該同置圖像中的對應於該當前寫碼圖像中之視訊資料之該當前區塊的該視訊資料之一相關聯區塊的一位置，此基於使用該當前寫碼圖像中之經先前解碼區塊以找出該同置圖像中之該相關聯區塊與該當前寫碼圖像中之該當前區塊之間的一初始運動向量，其中該視訊資料之該相關聯區塊包括至少一個第一導出運動向量。該處理器可經組態以當該初始mv指向該同置圖像時，基於與該同置圖像中之該相關聯區塊相關聯的該至少一個第一導出運動向量，判定與該當前寫碼圖像中之該當前區塊相關聯的至少一個第二導出運動向量。另外，該處理器可經組態以基於該至少一個第二導出運動向量判定該當前寫碼圖像中的視訊資料之該當前區塊之運動資訊，使用該經判定運動資訊以獲得一預測區塊，及基於該預測區塊與一殘餘區塊之一組合產生一經重建構區塊。
在另一實例中，該等技術係關於一種用於解碼一當前寫碼圖像中的視訊資料之一當前區塊之方法。該方法可包括：判定哪個圖像為一同置圖像，且判定該同置圖像中的對應於該當前寫碼圖像中之視訊資料之該當前區塊的該視訊資料之一相關聯區塊的一位置，此基於使用該當前寫碼圖像中之經先前解碼區塊以找出該同置圖像中之該相關聯區塊與該當前寫碼圖像中之該當前區塊之間的一初始運動向量，其中該視訊資料之該相關聯區塊包括至少一個第一導出運動向量。該方法可包括當該初始mv指向該同置圖像時，基於與該同置圖像中之該相關聯區塊相關聯的該至少一個第一導出運動向量，判定與該當前寫碼圖像中之該當前區塊相關聯的至少一個第二導出運動向量。該方法亦可包括：基於該至少一個第二導出運動向量判定該當前寫碼圖像中的視訊資料之該當前區塊之運動資訊，使用該經判定運動資訊以獲得一預測區塊；及基於該預測區塊與一殘餘區塊之一組合產生一經重建構區塊。
在隨附圖式及以下描述中闡述本發明之一或多個態樣的細節。本發明中所描述之技術的其他特徵、目標及優點將自描述、圖式及申請專利範圍顯而易見。
優先權主張
本申請案主張2018年3月19日申請的標題為「IMPROVEMENTS TO ADVANCED TEMPORAL MOTION VENTOR PREDICTION」之PCT國際專利申請案第PCT/CN2018/079458號的優先權，該申請案此處被指派至受讓人且特此以引用的方式明確地併入本文中。
視訊之多個圖框或圖像上的運動補償常常用於視訊編碼中。可編碼與先前圖框或圖像相關聯之運動向量及參考索引。可使用運動向量預測符(MVP)及運動向量差(MVD)導出運動向量。
MVP可選自兩個候選者，該等兩個候選者自正進行編碼及/或解碼之當前區塊之空間及/或時間鄰域導出。ATMVP模式為用以選擇MVP之演算法。在現有ATMVP模式中，運動向量及參考索引(亦即，運動資訊)可自選擇不同候選者導出，而不必編碼運動向量差。合併模式為導出運動向量候選者之表示且預測運動向量之寫碼的程序。由於圖像係二維的，因此在圖像之間使用運動向量亦係二維的。因此，運動向量具有一水平分量及一垂直分量。
在現有系統中，在使用進階時間運動向量預測(ATMVP)演算法的情況下，框間預測可將經先前重建構之圖像用作參考圖像用於運動補償。儲存來自參考圖像中之共置區塊或區域的運動資訊，且接著使其可供用於框間預測。在一些情形中，參考圖像中的時間運動向量之資訊被縮減至16×16區塊，以限制儲存於參考緩衝器中(例如，參見圖7中的經解碼圖像緩衝器「DPB」1216及圖8中的經解碼圖像緩衝器「DPB」1312)。然而，每一參考圖像之運動資訊均儲存於參考緩衝器中，此增大功率消耗及記憶體之大小。
如本發明中所描述，視訊寫碼器(亦即，視訊編碼器或視訊解碼器)可經由替代性解決方案實施對ATMVP演算法之改良，該等替代性解決方案並不需要如先前所進行的自參考緩衝器儲存時間運動向量之資訊。
根據本文中描述之技術，提議一種裝置用於解碼當前寫碼圖像中之視訊資料之當前區塊，該裝置可包括經組態以儲存視訊資料之記憶體。該裝置亦可包括經組態以判定哪個圖像係同置圖像之處理器。可接收同置圖像，例如，該同置圖像具有如同HEVC標準進行發信的表示。可使用參考索引判定同置圖像。舉例而言，參考索引=0可被用作預設，如同在ITU-T H.264標準中。在本發明中，與同置圖像相關聯之參考索引未必必須為零，且可為非零值。另外，處理器可經進一步組態以基於使用當前寫碼圖像中的經先前解碼區塊以找出同置圖像中之相關聯區塊與當前寫碼圖像中之當前區塊之間的初始運動向量，來判定同置圖像中的對應於當前寫碼圖像中之視訊資料之當前區塊的視訊資料之相關聯區塊之位置，其中視訊資料之相關聯區塊包括至少一個第一導出運動向量(例如，參見圖5D中的同置圖像中之運動向量)。因此，同置圖像中之相關聯區塊的位置得以判定。
在本發明內，包括基於當前寫碼圖像之至少一個第一導出運動向量的同置圖像可被稱作「同置參考圖像」，其中該當前寫碼圖像包括指向該同置圖像，使得該同置圖像可被用作參考圖像，而不需要依賴於當前技術中的包括運動資訊之參考圖像的初始運動向量。
此外，處理器可經組態以基於與同置圖像中之相關聯區塊相關聯的至少一個第一導出運動向量，判定與當前寫碼圖像中之當前區塊相關聯的至少一個第二導出運動向量。該至少一個第二導出運動向量可用以判定當前寫碼圖像中之視訊資料之當前區塊的運動資訊。該至少一個第二導出運動向量可幫助判定預測區塊。該預測區塊外加殘餘區塊可用以重建構當前區塊。
因而，藉由利用來自當前寫碼圖像之一或多個運動向量及同置參考圖像之至少一個第一導出運動向量，可用以導出至少一個第二運動向量，而非藉由儲存每一參考圖像之每一運動向量資訊來執行用於導出運動向量之完整程序(如當前技術中之提議之前所進行)。因此，視訊編碼器及視訊解碼器可更有效地處理視訊資料，且視訊編碼器及/或視訊解碼器可提供可耗電較少的更高效的壓縮及解壓構件，且可將更快速寫碼結果提供至顯示經解碼視訊資料之裝置。
圖1為說明可利用本發明之技術之實例視訊編碼及解碼系統10的方塊圖。如圖1中所示，系統10包括源裝置12，其提供稍後將由目的地裝置14解碼的經編碼視訊資料。特定而言，源裝置12經由電腦可讀媒體16將視訊資料提供至目的地裝置14。源裝置12及目的地裝置14可包含廣泛範圍之裝置中之任一者，包括桌上型電腦、筆記型(例如，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」手機之電話手機、平板電腦、電視、攝影機、顯示裝置、數位媒體播放器、視訊遊戲控制台、視訊串流裝置或其類似者。在一些狀況下，源裝置12及目的地裝置14可經裝備以用於無線通信。因此，源裝置12及目的地裝置14可為無線通信裝置。源裝置12為實例視訊編碼裝置(亦即，用於編碼視訊資料之裝置)。目的地裝置14為實例視訊解碼裝置(亦即，用於解碼視訊資料之裝置)。
在圖1之實例中，源裝置12包括視訊源18、經組態以儲存視訊資料之儲存媒體19、視訊編碼器20及輸出介面22。目的地裝置14包括輸入介面26、經組態以儲存經編碼視訊資料之儲存媒體28、視訊解碼器30及顯示裝置32。在其他實例中，源裝置12及目的地裝置14可包括其他組件或配置。舉例而言，源裝置12可自外部視訊源(諸如外部攝影機)接收視訊資料。同樣地，目的地裝置14可與外部顯示裝置介接，而非包括整合顯示裝置。
圖1之所說明系統10僅係一個實例。用於處理視訊資料之技術可由任何數位視訊編碼及/或解碼裝置執行。儘管本發明之技術一般由視訊編碼裝置執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編解碼器(CODEC)」)執行。源裝置12及目的地裝置14僅為源裝置12產生經寫碼視訊資料以供傳輸至目的地裝置14的此類寫碼裝置之實例。在一些實例中，源裝置12及目的地裝置14可按實質上對稱之方式操作，使得源裝置12及目的地裝置14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援源裝置12與目的地裝置14之間的單向或雙向視訊傳輸，例如用於視訊串流、視訊播放、視訊廣播或視訊電話。
源裝置12之視訊源18可包括視訊俘獲裝置，諸如視訊攝影機、含有先前俘獲之視訊的視訊檔案庫，及/或用於自視訊內容提供者接收視訊資料的視訊饋送介面。作為另一替代方案，視訊源18可產生基於電腦圖形之資料，作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。源裝置12可包含經組態以儲存視訊資料之一或多個資料儲存媒體(例如，儲存媒體19)。本發明中所描述之技術可大體上適用於視訊寫碼，且可應用於無線及/或有線應用。在每一狀況下，所俘獲、所預先俘獲或電腦產生之視訊可由視訊編碼器20編碼。輸出介面22可將經編碼視訊資訊輸出至電腦可讀媒體16。
輸出介面22可包含各種類型之組件或裝置。舉例而言，輸出介面22可包含無線傳輸器、數據機、有線網路連接組件(例如，乙太網路卡)或另一實體組件。在輸出介面22包含無線接收器之實例中，輸出介面22可經組態以接收根據蜂巢式通信標準(諸如4G、4G-LTE、LTE進階、5G及其類似者)調變之資料，諸如位元串流。在輸出介面22包含無線接收器之一些實例中，輸出介面22可經組態以接收根據諸如IEEE 802.11規範、IEEE 802.15規範(例如，ZigBee™)、Bluetooth™標準及其類似者之其他無線標準而調變的資料，諸如位元串流。在一些實例中，輸出介面22之電路系統可為系統單晶片(SoC)之部分。SoC亦可包括其他組件，諸如一般用途微處理器、圖形處理單元等。
目的地裝置14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源裝置12移動至目的地裝置14之任何類型的媒體或裝置。在一些實例中，電腦可讀媒體16包含使得源裝置12能夠即時將經編碼視訊資料直接地傳輸至目的地裝置14的通信媒體。可根據通信標準(諸如無線通信協定)調變經編碼視訊資料，且將其傳輸至目的地裝置14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或任何其他可用於促進自源裝置12至目的地裝置14的通信之設備。目的地裝置14可包含經組態以儲存經編碼視訊資料及經解碼視訊資料之一或多個資料儲存媒體。
在一些實例中，可自輸出介面22將經編碼資料輸出至儲存裝置。類似地，可由輸入介面自儲存裝置存取經編碼資料。儲存裝置可包括多種分散式或本端存取之資料儲存媒體中之任一者，諸如硬碟機、Blu-ray碟片、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適之數位儲存媒體。在另一實例中，儲存裝置可對應於檔案伺服器或可儲存由源裝置12產生之經編碼視訊的另一中間儲存裝置。目的地裝置14可經由串流傳輸或下載自儲存裝置存取所儲存視訊資料。檔案伺服器可係能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地裝置14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)裝置或本端磁碟機。目的地裝置14可經由任何標準資料連接(包括網際網路連接)存取經編碼視訊資料。此可包括無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)，或適合於存取儲存於檔案伺服器上之經編碼視訊資料的兩者之一組合。自儲存裝置的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。
該等技術可應用於視訊寫碼以支援多種多媒體應用中之任一者，諸如空中電視廣播、有線電視傳輸、有線傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如HTTP動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊的解碼或其他應用或以上實例之組合。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
電腦可讀媒體16可包括瞬時媒體，諸如無線廣播或有線網路傳輸，或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、快閃驅動機、緊密光碟、數位視訊光碟、Blu-ray光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(圖中未示)可自源裝置12接收經編碼視訊資料，且(例如)經由網路傳輸將經編碼視訊資料提供至目的地裝置14。類似地，諸如光碟衝壓設施之媒體產生設施的計算裝置可自源裝置12接收經編碼視訊資料且產生含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體16可理解為包括各種形式之一或多個電腦可讀媒體。
目的地裝置14之輸入介面26自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20之視訊編碼器20定義之語法資訊，語法資訊亦由視訊解碼器30使用，語法資訊包括描述區塊及其他經寫碼單元(例如，圖像群組(GOP))之特性及/或處理的語法元素。輸入介面26可包含各種類型之組件或裝置。舉例而言，輸入介面26可包含無線接收器、數據機、有線網路連接組件(例如，乙太網路卡)或另一實體組件。在輸入介面26包含無線接收器之實例中，輸入介面26可經組態以接收根據蜂巢式通信標準(諸如4G、4G-LTE、進階LTE、5G及其類似者)調變之資料，諸如位元串流。在輸入介面26包含無線接收器之一些實例中，輸入介面26可經組態以接收根據諸如IEEE 802.11規範、IEEE 802.15規範(例如，ZigBee™)、Bluetooth™標準及其類似者之其他無線標準而調變的資料，諸如位元串流。在一些實例中，輸入介面26之電路系統可整合於目的地裝置14之視訊解碼器30及/或其他組件之電路系統中。舉例而言，視訊解碼器30及輸入介面26可為SoC之部分。SoC亦可包括其他組件，諸如一般用途微處理器、圖形處理單元等。
儲存媒體28可經組態以儲存經編碼視訊資料，諸如由輸入介面26接收之經編碼視訊資料(例如，位元串流)。顯示裝置32向使用者顯示經解碼視訊資料，且可包含多種顯示裝置中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示裝置。
視訊編碼器20及視訊解碼器30各自可被實施為多種合適編碼器電路系統中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術以軟體部分地實施時，裝置可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別裝置中之組合式編碼器/解碼器(編解碼器)之部分。
在2016年，MPEG及ITU-T VCEG形成聯合探索視訊小組(JVET)，以探索用於下一代視訊寫碼標準之新寫碼工具。參考軟體被稱作JEM (聯合探索模型)。
在當前對JEM、JEM及其他視訊寫碼規範之提議中，視訊資料包括一系列圖像。舉例而言，在該系列圖像中，可能存在一同置圖像、一或多個參考圖像及一當前寫碼圖像。圖像亦可被稱為「圖框」。圖像可包括一或多個樣本陣列。圖像之每一各別樣本陣列可包含各別色彩分量之樣本陣列。在JEM中，圖像可包括三個樣本陣列，表示為SL 、SCb 及SCr 。SL 為明度樣本之二維陣列(即，區塊)。SCb 為Cb色度樣本之二維陣列。SCr 為Cr色度樣本之二維陣列。在其他情形中，圖像可為單色的，且可僅包括明度樣本陣列。
作為編碼視訊資料之部分，視訊編碼器20可編碼視訊資料之圖像。換言之，視訊編碼器20可產生視訊資料之圖像之經編碼表示。圖像之經編碼表示在本文中可被稱作「經寫碼圖像」或「經編碼圖像」。
為產生圖像之經編碼表示，視訊編碼器20可編碼圖像之區塊。視訊編碼器20可將視訊區塊之經編碼表示包括於位元串流中。舉例而言，為產生圖像之經編碼表示，視訊編碼器20可將圖像之每一樣本陣列分割成寫碼樹型區塊(CTB)並編碼CTB。CTB可為圖像之樣本陣列中的樣本之N×N區塊。
視訊編碼器20可產生用於正在編碼之當前區塊之預測區塊(例如，明度、Cb及Cr預測區塊)的預測性區塊(例如，明度、Cb及Cr預測性區塊)。視訊編碼器20可使用框內預測或框間預測以產生預測性區塊。若視訊編碼器20使用框內預測產生預測性區塊，則視訊編碼器20可基於包括正在編碼之當前區塊的圖像之經解碼樣本產生預測性區塊。在先前標準及JEM中，當前區塊之預測性區塊基於參考圖像(亦即，除當前圖像之外的圖像)之經解碼樣本進行編碼。然而，在當前對JEM的用以改良JEM中之進階時間運動向量預測演算法的提議中，若視訊編碼器20使用框間預測產生當前圖像的正進行編碼之當前區塊之預測性區塊，則視訊編碼器20可基於同置參考圖像(亦即，除當前圖像之外的圖像，且不一定為參考圖像)之經解碼樣本產生正進行編碼之當前區塊的預測性區塊。應注意，同置參考圖像可為參考圖像中之一者。在一些實施例中，同置參考圖像可具有參考索引，其在清單0或清單1中為0 (在下文進一步描述)。
在一些實例中，視訊編碼器20將變換之應用跳至變換區塊。在此等實例中，視訊編碼器20可處理殘餘樣本值，可以與變換係數相同之方式處理殘餘樣本值。因此，在視訊編碼器20跳過變換之應用的實例中，變換係數及係數區塊之以下論述可適用於殘餘樣本之變換區塊。
在產生係數區塊之後，視訊編碼器20可量化該係數區塊。量化大體上係指將變換係數量化以可能地減少用以表示變換係數之資料之量從而提供進一步壓縮的程序。在一些實例中，視訊編碼器20跳過量化。在視訊編碼器20將係數區塊量化之後，視訊編碼器20可產生指示經量化變換係數之語法元素。視訊編碼器20可熵編碼指示經量化變換係數之語法元素中之一或多者。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文適應性二進位算術寫碼(CABAC)。因此，經編碼區塊(例如，經編碼當前區塊)可包括指示經量化變換係數之經熵編碼語法元素。
視訊編碼器20可輸出包括經編碼視訊資料之位元串流。換言之，視訊編碼器20可輸出包括視訊資料之經編碼表示的位元串流。舉例而言，位元串流可包含形成視訊資料及相關聯資料的經編碼圖像之表示的位元之序列。在一些實例中，經寫碼圖像之表示可包括區塊之經編碼表示。
在JEM中且在當前對JEM之提議中，對於每一區塊，一組運動資訊可為可用的。一組運動資訊可包括用於前向及後向預測之運動資訊。在此，前向及後向預測為雙向預測模式之兩個預測方向，且術語「前向」及「後向」未必具有幾何意義；實情為其對應於當前圖像之參考圖像清單0 (RefPicList0)及參考圖像清單1 (RefPicList1)。當一個參考圖像清單可用於一圖像或圖塊時，RefPicList0係可用的，且圖塊之每一區塊之運動資訊係前向的。
對於每一預測方向，運動資訊可含有參考索引及運動向量。如先前所指出，可基於(亦即)與當前寫碼圖像中之當前區塊相關聯的至少一個第二導出運動向量，基於與同置圖像中之相關聯區塊相關聯的至少一個第一導出運動向量判定預測區塊。預測區塊可與前向預測方向或後向預測方向相關聯。
參考索引用於識別當前參考圖像清單(RefPicList0或RefPicList1)中之參考圖像。在先前技術中，運動資訊可自與參考索引相關聯之參考圖像的使用而導出。在對ATMVP之改良中，由於緩衝器記憶體(例如，圖7中之DPB 1216及圖8之DPB 1312)增大，因此在不將參考圖像用於第一導出運動向量的情況下導出運動資訊係合乎要求的。此或許有可能，因為同置參考圖像可為參考圖像中之一者。因而，並不需要儲存所有參考圖像之運動資訊。
視訊寫碼標準中廣泛使用圖像次序計數(POC)以識別圖像之顯示次序。雖然存在一個經寫碼視訊序列內之兩個圖像可具有相同POC值的狀況，但經寫碼視訊序列內通常不發生此類狀況。當位元串流中存在多個經寫碼視訊序列時，就解碼次序而言，具有同一POC值之圖像可更接近於彼此。圖像之POC值通常用於參考圖像清單建構。在當前對JEM之提議中，可如同在HEVC及運動向量按比例調整中設定參考圖像之導出。
在當前對JEM之提議及JEM中，存在多個框間預測模式。框間預測包括合併/跳過模式、FRUC模式、仿射模式及AMVP模式。在AMVP或合併模式中，針對多個運動向量預測符維持運動向量(MV)候選者清單。
在合併模式中，藉由自MV候選者清單獲取一個候選者來產生運動向量以及參考索引。MV候選者清單可含有用於合併模式之達7個候選者及用於AMVP模式之僅兩個候選者。合併候選者可含有一組運動資訊，例如，對應於兩個參考圖像清單(清單0及清單1)之運動向量及參考索引。若由合併索引來識別合併候選者，則參考圖像用於當前區塊之預測，以及判定相關聯之運動向量。
更特定言之，在合併模式中，視訊編碼器20及視訊解碼器30針對當前區塊產生匹配合併運動向量(MV)候選者清單。用於當前區塊之合併MV候選者清單包括一或多個合併候選者，其亦可被稱作運動向量預測符(MVP)。在當前對JEM之提議及JEM中，合併MV候選者清單含有達7個合併候選者。合併MV候選者清單中之每一各別合併候選者指定一或多個運動向量及一或多個參考索引。舉例而言，合併候選者可指定清單0運動向量及/或清單1運動向量，且可指定清單0參考索引及/或清單1參考索引。清單0運動向量為指示清單0中之參考圖像中之位置的運動向量。清單1運動向量為指示清單1中之參考圖像中之位置的運動向量。視訊編碼器20可發信合併索引，其指示用於當前區塊之選定合併候選者在合併MV候選者清單中之位置。視訊解碼器30可使用合併索引識別選定合併候選者。
在當前對JEM之提議中，固定次序(在下文參考空間候選者進一步解釋)可由合併清單中之候選者替換(亦即，清單0或清單1)，以找出當前區塊之運動資訊。在一個實施例中，視訊解碼器30可接著使用來自同置參考圖像之(第一導出)運動向量導出第二導出運動向量，從而將選定合併候選者之參考索引用作運動向量(亦即，此等可為第二導出運動向量)。
在圖2A及圖2B中的圖示分別展示例示性清單0及清單1之概念圖。圖2A中之例示性清單0說明四個圖像{P4、P3、P2及P1}，其分別具有參考標記202A、204A、206A及208A。類似地，圖2B中之例示性清單1說明四個圖像{P4、P3、P2及P1}，其分別具有參考標記202A、204A、206A及208A。
在JEM中，在合併模式中的第一步，多達四個空間MV候選者可按圖2A中用數字展示之次序導出，且固定次序如下：左側(0)、上方(1)、右上方(2)及左下方(3)。
圖像1 208A中的當前區塊(CB)包括周圍空間相鄰者{NB1、NB2、NB3、NB4及NB5}。舉例而言，NB1、NB2、NB3及NB4可處於固定次序：左側(0)、上方(1)、右上方(2)及左下方(3)。空間相鄰者(例如，NB4)可為運動向量預測符(MVP)候選者，此係因為周圍空間相鄰者已被解碼，且其運動資訊(若存在)已為可用的。已被編碼或解碼之區塊(表示為AB)亦可具有其自身經預測運動向量(如由短劃線箭頭所說明)。
圖2C說明用於合併模式的空間相鄰MV候選者之第一步。後續步驟可檢查ATMVP候選者，檢查STMVP候選者。若候選者數目小於6，則可接下來檢查左上方(4)。隨後，可執行時間候選者之檢查。為了獲得時間候選者，首先進行右下方方位檢查，若不可用，則可執行中心區塊之檢查。若合併候選者清單大小小於7，則可增加額外候選者，直至清單大小等於7為止。
在本發明中，可使用經先前寫碼鎖之運動資訊產生初始運動向量。經先前寫碼區塊可為正進行編碼或解碼之當前區塊的相鄰區塊。運動資訊可包括參考索引、運動向量及框間方向。
初始運動向量可用以反向指向同置參考圖像中的已被編碼或解碼之對應區塊。
根據本文中描述之技術，視訊編碼器20可利用經先前寫碼區塊之運動資訊以產生可用以指向同置參考圖像中之對應區塊的初始運動向量[(例如)參見圖4A至圖4B中之流程圖]，以編碼視訊資料。同置參考圖像中之對應區塊可包括第一組導出運動向量，其可用以找出第二組導出運動向量。
舉例而言，視訊編碼器20可針對視訊資料之當前圖像中的當前區塊，判定經先前寫碼圖像中之寫碼區塊。寫碼區塊可涵蓋經先前寫碼圖像中之一共置區塊及在該經先前寫碼圖像內的方位。然而，經先前寫碼圖像未必為參考區塊。共置區塊可與當前區塊具有同一形狀，且共置區塊在經先前寫碼圖像內的位置可與當前區塊在當前圖像內的位置相同。基於寫碼區塊之一或多個運動向量，視訊編碼器20可判定當前區塊之一或多個運動向量。基於當前區塊之一或多個運動向量，視訊編碼器20可使用經先前寫碼區塊之運動資訊產生初始運動向量，該初始運動向量可用以指向同置參考圖像中的對應區塊。視訊編碼器20可接著使用預測性區塊及當前區塊產生殘餘資料。
類似地，視訊解碼器30可使用經寫碼相鄰區塊之運動資訊產生初始運動向量，該初始運動向量可用以指向同置參考圖像中的對應區塊。舉例而言，視訊解碼器30可針對視訊資料之當前圖像中的當前區塊，判定經先前寫碼圖像中之寫碼區塊。寫碼區塊可涵蓋經先前寫碼圖像中之一共置區塊及在該經先前寫碼圖像內的方位。共置區塊可與當前區塊具有同一形狀，且共置區塊在經先前寫碼圖像內的位置可與當前區塊在當前圖像內的位置相同。基於寫碼區塊之一或多個運動向量，視訊解碼器30可判定當前區塊之一或多個運動向量。
基於當前區塊之一或多個運動向量，視訊解碼器30可使用經先前寫碼區塊之運動資訊產生初始運動向量，該初始運動向量可用以指向同置參考圖像中的對應區塊。視訊解碼器30可接著使用殘餘資料及預測性區塊重建構當前區塊。
合併候選者對應於完整運動資訊集合，而AMVP候選者針對特定預測方向僅含有一個運動向量。合併模式及AMVP模式兩者之候選者可類似地自相同空間及時間相鄰區塊導出。
在視訊寫碼器(亦即，視訊編碼器或視訊解碼器)內，運動向量可經按比例調整。當按比例調整運動向量時，運動向量之值可在呈現時間與圖像之距離成比例。運動向量使兩個圖像相關聯，即同置參考圖像及含有該運動向量之圖像。在本發明內，運動向量為初始運動向量，且同置參考圖像包括第一導出運動向量(至少一個第一導出運動向量)，且含有該運動向量之圖像為當前寫碼圖像。當初始運動向量用以預測其他運動向量(亦即，同置參考圖像中之第一導出運動向量)時，基於同置參考圖像及含有圖像(亦即，當前寫碼圖像)之圖像次序計數(POC)值計算含有圖像與參考圖像之距離。
對於有待預測之運動向量，該運動向量之相關聯含有圖像及同置參考圖像兩者可為不同的。因此，計算新距離(基於POC)。基於此等兩個POC距離按比例調整初始運動向量。對於空間相鄰候選者，用於兩個運動向量之含有圖像相同，而同置參考圖像不同。在對JEM之提議及JEM中，運動向量按比例調整針對空間及時間相鄰候選者應用於TMVP及AMVP兩者。
在現有JEM中，進階時間運動向量預測(ATMVP)，ATMVP中之運動資訊(包括運動向量及參考圖框)僅經歷參考圖像。為導出當前區塊之ATMVP，第一步為判定將在何處提取時間運動向量(自圖7中之DPB緩衝器1216或圖8中之DPB 1312)。ATMVP可按固定次序在五個相鄰區塊中找出第一可用的運動向量：{左側、上方、右上方、左下方及左上方}。該等五個相鄰區塊的定義與當前區塊之空間合併候選者相同。為避免重複經先前寫碼相鄰區塊之掃描程序，需要找出已被導出之合併候選者清單中的第一合併候選者之運動向量來判定在何處提取時間運動向量。可將當前區塊分裂成正方形N×N子區塊(例如，N被設定為4)。可接著遵循光柵掃描次序遞歸地導出子區塊之運動向量。作為一實例，當前JEM參考軟體中之流程圖在圖3A至圖3C中進行說明。
應注意，在圖3A之步驟1中，在步驟1中，僅僅自參考圖像獲得開始運動向量。在圖3B之步驟2中，僅僅自參考圖像獲得初始運動向量。此等侷限性造成上述問題，即在ATMVP演算法中，自參考圖像提取運動向量之資訊，該等資訊被儲存於參考緩衝器(例如，圖7中之DPB緩衝器1216或圖8中之DPB 1312中)。參考緩衝器中之每一參考儲存器之運動向量資訊增大功率消耗及記憶體之大小。
對當前JEM及未來標準之所提議ATMVP改良在圖4A、圖4B以及圖6流程圖中進行說明。所提議改良為初始運動向量可指向同置圖像，且不指向參考圖像，以判定運動向量。
經預期，可僅自同置參考圖像及當前寫碼圖像中的與對應區塊相關聯的運動向量(亦即，第一組運動向量)導出當前圖像中之當前區塊之運動向量(MV)。因此，可被導出的當前圖像中之當前區塊之運動向量可被視為第二組導出運動向量。此克服了對僅在參考圖像上導出運動向量的依賴，該依賴如先前所論述增大參考緩衝器。
在一個實例中，編碼器或解碼器可處於ATMVP模式中，且在ATMVP模式中可僅僅使用當前寫碼圖像及同置圖像之MV導出運動向量。在ATMVP模式內，可能存在一合併模式，其中在合併模式中可僅僅使用當前寫碼圖像及同置圖像之MV導出運動向量。而在先前，藉由找出參考圖像內的當前區塊之相鄰區塊之運動向量來使用運動資訊，經預期，找出同置參考圖像改良記憶體效率。
在如圖4A之實例A中所說明的一個實例中，存在決策檢查406A，其中一組圖像(例如，如同圖2A及/或圖2B中的P4、P3、P2)可具有經先前寫碼的至少一個先前鎖。當前圖像(例如，圖2A及/或圖2B中之P1)可具有待寫碼之一當前區塊(CB-P1)，具有亦經先前寫碼之相鄰區塊{NB1-NB5}的一空間候選者。換言之，找出初始運動向量之決策檢查係基於是否為當前寫碼圖像中的先前經解碼區塊之運動向量的檢查。
可使用當前圖像內的包括相鄰區塊之經先前寫碼區塊之運動向量找出與當前區塊相關聯之對應區塊。可按固定次序檢查當前圖像內的包括相鄰區塊之經先前寫碼區塊之運動向量，以找出指向同置參考圖像之初始運動向量。舉例而言，固定次序可為檢查相鄰區塊{NB1-NB5}。
若對應區塊運用框間預測進行寫碼(亦即，按時序在當前圖像(P1)與先前圖像(例如，P2至P4)之間)，且發現匹配，則先前圖像中之一者為同置圖像，且停止實例A：406A決策檢查(是)。因此，當前圖像中之當前區塊周圍的相鄰區塊中之一者具有指向對應區塊之運動向量，且可表示為初始運動向量410。
在實例A中，406A，需要藉由首先檢查參考圖像中存在當前區塊之相鄰區塊之可用的運動向量，來優先化搜尋初始運動向量。若存在匹配，則參考圖像亦為同置參考圖像，且經改良步驟1及步驟2導致經改良步驟3。因此，找出初始運動向量之決策檢查係基於固定次序，其中該固定次序為在視訊資料之當前圖像之當前區塊之前檢查先前經解碼區塊。替代地，或許有可能，決策檢查並非為找出指向同置參考圖像之初始運動向量的最高優先級。
在圖4B中，說明了經改良步驟3。對於當前區塊中之每一N×N區塊(例如，N=4)，初始運動向量可指向同置圖像(參見圖5D)，且可導出同置圖像中的自對應區塊指向當前區塊的運動向量。可針對每一方向，將同置圖像中之運動向量按比例調整至參考ID=0。若由當前區塊使用之參考位置不同於由自其導出MV之區塊使用的參考，則使用按比例調整。因而，找出初始運動向量之決策檢查係基於先前經解碼區塊之MV的運動向量的按比例調整操作。另外，找出初始運動向量之決策檢查包括並非為當前寫碼圖像中之當前區塊之相鄰者區塊的其他運動向量之按比例調整，及經按比例調整之其他運動向量是否指向同置參考圖像的檢查。
在一實例中，吾人迫使ATMVP模式使用ID等於0之參考，因此吾人必須將MV按比例調整至ID為0之參考。在一個實施例中，可將實例A，406A中的搜尋初始運動向量實施為最高優先級，亦即，在其他實例B至E (406B至406E)之前執行。因此，將決策檢查實施為最高優先級，以找出指向同置參考圖像之初始運動向量。
在另一實例中，實例B 406B，若先前檢查中不存在匹配(否)(例如，406A)，則同置參考圖像並非為參考圖像，且同置參考圖像可相對於當前圖像及參考圖像隨時間位於不同方位。
在圖5A至圖5C概念性圖中說明了三個不同實例。在圖5A至圖5C中之實例中，若未找出導致當前圖像510之當前區塊512匹配不同圖像中的與當前區塊512相關聯之相關聯區塊的初始運動向量，則可將參考圖像518之鄰域空間候選者的運動向量(例如，528)按比例調整至同置參考圖像526。在一個實施例中，在運動向量528可經按比例調整至同置參考圖像526的情形中，可將實例406B中之說明實施為第二最高優先級，亦即，在其他實例406C至406E之前執行。基於當前圖像及同置參考圖像之圖像次序計數(POC)值計算當前圖像與同置參考圖像的距離。經按比例調整之運動向量可係基於線性運算的，例如，基於除法、乘法、減法及/或加法。經按比例調整之運動向量可被稱作一內插運動向量。在一些狀況下，經按比例調整之運動向量亦可被稱作一外插運動向量。因此，按比例調整操作可包括當前寫碼圖像中的先前經解碼區塊之運動向量的內插或外插。
舉例而言，在圖5A中，可將當前圖像510中的當前區塊512之相鄰空間候選者之運動向量(例如，相鄰運動向量(MV) 544)按比例調整至同置參考圖像526。按比例調整可被稱作內插，且所產生的經按比例調整向量可被稱作內插運動向量536，其係基於同置參考圖像526及參考圖像518之POC值。若基於使用當前寫碼圖像510中的經先前解碼區塊(例如，相鄰空間候選者)，同置圖像526中的視訊資料之相關聯區塊528之位置對應於當前寫碼圖像510中的視訊資料之當前區塊512，則內插運動向量536可為初始運動向量。在圖5A中，內插運動向量536表示比相鄰者運動向量544短的時間距離，此係因為同置參考圖像526比參考圖像518更接近當前圖像510。
在其他實施例中，在圖5B及圖5C中所說明，同置參考圖像526並非位於參考圖像518與當前圖像510之間，運動向量(例如，相鄰MV 544)可經按比例調整至同置參考圖像526。按比例調整可被稱作外插，且所產生的經按比例調整向量可被稱作外插向量(例如，外插運動向量537)，其係基於同置參考圖像526及參考圖像518之POC值。若基於使用當前寫碼圖像510中的經先前解碼區塊(例如，相鄰空間候選者)，同置圖像526中的視訊資料之相關聯區塊528之位置對應於當前寫碼圖像510中的視訊資料之當前區塊512，則外插運動向量537可為初始運動向量。在圖5B及圖5C中所說明之實例可與圖5A中之實例運用相同優先級實施，或在一替代實施例中，可運用比圖5A中之實例的優先級低的優先級實施。
在圖5B中，外插運動向量537表示比相鄰者運動向量544長的時間距離，此係因為同置參考圖像526比參考圖像518更遠離當前圖像510。
在圖5C中，外插運動向量537表示沿著與相鄰者運動向量544至參考圖像518之時間距離相反的方向的時間距離。如上文所論述，同置參考圖像526未必需要節省解碼器圖像緩衝器中的參考索引。因而，在找出初始運動向量方面，使用同置參考圖像比使用參考圖像528更合乎要求。
當經按比例調整之運動向量(例如，內插運動向量536或外插運動向量537)指向同置參考圖像526時，經改良步驟1及步驟2導致經改良步驟3。經按比例調整之運動向量隨後變為初始運動向量(如圖5D中所說明)。
在實例C：406C中，可執行決策檢查(i)以按比例調整相鄰區塊之運動向量；(ii)經按比例調整之相鄰運動向量是否存在且可按固定次序檢查(例如，NB1至NB5)，找出是否指向清單{清單0或清單1}中的同置圖像以找出初始運動向量。
若存在匹配，則經按比例調整之運動向量指向清單中之同置參考圖像，且經改良步驟1及步驟2導致經改良步驟3。經按比例調整之運動向量隨後變為初始運動向量(如圖5D中所說明)，其中同置圖像位於清單{清單0或清單1}中。
若存在匹配，則經按比例調整之運動向量指向清單中之同置參考圖像，且經改良步驟1及步驟2導致經改良步驟3。經按比例調整之運動向量隨後變為初始運動向量(如圖5D中所說明)。
在實例C，406C中，若如關於實例406A及406B所描述的先前決策檢查並未產生當前圖像510中之當前區塊與具有相關聯運動向量(例如，參考圖像中(實例406A)，其中相關聯運動向量在同置參考圖像中進行按比例調整(實例406B)之另一區塊之間的匹配，則可運用比先前實例中之任一者更低的優先級執行進一步決策檢查406D。因此，決策檢查可能未必為找出指向同置參考圖像之初始運動向量的最高優先級。
在實例D中：決策檢查406D可(i)首先按比例調整其他MV (其並非為當前圖像中之當前區塊的相鄰者區塊)，且(ii)檢查其他經按比例調整之MV是否指向同置圖像以找出初始MV。若經按比例調整之其他運動向量中之一者指向同置圖像，則經按比例調整之其他運動向量可為初始運動向量(如圖5D中所說明)。
若存在匹配，則經按比例調整之其他運動向量指向同置參考圖像，且經改良步驟1及步驟2導致經改良步驟3。經按比例調整之運動向量隨後變為初始運動向量(如圖5D中所說明)。在實例E：決策檢查406E中，若所有相鄰者區塊之運動向量不合格，則可檢查預設運動向量(亦即，運動向量(0,0)以指向同置圖像以找出初始MV。若存在匹配，則預設運動向量指向同置參考圖像，且經改良步驟1及步驟2導致經改良步驟3。預設運動向量隨後變為初始運動向量(如圖5D中所說明)。
除實例A至實例E之外，ATMVP模式中可適用的每一區塊可為相鄰者區塊，但相鄰者區塊可能未必為合併候選者，亦即，當前圖像之相鄰者區塊可能未必為合併候選者。因此，可使用作為相鄰區塊的經先前寫碼區塊找出初始運動向量。類似地，可使用作為當前圖像之相鄰區塊且亦作為合併候選者的經先前寫碼區塊找出初始運動向量。
因此，使用合併候選者清單中之合併候選者產生初始運動向量亦可為可能的。在一個實例中，若多於一個空間候選者係可用的，則檢查次序可視由空間候選者用以產生初始運動向量的參考圖像而定。在另一實例中，若多於一個合併候選者係可用的，則檢查次序可視合併候選者清單中的候選者之次序而定。在又一實例中，若多於一個合併候選者係可用的，則在當前寫碼圖像中之空間候選者之前檢查經先前解碼圖像中的時間候選者。在另一實例中，對於寫碼效率，若多於一個合併候選者係可用的，則在一經先前解碼圖像中之一時間之前檢查當前寫碼圖像中的一空間候選者。
在上文初始運動向量可由相鄰區塊之運動向量的函數產生的實例中，可存在除明確使用相鄰區塊之運動向量之外所使用的不同變體。舉例而言，相鄰區塊之運動向量的中位值可被用作初始運動向量。在另一變體中，相鄰區塊之運動向量的平均值可為初始運動向量。
在使用本發明中之技術的情況下，在合併模式(其為ATMVP模式內的模式)中，可將一運動向量添加至清單，且可將其用以預測其他運動向量(例如，初始運動向量)。若由合併候選者使用之參考的POC不同，則運動向量可經按比例調整至同置參考圖像526。
舉例而言，406AMV(類似於實例406A)，指向同置參考圖像的空間合併候選者之運動向量可以最高優先級被實施為初始運動向量。為方便起見，「MV」被附加至實例406A至406E中之參考標記，以明確地描述當ATMVP模式處於合併模式中時實例406A至406E之適用性。
若在實例406AMV中無法找出初始運動向量，則(類似於實例406B)另一實例，406BMV，可包含空間合併候選者之運動向量，其可經按比例調整(例如，經內插或外插)至同置參考圖像526。經按比例調整之運動向量(經內插抑或經外插)可被實施為初始運動向量，且檢查可相比實例406AMV之檢查具有較低優先級。
若實例406AMV或406BMV中之檢查不會導致找出初始向量，則在另一實例中，406CMV (類似於實例406C)，空間合併候選者之運動向量可運用外插經按比例調整至同置參考圖像，該運動向量被視為初始運動向量，如圖5D中所說明。相比實例406AMV及406BMV任一者之檢查，實例406CMV可被實施為較低優先級檢查。
在實例406AMV、406BMV或406CMV中，使用各種實施而找不出匹配係可能的。在此狀況下，實例406DMV (類似於實例406D)，決策檢查406D可(i)首先按比例調整其他MV (並非為當前圖像中的當前區塊之相鄰者區塊)，且(ii)檢查其他經按比例調整之MV是否指向同置圖像來找出初始MV。若經按比例調整之其他運動向量中之一者指向同置圖像，則經按比例調整之其他運動向量可為初始運動向量(如圖5D中所說明)。相比實例406AMV、406BMV或406CMV任一者之檢查，實例406DMV可被實施為較低優先級檢查。
在實例406AMV、406BMV、406CMV或406DMV中，使用各種實施而找不出匹配係可能的。在此狀況下，實例406EMV (類似於實例406E)，決策檢查406E若所有相鄰者區塊之運動向量不合格，則可檢查預設運動向量(亦即，運動向量(0,0)指向同置圖像來找出初始MV。
若存在匹配，則預設運動向量指向同置參考圖像，且經改良步驟1及步驟2導致經改良步驟3。預設運動向量隨後變為初始運動向量(如圖5D中所說明)。因此，找出初始運動向量之決策檢查可包括使用預設運動向量指出同置參考圖像。
應注意，存在實例406AMV、406BMV、406CMV、406DMV及406EMV之變體。在一個變體中，若多於一個合併候選者係可用的，則檢查次序可視合併候選者清單中的候選者之次序而定。在另一變體中，若多於一個合併候選者係可用的，則檢查次序可視候選者之類型而定。可首先檢查時間候選者，隨後可檢查空間候選者；或替代地，可首先檢查空間候選者，隨後可檢查時間候選者。在另一變體中，合併候選者之MV之中位值可被用作初始運動向量，亦即，初始運動向量可為至少兩個先前經寫碼區塊之運動向量的平均值。大體而言，初始運動向量可係基於至少兩個運動向量之比較。在另一變體中，初始運動向量可為至少三個先前經寫碼區塊之運動向量之中位值。在另一變體中，合併候選者之MV之平均值可被用作初始MV。在先前實例或變體中的一些中，若由合併候選者使用之參考之POC係不同的，則MV可經按比例調整至同置參考圖像。
如圖5D中所說明，初始運動向量可指向同置參考圖像526中之區塊(或子區塊)的方位。可針對與當前圖像526中的當前區塊之方位相關聯的子區塊導出同置參考圖像526中之運動向量606A至606D。儘管展示了四個運動向量606A至606D，且此等四個運動向量606A至606D為第一導出運動向量，但可能僅僅存在一個第一導出運動向量606x，其中X =A、B、C或D。因而，同置參考圖像526中的相關聯區塊包括具有第一導出運動向量之子區塊。初始運動向量可基於決策檢查而判定。在一些實施例中，初始運動向量可由實例406A、406B、406C、406D或實例406E判定。在一替代實施例中，初始運動向量可由實例406AMV、406BMV、406CMV、406DMV或實例406EMV判定。
第一導出運動向量可被按比例調整或使用。舉例而言，第一導出運動向量606A至606D之一或多者可指向另一圖像中的另一區塊。另一區塊可包括另一運動向量(亦即，第二導出運動向量)。同置參考圖像與另一圖像之間的時間距離可能不會彼此鄰接。可基於同置參考圖像及另一圖像之圖像次序計數(POC)值計算同置參考圖像與另一圖像之距離。因而，第一導出運動向量可經按比例調整。在同置參考圖像及另一圖像彼此鄰接的情形中，可使用(例如，拷貝或參考)第一導出運動向量以產生第二導出運動向量。在至少一個第一導出運動向量(606A、606B、606C或606D)經按比例調整的狀況下，經按比例調整之第一導出運動向量可應用於當前圖像之當前區塊以產生另一圖像中之至少一個第二導出運動向量。另一圖像可為當前寫碼圖像。此外，至少一個第二導出運動向量(未繪製)可基於框間方向指向另一圖像(例如，可為當前寫碼圖像)。框間方向可包括自區塊至清單0或清單1中的另一區塊之運動向量(如上文所論述)。因此，至少一個第二導出運動向量可指向清單0或清單1中的另一區塊，且在清單0或清單1內，當前寫碼圖像可包括於此等兩種清單中之一者中。另一區塊可為當前寫碼圖像中之當前區塊。
另外，同置參考圖像可為具有參考索引之參考圖像，且參考索引可具有數個值，例如，0、1、2、3等等。為方便起見，參考索引可為預設值0。應注意，同置參考圖像中的相關聯區塊之至少一個第一導出運動向量可根據相對於同置參考圖像的當前圖像中之當前區塊的POC按比例調整。
同置參考圖像526可與HEVC中所定義的相同，或可在序列層級、圖像層級、圖塊層級或區塊層級將不同圖像自編碼器發信至解碼器。舉例而言，同置參考圖像可在序列參數集合(SPS)、圖像參數集合(PPS)、圖塊標頭(SH)、寫碼樹型單元(CTU)或寫碼單元(CU)中發信。
圖6為說明圖1及圖8之視訊解碼器30在執行本發明中所描述之技術之各種態樣時的實例操作的流程圖。如圖6之實例中所示，視訊解碼器30可經組態以根據本發明之技術解碼視訊資料。
視訊解碼器30可經組態以包括儲存視訊資料之記憶體(例如，圖8中之DPB 1316)，及經組態以判定哪個圖像為同置圖像250之處理器。另外，處理器可經組態以基於使用當前寫碼圖像中的經先前解碼區塊以找出同置圖像中之相關聯區塊與當前寫碼圖像中之當前區塊之間的初始運動向量，判定同置圖像中的對應於當前寫碼圖像中之視訊資料之當前區塊的視訊資料之相關聯區塊之位置，其中視訊資料之相關聯區塊包括至少一個第一導出運動向量252。處理器亦可經組態以基於決策檢查判定初始運動向量254。處理器亦可經組態以基於與同置圖像中之相關聯區塊相關聯的至少一個第一導出運動向量，判定與當前寫碼圖像中之當前區塊相關聯的至少一個第二導出運動向量。處理器亦可經組態以判定當前寫碼圖像中的視訊資料之當前區塊之運動資訊256，且使用經判定運動資訊以獲得預測區塊，隨後基於預測區塊與殘餘區塊之組合產生經重建構區塊258。
圖7為說明可實施本發明之技術之實例視訊編碼器20的方塊圖。出於解釋之目的而提供圖8，且不應將其視為對如本發明中廣泛例示及描述之技術的限制。本發明之技術可應用於各種寫碼標準或方法。
在圖7之實例中，視訊編碼器20包括預測處理單元1200、視訊資料記憶體1201、殘餘產生單元1202、變換處理單元1204、量化單元1206、反量化單元1208、反變換處理單元1210、重建構單元1212、濾波器單元1214、經解碼圖像緩衝器1216及熵編碼單元1218。預測處理單元1200包括框間預測處理單元1220。
視訊資料記憶體1201可經組態以儲存待由視訊編碼器20之組件編碼之視訊資料。可(例如)自視訊源18獲得儲存於視訊資料記憶體1201中之視訊資料。經解碼圖像緩衝器1216可為參考圖像記憶體，該參考圖像記憶體儲存參考視訊資料以供用於由視訊編碼器20在(例如)框內或框間寫碼模式中編碼視訊資料。視訊資料記憶體1201及經解碼圖像緩衝器1216可由多種記憶體裝置中之任一者形成，諸如動態隨機存取記憶體(DRAM)，包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體裝置。可由同一記憶體裝置或單獨記憶體裝置提供視訊資料記憶體1201及經解碼圖像緩衝器1216。在各種實例中，視訊資料記憶體1201可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。視訊資料記憶體1201可與圖1之儲存媒體19相同或為其一部分。
框間預測處理單元1220可產生用於當前區塊之預測性資料。作為產生用於當前區塊之預測性資料之部分，框間預測處理單元1220可對當前區塊執行框間預測。用於當前區塊之預測性資料可包括當前區塊之預測性區塊及用於當前區塊之運動資訊，如上文所描述。框間預測處理單元1220可將技術應用於使用經寫碼相鄰區塊之運動資訊產生初始運動向量，該初始運動向量可用以指向同置參考圖像中之對應區塊，如在本發明中別處所描述。
殘餘產生單元1202可產生當前區塊之殘餘區塊，使得殘餘區塊中之每一樣本具有等於當前區塊之寫碼區塊中的樣本與當前區塊之對應選定預測性區塊中的對應樣本之間的差的值。
變換處理單元1204可執行將當前區塊之殘餘區塊分割成當前區塊之變換區塊。量化單元1206可將係數區塊中之變換係數量化。
反量化單元1208及反變換處理單元1210可分別將反量化及反變換應用於係數區塊，以自係數區塊重建構殘餘區塊。重建構單元1212可將經重建構殘餘區塊添加至來自由預測處理單元1200產生之一或多個預測性區塊的對應樣本，以產生與當前區塊相關聯之經重建構變換區塊。藉由以此方式重建構每一當前區塊之變換區塊，視訊編碼器20可重建構當前區塊之寫碼區塊。
濾波器單元1214可執行一或多個解區塊操作以減少與當前區塊相關聯之寫碼區塊中的區塊假影。經解碼圖像緩衝器1216可在濾波器單元1214對經重建構寫碼區塊執行一或多個解區塊操作之後，儲存經重建構寫碼區塊。在使用本發明中所描述之技術的情況下，框間預測處理單元1220可使用含有經重建構寫碼區塊之同置參考圖像對其他圖像之當前區塊執行框間預測，而非使用含有經重建構寫碼區塊之參考圖像對其他圖像之當前區塊執行框間預測。此允許記憶體高效系統，此係因為DPB 1216不必針對每一經寫碼區塊儲存每一參考索引。
熵編碼單元1218可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元1218可自量化單元1206接收係數區塊，且可自預測處理單元1200接收語法元素。熵編碼單元1218可對資料執行一或多個熵編碼操作，以產生經熵編碼資料。舉例而言，熵編碼單元1218可對資料執行CABAC操作、上下文自適應性可變長度寫碼(CAVLC)操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、概率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元1218所產生之經熵編碼資料的位元串流。舉例而言，位元串流可包括表示用於當前區塊之變換係數之值的資料。
視訊編碼器20之各種組件可執行本文中描述之技術，且利用經寫碼相鄰區塊之運動資訊以產生初始運動向量，該初始運動向量可用以指向同置參考圖像中的對應區塊以編碼視訊資料。視訊編碼器20可接著使用預測性區塊及當前區塊產生殘餘資料。
圖8為說明經組態以實施本發明之技術之實例視訊解碼器30的方塊圖。出於解釋之目的而提供圖8，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明在JEM寫碼之上下文中，且在對用以改良JEM寫碼的提議之上下文中描述視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖8之實例中，視訊解碼器30包括熵解碼單元1300、視訊資料記憶體1301、預測處理單元1302、反量化單元1304、反變換處理單元1306、重建構單元1308、濾波器單元1310及經解碼圖像緩衝器1312。預測處理單元1302包括運動補償單元1314及框內預測處理單元1316。在其他實例中，視訊解碼器30可包括更多、更少或不同的功能組件。
若當前區塊使用框間預測進行編碼，則運動補償單元1314可判定用於當前區塊之運動資訊。運動補償單元1314可基於當前區塊之運動資訊，判定當前圖像中之一或多個經先前解碼區塊，以找出同置參考圖像中之相關聯區塊與當前寫碼圖像中之當前區塊之間的初始運動向量(亦即，當參考解碼程序時由解碼裝置解碼圖像)，其中視訊資料之相關聯區塊包括至少一個導出運動向量。
運動補償單元1314可將技術應用於使用經寫碼相鄰區塊之運動資訊產生初始運動向量，且基於與同置參考圖像中之相關聯區塊相關聯的至少第一導出運動向量，判定與當前寫碼圖像中之當前區塊相關聯的至少一個第二導出運動向量。
此外，運動補償單元1314可基於該至少一個第二導出運動向量判定當前寫碼圖像中的視訊資料之當前區塊之運動資訊，且使用經判定運動資訊得到預測區塊(或按色彩預測性區塊，亦即，明度、CB及Cr區塊)。
重建構單元1308可使用當前區塊之變換區塊(例如，明度、Cb及Cr變換區塊)及當前區塊之預測性區塊(例如，明度、Cb及Cr區塊)，且產生一差值(例如，殘餘區塊)以重建構當前區塊之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)。濾波器單元1310可執行解區塊操作以減少與當前區塊之寫碼區塊相關聯之區塊假影。視訊解碼器30可將當前區塊之寫碼區塊儲存於經解碼圖像緩衝器1312中。
在合併模式中，視訊解碼器30可使用當前區塊的經先前寫碼空間相鄰者之一或多個運動向量，至當前區塊之統一合併候選者清單中。因而，在使用經寫碼相鄰區塊之運動資訊針對當前區塊產生指向同置參考圖像中之對應區塊的初始運動向量時，視訊解碼器30可使用經寫碼相鄰區塊之運動資訊產生可用以指向同置參考圖像中之對應區塊的初始運動向量，以基於當前區塊之統一合併候選者清單中的第一運動向量針對當前區塊產生預測性區塊。
應注意，在本發明中之技術亦可適用於一種設備，該設備包括用於解碼當前寫碼圖像中的視訊資料之當前區塊的構件，其包括用於判定哪個圖像為同置圖像的構件，及用於基於使用當前寫碼圖像中的經先前解碼區塊以找出同置圖像中之相關聯區塊與當前寫碼圖像中之當前區塊之間的初始運動向量，來判定同置圖像中的對應於當前寫碼圖像中之視訊資料之當前區塊的視訊資料之相關聯區塊之位置(其中視訊資料之相關聯區塊包括至少一個第一導出運動向量)，當初始mv指向同置圖像時，基於與同置圖像中之相關聯區塊相關聯的至少一個第一導出運動向量，判定與當前寫碼圖像中之當前區塊相關聯的至少一個第二導出運動向量的構件。該設備亦可包括：用於基於至少一個第二導出運動向量判定當前寫碼圖像中的視訊資料之當前區塊之運動資訊的構件，用於使用經判定運動資訊以獲得預測區塊的構件，及用於基於預測區塊與殘餘區塊之組合產生經重建構區塊的構件。
本發明中描述的技術可用於其他視訊寫碼程序，包括在開發中或尚未開發的其他標準或專屬視訊寫碼程序。
如本發明中所描述，視訊寫碼器可指視訊編碼器或視訊解碼器。類似地，視訊寫碼單元可指視訊編碼器或視訊解碼器。同樣地，如適用，視訊寫碼可指視訊編碼或視訊解碼。在本發明中，片語「基於」可指示僅僅基於、至少部分地基於，或以某一方式基於。本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」以指代一或多個樣本區塊及用以寫碼樣本之一或多個區塊之樣本的語法結構。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行、可被添加、合併或完全省去(例如，並非所有所描述動作或事件為實踐該等技術所必要)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器同時而非依序執行動作或事件。
在一或多個實例中，所描述之功能可實施於硬體、軟體、韌體或其任何組合中。若實施於軟體中，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，該通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體可對應於(1)為非暫時形的有形電腦可讀儲存媒體，或(2)通信媒體，諸如信號或載波。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存裝置、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。而且，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術，自網站、伺服器或其他遠端源來傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及Blu-ray光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。
可由一或多個處理器執行指令，該一或多個處理器諸如一或多個數位信號處理器(DSP)、一般用途微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效之整合或離散邏輯電路系統。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文所描述之功能性可經提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛多種裝置或設備中，包括無線手持機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之裝置的功能態樣，但未必要求由不同硬體單元來實現。確切地說，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體來提供該等單元。
已描述本發明之各種實例。涵蓋所描述之系統、操作或功能之任何組合。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧實例視訊編碼及解碼系統
12‧‧‧源裝置
14‧‧‧目的地裝置
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
19‧‧‧儲存媒體
20‧‧‧視訊編碼器
22‧‧‧輸出介面
26‧‧‧輸入介面
28‧‧‧儲存媒體
30‧‧‧視訊解碼器
32‧‧‧顯示裝置
202A‧‧‧圖像P4
204A‧‧‧圖像P3
206A‧‧‧圖像P2
208A‧‧‧圖像P1
250‧‧‧步驟
252‧‧‧步驟
254‧‧‧步驟
256‧‧‧步驟
258‧‧‧步驟
406A‧‧‧實例A
406B‧‧‧實例B
406C‧‧‧實例C
406D‧‧‧實例D
406E‧‧‧實例E
410‧‧‧初始運動向量
510‧‧‧當前圖像
512‧‧‧當前區塊
518‧‧‧參考圖像
526‧‧‧同置參考圖像
528‧‧‧相關聯區塊/參考圖像/運動向量
536‧‧‧內插運動向量
537‧‧‧外插運動向量
544‧‧‧相鄰者運動向量
606A‧‧‧運動向量
606B‧‧‧運動向量
606C‧‧‧運動向量
606D‧‧‧運動向量
1200‧‧‧預測處理單元
1201‧‧‧視訊資料記憶體
1202‧‧‧殘餘產生單元
1204‧‧‧變換處理單元
1206‧‧‧量化單元
1208‧‧‧反量化單元
1210‧‧‧反變換處理單元
1212‧‧‧重建構單元
1214‧‧‧濾波器單元
1216‧‧‧經解碼圖像緩衝器
1218‧‧‧熵編碼單元
1220‧‧‧框間預測處理單元
1300‧‧‧熵解碼單元
1301‧‧‧視訊資料記憶體
1302‧‧‧預測處理單元
1304‧‧‧反量化單元
1306‧‧‧反變換處理單元
1308‧‧‧重建構單元
1310‧‧‧濾波器單元
1312‧‧‧經解碼圖像緩衝器
1314‧‧‧運動補償單元
1316‧‧‧框內預測處理單元
圖1係說明可利用本發明中所描述之一或多種技術的實例視訊編碼及解碼系統之方塊圖。
圖2A至圖2B分別為例示性清單0及清單1之概念圖。
圖2C說明用於合併模式的空間相鄰MV候選者之第一步。
圖3A至圖3C說明當前JEM參考軟體中之流程圖。
圖4A至圖4B說明對當前JEM所提議之ATMVP改良。
圖5A至圖5D為說明描述同置參考圖像、參考圖像及當前寫碼圖像之相對位置的不同實例之概念圖。
圖6為描述本發明中之一或多種技術的流程圖。
圖7為說明可實施本發明中所描述之一或多種技術的實例視訊編碼器之方塊圖。
圖8為說明可實施本發明中所描述之一或多種技術的實例視訊解碼器之方塊圖。

Claims (40)

  1. 一種用於解碼一當前寫碼圖像中的視訊資料之一當前區塊的裝置，該裝置包含： 一記憶體，其經組態以儲存視訊資料；及 一處理器，其經組態以： 判定哪個圖像為一同置圖像； 判定該同置圖像中的對應於該當前寫碼圖像中之視訊資料之該當前區塊的該視訊資料之一相關聯區塊的一位置，此基於使用該當前寫碼圖像中之經先前解碼區塊以找出該同置圖像中之該相關聯區塊與該當前寫碼圖像中之該當前區塊之間的一初始運動向量，其中該視訊資料之該相關聯區塊包括至少一個第一導出運動向量； 當該初始mv指向該同置圖像時，基於與該同置圖像中之該相關聯區塊相關聯的該至少一個第一導出運動向量，判定與該當前寫碼圖像中之該當前區塊相關聯的至少一個第二導出運動向量； 基於該至少一個第二導出運動向量判定該當前寫碼圖像中的視訊資料之該當前區塊之運動資訊； 使用該經判定運動資訊以獲得一預測區塊； 基於該預測區塊與一殘餘區塊之一組合產生一經重建構區塊。
  2. 如請求項1之裝置，其中該初始運動向量係基於一決策檢查而判定。
  3. 如請求項1之裝置，其中該同置圖像中之該相關聯區塊包括具有該至少一個第一導出運動向量之子區塊。
  4. 如請求項3之裝置，其中該至少一個第一導出運動向量被按比例調整或使用。
  5. 如請求項4之裝置，其中該至少經按比例調整之第一導出運動向量應用於該當前圖像之該當前區塊以產生至少一個第二導出運動向量。
  6. 如請求項5之裝置，其中該至少第二導出運動向量基於框間方向指向一圖像。
  7. 如請求項1之裝置，其中該同置參考圖像為具有一參考索引之一參考圖像。
  8. 如請求項7之裝置，其中該參考索引為0。
  9. 如請求項2之裝置，其中該相關聯區塊之該至少第一導出運動向量位於該同置參考圖像中，且相對於該同置參考圖像根據該當前區塊之圖像次序計數按比例調整。
  10. 如請求項2之裝置，其中該經先前寫碼區塊為該當前圖像之一相鄰區塊，且為一合併候選者。
  11. 如請求項2之裝置，其中若多於一個合併候選者係可用的，則一檢查次序取決於一合併候選者清單中的候選者之次序。
  12. 如請求項11之裝置，其中若多於一個合併候選者係可用的，則在該當前寫碼圖像中之一空間候選者之前檢查一經先前解碼圖像中的一時間候選者。
  13. 如請求項11之裝置，其中若多於一個合併候選者係可用的，則在一經先前解碼圖像中的一時間之前檢查該當前寫碼圖像中之一空間候選者。
  14. 如請求項2之裝置，其中該當前圖像之該相鄰區塊並非為一合併候選者。
  15. 如請求項2之裝置，其中找出該初始運動向量之該決策檢查係基於一固定次序，其中該固定次序係為了在該視訊資料之該當前圖像之該當前區塊之前檢查該等先前經解碼區塊。
  16. 如請求項15之裝置，其中該決策檢查被實施為找出指向該同置參考圖像之該初始運動向量的最高優先級。
  17. 如請求項2之裝置，其中找出該初始運動向量之該決策檢查係基於對該等先前經解碼區塊之運動向量的該運動向量的一按比例調整操作。
  18. 如請求項17之裝置，其中該按比例調整操作包含該當前寫碼圖像中的該等先前經解碼區塊之該等運動向量的一內插或一外插。
  19. 如請求項18之裝置，其中該決策檢查中的該按比例調整操作並非為找出指向該同置參考圖像之一初始運動向量的最高優先級。
  20. 如請求項2之裝置，其中找出該初始運動向量之該決策檢查係基於是否為該當前寫碼圖像中的該等先前經解碼區塊之該等運動向量的一檢查。
  21. 如請求項20之裝置，其中請求項21之該決策檢查並非為找出指向該同置參考圖像之一初始運動向量的最高優先級。
  22. 如請求項2之裝置，其中找出該初始運動向量之該決策檢查包含：並非為該當前寫碼圖像中之該當前區塊之相鄰者區塊的其他運動向量之一按比例調整，及該等經按比例調整之其他運動向量是否指向一同置參考圖像的一檢查。
  23. 如請求項22之裝置，其中請求項24之該決策檢查並非為找出指向該同置參考圖像之一初始運動向量的最高優先級。
  24. 如請求項2之裝置，其中找出該初始運動向量之該決策檢查包含使用一預設運動向量以指向該同置參考圖像。
  25. 如請求項2之裝置，其中該先前經寫碼區塊為一相鄰區塊，且並非為一合併模式中之一合併候選者。
  26. 如請求項2之裝置，其中先前經寫碼區塊為一相鄰區塊，且為一合併模式中之一合併候選者。
  27. 如請求項1之裝置，其中該初始運動向量為至少兩個先前經寫碼區塊之運動向量之一平均值。
  28. 如請求項1之裝置，其中該初始運動向量為至少三個先前經寫碼區塊之運動向量之一中位值。
  29. 如請求項1之裝置，其中該初始運動向量係基於至少兩個運動向量之一比較。
  30. 一種用於解碼一當前寫碼圖像中的視訊資料之一當前區塊的方法，其包含： 判定哪個圖像為一同置圖像； 判定該同置圖像中的對應於該當前寫碼圖像中之視訊資料之該當前區塊的該視訊資料之一相關聯區塊的一位置，此基於使用該當前寫碼圖像中之經先前解碼區塊以找出該同置圖像中之該相關聯區塊與該當前寫碼圖像中之該當前區塊之間的一初始運動向量，其中該視訊資料之該相關聯區塊包括至少一個第一導出運動向量； 當該初始mv指向該同置圖像時，基於與該同置圖像中之該相關聯區塊相關聯的該至少一個第一導出運動向量，判定與該當前寫碼圖像中之該當前區塊相關聯的至少一個第二導出運動向量； 基於該至少一個第二導出運動向量判定該當前寫碼圖像中的視訊資料之該當前區塊之運動資訊； 使用該經判定運動資訊以獲得一預測區塊；及 基於該預測區塊與一殘餘區塊之一組合產生一經重建構區塊。
  31. 如請求項30之方法，其中該初始運動向量係基於一決策檢查而判定。
  32. 如請求項31之方法，其中該同置參考圖像中之該相關聯區塊包括具有該至少一個第一導出運動向量之子區塊。
  33. 如請求項32之方法，其中該至少一個第一導出運動向量被按比例調整或使用。
  34. 如請求項33之方法，將該至少一個經按比例調整之第一導出運動向量應用於該當前圖像之該當前區塊以產生至少一個第二導出運動向量。
  35. 如請求項34之方法，其中該至少一個第二導出運動向量基於框間方向指向一圖像。
  36. 如請求項30之方法，其中該同置參考圖像為具有一參考索引之一參考圖像。
  37. 如請求項30之方法，其中該參考索引為0。
  38. 如請求項30之方法，其中找出該初始運動向量之該決策檢查係基於是否為該當前寫碼圖像中的該等先前經解碼區塊之一運動向量的一檢查。
  39. 一種用於解碼一當前寫碼圖像中的視訊資料之一當前區塊的設備，其包含： 用於判定哪個圖像為一同置圖像的構件； 用於判定該同置圖像中的對應於該當前寫碼圖像中之視訊資料之該當前區塊的該視訊資料之一相關聯區塊的一位置的構件，此基於使用該當前寫碼圖像中之經先前解碼區塊以找出該同置圖像中之該相關聯區塊與該當前寫碼圖像中之該當前區塊之間的一初始運動向量，其中該視訊資料之該相關聯區塊包括至少一個第一導出運動向量； 用於當該初始mv指向該同置圖像時，基於與該同置圖像中之該相關聯區塊相關聯的該至少一個第一導出運動向量，判定與該當前寫碼圖像中之該當前區塊相關聯的至少一個第二導出運動向量的構件； 用於基於該至少一個第二導出運動向量判定該當前寫碼圖像中的視訊資料之該當前區塊之運動資訊的構件； 用於使用該經判定運動資訊以獲得一預測區塊的構件；及 用於基於該預測區塊與一殘餘區塊之一組合產生一經重建構區塊的構件。
  40. 一種儲存指令之電腦可讀儲存媒體，該等指令在執行時使得一或多個處理器執行如請求項30至38之方法的任何組合。
TW108109180A 2018-03-19 2019-03-18 對進階時間運動向量預測之改良 TW201941612A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??PCT/CN2018/079458 2018-03-19
PCT/CN2018/079458 WO2019178721A1 (en) 2018-03-19 2018-03-19 Improvements to advanced temporal motion vector prediction

Publications (1)

Publication Number Publication Date
TW201941612A true TW201941612A (zh) 2019-10-16

Family

ID=67988279

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108109180A TW201941612A (zh) 2018-03-19 2019-03-18 對進階時間運動向量預測之改良

Country Status (8)

Country Link
US (1) US12081780B2 (zh)
EP (1) EP3769528A4 (zh)
KR (1) KR102579526B1 (zh)
CN (1) CN111869214A (zh)
BR (1) BR112020018716A2 (zh)
SG (1) SG11202007843YA (zh)
TW (1) TW201941612A (zh)
WO (1) WO2019178721A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3827589A4 (en) * 2018-08-29 2021-09-29 Beijing Dajia Internet Information Technology Co., Ltd. METHOD AND DEVICE FOR VIDEO ENCODING USING SUBBLOCK-BASED MOVEMENT VECTOR PREDICTION
CN113273205A (zh) 2018-12-21 2021-08-17 北京字节跳动网络技术有限公司 使用更高比特深度精度的运动矢量推导
WO2024027802A1 (en) * 2022-08-05 2024-02-08 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4114859B2 (ja) * 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
JP2012191298A (ja) 2011-03-09 2012-10-04 Fujitsu Ltd 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
AU2015200360B2 (en) 2011-09-09 2017-01-12 Kt Corporation Method for deriving a temporal predictive motion vector, and apparatus using the method
EP2781098B1 (en) 2011-11-18 2019-02-06 Google Technology Holdings LLC An explicit way for signaling a collocated picture for high efficiency video coding (hevc)
US9826244B2 (en) * 2013-01-08 2017-11-21 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
WO2015139205A1 (en) 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. An improved method for collocated picture in video coding
WO2015143603A1 (en) 2014-03-24 2015-10-01 Mediatek Singapore Pte. Ltd. An improved method for temporal motion vector prediction in video coding
US11330284B2 (en) * 2015-03-27 2022-05-10 Qualcomm Incorporated Deriving motion information for sub-blocks in video coding
WO2016165069A1 (en) * 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
CN116567213A (zh) 2016-08-11 2023-08-08 Lx 半导体科技有限公司 编码/解码设备以及发送图像数据的设备
US10477238B2 (en) 2016-09-07 2019-11-12 Qualcomm Incorporated Sub-PU based bi-directional motion compensation in video coding
US10523934B2 (en) * 2017-05-31 2019-12-31 Mediatek Inc. Split based motion vector operation reduction
KR102438181B1 (ko) * 2017-06-09 2022-08-30 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
WO2019004283A1 (ja) * 2017-06-28 2019-01-03 シャープ株式会社 動画像符号化装置及び動画像復号装置
GB2563943B (en) * 2017-06-30 2021-02-24 Canon Kk Method and apparatus for encoding or decoding video data in FRUC mode with reduced memory accesses
KR20210025537A (ko) * 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념
US20200014931A1 (en) * 2018-07-06 2020-01-09 Mediatek Inc. Methods and Apparatuses of Generating an Average Candidate for Inter Picture Prediction in Video Coding Systems
US11539958B2 (en) 2018-07-17 2022-12-27 Lg Electronics Inc. Method for predicting subblock-based temporal motion vector and apparatus therefor
US11057617B2 (en) * 2018-08-03 2021-07-06 Tencent America LLC Method and apparatus for video coding
WO2020084512A1 (en) * 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Affine motion information derivation from neighboring block
CN111093080B (zh) 2018-10-24 2024-06-04 北京字节跳动网络技术有限公司 视频编码中的子块运动候选
CN111107354A (zh) 2018-10-29 2020-05-05 华为技术有限公司 一种视频图像预测方法及装置
EP4325849A3 (en) 2018-11-22 2024-04-17 Beijing Bytedance Network Technology Co., Ltd. Coordination method for sub-block based inter prediction
CN116866605A (zh) 2019-01-03 2023-10-10 北京大学 视频处理方法和装置

Also Published As

Publication number Publication date
US12081780B2 (en) 2024-09-03
EP3769528A1 (en) 2021-01-27
EP3769528A4 (en) 2021-11-10
WO2019178721A1 (en) 2019-09-26
SG11202007843YA (en) 2020-10-29
CN111869214A (zh) 2020-10-30
BR112020018716A2 (pt) 2020-12-29
KR102579526B1 (ko) 2023-09-15
KR20200128036A (ko) 2020-11-11
US20210099724A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
TWI718412B (zh) 用於訊框速率上升轉換(fruc)之低複雜度設計
TWI736872B (zh) 基於解碼器側運動向量推導之運動向量預測推導之限制
US10652571B2 (en) Advanced motion vector prediction speedups for video coding
TWI714565B (zh) 視訊寫碼中運動向量推導
US11425387B2 (en) Simplified local illumination compensation
CN110719488B (zh) 视频解码的方法和装置、计算机设备及存储介质
JP7521744B2 (ja) 動き情報を決定する方法、デバイス、およびコンピュータ可読記憶媒体、ビットストリームを格納する方法およびシステム、ビットストリームを送信する方法およびシステム、並びにビットストリームを生成する方法
TW201817237A (zh) 在視頻寫碼中用於仿射運動模型之運動向量預測
TW201907724A (zh) 用於運動向量推導之基於部份重建構之模板匹配
TW201906414A (zh) 用於在視訊寫碼中之候選列表之建構的以運動為基礎之優先級
TW201924345A (zh) 寫碼用於視頻寫碼之仿射預測移動資訊
TW201841508A (zh) 內部預測模式傳播
TW201711463A (zh) 判定用於視訊寫碼之照明補償狀態之系統及方法
TW201703531A (zh) 判定用於視訊寫碼之照明補償狀態之系統及方法
TW202110188A (zh) 使用空間鄰居的重疊塊運動補償
TW201941612A (zh) 對進階時間運動向量預測之改良
TW202329691A (zh) 影像編解碼系統中基於模板匹配之移動向量細化
CN115428445A (zh) 用于视频编码的方法和装置
CN110971899B (zh) 一种确定运动信息的方法、帧间预测方法及装置