TWI696382B - 以子預測單元為基礎之先進時間運動向量預測 - Google Patents

以子預測單元為基礎之先進時間運動向量預測 Download PDF

Info

Publication number
TWI696382B
TWI696382B TW105102383A TW105102383A TWI696382B TW I696382 B TWI696382 B TW I696382B TW 105102383 A TW105102383 A TW 105102383A TW 105102383 A TW105102383 A TW 105102383A TW I696382 B TWI696382 B TW I696382B
Authority
TW
Taiwan
Prior art keywords
motion vector
candidate
block
atmvp
motion
Prior art date
Application number
TW105102383A
Other languages
English (en)
Other versions
TW201640893A (zh
Inventor
陳盈
李想
劉鴻彬
陳建樂
章立
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201640893A publication Critical patent/TW201640893A/zh
Application granted granted Critical
Publication of TWI696382B publication Critical patent/TWI696382B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在一項實例中，一種用於寫碼視訊資料之器件包括一記憶體，其經組態以儲存視訊資料及一視訊寫碼器，其經組態以進行以下操作：針對該視訊資料之一當前區塊形成包括複數個合併候選之一合併候選清單，該複數個合併候選包括自四個相鄰區塊至該當前區塊之四個空間相鄰候選及緊接在該四個空間相鄰候選之後的一先進時間運動向量預測(ATMVP)候選；寫碼至該合併候選清單中之一索引，該索引識別該合併候選清單中之該複數個合併候選中之一合併候選；及使用該經識別之合併候選之運動資訊寫碼視訊資料之該當前區塊。

Description

以子預測單元為基礎之先進時間運動向量預測
本申請案主張2015年1月26日申請之美國臨時申請案第62/107,933號之權益，該申請案之全部內容特此以引用之方式併入。
本發明係關於視訊寫碼。
數位視訊能力可併入至廣泛範圍之器件中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分先進視訊寫碼(AVC)、ITU-T H.265(亦被稱作高效率視訊寫碼(HEVC))所定義之標準及此等標準之擴展中所描述的彼等視訊寫碼技術。視訊器件可藉由實施此等視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視 訊圖塊(例如，視訊圖框或視訊圖框之一部分)分割為視訊區塊，對於一些技術，視訊區塊亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)圖塊中的視訊區塊。圖像之經框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本之時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測產生待寫碼之區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼經框間寫碼區塊。經框內寫碼區塊係根據框內寫碼模式及殘餘資料來編碼。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生可接著進行量化之殘餘變換係數。可掃描最初配置成二維陣列的經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至較多壓縮。
大體而言，本發明描述與對視訊資料之區塊之運動資訊進行寫碼(例如，編碼或解碼)有關之技術。更特定而言，視訊寫碼器(例如，視訊編碼器或視訊解碼器)可經組態以使用先進時間運動向量預測(ATMVP)對當前區塊(例如，當前預測單元(PU))之運動資訊進行寫碼。ATMVP通常涉及使用時間運動向量來識別分裂成子PU之對應的預測單元。時間運動向量可僅識別分裂成子PU之對應區塊而不是將當前PU分裂成子PU，每一子PU具有其自身運動資訊，且視訊寫碼器可經組態以使用各別子PU之運動資訊來預測當前區塊之對應部分。藉由主動地避免分裂當前區塊，可針對當前區塊減少額外負荷傳信資訊，同時仍達成可以其他方式由將當前區塊分裂成子PU而產生之當 前區塊之部分的細粒度預測。
在一項實例中，寫碼視訊資料之方法包括：針對視訊資料之當前區塊，形成包括複數個合併候選之合併候選清單，該複數個合併候選包括自四個相鄰區塊至當前區塊之四個空間相鄰候選及緊接在該四個空間相鄰候選之後的先進時間運動向量預測(ATMVP)候選；寫碼至合併候選清單中的索引，該索引識別合併候選清單中之複數個合併候選中之合併候選；及使用經識別合併候選之運動資訊寫碼視訊資料之當前區塊。
在另一實例中，用於寫碼視訊資料之器件包括記憶體，其經組態以儲存視訊資料及視訊寫碼器，其經組態以進行以下操作：針對視訊資料之當前區塊形成包括複數個合併候選之合併候選清單，該複數個合併候選包括自四個相鄰區塊至當前區塊之四個空間相鄰候選及緊接在該四個空間相鄰候選之後的先進時間運動向量預測(ATMVP)候選；寫碼至合併候選清單中之索引，該索引識別該合併候選清單中之複數個合併候選中之合併候選；及使用經識別合併候選之運動資訊寫碼視訊資料之當前區塊。
在另一實例中，用於寫碼視訊資料之器件包括：用於針對視訊資料之當前區塊形成包括複數個合併候選之合併候選清單的構件，該複數個合併候選包括自四個相鄰區塊至當前區塊之四個空間相鄰候選及緊接在該四個空間相鄰候選之後的先進時間運動向量預測(ATMVP)候選；用於寫碼至合併候選清單中之索引的構件，該索引識別該合併候選清單中之複數個合併候選中之合併候選；及用於使用經識別合併候選之運動資訊寫碼視訊資料之當前區塊的構件。
在另一實例中，電腦可讀儲存媒體在其上儲存有指令，該等指令時在執行時使得處理器進行以下操作：針對視訊資料之當前區塊形成包括複數個合併候選之合併候選清單，該複數個合併候選包括自四 個相鄰區塊至當前區塊之四個空間相鄰候選及緊接在該四個空間相鄰候選之後的先進時間運動向量預測(ATMVP)候選；寫碼至合併候選清單中之索引，該索引識別該合併候選清單中之複數個合併候選中之合併候選；及使用經識別合併候選之運動資訊寫碼視訊資料之當前區塊。
在以下附圖及描述中闡述一或多個實例之細節。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專利範圍顯而易見。
10‧‧‧系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧逆量化單元
60‧‧‧逆變換單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
76‧‧‧逆量化單元
78‧‧‧逆變換單元
80‧‧‧求和器
82‧‧‧參考圖像記憶體
100‧‧‧區塊
102‧‧‧區塊
104A‧‧‧PU0
104B‧‧‧PU1
106A‧‧‧PU0
106B‧‧‧PU1
108A‧‧‧區塊
108B‧‧‧區塊
108C‧‧‧區塊
108D‧‧‧區塊
108E‧‧‧區塊
110A‧‧‧區塊
110B‧‧‧區塊
110C‧‧‧區塊
110D‧‧‧區塊
110E‧‧‧區塊
120‧‧‧寫碼單元
122A‧‧‧PU0
122B‧‧‧PU1
124‧‧‧右下區塊
126‧‧‧中心區塊
128‧‧‧外部區塊
130‧‧‧當前圖像
132‧‧‧當前參考圖像
134‧‧‧共置圖像
136‧‧‧共置參考圖像
138‧‧‧當前區塊
140‧‧‧共置區塊
142‧‧‧TMVP候選
144‧‧‧運動向量
160‧‧‧當前圖像
162‧‧‧共置圖像
164‧‧‧當前PU
166A‧‧‧子PU
166B‧‧‧子PU
166C‧‧‧子PU
166D‧‧‧子PU
168A‧‧‧對應子PU
168B‧‧‧對應子PU
168C‧‧‧對應子PU
168D‧‧‧對應子PU
170A‧‧‧運動向量
170B‧‧‧運動向量
170C‧‧‧運動向量
170D‧‧‧運動向量
172A‧‧‧運動向量
172B‧‧‧運動向量
172C‧‧‧運動向量
172D‧‧‧運動向量
174A‧‧‧視差向量
174B‧‧‧視差向量
174C‧‧‧視差向量
174D‧‧‧視差向量
180‧‧‧當前圖像
182‧‧‧參考圖像
184‧‧‧當前PU
186‧‧‧預測單元
188A‧‧‧子PU
188B‧‧‧子PU
188C‧‧‧子PU
188D‧‧‧子PU
190A‧‧‧運動向量
190B‧‧‧運動向量
190C‧‧‧運動向量
190D‧‧‧運動向量
192‧‧‧運動向量
200‧‧‧參考圖像
202‧‧‧參考圖像
204‧‧‧當前圖像
206‧‧‧運動源圖像
208‧‧‧當前區塊
210‧‧‧對應區塊
212‧‧‧時間運動向量
214‧‧‧運動向量
216‧‧‧運動向量
250‧‧‧區塊
252‧‧‧區塊
254‧‧‧區塊
256‧‧‧區塊
258‧‧‧區塊
260‧‧‧區塊
262‧‧‧區塊
264‧‧‧區塊
266‧‧‧區塊
270‧‧‧區塊
272‧‧‧區塊
274‧‧‧區塊
276‧‧‧區塊
278‧‧‧區塊
280‧‧‧區塊
282‧‧‧區塊
284‧‧‧區塊
286‧‧‧區塊
圖1為繪示可利用用於實施先進時間運動向量預測(ATMVP)之技術之實例視訊編碼及解碼系統的方塊圖。
圖2為繪示可實施用於先進時間運動向量預測(ATMVP)之技術之視訊編碼器之實例的方塊圖。
圖3為繪示可實施用於先進時間運動向量預測(ATMVP)之技術之視訊解碼器之實例的方塊圖。
圖4為繪示高效率視訊寫碼(HEVC)中之空間相鄰候選的概念圖。
圖5為繪示HEVC中之時間運動向量預測(TMVP)之概念圖。
圖6為繪示用於3D-HEVC之實例預測結構的概念圖。
圖7為繪示3D-HEVC中之以子PU為基礎之視圖間運動預測之概念圖。
圖8為繪示自參考圖像之子PU運動預測的概念圖。
圖9為繪示ATMVP(類似於TMVP)中之相關圖像的概念圖。
圖10為繪示根據本發明之技術之用於在編碼程序期間將ATMVP候選添加至候選清單之實例方法的流程圖。
圖11為繪示根據本發明之技術之用於在解碼程序期間將ATMVP候選添加至候選清單之實例方法的流程圖。
大體而言，本發明係關於視訊編解碼器中之運動向量預測。更具體而言，藉由收集給定區塊(預測單元)之子區塊(子PU)層級中之運動向量而達成先進時間運動向量預測。
視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。MVC的一個聯合草案係描述於2010年3月的「Advanced video coding for generic audiovisual services」(ITU-T規範H.264)中。
另外，存在新開發的視訊寫碼標準，亦即由ITU-T視訊寫碼專家群組(VCEG)及ISO/IEC運動圖像專家群組(MPEG)之視訊寫碼聯合合作小組(JCT-VC)開發之高效率視訊寫碼(HEVC)。HEVC的最近草案可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip獲得。HEVC標準亦在規範ITU-T H.265及國際標準ISO/IEC 23008-2中共同提出，兩者均題為「High efficiency video coding」且兩者均公開於2014年10月。
運動資訊：對於每一區塊，運動資訊之集合可為可用的。運動資訊之集合含有用於前向及後向預測方向之運動資訊。在此，前向及後向預測方向為雙向預測模式之兩個預測方向，且術語「前向」及「後向」未必具有幾何意義；實情為，其對應於當前圖像之參考圖像清單0(RefPicList0)及參考圖像清單1(RefPicList1)。當僅一個參考圖像清單可用於圖像或圖塊時，僅RefPicList0可為可用的，且圖塊之每一區塊之運動資訊始終為前向的。
對於每一預測方向，運動資訊必含有參考索引及運動向量。在一些情況下，為簡單起見，可以假定運動向量自身具有相關聯參考索引的方式來參考該運動向量。參考索引用於識別當前參考圖像清單 (RefPicList0或RefPicList1)中之參考圖像。運動向量具有水平及垂直分量。
在視訊寫碼標準中廣泛使用圖像次序計數(POC)以識別圖像之顯示次序。雖然存在一個經寫碼視訊序列內之兩個圖像可具有相同POC值的情況，但經寫碼視訊序列內通常不發生此類情況。當位元串流中存在多個經寫碼視訊序列時，就解碼次序而言，具有同一POC值之圖像可更接近於彼此。圖像之POC值通常用於參考圖像清單建構、如HEVC中之參考圖像集合之導出及運動向量縮放。
先進視訊寫碼(AVC)(H.264)中之巨集區塊(MB)結構：在H.264/AVC中，每一框間巨集區塊(MB)可經分割成四個不同方式：
˙一個16×16 MB分割區
˙兩個16×8 MB分割區
˙兩個8×16 MB分割區
˙四個8×8 MB分割區
一個MB中之不同MB分割區每一方向可具有不同參考索引值(RefPicList0或RefPicList1)。
當MB不分割成四個8×8 MB分割區時，其每一方向上之每一MB分割區僅具有一個運動向量。
當MB分割成四個8×8 MB分割區時，每一8×8 MB分割區可進一步分割成子區塊，該等子區塊中之每一者在每一方向上可具有不同運動向量。存在自8×8 MB分割區獲得子塊之四種不同方式：
˙一個8×8子區塊
˙兩個8×4子區塊
˙兩個4×8子區塊
˙四個4×4子區塊
每一子區塊在每一方向上可具有不同運動向量。因此，運動向 量以等於高於子區塊之層級存在。
AVC中之時間直接模式：在AVC中，可以用於B圖塊中之跳躍或直接模式的MB或MB分割區層級啟用時間直接模式。對於每一MB分割區，與當前區塊之RefPicList1[0]中之當前MB分割區共置的區塊之運動向量可用於導出運動向量。共置區塊中之每一運動向量可基於POC距離縮放。
AVC中之空間直接模式：在AVC中，直接模式亦可自空間相鄰者預測運動資訊。
高效率視訊寫碼(HEVC)中之寫碼單元(CU)結構：在HEVC中，圖塊中之最大寫碼單元被稱作寫碼樹區塊(CTB)或寫碼樹單元(CTU)。CTB含有四分樹，該四分樹之節點為寫碼單元。
CTB之大小可在HEVC主規範中之16×16至64×64之範圍(儘管技術上可支援8×8 CTB大小)。寫碼單元(Cu)可與CTB大小相同，儘管且如8×8一樣小。每一寫碼單元使用一個模式寫碼。當CU經框間寫碼時，其可進一步分割成2個或4個預測單元(PU)或當另一分割區不適用時變為僅一個PU。當一個CU中存在兩個PU時，其可為一半大小的矩形或具有CU之¼或¾大小的兩個矩形大小。
當CU經框間寫碼時，針對每一PU提供運動資訊之一個集合。另外，每一PU藉由獨特框間預測模式寫碼以導出運動資訊之集合。
HEVC中之運動預測：在HEVC標準中，存在兩個框間預測模式，亦即，分別用於預測單元(PU)之合併(跳躍被視為合併之特殊情況)及先進運動向量預測(AMVP)模式。
在AMVP或合併模式中，針對多個運動向量預測子維持運動向量(MV)候選清單。當前PU之運動向量以及合併模式中之參考索引藉由自MV候選清單獲取一個候選而產生。
MV候選清單含有用於合併模式之至多5個候選及用於AMVP模式 之僅兩個候選。合併候選可含有運動資訊之集合，例如對應於兩個參考圖像清單(清單0及清單1)之運動向量及參考索引。若藉由合併索引識別合併候選，則參考圖像用於預測當前區塊，且判定相關聯之運動向量。然而，在針對自清單0或清單1的每一潛在預測方向的AMVP模式下，需要將參考索引與MV候選清單的MVP索引一起明確地傳信，因為AMVP候選僅含有運動向量。在AMVP模式中，可進一步改進經預測運動向量。
如自上文可見，合併候選對應於運動資訊之全集合，而AMVP候選僅含有用於特定預測方向之一個運動向量及參考索引。
以類似方式自相同空間及時間相鄰區塊導出用於兩個模式之候選。
針對2D視訊編解碼器之子PU設計，尤其係與先進TMVP有關之一者可遭遇以下問題。可藉由定義將此類程序定義為額外候選(亦即ATMVP候選)而達成以子PU為基礎之時間運動向量預測程序。然而，存在對於此類ATMVP候選之以下設計問題：
1. 儘管ATMVP候選可作為與TMVP一樣的額外候選插入，但此類ATMVP候選之位置以及與TMVP候選之相互作用以達成更高寫碼效率並不為人所知。
2. 不清楚如何定義ATMVP候選之可用性；若將檢查所有子PU之所有運動向量以判定ATMVP候選是否不可用，則其將具有高複雜度且因此可插入至ATMVP候選中。
3. 可需要利用ATMVP候選之修剪程序；然而可併發利用此類候選之修剪。
4. 用於ATMVP候選以達成寫碼效率與複雜度之間的最佳折衷的各種其他設計細節仍係未知的。
圖1為繪示可利用用於實施先進時間運動向量預測(ATMVP)之技 術之實例視訊編碼及解碼系統10的方塊圖。如圖1中所展示，系統10包括源器件12，其提供稍後時間將由目的地器件14解碼的經編碼視訊資料。特定而言，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手機(諸如，所謂的「智慧型」電話)、所謂的「智慧型」平板電腦、電視機、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流傳輸器件或其類似者。在一些情況下，源器件12及目的地器件14可經裝備以用於無線通信。
目的地器件14可經由電腦可讀媒體16接收待解碼的經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一項實例中，電腦可讀媒體16可包含使得源器件12能夠即時將經編碼視訊資料直接傳輸至目的地器件14的通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或諸如網際網路之全球網路)的部分。通信媒體可包括路由器、交換器、基地台，或可用以促進自源器件12至目的地器件14之通信的任何其他設備。
在一些實例中，經編碼資料可自輸出介面22輸出至儲存器件。類似地，可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或局部存取式資料儲存媒體中之任一者，諸如硬碟機、Blu-ray光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料的任何其他合適之數位儲存媒體。在另一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件12產生的 經編碼視訊之另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼之視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)，或兩者之組合。經編碼視訊資料自儲存器件之傳輸可為串流傳輸、下載傳輸或其組合。
本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存在資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。根據本發明，源器件12之視訊編碼器20可經組態以應用用於先進時間運動向量預測(ATMVP)之技術。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合式顯示器件。
圖1之所繪示之系統10僅為一個實例。用於先進時間運動向量預測(ATMVP)之技術可藉由任何數位視訊編碼及/或解碼器件來執行。 雖然本發明之技術大體上由視訊編碼器件執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編解碼器」)執行。此外，本發明之技術亦可由視訊預處理器執行。源器件12及目的地器件14僅為其中源器件12產生經寫碼視訊資料以供傳輸至目的地器件14之此類寫碼器件的實例。在一些實例中，器件12、14可以實質上對稱的方式操作，使得器件12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸以(例如)用於視訊串流、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源18可包括視訊俘獲器件，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用於自視訊內容提供者接收視訊的視訊饋送介面。作為另一替代例，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些情況下，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明所描述之技術大體上可適用於視訊寫碼，且可適用於無線及/或有線應用。在每一情況下，可由視訊編碼器20編碼所俘獲、預俘獲或電腦產生之視訊。可接著藉由輸出介面22將經編碼視訊資訊輸出至電腦可讀媒體16上。
電腦可讀媒體16可包括暫時性媒體，諸如無線廣播或有線網路傳輸，或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、Blu-ray光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未展示)可自源器件12接收經編碼視訊資料，且(例如)經由網路傳輸將經編碼視訊資料提供至目的地器件14。類似地，媒體生產設施(諸如光碟衝壓設施)之計算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，可理解電腦可讀媒體16包括各種形式之一或多個電腦可讀媒 體。
目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊，該語法資訊亦供視訊解碼器30使用，其包括描述區塊及其他經寫碼單元(例如，GOP)之特性及/或處理的語法元素。顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據視訊寫碼標準(諸如高效率視訊寫碼(HEVC)標準、HEVC標準的擴展、或後續標準(諸如，ITU-TH.266))操作。替代地，視訊編碼器20及視訊解碼器30可根據其他專屬或行業標準(諸如，ITU-T H.264標準，替代地被稱作MPEG-4第10部分先進視訊寫碼(AVC))或此等標準之擴展而操作。然而，本發明之技術不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。儘管圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當的MUX-DEMUX單元或其他硬體及軟體，以處置共同資料串流或單獨資料串流中之音訊及視訊兩者之編碼。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30各自可實施為多種合適的編碼器電路中的任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分地以軟體實施時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且使用一或多個處理器執行硬體中之指令以執行本發明的技術。視訊編 碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器)之部分。
JCT-VC正致力於HEVC標準之開發。HEVC標準化努力基於視訊寫碼器件之演進型模型(被稱作HEVC測試模型(HM))。HM根據(例如)ITU-T H.264/AVC假定視訊寫碼器件相對於現有器件之若干額外能力。舉例而言，儘管H.264提供九個框內預測編碼模式，但HEVC HM可提供多達三十三個框內預測編碼模式。
大體而言，HM之工作模型描述視訊圖框或圖像可劃分成包括明度樣本及色度樣本兩者之樹型區塊或最大寫碼單元(LCU)之序列。位元串流內之語法資料可定義LCU之大小，LCU就像素之數目而言為最大寫碼單元。圖塊包括按寫碼次序之數個連續樹型區塊。視訊圖框或圖像可分割成一或多個圖塊。每一樹型區塊可根據四分樹而分裂成寫碼單元(CU)。大體而言，四分樹資料結構每CU包括一個節點，其中根節點對應於樹型區塊。若將CU分裂成四個子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於該等子CU中之一者。
該四分樹資料結構中之每一節點可提供針對對應CU之語法資料。舉例而言，該四分樹中之節點可包括分裂旗標，從而指示對應於該節點之CU是否分裂成子CU。針對CU之語法元素可經遞迴地定義，且可取決於該CU是否分裂成子CU。若CU未經進一步分裂，則其被稱作葉CU。在本發明中，即使不存在原始葉CU之明顯分裂，葉CU之四個子CU亦將被稱作葉CU。舉例而言，若16×16大小之CU未進一步分裂，則四個8×8子CU亦將被稱作葉CU，儘管該16×16 CU從未分裂。
除CU不具有大小區別外，CU具有與H.264標準之巨集區塊類似的用途。舉例而言，可將樹型區塊分裂成四個子節點(亦稱作子CU)， 且每一子節點又可為上代節點且可被分裂成另外四個子節點。被稱作四分樹之葉節點之最終的未分裂子節點包含一寫碼節點，該寫碼節點亦被稱作葉CU。與經寫碼位元串流相關聯之語法資料可定義可分裂樹型區塊之最大次數(其被稱作最大CU深度)，且亦可定義該等寫碼節點之最小大小。因此，位元串流亦可定義最小寫碼單元(SCU)。本發明使用術語「區塊」來指HEVC之上下文中的CU、PU或TU中之任一者或其他標準之上下文中的類似資料結構(例如，H.264/AVC中之巨集區塊及其子區塊)。
CU包括寫碼節點以及與該寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且形狀必須為正方形。CU之大小可在自8×8像素高達具有最大64×64像素或大於64×64像素的樹型區塊之大小的範圍內。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述例如將CU分割成一或多個PU。分割模式可在CU經跳躍或直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼之間而不同。PU可經分割成非正方形形狀。與CU相關聯之語法資料亦可描述(例如)CU根據四分樹至一或多個TU之分割。TU之形狀可為正方形或非正方形(例如，矩形)。
HEVC標準允許根據TU進行變換，該等變換對於不同CU可不同。TU的大小通常係基於針對經分割LCU定義之給定CU內的PU之大小，但此可並非總是如此狀況。TU通常與PU大小相同或小於PU。在一些實例中，可使用被稱為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為更小單元。可將RQT之葉節點稱作變換單元(TU)。與TU相關聯之像素差值可經變換以產生可經量化之變換係數。
葉CU可包括一或多個預測單元(PU)。大體而言，PU表示對應於對應CU之所有或一部分的空間區域，且可包括用於擷取PU之參考樣 本的資料。此外，PU包括與預測有關之資料。舉例而言，當PU經框內模式編碼時，PU之資料可包括於殘餘四分樹(RQT)中，該RQT可包括描述用於對應於該PU之TU的框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，PU可包括定義PU之一或多個運動向量的資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精確度或八分之一像素精確度)、運動向量所指向的參考圖像，及/或運動向量之參考圖像清單(例如，清單0、清單1或清單C)。
具有一或多個PU之葉CU亦可包括一或多個變換單元(TU)。如上文所論述，可使用RQT(亦稱作TU四分樹結構)來指定該等變換單元。舉例而言，分裂旗標可指示葉CU是否分裂成四個變換單元。接著，可將每一變換單元進一步分裂為另外的子TU。當TU未進一步分裂時，可將其稱作葉TU。大體而言，對於框內寫碼，屬於葉CU之所有葉TU共用相同框內預測模式。亦即，通常應用相同框內預測模式來計算葉CU之所有TU之預測值。對於框內寫碼，視訊編碼器可使用框內預測模式將每一葉TU之殘餘值計算為在CU之對應於該TU的部分與原始區塊之間的差。TU不必限於PU的大小。因此，TU可大於或小於PU。對於框內寫碼，PU可與用於同一CU之對應葉TU共置。在一些實例中，葉TU之最大大小可對應於對應葉CU之大小。
此外，葉CU之TU亦可與各別四分樹資料結構(稱作殘餘四分樹(RQT))相關聯。亦即，葉CU可包括指示葉CU如何被分割成TU之四分樹。TU四分樹之根節點大體對應於葉CU，而CU四分樹之根節點大體對應於樹型區塊(或LCU)。將RQT之未被分裂的TU稱作葉TU。大體而言，除非另有指示，否則本發明分別使用術語CU及TU來指代葉CU及葉TU。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)大體 上包含一系列視訊圖像中之一或多者。GOP可包括GOP之標頭、圖像中之一或多者之標頭或別處的語法資料，該語法資料描述包括於GOP中之圖像的數目。圖像之每一圖塊可包括描述各別圖塊之編碼模式的圖塊語法資料。視訊編碼器20通常對個別視訊圖塊內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而在大小方面不同。
作為一實例，HM支援以各種PU大小之預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小的框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小的框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小之框間預測之不對稱分割。在不對稱分割中，CU之一方向未分割，而另一方向分割成25%及75%。CU之對應於25%分割之部分由「n」其後接著「上」、「下」、「左」或「右」之指示來指示。因此，舉例而言，「2N×nU」係指水平上以頂部之2N×0.5N PU及底部之2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以指代視訊區塊在垂直維度與水平維度方面之像素尺寸，例如，16×16像素或16乘16像素。大體而言，16×16區塊在垂直方向上將具有16個像素(y=16)且在水平方向上將具有16個像素(x=16)。同樣地，N×N區塊通常在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來排列區塊中之像素。此外，區塊未必需要在水平方向上與垂直方向上具有同一數目個像素。舉例而言，區塊可包含N×M像素，其中M未必等於N。
在使用CU之PU的框內預測性或框間預測性寫碼之後，視訊編碼器20可計算CU之TU的殘餘資料。PU可包含描述在空間域(亦被稱作像素域)中產生預測性像素資料之方法或模式的語法資料，且TU可包 含在對殘餘視訊資料應用變換(例如離散餘弦變換(DCT)、整數變換、小波變換或在概念上類似的變換)之後變換域中的係數。該殘餘資料可對應於未經編碼之圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且接著變換該等TU以產生CU之變換係數。
在任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化通常係指對變換係數進行量化以可能地減少用以表示該等係數之資料之量從而提供進一步壓縮的程序。量化程序可減少與一些或所有係數相關聯的位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在量化之後，視訊編碼器可掃描該等變換係數，從而自包括該等經量化之變換係數之二維矩陣產生一維向量。該掃描可經設計以將較高能量(且因此較低頻率)係數置於陣列前部，及將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化變換係數以產生可經熵編碼之經串行化向量。在其他實例中，視訊編碼器20可執行適應性掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文適應性可變長度寫碼(CAVLC)、上下文適應性二進位算術寫碼(CABAC)、基於語法之上下文適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法來對一維向量進行熵編碼。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯的供由視訊解碼器30用於解碼視訊資料之語法元素。
為執行CABAC，視訊編碼器20可將上下文模型內之上下文指派至待傳輸之符號。該上下文可係關於(例如)符號之鄰近值是否為非零。為了執行CAVLC，視訊編碼器20可選擇用於待傳輸之符號的可變長度碼。可將VLC中之碼字建構成使得相對較短碼對應於更有可能 的符號，而較長碼對應於較不可能的符號。以此方式，相對於(例如)針對待傳輸之每一符號使用相等長度碼字，使用VLC可達成位元節省。機率判定可基於經指派至符號之上下文。
根據本發明之技術，視訊編碼器20及視訊解碼器30可經組態以執行下文單獨或以任何組合展示於所列舉清單中之以下技術之任一者或所有：
1. 若插入(例如，作為合併候選清單)，ATMVP候選之位置
a. 假定空間候選及TMVP候選以某一次序插入至合併候選清單中。ATMVP候選可被插入至彼等候選之任何相對固定位置中。
i. 在一個替代例中，例如，ATMVP候選可插入至合併候選清單中的前兩個空間候選(例如，A1及B1)之後；
ii. 在一個替代例中，例如，ATMVP候選可插入至前三個空間候選(例如，A1及B1及B0)之後；
iii. 在一個替代例中，例如，ATMVP候選可插入至前四個空間候選(例如，A1、B1、B0及A0)之後。
iv. 在一個替代例中，例如，ATMVP候選可恰好插入在TMVP候選之前。
v. 在一個替代例中，例如，ATMVP候選可恰好插入在TMVP候選之後。
b. 替代地，可在位元串流中傳信候選清單中之ATMVP候選之位置。可另外傳信其他候選(包括TMVP候選)之位置。
2. 可藉由存取運動資訊之僅一個集合而應用對ATMVP候選之可用性檢查。當此類資訊集合不可用(例如，一個區塊經框內寫碼)時，整個ATMVP候選被視為不可用。在彼情況下，ATMVP將不插入至合併清單中。
a. 中心位置或中心子PU僅用於檢查ATMVP候選之可用性。當使 用中心子PU時，選擇中心子PU為覆蓋中心位置(例如，中心3位置，其相對於PU之左上樣本之座標為(W/2,H/2)，其中W×H為PU之大小)之中心子PU。該位置或中心子PU可連同時間向量一起用以識別運動源圖像中之對應區塊。識別來自覆蓋對應區塊之中心位置之區塊的運動資訊集合。
3. 來自子PU之經ATMVP寫碼之PU的代表性運動資訊集合。
a. 為形成ATMVP候選，首先形成代表性運動資訊集合。
b. 可自固定位置或固定子PU導出代表性運動資訊集合。其可以與用以判定ATMVP候選之可用性之運動資訊集合的方式相同之方式來選擇，如項目符號#2中所描述。
c. 當子PU已經識別其自有的運動資訊集合且其為不可用時，其經設定成等於代表性運動資訊集合。
d. 若代表性運動資訊集合經設定成子PU之代表性運動資訊集合，則在最差情形下，在解碼器側並不需要額外運動儲存用於當前CTU或圖塊。
e. 當解碼程序要求整個PU由運動資訊之一個集合表示(包括修剪)時，此類代表性運動資訊集合用於所有情境中，以使得該程序用於產生組合式雙向預測性合併候選。
4. 使用TMVP候選來修剪ATMVP候選，且可考慮TMVP與ATMVP之間的相互作用；下文列出詳細技術：
a. 以子PU為基礎之候選之修剪(例如，使用普通候選修剪ATMVP候選)可藉由使用該以子PU為基礎之候選的代表性運動資訊集合(如在項目符號#3中)來進行。若此類運動資訊集合與普通合併候選相同，則兩個候選被視為相同的。
b. 替代地，另外，執行檢查以判定ATMVP是否含有多個子PU之多個不同運動資訊集合；若識別至少兩個不同集合，則以子PU為基 礎之候選並不用於修剪(亦即，其被視為與任何其他候選不同)；否則，其可用於修剪(例如，可在修剪程序期間經修剪)。
c. 替代地，另外，可使用空間候選(例如，僅左候選及上候選，其位置表示為A1及B1)修剪ATMVP候選。
d. 替代地，僅一個候選由時間參考形成，為ATMVP候選或TMVP候選。當ATMVP可用時，候選為ATMVP；否則，候選為TMVP。此類候選經以類似於TMVP之位置的位置插入至合併候選清單中。在此情況下，候選之最大數目可保持不變。
i. 替代地，即使在ATMVP不可用時，TMVP始終被禁用。
ii. 替代地，僅在ATMVP不可用時使用TMVP。
e. 替代地，當ATMVP可用且TMVP不可用時，將一個子PU之一個運動資訊集合用作TMVP候選。在此情況下，此外，不應用ATMVP與TMVP之間的修剪程序。
f. 替代地或另外，用於ATMVP之時間向量亦可用於TMVP，以使得並不需要使用如用於HEVC中之當前TMVP的右下位置或中心3位置。
i. 替代地，共同考慮藉由時間向量識別之位置及右下及中心3位置以提供可用的TMVP候選。
5. 支援對ATMVP之多個可用性檢查以獲得ATMVP候選為更精確及有效之更高機率。當來自由第一時間向量(例如，如圖9中所展示)所識別之運動源圖像之當前ATMVP候選不可用時，其他圖像可被視為運動源圖像。當考慮另一圖像時，其可與不同的第二時間向量相關聯，或可僅與自指向不可用ATMVP候選之第一時間向量的縮放之第二時間向量相關聯。
a. 第二時間向量可識別第二運動源圖像中之ATMVP候選，且相同可用性檢查可適用。若如自第二運動源圖像導出之ATMVP候選為 可用的，則導出ATMVP候選且不需要檢查其他圖像；否則，需要檢查作為運動源圖像之其他圖像。
b. 使用給定次序檢查之圖像可為當前圖像之參考圖像清單中之彼等圖像。對於每一清單，以參考索引之遞升次序來檢查圖像。首先檢查清單X且接著檢查清單Y(為1-X)中之圖像。
i. 選擇清單X以使得清單X為含有用於TMVP之共置圖像的清單。
ii. 替代地，X僅設定成1或0。
c. 使用給定次序檢查之圖像為藉由空間相鄰者之運動向量所識別之彼等圖像。
6. 當前ATMVP適用之PU之分割區可為2N×2N、N×N、2N×N、N×2N或不對稱運動分割(AMP)分割區，諸如2N×N/2。
a. 替代地，另外，若可允許其他分割區大小，則亦可支援ATMVP且該大小可包括(例如)64×8。
b. 替代地，該模式可僅應用於某些分割區，例如2N×2N。
7. ATMVP候選經標記為不同類型之合併候選。
8. 當自相鄰者識別向量(如第一階段中之時間向量)時，可按次序檢查多個相鄰位置(例如，用於合併候選清單建構中之彼等位置)。對於相鄰者中之每一者，可按次序檢查對應於參考圖像清單0(清單0)或參考圖像清單1(清單1)之運動向量。當兩個運動向量可用時，可首先檢查清單X中之運動向量，且接著檢查清單Y(其中Y等於1-X)，以使得清單X為含有用於TMVP之共置圖像的清單。在ATMVP中，使用時間向量以經添加為子PU之任何中心位置之移位，其中時間向量之分量可需要轉變成整數。該經移位中心位置用以識別運動向量可分配至的最小單元，例如，具有覆蓋當前中心位置之4×4大小。
a. 替代地，可在檢查對應於清單1之彼等運動向量之前檢查對應 於清單0之運動向量；
b. 替代地，可在檢查對應於清單0之彼等運動向量之前檢查對應於清單1之運動向量；
c. 替代地，按次序檢查所有空間相鄰者中之對應於清單X之所有運動向量，接著檢查對應於清單Y(其中Y等於1-X)之運動向量。在此，清單「X」可為指示共置圖像所屬之清單，或僅被設定成0或1。
d. 空間相鄰者之次序可與在HEVC合併模式中所使用之次序相同。
9. 當識別時間向量之第一階段中不包括識別參考圖像之資訊時，如圖9中所展示之運動源圖像可僅設定成固定圖像，例如，用於TMVP之共置圖像。
a. 在此種情況下，可僅自指向該固定圖像之運動向量來識別向量。
b. 在此種情況下，可僅自指向任一圖像之運動向量來識別向量，但進一步朝向固定圖像縮放該向量。
10. 當識別向量之第一階段由識別參考圖像(如圖9中所展示之運動源圖像)組成時，以下額外檢查中之一或多者可適用於候選運動向量。
a. 若運動向量與經框內寫碼之圖像或圖塊相關聯，則該運動向量被視為不可用且不可用於轉化成向量。
b. 若運動向量識別相關聯圖像中之框內區塊(藉由(例如)添加關於運動向量之當前中心座標)，則該運動向量被視為不可用且不可用於轉化成向量。
11. 當在識別向量之第一階段中時，向量之分量可設定成(當前PU之半寬度、當前PU之半高度)，以使得其識別運動源圖像中之右下像素位置。此處，(x,y)指示一個運動向量之水平分量及垂直分量。
a. 替代地，向量之分量可設定成(總和(當前PU之半寬度M)、總和(當前PU之半高度N))，其中函數總和(a,b)返回a及b之總和。在一項實例中，當運動資訊儲存於4×4單元中時，M及N兩者被設定成等於2。在另一實例中，當運動資訊儲存於8×8單元中時，M及N兩者被設定成等於4。
12. 當ATMVP適用時，在參數集(例如，圖片參數集之序列參數集)中傳信子區塊/子PU大小。該大小在最小PU大小至CTU大小之範圍內。亦可預定義或傳信該大小。該大小可為(例如)如4×4一樣小。替代地，可基於PU或CU之大小導出子區塊/子PU大小。舉例而言，子區塊/子PU可設定成等於最大(4×4,(CU之寬度)>>M)。可在位元串流中預定義或傳信M之值。
13. 由於ATMVP可被視為新的合併候選，合併候選之最大數目可增加1。舉例而言，相較於在修剪之後佔據合併候選清單中之5個候選之HEVC，合併候選之最大數目可增加6。
a. 替代地，可針對ATMVP執行使用習知TMVP候選之修剪或使用習知TMVP候選之統一，以使得合併候選之最大數目可保持不變。
b. 替代地，當ATMVP經識別為可用時，自合併候選清單排除空間相鄰候選，例如，排除提取次序中之最末空間相鄰候選。
14. 當考慮多個空間相鄰運動向量以導出時間向量時，可基於當前PU之相鄰運動向量以及藉由經設定等於運動向量之特定時間向量所識別之相鄰運動向量來計算運動向量類似性。可選擇產生最高運動類似性之一個運動向量作為最終時間向量。
a. 在一個替代例中，對於來自相鄰位置N之每一運動向量，運動向量識別運動源圖像中之區塊(大小與當前PU相同)，其中其相鄰位置N含有運動資訊之集合。將此運動向量集合與當前區塊之相鄰位置N中之運動資訊集合進行比較。
b. 在另一替代例中，對於來自相鄰位置N之每一運動向量，運動向量識別運動源圖像中之區塊，其中其相鄰位置含有多個運動資訊集合。將此等多個運動向量集合與來自相同相對位置中之當前PU之相鄰位置的多個運動資訊集合進行比較。計算運動資訊類似性。舉例而言，當前PU具有來自A1、B1、A0及B0之以下運動資訊集合，表示為MIA1、MIB1、MIA0及MIB0。對於時間向量TV，其識別對應於運動源圖像中之PU的區塊。該區塊具有來自相同相對A1、B1、A0及B0位置之運動資訊，且表示為TMIA1、TMIB1、TMIA0及TMIB0。如藉由TV所判定之運動類似性經計算為：MStv=Σ_(N
Figure 105102383-A0202-12-0024-17
{A1,B1,A0,B0})m【MVSim(【MI】_N,【TMI】_N)】，其中MVSim定義兩個運動資訊集合之間的類似性。
c. 在以上兩種情況中，可使用運動類似性MVSim，其中兩個輸入參數為兩個運動資訊集合，每一者含有至多兩個運動向量及兩個參考索引。清單X中之每一對運動向量實際上與不同圖像、當前圖像及運動源圖像之不同清單X中之參考圖像相關聯。對於兩個運動向量MVXN及TMVXN(其中X等於0或1)中之每一者，運動向量差MVDXN可計算為MVXN-TMVXN。然後，差MVSimX經計算為(例如)abs(【MVDX】_N[0])+abs(【MVDX】_N[1])或(【MVDX】_N[0]*【MVDX】_N[0]+【MVDX】_N[1]*【MVDX】_N[1])。若兩個運動資訊集合含有可用運動向量，則MVSim經設定為等於MVSim0+MVSim1。
i. 為了具有運動差之統一計算，兩個運動向量需要朝向同一固定圖像縮放，該固定圖像可為(例如)當前圖像之清單X之第一參考圖像RefPicListX[0]。
ii. 若來自第一集合之清單X中之運動向量之可用性與來自第二集合之清單X中之運動向量之可用性不同(亦即，一個參考索引為-1而 另一者不為-1)，則此兩個運動資訊集合被視為在方向X上不類似。若兩個集合在兩個集合中不類似，則最終MVSim函數可返回重要值組數(big value)T，該重要值組數可(例如)被視為無窮大。
iii. 替代地，對於一對運動資訊集合，若自清單X(X等於0或1)而非清單Y(Y等於1-X)來預測一個運動資訊集合且另一者具有相同狀態，則可使用1與2之間的加權(例如，MVSim等於MVSimX *1.5)。當一個集合僅自清單X預測且另一者僅自清單Y預測時，MVSim經設定成重要值組數T。
iv. 替代地，對於任何運動資訊集合，只要一個運動向量為可用的，則將產生兩個運動向量。在僅一個運動向量為可用的情況下(對應於清單X)，其經縮放以形成對應於另一清單Y之運動向量。
d. 替代地，可基於當前PU之相鄰像素與由運動向量識別之區塊(大小與當前PU相同)之相鄰像素之間的差異來量測運動向量。可選擇產生最小差之運動向量作為最終時間向量。
15. 當導出當前區塊之時間向量時，來自使用ATMVP寫碼之相鄰區塊的運動向量及/或時間向量可具有比來自其他相鄰區塊之運動向量高的優先權。
a. 在一項實例中，首先僅檢查相鄰區塊之時間向量，且可將第一個可用的時間向量設定成當前區塊之時間向量。僅當不存在此類時間向量時，進一步檢查普通運動向量。在此情況下，需要儲存用於經ATMVP寫碼之區塊的時間向量。
b. 在另一實例中，首先僅檢查來自經ATMVP寫碼之相鄰區塊的運動向量，且可將第一個可用的運動向量設定成當前區塊之時間向量。僅當不存在此類時間向量時，進一步檢查普通運動向量。
c. 在另一實例中，首先僅檢查來自經ATMVP寫碼之相鄰區塊的運動向量，且可將第一個可用的運動向量設定成當前區塊之時間向 量。若此類運動向量不可用，則對時間向量之檢查繼續，與項目符號15a中類似。
d. 在另一實例中，首先檢查來自相鄰區塊之時間向量，可將第一個可用的時間向量設定成當前區塊之時間向量。若此類運動向量不可用，則對時間向量之檢查繼續，與項目符號15b中類似。
e. 在另一實例中，首先檢查自經ATMVP寫碼之相鄰區塊之時間向量及運動向量，且可將第一個可用的時間向量及運動向量設定成當前區塊之時間向量。僅當不存在此類時間向量及運動向量時，進一步檢查普通運動向量。
16. 當考慮多個空間相鄰運動向量以導出時間向量時，可選擇運動向量以使得其將自像素域所計算的失真最小化，例如模板匹配可用於導出時間向量以使得選擇產生最小匹配成本之運動向量作為最終時間向量。
17. 以當運動向量在任何清單X(將運動向量表示為MVX)之對應區塊中可用時之方式來完成自對應區塊(在運動源圖像中)導出運動資訊集合，對於ATMVP候選之當前子PU，運動向量被視為可供用於清單X(藉由縮放MVX)。若運動向量不可用於任何清單X之對應區塊中，則運動向量被視為不可用於清單X。
a. 替代地，當對應區塊中之運動向量不可用於清單X但可用於清單1-X(藉由Y表示1-X且將運動向量表示為MVY)時，運動向量仍被視為可供用於清單X(藉由朝向清單X中之目標參考圖像縮放MVY)。
b. 替代或另外，當用於清單X及清單Y(等於1-X)之對應區塊中之兩個運動向量為可用時，來自清單X及清單Y之運動向量不必用於直接進行縮放並藉由縮放來產生當前子PU之兩個運動向量。
i. 在一項實例中，當制定ATMVP候選時，在TMVP中完成之低延遲檢查適用於每一子PU。若對於當前圖塊之每一參考圖像清單中 之每一圖像(表示為refPic)，refPic之圖像次序計數(POC)值小於當前圖塊之POC，則當前圖塊被視為具有低延遲模式。在此低延遲模式中，來自清單X及清單Y之運動向量經縮放以分別產生用於清單X及清單Y之當前子PU之運動向量。當不在低延遲模式中時，僅選擇來自MVX或MVY之一個運動向量MVZ且將其縮放以產生當前子PU之兩個運動向量。類似於TMVP，在此情況下，Z經設定為等於collocated_from_l0_flag，意謂其取決於如TMVP中之共置圖像在當前圖像之清單X中抑或清單Y中。替代地，Z經設定如下：若自清單X識別運動源圖像，則Z經設定成X。替代地，另外，當運動源圖像屬於兩個參考圖像清單，且RefPicList0[idx0]為首先出現於清單0中之運動源圖像及RefPicList(1)[idx1]為首先出現於清單1中之運動源圖像時，若idx0小於或等於idx1，則Z經設定成0，否則被設定成1。
18. 可在經寫碼位元串流中傳信(例如藉由視訊編碼器20產生)運動源圖像。詳言之，針對B圖塊傳信指示運動源圖像係來自清單0抑或來自清單1之旗標。替代地，另外，可傳信至當前圖像之清單0或清單1之參考索引以識別運動源圖像。
19. 當識別時間向量時，若一向量指向相關聯運動源圖像中之經框內寫碼區塊，則該向量被視為不可用的(因此可考慮其他向量)。
下文論述本發明之各種技術之實施。假定ATMVP經實施於HEVC版本1之頂部上。運動壓縮可不適用於參考圖像且可啟用具有雙向運動補償之較小區塊。
SPS中之ATMVP之傳信：
atmvp_sub_pu_size可存在於SPS中。
atmvp_sub_pu_size可指定使用ATMVP模式寫碼之PU之子PU的大小。其在2至6的範圍內，包含2及6。將用於ATMVP之子PU大小(spuWidth,spuHeight)導出為min(w,1<<atmvp_sub_pu_size)乘以min (h,1<<atmvp_sub_pu_size)，其中w×h為當前PU之大小。
替代地，在SPS中單獨地傳信子PU大小之寬度及高度兩者。
替代地，相對於CTU大小或最小寫碼單元大小來傳信子PU大小。
若atmvp_sub_pu_size小於CTU大小(例如，HEVC版本1中之6)，則可變atmvpEnableFlag經導出等於1，否則等於0。
圖塊標頭中之ATMVP之傳信：five_minus_max_num_merge_cand指定圖塊中所支援的減去5的合併MVP候選的最大數目。合併MVP候選之最大數目MaxNumMergeCand經導出為：MaxNumMergeCand=(atmvpEnableFlag？6：5)-five_minus_max_num_merge_cand(7-41)five_minus_max_num_merge_cand的值應受限制，以使得MaxNumMergeCand處於1至(atmvpEnableFlag？6：5)的範圍中，包含1及atmvpEnableFlag？6：5。
替代地，five_minus_max_num_merge_cand變成six_minus_max_num_merge_cand，且語義如下：six_minus_max_num_merge_cand指定圖塊中所支援的減去6的合併MVP候選之最大數目。合併MVP候選之最大數目，MaxNumMergeCand經導出為：MaxNumMergeCand=6-six_minus_max_num_merge_cand(7-41)替代地，直接傳信max_num_merge_cand_minus1。
在一些實例中，其他語法變化為不必要的，且藉由可在0至5之範圍(包含0及5)內的merge_idx來識別ATMVP候選。
與ATMVP有關之解碼程序：可(例如)由視訊解碼器30實施以下解碼程序以制定ATMVP候選並包括該ATMVP候選作為合併候選清單之一部分：
第一階段時間向量之識別：
將可變mtSrcPOC設定成用於TMVP中之共置圖像之POC值，將tV設定成零向量，且將atmvpAvaFlag設定成0。
對於空間相鄰位置(其為A1、B1、B0、A0及B2)中之位置N中之每一者，以下內容適用：˙dir經設定等於collocated_from_l0_flag；˙對於以下情況：若當前圖塊為B圖塊，則X等於dir至(1-dir)(包含dir及1-dir)，或若當前圖塊不為B圖塊，則僅X等於0，以下內容適用：○當相鄰區塊N可用且其並不經框內寫碼，且RefIdxX[N]大於或等於0(表示MVLX[N]及RefIdxX[N]為運動向量及對應於RefPicListX之相鄰區塊N之參考索引)時，按次序應用以下步驟：■將mtSrcPOC設定為等於RefPicListX[RcfIdxX[N]]之POC值；■將tV設定為等於MVLX[N]；■將atmvpAvaFlag設定成1；■終止此程序。
可用運動源之識別：
將圖像之清單設定成作為空清單之CanPicATMVP。
將CanPicATMVP[0]設定成具有等於mtSrcPOC之POC值的圖像。
將i設定為等於1； MotionSrcPic為空圖像且可如下文所指定而更新。
對於可用參考圖像清單X中之每一者，以下內容適用：˙dir經設定等於collocated_from_l0_flag；○對於以下情況：若當前圖塊為B圖塊，則X等於dir至(1-dir) (包含dir及1-dir)，或若當前圖塊不為B圖塊，則僅X等於0，以下內容適用：○每一idx自0至num_ref_active_1X_minus1；■CanPicATMVP[i++]=RefPicListX[idx]；使(CurrPosX,CurrPosY)為當前PU之左上像素位置之座標。
對於n等於0至i(包含0及i)，以下內容適用。
˙若n不等於0，則朝向圖像CanPicATMVP[n]縮放tV以導出tScaledVector，其中用於tV之相關圖像為當前圖像及CanPicATMVP[0]，且用於目的地向量tScaledVector之相關圖像為當前圖像及CanPicATMVP[i]；
˙否則(n等於0)，tScaledVector經設定等於tV。
˙如下自CanPicATMVP[n]獲得對應於中心子PU之區塊之運動資訊：
○centerPosX=CurrPosX+=((tScaledVector[0]+2)>>2)；
○centerPosY=CurrPosY+=((tScaledVector[1]+2)>>2)；
○使(centerPosX,centerPosY)為識別中心子PU之對應區塊之位置且使當前PU大小為寬度乘以高度。
○centerPosX+=CurrPosX+((width/spuWidth)>>1)* spuWidth+(min(spuWidth,width)>>1)；
○centerPosY+=CurrPosX+((height/spuHeight)>>1)* spuHeight+(min(spuHeight,height)>>1)；
○調用抓取運動資訊之運動資訊提取程序，其中圖像mtnSrcPic等於CanPicATMVP[n]及位置(posX,posY)等於(centerPosX,centerPosY)作為輸入，且子PU運動可用旗標SubPuMtnAvaFlag、一對參考索引sColRefIdx0及sColRefIdx1，及一對運動向量(sColMV0、sColMV1)作為輸出。
○若SubPuMtnAvaFlag等於1，則以下內容適用。
■MotionSrcPic經設定成CanPicATMVP[n]
■tV經設定成tScaledVector
■終止此迴路。
運動資訊提取程序：
此程序之輸入為圖像mtnSrcPic及關於圖像之位置(posX,posY)，且此程序之輸出為運動可用旗標mtnAvaFlag、一對參考索引refIdx0及refIdx1及一對運動向量(mv0，mv1)。
首先截割(posX,posY)以在圖像mtnSrcPic內。
識別含有位置(posX,posY)之4×4(或儲存運動資訊之另一最小大小)區塊blkT。
將mtnAvaFlag設定為等於0。
若blkT不經框內寫碼，且其運動資訊含有blkTRefIdx0、blkTRefIdx1、blkTMv0及blkTMv1，則以下內容適用。
˙當blkTRefIdx0或blkTRefIdx1大於或等於0時，將mtnAvaFlag設定為等於1，且對於X等於0及1，以下內容適用。
○將refIdxX設定為等於blkTRefIdxX
○將mvX設定為等於blkTMvX
用於ATMVP之子PU運動之產生：
若SubPuMtnAvaFlag等於1，則調用以下程序。
˙對於子PU中之每一者(例如，在光柵掃描次序中)，以下內容適用。
○將當前子PU之水平索引及垂直索引分別表示為k及l，其中k在0至寬度/spuWidth-1之範圍內，包含0及寬度/spuWidth-1，且l在0至高度/spuHeight-1之範圍內，包含0及高度/spuHeight-1。舉例而言，若16×16 PU經劃分成四個8×8子PU，則光柵掃描次序中之四個子PU之 (k,l)值分別為(0,0)、(1,0)、(0,1)及(1,1)。
○將子PU之座標(tempPosX,tempPosY)計算為(tempPosX,tempPosY)=(CurrPosX,CurrPosY)+(k* spuWidth,l* spuHeight)。
○tempPosX+=((tV[0]+2)>>2)；
○tempPosY+=((tV[1]+2)>>2)；
○調用抓取運動資訊之運動資訊提取程序，其中圖像mtnSrcPic等於MotionSrcPic及位置(posX,posY)等於(tempPosX,tempPosY)作為輸入，且子PU運動可用旗標currSubPuMtnAvaFlag、一對參考索引currSubRefIdx0及currSubRefIdx1，及一對運動向量(currSubMV0、currSubMV1)作為輸出。
○當currSubPuMtnAvaFlag等於0時，對於X等於0及1(包括0及1)，將currSubRefIdxX設定為等於cColRefIdxX且將currSubMVX設定為等於cColMVX。
○對於X等於(0及1(包含0及1)，朝向當前圖像之預設目標參考圖像(其為RefPicListX[0])縮放運動向量currSubMVX，與TMVP中類似。將當前子PU之經導出之參考索引及運動向量表示為cSpuRefIdxX及cSpuMVX，且其經如下導出：■cSpuRefIdxX=(currSubRefIdxX>=0？0：-1)；■將cSpuMVX設定成currSubMVX之經縮放向量，與TMVP中類似。
用於此ATMVP候選之代表性運動資訊集合aRefIdxX及aMVX(X等於0或1)經如下導出：˙aRefIdxX=(cColRefIdxX>=0？0：-1)；˙將aMVX設定成cColMVX之經縮放向量，與TMVP中類似。
替代地，運動提取程序及運動縮放程序與HEVC版本1(亦即，HEVC版本1之子條款8.5.3.2.8)之TMVP中相同(或類似)：「Derivation process for collocated motion vectors」適用於替換此子部分中之突出文字。在此情況下，如TMVP(子條款8.5.3.2.8)中之運動提取及運動縮放程序替換上文所定義之(包括由斜體文字所指示之)運動提取程序及運動縮放程序。
在合併候選清單中插入ATMVP候選：
當SubPuMtnAvaFlag等於1時，在測試A0(或替代地B0)候選之後將ATMVP候選插入至合併候選中，且可能插入至合併候選清單中。
用於此候選之運動資訊被視為由aRefIdxX及aMVX(其中X等於0或1)形成。
當TMVP候選可用時，將其進一步與ATMVP候選之代表性資訊進行比較(aRefIdxX及aMVX)；僅當TMVP候選具有不等於aRefIdxX之refIdxX或不等於aMVX(其中X等於0或1)之運動向量時，將其進一步插入至合併候選清單中。
當所有候選(包括ATMVP候選)明顯被視為由一個單一運動資訊集合(至多兩個參考索引及兩個相關聯運動向量)表示時，使用用於ATMVP候選之代表性資訊。舉例而言，在用於組合式雙向預測性合併候選之導出程序中，使用ATMVP之代表性運動資訊。
另外，每一合併候選附有指示該候選是否為ATMVP候選之標籤(可為旗標或類型)。
另外，對於ATMVP候選，由於當前PU經解碼，需要儲存在上文表示為cSpuRefIdxX及cSpuMVX的運動資訊集合(針對X等於0及1及針對每一子PU)。
基於ATMVP候選之運動補償：當使用合併模式寫碼當前PU且merge_idx指定經指示為ATMVP候選之候選時，對於每一子PU，運動資訊cSpuRefIdxX及cSpuMVX(X等於0及1)被導出且用於執行對當前子PU的運動補償。在完成運動補償之後，以與其他框間模式相同之 方式完成殘餘解碼及其他程序。
視訊編碼器20可(例如)在圖框標頭、區塊標頭、圖塊標頭或GOP標頭中進一步將語法資料(諸如，基於區塊之語法資料、基於圖框之語法資料，及基於GOP之語法資料)發送至視訊解碼器30。GOP語法資料可描述各別GOP中之圖框的數目，且圖框語法資料可指示用以編碼對應圖框之編碼/預測模式。
在適用時，視訊編碼器20及視訊解碼器30各自可經實施為多種合適的編碼器或解碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可經整合為組合式編碼器/解碼器(編解碼器)之部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件(諸如蜂巢式電話)。
圖2為繪示可實施用於先進時間運動向量預測(ATMVP)之技術之視訊編碼器20之實例的方塊圖。視訊編碼器20可執行視訊圖塊內之視訊區塊的框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減小或移除視訊序列之鄰近圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指代若干基於空間之寫碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之寫碼模式中的任一者。
如圖2中所展示，視訊編碼器20接收待編碼之視訊圖框內之當前視訊區塊。在圖2之實例中，視訊編碼器20包括模式選擇單元40、參考圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、 框內預測單元46及分割單元48。為了視訊區塊重建構，視訊編碼器20亦包括逆量化單元58、逆變換單元60及求和器62。亦可包括解區塊過濾器(圖2中未展示)以便對區塊邊界進行濾波，以自經重建構視訊中移除區塊效應假影。在需要時，解區塊過濾器通常將對求和器62之輸出進行濾波。亦可使用除解塊過濾器以外之額外過濾器(迴路中或迴路後)。為簡潔起見未展示此等過濾器，但若需要，此等過濾器可對求和器50之輸出進行濾波(作為迴路內過濾器)。
在編碼程序期間，視訊編碼器20接收待寫碼之視訊圖框或圖塊。可將該圖框或圖塊劃分成多個視訊區塊。運動估計單元42及運動補償單元44執行所接收之視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性寫碼以提供時間預測。框內預測單元46可替代地執行所接收之視訊區塊相對於與待寫碼區塊相同之圖框或圖塊中之一或多個相鄰區塊的框內預測性寫碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次，(例如)以選擇用於視訊資料之每一區塊的適當寫碼模式。
此外，分割單元48可基於對先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割為子區塊。舉例而言，分割單元48可初始地將圖框或圖塊分割成LCU，且基於速率失真分析(例如，速率失真最佳化)來將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示將LCU分割為子CU之四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可(例如)基於誤差結果而選擇寫碼模式(框內或框間)中之一者，且將所得經框內寫碼區塊或經框間寫碼區塊提供至求和器50以產生殘餘區塊資料，及提供至求和器62以重建構經編碼區塊以用作參考圖框。模式選擇單元40亦將語法元素(諸如，運動向量、框內模式指示符、分割區資訊及其他此類語法資訊)提供至熵編 碼單元56。
運動估計單元42及運動補償單元44可高度整合，但出於概念目的而加以單獨說明。藉由運動估計單元42執行之運動估計為產生估計視訊區塊之運動的運動向量之程序。舉例而言，運動向量可指示在當前視訊圖框或圖像內之視訊區塊的PU相對於在參考圖框(或其他經寫碼單元)內的預測性區塊相對於在該當前圖框(或其他經寫碼單元)內正經寫碼的當前區塊之位移。預測性區塊為就像素差而言被發現緊密地匹配待寫碼之區塊的區塊，該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差量度判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64中之參考圖像的子整數像素位置之值。舉例而言，視訊編碼器20可內插該參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像的預測性區塊之位置而計算經框間寫碼圖塊中的視訊區塊之PU之運動向量。該參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等清單中之每一者識別儲存於參考記憶體64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計單元42所判定之運動向量來提取或產生預測性區塊。又，在一些實例中，運動估計單元42及運動補償單元44可在功能上整合。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。求和器50藉由自正被寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊 區塊，從而形成像素差值，如下文所論述。大體而言，運動估計單元42相對於明度分量而執行運動估計，且運動補償單元44將基於該等明度分量所計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊中使用。
視訊編碼器20可經組態以執行上文關於圖1所論述的本發明之各種技術中之任一者。舉例而言，運動補償單元44可經組態以根據本發明之技術使用AMVP或合併模式來寫碼用於視訊資料之區塊的運動資訊。
假定運動補償單元44選擇執行合併模式，運動補償單元44可形成包括合併候選集合之候選清單。運動補償單元44可基於特定的預定次序將候選添加至候選清單。在一項實例中，運動補償單元44按A1、B1、B0、A0之次序將候選添加至候選清單，隨後添加先進時間運動向量預測(ATMVP)候選。運動補償單元44亦可添加額外候選且執行候選清單之修剪，如上文所論述。最終，模式選擇單元40可判定哪些候選將用於編碼當前區塊之運動資訊，並編碼表示所選擇候選之合併索引。
此外，在一些實例中，運動補償單元44可首先判定ATMVP候選是否可用。舉例而言，運動補償單元可判定與參考圖像中之當前區塊相對應的區塊，且判定運動資訊是否可用於對應區塊。當運動資訊可用於對應區塊時，運動補償單元44可隨後判定ATMVP候選(亦即，對應區塊)為可用的。在一些實例中，運動補償單元44可判定在不使用框內預測的情況下預測整個對應區塊(例如，如下文圖5a中所展示之中心位置區塊)時，運動資訊可用於對應區塊，但在使用框內預測來預測至少部分的對應區塊時，運動資訊為不可用的。
類似地，在一些實例中，運動補償單元44可判定兩個潛在 ATMVP候選中之哪一者應被用作最終添加至候選清單之ATMVP候選。舉例而言，運動補償單元44可形成相對於當前區塊之第一時間運動向量，該第一時間運動向量識別第一運動源圖像(亦即，第一參考圖像)中之第一ATMVP候選。若運動資訊並不可用於第一ATMVP候選，則運動補償單元44可判定運動資訊是否可用於第二不同ATMVP候選。可使用參考第二不同參考圖像之同一時間運動向量、參考同一(亦即，第一)參考圖像之不同時間運動向量或參考第二不同參考圖像之不同時間運動向量來識別第二ATMVP候選。如上文所論述，待檢查之參考圖像可在參考圖像清單中之參考索引之遞升次序中。同樣地，若使用不同時間運動向量，則可以預定次序自相鄰區塊至當前區塊之時間向量選擇時間運動向量。
此外，運動補償單元44可針對特定參考圖像清單判定運動向量是否可用於ATMVP候選中之子PU。若如此，則運動向量被視為可用於該參考圖像清單。否則，運動向量被視為不可用於參考圖像清單。替代地，若運動向量可供用於另一參考圖像清單，則運動補償單元44可藉由縮放運動向量以指向第一參考圖像清單中之目標參考圖像來修改運動資訊，如上文所論述。
作為由運動估計單元42及運動補償單元44執行之框間預測的替代，框內預測單元46可對當前區塊進行框內預測，如上文所描述。詳言之，框內預測單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元46可(例如)在單獨的編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46(或在一些實例中為模式選擇單元40)可自所測試模式中選擇適當的框內預測模式來使用。
舉例而言，框內預測單元46可使用對於各種所測試之框內預測模式的速率失真分析來計算速率失真值，且在所測試模式之中選擇具 有最佳速率失真特性之框內預測模式。速率失真分析大體上判定經編碼區塊與原始的未編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測單元46可根據各種經編碼區塊之失真及速率來計算比率以判定哪一框內預測模式展現該區塊之最佳速率失真值。
在選擇用於區塊之框內預測模式之後，框內預測單元46可將指示用於該區塊之所選擇框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可編碼指示該所選擇之框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括以下各者：組態資料，其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦稱作碼字映射表)；各種區塊之編碼上下文的定義；及待用於該等上下文中之每一者的最有可能之框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
視訊編碼器20藉由自正經寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將變換(諸如離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用小波變換、整數變換、子頻帶變換或其他類型之變換。
在任何情況下，變換處理單元52將變換應用於殘餘區塊，從而產生殘餘變換係數區塊。該變換可將殘餘資訊自像素值域變換至變換域，諸如頻域。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減小位元速率。量化程序可減小與一些或所有係數相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行包括經量化變換係 數之矩陣的掃描。替代地，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56對經量化之變換係數進行熵寫碼。舉例而言，熵編碼單元56可執行上下文適應性可變長度寫碼(CAVLC)、上下文適應性二進位算術寫碼(CABAC)、基於語法之上下文適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的情況下，上下文可基於相鄰區塊。在由熵編碼單元56進行熵寫碼之後，可將經編碼位元串流傳輸至另一器件(例如，視訊解碼器30)或存檔以供稍後傳輸或擷取。
逆量化單元58及逆變換單元60分別應用逆量化及逆變換以在像素域中重建構殘餘區塊(例如)以供稍後用作參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像記憶體64之圖框中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插過濾器應用至經重建構之殘餘區塊以計算子整數像素值以用於運動估計。求和器62將經重建構之殘餘區塊添加至由運動補償單元44產生之經運動補償的預測區塊，以產生經重建構之視訊區塊以用於儲存於參考圖像記憶體64中。經重建構之視訊區塊可由運動估計單元42及運動補償單元44用作一參考區塊以框間寫碼後續視訊圖框中之區塊。
以此方式，圖2之視訊編碼器20表示視訊寫碼器之實例，該視訊寫碼器經組態以進行以下操作：針對視訊資料之當前區塊形成包括複數個合併候選之合併候選清單，該複數個合併候選包括自四個相鄰區塊至當前區塊之四個空間相鄰候選及緊接在該四個空間相鄰候選之後的先進時間運動向量預測(ATMVP)候選；寫碼至合併候選清單中的索引，該索引識別合併候選清單中之複數個合併候選中之合併候選；及使用經識別合併候選之運動資訊寫碼視訊資料之當前區塊。
圖3為繪示可實施用於先進時間運動向量預測(ATMVP)之技術之視訊解碼器30之實例的方塊圖。在圖3的實例中，視訊解碼器30包含 熵解碼單元70、運動補償單元72、框內預測單元74、逆量化單元76、逆變換單元78、參考圖像記憶體82及求和器80。在一些實例中，視訊解碼器30可執行大體上與關於視訊編碼器20(圖2)所描述之編碼遍次互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符產生預測資料。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元70對位元串流進行熵解碼以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉寄至運動補償單元72。視訊解碼器30可在視訊圖塊層級及/或視訊區塊層級處接收語法元素。
當視訊圖塊經寫碼為框內寫碼(I)圖塊時，框內預測單元74可基於所傳信之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即，B、P或GPB)圖塊時，運動補償單元72基於運動向量及自熵解碼單元70接收之其他語法元素產生當前視訊圖塊之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單中之一者內的參考圖像中之一者產生。視訊解碼器30可基於儲存於參考圖像記憶體82中之參考圖像使用預設建構技術來建構參考圖框清單：清單0及清單1。
運動補償單元72藉由剖析運動向量及其他語法元素來判定當前視訊圖塊之視訊區塊的預測資訊，並使用該預測資訊以產生經解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元72使用一些所接收之語法元素以判定用以寫碼視訊圖塊之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測圖塊類型(例如，B圖塊、P圖塊或GPB圖塊)、圖塊之參考圖像清單中之一或多者之建構資訊、圖塊 之每一經框間編碼之視訊區塊之運動向量、圖塊之每一經框間寫碼之視訊區塊之框間預測狀態，及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。
運動補償單元72亦可執行基於內插過濾器之內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插過濾器，以計算參考區塊之子整數像素的內插值。在此情況下，運動補償單元72可根據接收之語法元素判定由視訊編碼器20使用之內插過濾器且使用該等內插過濾器來產生預測性區塊。
視訊解碼器30可經組態以執行上文關於圖1所論述的本發明之各種技術中之任一者。舉例而言，運動補償單元72可經組態以判定用於視訊資料之區塊之運動資訊是否根據本發明之技術使用AMVP或合併模式來寫碼。更特定而言，熵解碼單元70可解碼表示運動資訊如何被寫碼以用於當前區塊之一或多個語法元素。
假定語法元素指示執行合併模式，運動補償單元72可形成包括合併候選集合之候選清單。運動補償單元72可基於特定的預定次序將候選添加至候選清單。在一項實例中，運動補償單元72按A1、B1、B0、A0之次序將候選添加至候選清單，隨後添加先進時間運動向量預測(ATMVP)候選。運動補償單元72亦可添加額外候選且執行候選清單之修剪，如上文所論述。最終，運動補償單元72可解碼表示哪些候選用於寫碼當前區塊之運動資訊的合併索引。
此外，在一些實例中，運動補償單元72可首先判定ATMVP候選是否可用。舉例而言，運動補償單元可判定與參考圖像中之當前區塊相對應的區塊，且判定運動資訊是否可用於對應區塊。當運動資訊可用於對應區塊時，運動補償單元72可隨後判定ATMVP候選(亦即，對應區塊)為可用的。在一些實例中，運動補償單元72可判定在不使用框內預測的情況下預測整個對應區塊時，運動資訊可用於對應區塊， 但在使用框內預測來預測至少部分的對應區塊時，運動資訊為不可用的。
類似地，在一些實例中，運動補償單元72可判定兩個潛在ATMVP候選之哪一者應被用作最終被添加至候選清單之ATMVP候選。舉例而言，運動補償單元72可形成相對於當前區塊之第一時間運動向量，該第一時間運動向量識別第一運動源圖像(亦即，第一參考圖像)中之第一ATMVP候選。若運動資訊不可用於第一ATMVP候選，則運動補償單元72可判定運動資訊是否可用於第二不同ATMVP候選。可使用參考第二不同參考圖像之同一時間運動向量、參考同一(亦即，第一)參考圖像之不同時間運動向量或參考第二不同參考圖像之不同時間運動向量來識別第二ATMVP候選。如上文所論述，待檢查之參考圖像可在參考圖像清單中之參考索引之遞升次序中。同樣地，若使用不同時間運動向量，則可以預定次序自相鄰區塊至當前區塊之時間向量選擇時間運動向量。
此外，運動補償單元72可針對特定參考圖像清單判定運動向量是否可用於ATMVP候選中之子PU。若如此，運動向量被視為可供用於該參考圖像清單。否則，運動向量被視為不可用於參考圖像清單。替代地，若運動向量可用於另一參考圖像清單，則運動補償單元72可藉由縮放運動向量以指向第一參考圖像清單中之目標參考圖像來修改運動資訊，如上文所論述。
逆量化單元76逆量化(亦即，解量化)提供於位元串流中並由熵解碼單元70熵解碼之經量化變換係數。逆量化程序可包括使用由視訊解碼器30針對視訊圖塊中之每一視訊區塊計算之量化參數QPY以判定應進行應用的量化程度及(同樣地)逆量化程度。
逆變換單元78將逆變換(例如，逆DCT、逆整數變換或概念上類似的逆變換程序)應用於變換係數，以便在像素域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素而產生當前視訊區塊之預測性區塊之後，視訊解碼器30藉由將來自逆變換單元78之殘餘區塊與由運動補償單元72所產生之對應預測性區塊求和而形成經解碼視訊區塊。求和器80表示執行此求和運算之一或多個組件。若需要，亦可應用解區塊過濾器來對經解碼區塊進行濾波以便移除區塊效應假影。亦可使用其他迴路過濾器(在寫碼迴路中或在寫碼迴路之後)以使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體82中，該參考圖像記憶體儲存用於後續運動補償之參考圖像。參考圖像記憶體82亦儲存經解碼視訊以用於稍後在顯示器件(諸如，圖1之顯示器件32)上呈現。
以此方式，視訊解碼器30表示視訊寫碼器之實例，該視訊寫碼器經組態以進行以下操作：針對視訊資料之當前區塊形成包括複數個合併候選之合併候選清單，該複數個合併候選包括自四個相鄰區塊至該當前區塊之四個空間相鄰候選及緊接在該四個空間相鄰候選之後的先進時間運動向量預測(ATMVP)候選；寫碼至該合併候選清單中之索引，該索引識別該合併候選清單中之複數個合併候選中之一合併候選；及使用該經識別之合併候選之運動資訊寫碼視訊資料之當前區塊。
圖4為繪示HEVC中之空間相鄰候選的概念圖。對於特定PU(PU0)，空間MV候選係自圖4上展示之相鄰區塊導出，但自區塊產生候選之方法對於合併模式及AMVP模式而言為不同的。
在合併模式中，可使用圖4(a)中展示的具有編號之次序導出至多四個空間MV候選，且該次序如下：左(0,A1)、上(1,B1)、右上(2,B0)、左下(3,A0)及左上(4,B2)，如圖4(a)中所示。亦即，在圖4(a)中，區塊100包括PU0 104A及PU1 104B。當視訊寫碼器使用合併模式寫碼PU0 104A之運動資訊時，視訊寫碼器以彼次序將來自空間相鄰 區塊108A、108B、108C、108D及108E之運動資訊添加至候選清單。與HEVC中一樣，區塊108A、108B、108C、108D及108E亦可分別被稱作區塊A1、B1、B0、A0及B2。
在AVMP模式中，相鄰區塊經劃分成兩個群組：包括區塊0及1之左群組及包括區塊2、3及4之上群組，如圖4(b)上所展示。此等區塊在圖4(b)中分別被標記為區塊110A、110B、110C、110D及110E。特定而言，在圖4(b)中，區塊102包括PU0 106A及PU1 106B，且區塊110A、110B、110C、110D及110E表示對PU0 106A之空間相鄰者。對於每一群組，參考與由經傳信之參考索引指示之參考圖像相同的參考圖像的相鄰區塊中之潛在候選具有待選擇之最高優先權以形成該群組之最終候選。有可能所有相鄰區塊均不含有指向相同參考圖像的運動向量。因此，若無法發現此類候選，則將縮放第一可用候選以形成最終候選；因此可補償時間距離差。
圖5為繪示HEVC中之時間運動向量預測之概念圖。特定而言，圖5(a)繪示包括PU0 122A及PU 1 122B之實例CU 120。PU0 122A包括PU 122A之中心區塊126及對於PU0 122A之右下區塊124。圖5(a)亦展示可自PU0 122A之運動資訊預測運動資訊之外部區塊128，如下文所論述。圖5(b)繪示包括將針對其預測運動資訊之當前區塊138之當前圖像130。特定而言，圖5(b)繪示對當前圖像130(包括對當前區塊138之共置區塊140)之共置圖像134、當前參考圖像132及共置參考圖像136。使用運動向量144預測共置區塊140，該運動向量144用作區塊138之運動資訊之時間運動向量預測子(TMVP)142。
若TMVP經啟用且TMVP候選為可用的，則視訊寫碼器可將TMVP候選(例如，TMVP候選142)添加至MV候選清單中在任何空間運動向量候選之後。對於合併模式及AMVP模式兩者，TMVP候選之運動向量導出之程序為相同的。然而，根據HEVC，將合併模式中之 TMVP候選之目標參考索引設定成0。
TMVP候選導出之原色區塊位置為共置PU外側之右下區塊，如圖5(a)中所展示的區塊124對於PU0 122A之位置，以補償用於產生空間相鄰候選之上區塊及左區塊之偏差。然而，若區塊124位於當前CTB列之外側或運動資訊並不可用於區塊124，則用如圖5(a)中所展示之PU之中心區塊126取代該區塊。
自共置圖像134之共置區塊140導出TMVP候選142之運動向量，如圖塊層級資訊中所指示。
類似於AVC中之時間直接模式，TMVP候選之運動向量可經受運動向量縮放，該縮放經執行以補償當前圖像130與當前參考圖像132，及共置圖像134與共置參考圖像136之間的圖像次序計數(POC)距離差。亦即，可基於此等POC差來縮放運動向量144以產生TMVP候選142。
下文論述HEVC之合併模式及AMVP模式之若干態樣。
運動向量縮放：假定運動向量之值在呈現時間方面與圖像之間的距離成比例。運動向量關聯兩個圖像：參考圖像及含有運動向量之圖像(亦即，包含類圖像)。當視訊編碼器20或視訊解碼器30使用運動向量來預測另一運動向量時，基於圖像次序計數(POC)值計算包含類圖像與參考圖像之間的距離。
對於待預測之運動向量，其相關聯之包含類圖像及參考圖像不同。亦即，對於兩個不同運動向量存在兩個POC差值：待預測之第一運動向量，及用以預測第一運動向量之第二運動向量。另外，第一POC差為第一運動向量之當前圖像與參考圖像之間的差，且第二POC差為含有第二運動向量之圖像與第二運動向量參考之參考圖像之間的差。可基於此等兩個POC距離來縮放第二運動向量。對於空間相鄰候選，兩個運動向量之包含類圖像相同，而參考圖像不同。在HEVC 中，運動向量縮放適用於空間及時間相鄰候選之TMVP及AMVP兩者。
人工運動向量候選產生：若運動向量候選清單不完整，則可產生人工運動向量候選並將其插入在該清單之末端處直至該清單包括預定數目個候選。
在合併模式中，存在兩種類型之人工MV候選：僅針對B圖塊導出之組合式候選，及若第一類型並未提供足夠的人工候選，僅針對AMVP使用之零候選。
對於已在候選清單中且具有必要運動資訊之每一對候選，雙向組合式運動向量候選藉由參考清單0中之圖像之第一候選的運動向量與參考清單1中之圖像之第二候選的運動向量之組合導出。
用於候選插入之修剪程序：來自不同區塊之候選可恰好相同，此降低合併/AMVP候選清單之效率。可應用修剪程序以解決此問題。根據修剪程序，在某種程度上，視訊寫碼器將當前候選清單中之一個候選與其他候選進行比較以避免插入相同候選。為減小複雜度，僅應用有限數目之修剪程序，而不是將每一潛在候選與已在清單中之所有其他現有候選進行比較。
圖6繪示3D-HEVC之實例預測結構。3D-HEVC為藉由JCT-3V開發之HEVC之3D視訊擴展。下文關於圖6及圖7描述與本發明之技術有關之某些技術。
圖6展示用於三視圖情況之多視圖預測結構。V3表示基礎視圖且可自同一時間例項之相依(基礎)視圖中之圖像預測非基礎視圖(V1或V5)中之圖像。
在MV-HEVC中支援視圖間樣本預測(自經重建構樣本)，其典型預測結構展示於圖8中。
MV-HEVC及3D-HEVC兩者以基礎(紋理)視圖可由HEVC(版本1) 解碼器解碼之方式與HEVC相容，MV-HEVC及3D-HEVC之測試模型經描述於Zhang等人的截至2015年1月26日可自網站mpeg.chiariglione.org/standards/mpeg-h/high-efficiency-video-coding/test-model-6-3d-hevc-and-mv-hevc獲得之JCT-3V文獻ISO/IEC JTC1/SC29/WG11 N13940「Test Model 6 of 3D-HEVC and MV-HEVC」中。
在MV-HEVC中，藉由將所有此等圖像置於圖像之參考圖像清單中，可由相同時間例項之相同視圖中之圖像及參考視圖中之圖像兩者來預測非基礎視圖中之當前圖像。因此，當前圖像之參考圖像清單含有時間參考圖像及視圖間參考圖像兩者。
與對應於時間參考圖像之參考索引相關聯之運動向量表示為時間運動向量。
與對應於視圖間參考圖像之參考索引相關聯之運動向量表示為視差運動向量。
3D-HEVC支援MV-HEVC中之所有特徵。因此，啟用如上文所提及之視圖間樣本預測。
另外，支援更先進的僅紋理寫碼工具及深度相關/相依寫碼工具。
僅紋理寫碼工具常常要求可屬於同一物件之對應區塊(視圖之間)之識別。因此，視差向量導出為3D-HEVC中之基本技術。
圖7為繪示3D-HEVC中之以子PU為基礎之視圖間運動預測之概念圖。圖7展示當前視圖(V1)之當前圖像160及參考視圖(V0)中之共置圖像162。當前圖像160包括當前PU 164，其包括四個子PU 166A至166D(子PU 166)。各別視差向量174A至174D(視差向量174)識別與共置圖像162中之子PU 166相對應之子PU 168A至168D。在3D-HEVC中，用於視圖間合併候選(亦即，自參考視圖中之參考區塊導出之候選)之子 PU層級視圖間運動預測方法。
當啟用該模式時，當前PU 164可對應於參考視圖中之參考區域(其大小與由視差向量識別之當前PU相同)，且該參考區域可具有比通常針對PU產生之一個運動資訊集合所需之運動資訊更豐富的運動資訊。因此，可使用子PU層級視圖間運動預測(SPIVMP)方法，如圖7中所展示。
亦可作為特殊合併候選傳信此模式。子PU中之每一者含有運動資訊之全集合。因此，PU可含有多個運動資訊集合。
3D-HEVC中之以子PU為基礎之運動參數繼承(MPI)：類似地，在3D-HEVC中，亦可以類似於子PU層級視圖間運動預測之方式擴展MPI候選。舉例而言，若當前深度PU具有含有多個PU之共置區域，則當前深度PU可分成子PU，每一子PU可具有不同運動資訊集合。此方法被稱作子PU MPI。亦即，對應子PU 168A至168D之運動向量172A至172D可由子PU 166A至166D繼承為運動向量170A至170D，如圖7中所展示。
用於2D視訊寫碼之子PU相關之資訊：在美國專利申請案第61/883,111號(其全部內容特此以引用之方式併入)中，描述以子PU為基礎之先進TMVP設計。在單層寫碼中，提出兩階段先進時間運動向量預測設計。
第一階段將導出識別參考圖像中之當前預測單元(PU)之對應區塊，且第二階段將自對應區塊抽選多個運動資訊集合且將其指派給PU之子PU。PU之每一子PU因此單獨地經運動補償。ATMVP之概念經概述如下：
1. 第一階段中之向量可自當前PU之空間及時間相鄰區塊導出。
2. 當激活所有其他合併候選中的合併候選，可達成此程序。
在適用於單層寫碼及子PU時間運動向量預測之情況下，PU或CU 可具有待輸送至預測子頂部上之運動細化資料。
61/883,111申請案之若干設計態樣突出如下：
1. 向量導出之第一階段亦可僅由零向量簡化。
2. 向量導出之第一階段可包括共同地識別運動向量及其相關聯圖像。已經提出選擇相關聯圖像及進一步決定運動向量為第一階段向量之各種方式。
3. 若運動資訊在以上程序期間不可用，則「第一階段向量」用於取代。
4. 自時間相鄰者所識別之運動向量必須以類似於TMVP中之運動向量縮放之方式來縮放以用於當前子PU。然而，可使用以下方式中之一者設計此類運動向量可經縮放至的參考圖像：
a. 藉由當前圖像之固定參考索引識別圖像。
b. 若亦可用於當前圖像之參考圖像清單中，則將該圖像識別為對應時間相鄰者之參考圖像。
c. 將圖像設定成在第一階段中所識別並來自抓取運動向量之處的共置圖像。
圖8為繪示自參考圖像之子PU運動預測的概念圖。在此實例中，當前圖像180包括當前PU 184(例如，PU)。在此實例中，運動向量192識別相對於PU 184之參考圖像182之PU 186。PU 186被分割成子PU 188A至188D，每一者具有各別運動向量190A至190D。因此，雖然當前PU 184實際上未分割成單獨的子PU，但在此實例中，可使用來自子PU 188A至188D之運動資訊預測當前PU 184。特定而言，視訊寫碼器可使用各別運動向量190A至190D來寫碼當前PU 184之子PU。然而，視訊寫碼器不必寫碼指示當前PU 184分裂成子PU之語法元素。以此方式，可使用自各別子PU 188A至188D繼承之多個運動向量190A至190D有效地預測當前PU 184，而不傳信用以將當前PU 184分 裂成多個子PU之語法元素之額外負荷。
圖9為繪示ATMVP(類似於TMVP)中之相關圖像的概念圖。特定而言，圖9繪示當前圖像204、運動源圖像206及參考圖像200、202。更特定而言，當前圖像204包括當前區塊208。時間運動向量212識別相對於當前區塊208之運動源圖像206之對應區塊210。對應區塊210又包括運動向量214，該運動向量214參考參考圖像202且充當當前區塊208之至少一部分(例如，當前區塊208之子PU)之先進時間運動向量預測子。亦即，可添加運動向量214作為當前區塊208之候選運動向量預測子。若經選擇，則可使用對應運動向量(亦即，參考參考圖像200之運動向量216)來預測當前區塊208之至少一部分。
圖10為繪示根據本發明之技術之用於在編碼程序期間將ATMVP候選添加至候選清單之實例方法的流程圖。圖10之方法經描述為由視訊編碼器20(圖1及圖2)執行。然而，應理解，其他編碼器件可經組態以執行此方法或類似方法。
最初，視訊編碼器20獲得待編碼之視訊資料之區塊(圖10中未展示)。區塊可包括空間相鄰者之集合，諸如圖4(a)及圖4(b)中展示的彼等空間相鄰者。運動補償單元44可藉由首先將左空間候選添加至候選清單而建構候選清單(250)。亦即，就圖4(a)而言，假定PU0 104A為待編碼區塊，視訊編碼器20可首先將空間相鄰者108A插入至候選清單。
隨後，運動補償單元44可將上空間候選添加至候選清單(252)。就圖4(a)而言，視訊編碼器20可將空間相鄰者108B插入至候選清單。
隨後，運動補償單元44可將右上空間候選添加至候選清單(254)。就圖4(a)而言，視訊編碼器20可將空間相鄰者108C插入至候選清單。
隨後，運動補償單元44可將左下空間候選添加至候選清單 (256)。就圖4(a)而言，視訊編碼器20可將空間相鄰者108D插入至候選清單。
隨後，運動補償單元44可將先進時間運動向量預測子(ATMVP)候選添加至候選清單(258)。如上文所論述，ATMVP候選可表示由(例如)圖8及圖9中所展示及關於圖8及圖9所論述的時間向量所識別的對應區塊。此外，在一些實例中，運動補償單元44可首先判定ATMVP候選是否可用。舉例而言，運動補償單元可判定與參考圖像中之當前區塊相對應的區塊，且判定運動資訊是否可用於對應區塊。當運動資訊可用於對應區塊時，運動補償單元44可隨後判定ATMVP候選(亦即，對應區塊)為可用的。在一些實例中，運動補償單元44可判定在不使用框內預測的情況下預測整個對應區塊時，運動資訊可用於對應區塊，但在使用框內預測來預測至少部分的對應區塊時，運動資訊為不可用的。
類似地，在一些實例中，運動補償單元44可判定兩個潛在ATMVP候選之哪一者應被用作最終添加至候選清單之ATMVP候選。舉例而言，運動補償單元44可形成相對於當前區塊之第一時間運動向量，該第一時間運動向量識別第一運動源圖像(亦即，第一參考圖像)中之第一ATMVP候選。若運動資訊不可用於第一ATMVP候選，則運動補償單元44可判定運動資訊是否可供用於第二不同ATMVP候選。可使用參考第二不同參考圖像之同一時間運動向量、參考同一(亦即，第一)參考圖像之不同時間運動向量或參考第二不同參考圖像之不同時間運動向量來識別第二ATMVP候選。如上文所論述，待檢查之參考圖像可在參考圖像清單中之參考索引之遞升次序中。同樣地，若使用不同時間運動向量，則可以預定次序自相鄰區塊至當前區塊之時間向量選擇時間運動向量。
此外，運動補償單元44可針對特定參考圖像清單判定運動向量 是否可用於ATMVP候選中之子PU。若如此，運動向量被視為可用於該參考圖像清單。否則，運動向量被視為不可用於該參考圖像清單。替代地，若運動向量可用於其他參考圖像清單，則運動補償單元44可藉由縮放運動向量以指向第一參考圖像清單中之目標參考圖像來修改運動資訊，如上文所論述。
視訊編碼器20可隨後自候選清單選擇候選中之一者(260)。舉例而言，視訊編碼器20可使用候選清單中之任何或所有候選來測試區塊之編碼。另外或替代地，視訊編碼器20之運動估計單元42可執行運動搜尋及判定區塊之運動向量，及判定是否使用先進運動向量預測(AMVP)或合併模式來編碼運動向量。在圖10之實例中，假定視訊編碼器20已選擇使用合併模式來編碼運動資訊。大體而言，視訊編碼器20(更特定而言，模式選擇單元40)可判定候選清單中之哪些候選產生最佳速率失真特性，並選擇彼候選以用於預測區塊。
因此，視訊編碼器20可使用所選擇之候選來預測當前區塊(262)。亦即，運動補償單元44可擷取藉由所選擇候選之運動資訊識別的一或多個參考區塊，且在一些實例中，若運動資訊具有子像素精確度，則可內插分數像素值。
視訊編碼器20可隨後形成當前區塊之殘餘區塊(264)。如上文所論述，求和器50可逐像素計算當前區塊與經預測區塊之間的差，從而形成殘餘區塊。視訊編碼器20可隨後編碼殘餘區塊之殘餘資訊並編碼合併索引(266)。亦即，變換處理單元52可變換殘餘區塊以產生表示殘餘資訊之變換係數。量化單元54可隨後量化變換係數。熵編碼單元56可隨後熵編碼經量化變換係數以及表示運動資訊寫碼模式(在此實例中為合併模式)之語法元素，及表示來自候選清單之所選擇候選的合併索引。
以此方式，圖10之方法表示一方法之實例，該方法包括：針對 視訊資料之當前區塊，形成包括複數個合併候選之合併候選清單，該複數個合併候選包括自四個相鄰區塊至當前區塊之四個空間相鄰候選及緊接在該四個空間相鄰候選之後的先進時間運動向量預測(ATMVP)候選；寫碼至合併候選清單中的索引，該索引識別合併候選清單中之複數個合併候選中之合併候選；及使用經識別合併候選之運動資訊寫碼視訊資料之當前區塊。
圖11為繪示根據本發明之技術之用於在解碼程序期間將ATMVP候選添加至候選清單之實例方法的流程圖。圖11之方法經描述為由視訊解碼器30(圖1及圖3)執行。然而，應理解，其他解碼器件可經組態以執行此方法或類似方法。
最初，視訊解碼器30獲得待編碼之視訊資料之區塊(圖11中未展示)。區塊可包括空間相鄰者之集合，諸如圖4(a)及圖4(b)中展示的彼等空間相鄰者。運動補償單元72可藉由首先將左空間候選添加至候選清單而建構候選清單(270)。亦即，就圖4(a)而言，假定PU0 104A為待編碼區塊，視訊解碼器30可首先將空間相鄰者108A插入至候選清單中。
隨後，運動補償單元72可將上空間候選添加至候選清單(272)。就圖4(a)而言，視訊解碼器30可將空間相鄰者108B插入至候選清單中。
隨後，運動補償單元72可將右上空間候選添加至候選清單(274)。就圖4(a)而言，視訊解碼器30可將空間相鄰者108C插入至候選清單中。
隨後，運動補償單元72可將左下空間候選添加至候選清單(276)。就圖4(a)而言，視訊解碼器30可將空間相鄰者108D插入至候選清單中。
隨後，運動補償單元72可將先進時間運動向量預測子(ATMVP)候 選添加至候選清單中(278)。如上文所論述，ATMVP候選可表示由(例如)圖8及圖9中所展示及關於圖8及圖9所論述的時間向量所識別的對應區塊。此外，在一些實例中，運動補償單元72可首先判定ATMVP候選是否可用。舉例而言，運動補償單元可判定與參考圖像中之當前區塊相對應的區塊，且判定運動資訊是否可用於對應區塊。當運動資訊可用於對應區塊時，運動補償單元72可隨後判定ATMVP候選(亦即，對應區塊)為可用的。在一些實例中，運動補償單元72可判定在不使用框內預測的情況下預測整個對應區塊時，運動資訊可用於對應區塊，但在使用框內預測來預測至少部分的對應區塊時，運動資訊為不可用的。
類似地，在一些實例中，運動補償單元72可判定兩個潛在ATMVP候選之哪一者應被用作最終被添加至候選清單之ATMVP候選。舉例而言，運動補償單元72可形成相對於當前區塊之第一時間運動向量，該第一時間運動向量識別第一運動源圖像(亦即，第一參考圖像)中之第一ATMVP候選。若運動資訊不可用於第一ATMVP候選，則運動補償單元72可判定運動資訊是否可用於第二不同ATMVP候選。可使用參考第二不同參考圖像之同一時間運動向量、參考同一(亦即，第一)參考圖像之不同時間運動向量或參考第二不同參考圖像之不同時間運動向量來識別第二ATMVP候選。如上文所論述，待檢查之參考圖像可在參考圖像清單中之參考索引之遞升次序中。同樣地，若使用不同時間運動向量，則可以預定次序自相鄰區塊至當前區塊之時間向量選擇時間運動向量。
此外，運動補償單元72可針對特定參考圖像清單判定運動向量是否可用於ATMVP候選中之子PU。若如此，運動向量被視為可用於參考圖像清單。否則，運動向量被視為不可用於該參考圖像清單。替代地，若運動向量可用於其他參考圖像清單，則運動補償單元72可藉 由縮放運動向量以指向第一參考圖像清單中之目標參考圖像來修改運動資訊，如上文所論述。
視訊解碼器30可隨後解碼合併索引以自候選清單選擇候選中之一者(280)。更特定而言，視訊解碼器30之熵解碼單元70可熵解碼表示當前區塊之運動資訊是否係使用合併模式編碼之一或多個語法元素以及表示來自候選清單之所選擇候選之合併索引。
因此，視訊解碼器30可使用所選擇之候選來預測當前區塊(282)。亦即，運動補償單元72可擷取藉由所選擇候選之運動資訊識別的一或多個參考區塊，且在一些實例中，若運動資訊具有子像素精確度，則可內插分數像素值。
視訊解碼器30亦可解碼當前區塊之殘餘區塊(284)。特定而言，熵解碼單元70可解碼經量化變換係數，逆量化單元76可逆量化該等經量化變換係數以形成變換區塊。逆變換單元78可隨後對變換區塊進行逆變換以再生殘餘區塊。求和器80可隨後(特定而言)藉由重建構當前區塊而將所預測區塊與殘餘區塊相組合以解碼當前區塊(286)。
以此方式，圖11之方法表示一方法之實例，該方法包括：針對視訊資料之當前區塊，形成包括複數個合併候選之合併候選清單，該複數個合併候選包括自四個相鄰區塊至當前區塊之四個空間相鄰候選及緊接在該四個空間相鄰候選之後的先進時間運動向量預測(ATMVP)候選；寫碼至合併候選清單中的索引，該索引識別合併候選清單中之複數個合併候選中之合併候選；及使用經識別合併候選之運動資訊寫碼視訊資料之當前區塊。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行，可添加、合併或完全省略該等動作或事件(例如，並非所有所描述動作或事件對於該等技術之實踐皆係必要的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處 理或多個處理器同時而非依序執行動作或事件。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體或包括促進(例如)根據通信協定將電腦程式自一處傳送至另一處之任何媒體的通信媒體。以此方式，電腦可讀媒體通常可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉助於實例而非限制，此類電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，將任何連接適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是係關於非暫時性有形儲存媒體。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及Blu-ray光碟，其中磁碟通常以磁性方式再生資料，而光碟用雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效的整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指代前述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼的專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以多種器件或裝置實施，該等器件或裝置包括無線手機、積體電路(IC)或IC之集合(例如，晶片集合)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必需要由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合而結合合適軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。
270‧‧‧區塊
272‧‧‧區塊
274‧‧‧區塊
276‧‧‧區塊
278‧‧‧區塊
280‧‧‧區塊
282‧‧‧區塊
284‧‧‧區塊
286‧‧‧區塊

Claims (57)

  1. 一種寫碼視訊資料之方法，該方法包含：針對視訊資料之一當前區塊形成包括複數個合併候選之一合併候選清單，該複數個合併候選包括自四個相鄰區塊至該當前區塊之四個空間相鄰候選及緊接在該四個空間相鄰候選之後的一先進時間運動向量預測(ATMVP)候選，其中該先進時間運動向量預測候選使用被分成複數個子區塊的該先進時間運動向量預測候選所辨識的一區塊來指示該當前區塊係待被預測，該複數個子區塊的每一個具有一各自運動資訊之集合；寫碼至該合併候選清單中之一索引，該索引識別該合併候選清單中之該複數個合併候選中之該先進時間運動向量預測候選；及基於識別該先進時間運動向量預測候選的該索引，寫碼視訊資料之該當前區塊，其中該先進時間運動向量預測候選使用該先進時間運動向量預測候選所辨識的該區塊的該等子區塊之各自運動資訊來指示該當前區塊係待被預測。
  2. 如請求項1之方法，其中形成該合併候選清單包含：針對該當前區塊判定一參考圖像中之一對應區塊；判定運動資訊是否可用於該對應區塊；及在判定運動資訊可用於該對應區塊之後形成該合併候選清單以包括該ATMVP候選。
  3. 如請求項2之方法，其中判定運動資訊是否可用於該對應區塊包含判定該對應區塊之一部分是否經框內預測。
  4. 如請求項1之方法，其中形成該合併候選清單包含自用於與一參考圖像中之該當前區塊相對應之一區塊的一代表性運動資訊集 合形成該ATMVP候選。
  5. 如請求項4之方法，其中自該代表性運動資訊集合形成該ATMVP候選包含自用於該對應區塊之一預定位置之運動資訊形成該ATMVP候選。
  6. 如請求項4之方法，其中自該代表性運動資訊集合形成該ATMVP候選包含自用於該對應區塊之一預定子預測單元(子PU)之運動資訊形成該ATMVP候選。
  7. 如請求項1之方法，其中形成該合併候選清單包含：相對於該當前區塊使用一第一時間運動向量來識別一第一運動源圖像中之一第一先進時間運動向量預測(ATMVP)候選；當該第一ATMVP候選可用時，將該第一ATMVP候選作為該ATMVP候選添加至該合併候選清單；當該第一ATMVP候選不可用時：相對於該當前區塊使用一第二時間運動向量來識別一第二運動源圖像中之一第二ATMVP候選；及將該第二ATMVP候選作為該ATMVP候選添加至該合併候選清單。
  8. 如請求項7之方法，其中該第一時間運動向量及該第二時間運動向量包含相同時間運動向量，且其中該第一運動源圖像及該第二運動源圖像包含不同運動源圖像。
  9. 如請求項7之方法，其中該第一時間運動向量及該第二時間運動向量包含不同時間運動向量。
  10. 如請求項7之方法，其進一步包含根據一預定次序自該等相鄰區塊之時間向量選擇該第一時間運動向量及該第二時間運動向量。
  11. 如請求項1之方法，其中形成該合併候選清單包含： 針對一參考圖像清單X判定一運動向量是否可用於該ATMVP候選之一子區塊；及在判定該運動向量可用之後將該ATMVP候選添加至該候選清單。
  12. 如請求項11之方法，其中當該運動向量不可用於參考圖像清單X但可用於參考圖像清單Y(其中Y包含除參考圖像清單X外之一參考圖像清單)時，將該運動向量設定為可用於參考圖像清單X並將該運動向量縮放至參考圖像清單X中之一參考圖像。
  13. 如請求項1之方法，其中寫碼該索引包含解碼該索引，且其中寫碼該當前區塊包含：使用該先進時間運動向量預測候選所辨識的該區塊的該等子區塊之該運動資訊來預測該當前區塊以形成一經預測區塊；解碼用於該當前區塊之殘餘資訊；及使用該經解碼之殘餘資訊及該經預測區塊解碼該當前區塊。
  14. 如請求項1之方法，其中寫碼該索引包含編碼該索引，且其中寫碼該當前區塊包含：使用該先進時間運動向量預測候選所辨識的該區塊的該等子區塊之該運動資訊來預測該當前區塊以形成一經預測區塊；形成表示該當前區塊與該經預測區塊之間的差的一殘餘區塊；及編碼該殘餘資訊。
  15. 一種用於寫碼視訊資料之器件，該器件包含：一記憶體，其經組態以儲存視訊資料；及一視訊寫碼器，其經組態以：針對該視訊資料之一當前區塊形成包括複數個合併候選之一合併候選清單，該複數個合併候選包括自四個相鄰區塊至 該當前區塊之四個空間相鄰候選及緊接在該四個空間相鄰候選之後的一先進時間運動向量預測(ATMVP)候選，其中該先進時間運動向量預測候選使用被分成複數個子區塊的該先進時間運動向量預測候選所辨識的一區塊來指示該當前區塊係待被預測，該複數個子區塊的每一個具有一各自運動資訊之集合；寫碼至該合併候選清單中之一索引，該索引識別該合併候選清單中之該複數個合併候選中之該先進時間運動向量預測候選；及基於識別該先進時間運動向量預測候選的該索引，寫碼視訊資料之該當前區塊，其中該先進時間運動向量預測候選使用該先進時間運動向量預測候選所辨識的該區塊的該等子區塊之各自運動資訊來指示該當前區塊係待被預測。
  16. 如請求項15之器件，其中為了形成該合併候選清單，該視訊寫碼器經組態以：針對該當前區塊判定一參考圖像中之一對應區塊；判定運動資訊是否可用於該對應區塊；及在判定運動資訊可用於該對應區塊之後形成該合併候選清單以包括該ATMVP候選。
  17. 如請求項16之器件，其中為了判定運動資訊是否可用於該對應區塊，該視訊寫碼器經組態以判定該對應區塊之一部分是否經框內預測。
  18. 如請求項15之器件，其中為了形成該合併候選清單，該視訊寫碼器經組態以自用於與一參考圖像中之該當前區塊相對應之一區塊的一代表性運動資訊集合形成該ATMVP候選。
  19. 如請求項18之器件，其中為了自該代表性運動資訊集合形成該 ATMVP候選，該視訊寫碼器經組態以自用於該對應區塊之一預定位置之運動資訊形成該ATMVP候選。
  20. 如請求項18之器件，其中為了自該代表性運動資訊集合形成該ATMVP候選，該視訊寫碼器經組態以自用於該對應區塊之一預定子預測單元(子PU)的運動資訊形成該ATMVP候選。
  21. 如請求項15之器件，其中為了形成該合併候選清單，該視訊寫碼器經組態以：相對於該當前區塊使用一第一時間運動向量來識別一第一運動源圖像中之一第一先進時間運動向量預測(ATMVP)候選；當該第一ATMVP候選可用時，將該第一ATMVP候選作為該ATMVP候選添加至該合併候選清單；當該第一ATMVP候選不可用時：相對於該當前區塊使用一第二時間運動向量來識別一第二運動源圖像中之一第二ATMVP候選；及將該第二ATMVP候選作為該ATMVP候選添加至該合併候選清單。
  22. 如請求項21之器件，其中該第一時間運動向量及該第二時間運動向量包含相同時間運動向量，且其中該第一運動源圖像及該第二運動源圖像包含不同運動源圖像。
  23. 如請求項21之器件，其中該第一時間運動向量及該第二時間運動向量包含不同時間運動向量。
  24. 如請求項21之器件，其中該視訊寫碼器經進一步組態以根據一預定次序自該等相鄰區塊之時間向量選擇該第一時間運動向量及該第二時間運動向量。
  25. 如請求項15之器件，其中為了形成該合併候選清單，該視訊寫碼器經組態以： 針對一參考圖像清單X判定一運動向量是否可用於該ATMVP候選之一子區塊；及在判定該運動向量可用之後將該ATMVP候選添加至該候選清單。
  26. 如請求項25之器件，其中當該運動向量不可用於參考圖像清單X但可用於參考圖像清單Y(其中Y包含除參考圖像清單X外之一參考圖像清單)時，該視訊寫碼器經組態以將該運動向量設定為可用於參考圖像清單X並將該運動向量縮放至參考圖像清單X中之一參考圖像。
  27. 如請求項15之器件，其中該視訊寫碼器包含經組態以解碼該索引之一視訊解碼器，且為了寫碼該當前區塊，該視訊解碼器經組態以：使用該先進時間運動向量預測候選所辨識的該區塊的該等子區塊之該運動資訊來預測該當前區塊以形成一經預測區塊；解碼用於該當前區塊之殘餘資訊；及使用該經解碼之殘餘資訊及該經預測區塊解碼該當前區塊。
  28. 如請求項15之器件，其中該視訊寫碼器包含經組態以編碼該索引之一視訊編碼器，且其中為了寫碼該當前區塊，該視訊編碼器經組態以：使用該先進時間運動向量預測候選所辨識的該區塊的該等子區塊之該運動資訊來預測該當前區塊以形成一經預測區塊；形成表示該當前區塊與該經預測區塊之間的差的一殘餘區塊；及編碼該殘餘資訊。
  29. 如請求項15之器件，其中該器件包含以下中之至少一者：一積體電路； 一微處理器；或一無線通信器件。
  30. 一種用於寫碼視訊資料之器件，該器件包含：用於針對視訊資料之一當前區塊形成包括複數個合併候選之一合併候選清單的構件，該複數個合併候選包括自四個相鄰區塊至該當前區塊之四個空間相鄰候選及緊接在該四個空間相鄰候選之後的一先進時間運動向量預測(ATMVP)候選，其中該先進時間運動向量預測候選使用被分成複數個子區塊的該先進時間運動向量預測候選所辨識的一區塊來指示該當前區塊係待被預測，該複數個子區塊的每一個具有一各自運動資訊之集合；用於寫碼至該合併候選清單中之一索引的構件，該索引識別該合併候選清單中之該複數個合併候選中之該先進時間運動向量預測候選；及寫碼視訊資料之該當前區塊的構件，其包括基於識別該先進時間運動向量預測候選的該索引，使用該先進時間運動向量預測候選所辨識的該區塊的該等子區塊之各自運動資訊來寫碼該當前區塊的多個子區塊的構件。
  31. 如請求項30之器件，其中形成該合併候選清單包含：用於針對該當前區塊判定一參考圖像中之一對應區塊的構件；用於判定運動資訊是否可用於該對應區塊的構件；及用於在判定運動資訊可用於該對應區塊之後形成該合併候選清單以包括該ATMVP候選的構件。
  32. 如請求項31之器件，其中用於判定運動資訊是否可用於該對應區塊的該構件包含用於判定該對應區塊之一部分是否經框內預測的構件。
  33. 如請求項30之器件，其中用於形成該合併候選清單之該構件包含用於自與一參考圖像中之該當前區塊相對應之一區塊的一代表性運動資訊集合形成該ATMVP候選的構件。
  34. 如請求項33之器件，其中用於自該代表性運動資訊集合形成該ATMVP候選的該構件包含用於自該對應區塊之一預定位置之運動資訊形成該ATMVP候選的構件。
  35. 如請求項33之器件，其中用於自該代表性運動資訊集合形成該ATMVP候選的該構件包含用於自該對應區塊之一預定子預測單元(子PU)之運動資訊形成該ATMVP候選的構件。
  36. 如請求項30之器件，其中用於形成該合併候選清單的該構件包含：用於相對於該當前區塊使用一第一時間運動向量來識別一第一運動源圖像中之一第一先進時間運動向量預測(ATMVP)候選的構件；用於在該第一ATMVP候選可用時將該第一ATMVP候選作為該ATMVP候選添加至該合併候選清單的構件；用於在該第一ATMVP候選不可用時，相對於該當前區塊使用一第二時間運動向量來識別一第二運動源圖像中之一第二ATMVP候選的構件；及用於在該第一ATMVP候選不可用時將該第二ATMVP候選作為該ATMVP候選添加至該合併候選清單的構件。
  37. 如請求項36之器件，其中該第一時間運動向量及該第二時間運動向量包含相同時間運動向量，且其中該第一運動源圖像及該第二運動源圖像包含不同運動源圖像。
  38. 如請求項36之器件，其中該第一時間運動向量及該第二時間運動向量包含不同時間運動向量。
  39. 如請求項36之器件，其進一步包含用於根據一預定次序自該等相鄰區塊之時間向量選擇該第一時間運動向量及該第二時間運動向量的構件。
  40. 如請求項30之器件，其中用於形成該合併候選清單的該構件包含：用於針對一參考圖像清單X判定一運動向量是否可用於該ATMVP候選之一子區塊的構件；及用於在判定該運動向量可用之後將該ATMVP候選添加至該候選清單的構件。
  41. 如請求項40之器件，其進一步包含在該運動向量不可用於參考圖像清單X但可用於參考圖像清單Y時用於將該運動向量設定為可用於參考圖像清單X及用於將該運動向量縮放至參考圖像清單X中之一參考圖像的構件，其中Y包含除參考圖像清單X外之一參考圖像清單。
  42. 如請求項30之器件，其中用於寫碼該索引的該構件包含用於解碼該索引的構件，且其中用於寫碼該當前區塊的該構件包含：用於使用該先進時間運動向量預測候選所辨識的該區塊的該等子區塊之該運動資訊來預測該當前區塊以形成一經預測區塊的構件；用於解碼該當前區塊之殘餘資訊的構件；及用於使用該經解碼之殘餘資訊及該經預測區塊來解碼該當前區塊的構件。
  43. 如請求項30之器件，其中用於寫碼該索引的該構件包含用於編碼該索引的構件，且其中用於寫碼該當前區塊的該構件包含：用於使用該先進時間運動向量預測候選所辨識的該區塊的該等子區塊之該運動資訊來預測該當前區塊以形成一經預測區塊 的構件；用於形成表示該當前區塊與該經預測區塊之間的差的一殘餘區塊的構件；及用於編碼該殘餘資訊的構件。
  44. 一種其上儲存有指令之非暫時性電腦可讀儲存媒體，該等指令在執行時使得一處理器進行以下操作：針對視訊資料之一當前區塊形成包括複數個合併候選之一合併候選清單，該複數個合併候選包括自四個相鄰區塊至該當前區塊之四個空間相鄰候選及緊接在該四個空間相鄰候選之後的一先進時間運動向量預測(ATMVP)候選，其中該先進時間運動向量預測候選使用被分成複數個子區塊的該先進時間運動向量預測候選所辨識的一區塊來指示該當前區塊係待被預測，該複數個子區塊的每一個具有一各自運動資訊之集合；寫碼至該合併候選清單中之一索引，該索引識別該合併候選清單中之該複數個合併候選中之該先進時間運動向量預測候選；及基於識別該先進時間運動向量預測候選的該索引，寫碼視訊資料之該當前區塊，其中該先進時間運動向量預測候選使用該先進時間運動向量預測候選所辨識的該區塊的該等子區塊之各自運動資訊來指示該當前區塊係待被預測。
  45. 如請求項44之非暫時性電腦可讀儲存媒體，其中使得該處理器形成該合併候選清單之該等指令包含使得該處理器進行以下操作之指令：針對該當前區塊判定一參考圖像中之一對應區塊；判定運動資訊是否可用於該對應區塊；及在判定運動資訊可用於該對應區塊之後形成該合併候選清單 以包括該ATMVP候選。
  46. 如請求項45之非暫時性電腦可讀儲存媒體，其中使得該處理器判定運動資訊是否可用於該對應區塊之該等指令包含使得該處理器判定該對應區塊之一部分是否經框內預測之指令。
  47. 如請求項44之非暫時性電腦可讀儲存媒體，其中使得該處理器形成該合併候選清單之該等指令包含使得該處理器自用於與一參考圖像中之該當前區塊相對應之一區塊的一代表性運動資訊集合形成該ATMVP候選的指令。
  48. 如請求項47之非暫時性電腦可讀儲存媒體，其中使得該處理器自該代表性運動資訊集合形成該ATMVP候選之該等指令包含使得該處理器自用於該對應區塊之一預定位置之運動資訊形成該ATMVP候選之指令。
  49. 如請求項47之非暫時性電腦可讀儲存媒體，其中使得該處理器自該代表性運動資訊集合形成該ATMVP候選之該等指令包含使得該處理器自用於該對應區塊之一預定子預測單元(子PU)之運動資訊形成該ATMVP候選的指令。
  50. 如請求項44之非暫時性電腦可讀儲存媒體，其中使得該處理器形成該合併候選清單之該等指令包含使得該處理器進行以下操作之指令：相對於該當前區塊使用一第一時間運動向量來識別一第一運動源圖像中之一第一先進時間運動向量預測(ATMVP)候選；在該第一ATMVP候選可用時，將該第一ATMVP候選作為該ATMVP候選添加至該合併候選清單；在該第一ATMVP候選不可用時：相對於該當前區塊使用一第二時間運動向量來識別一第二運動源圖像中之一第二ATMVP候選；及 將該第二ATMVP候選作為該ATMVP候選添加至該合併候選清單。
  51. 如請求項50之非暫時性電腦可讀儲存媒體，其中該第一時間運動向量及該第二時間運動向量包含相同時間運動向量，且其中該第一運動源圖像及該第二運動源圖像包含不同運動源圖像。
  52. 如請求項50之非暫時性電腦可讀儲存媒體，其中該第一時間運動向量及該第二時間運動向量包含不同時間運動向量。
  53. 如請求項50之非暫時性電腦可讀儲存媒體，其進一步包含使得該處理器根據一預定次序自該等相鄰區塊之時間向量選擇該第一時間運動向量及該第二時間運動向量的指令。
  54. 如請求項44之非暫時性電腦可讀儲存媒體，其中使得該處理器形成該合併候選清單之該等指令包含使得該處理器進行以下操作之指令：針對一參考圖像清單X判定一運動向量是否可用於該ATMVP候選之一子區塊；及在判定該運動向量可用之後將該ATMVP候選添加至該候選清單。
  55. 如請求項54之非暫時性電腦可讀儲存媒體，其中在該運動向量不可用於參考圖像清單X但可用於參考圖像清單Y(其中Y包含除參考圖像清單X外之一參考圖像清單)時，該等指令使得該處理器將該運動向量設定為可用於參考圖像清單X並將該運動向量縮放至參考圖像清單X中之一參考圖像。
  56. 如請求項44之非暫時性電腦可讀儲存媒體，其中使得該處理器寫碼該索引之該等指令包含使得該處理器解碼該索引之指令，且其中使得該處理器寫碼該當前區塊之該等指令包含使得該處理器進行以下操作之指令： 使用該先進時間運動向量預測候選所辨識的該區塊的該等子區塊之該運動資訊來預測該當前區塊以形成一經預測區塊；解碼用於該當前區塊之殘餘資訊；及使用該經解碼之殘餘資訊及該經預測區塊來解碼該當前區塊。
  57. 如請求項44之非暫時性電腦可讀儲存媒體，其中使得該處理器寫碼該索引之該等指令包含編碼該索引，且其中使得該處理器寫碼該當前區塊之該等指令包含使得該處理器進行以下操作之指令：使用該先進時間運動向量預測候選所辨識的該區塊的該等子區塊之該運動資訊來預測該當前區塊以形成一經預測區塊；形成表示該當前區塊與該經預測區塊之間的差的一殘餘區塊；及編碼該殘餘資訊。
TW105102383A 2015-01-26 2016-01-26 以子預測單元為基礎之先進時間運動向量預測 TWI696382B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562107933P 2015-01-26 2015-01-26
US62/107,933 2015-01-26
US15/005,564 US11477477B2 (en) 2015-01-26 2016-01-25 Sub-prediction unit based advanced temporal motion vector prediction
US15/005,564 2016-01-25

Publications (2)

Publication Number Publication Date
TW201640893A TW201640893A (zh) 2016-11-16
TWI696382B true TWI696382B (zh) 2020-06-11

Family

ID=56433539

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105102383A TWI696382B (zh) 2015-01-26 2016-01-26 以子預測單元為基礎之先進時間運動向量預測

Country Status (13)

Country Link
US (1) US11477477B2 (zh)
EP (1) EP3251361B1 (zh)
JP (1) JP6636530B2 (zh)
KR (1) KR102102029B1 (zh)
CN (1) CN107211156B (zh)
BR (1) BR112017015890B1 (zh)
CA (1) CA2971636C (zh)
EA (1) EA035270B1 (zh)
ES (1) ES2755573T3 (zh)
HU (1) HUE047034T2 (zh)
TN (1) TN2017000288A1 (zh)
TW (1) TWI696382B (zh)
WO (1) WO2016123081A1 (zh)

Families Citing this family (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10230980B2 (en) 2015-01-26 2019-03-12 Qualcomm Incorporated Overlapped motion compensation for video coding
US10187653B2 (en) * 2015-05-18 2019-01-22 Avago Technologies International Sales Pte. Limited Motor vector prediction using co-located prediction units
WO2017069505A1 (ko) * 2015-10-19 2017-04-27 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
CN116708785A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
US10721489B2 (en) 2016-09-06 2020-07-21 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
US10477238B2 (en) 2016-09-07 2019-11-12 Qualcomm Incorporated Sub-PU based bi-directional motion compensation in video coding
US10812791B2 (en) 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
JP7048503B2 (ja) * 2016-09-27 2022-04-05 シャープ株式会社 復号装置、符号化装置、復号方法、および、符号化方法
CN106507111B (zh) * 2016-11-17 2019-11-15 上海兆芯集成电路有限公司 使用残差补偿的视频编码方法以及使用该方法的装置
CN109983773A (zh) * 2016-11-29 2019-07-05 联发科技股份有限公司 用于合并模式推导的视频编解码方法和装置
TWI721670B (zh) 2017-04-21 2021-03-11 美商時美媒體公司 用於藉由預測運動向量及/或快取重複運動向量的玩家輸入運動補償的系統及方法
TWI646823B (zh) * 2017-04-27 2019-01-01 晨星半導體股份有限公司 視訊壓縮方法及視訊壓縮裝置
CN110546956B (zh) * 2017-06-30 2021-12-28 华为技术有限公司 一种帧间预测的方法及装置
WO2019074273A1 (ko) * 2017-10-10 2019-04-18 한국전자통신연구원 인터 예측 정보를 사용하는 방법 및 장치
CN111567045A (zh) 2017-10-10 2020-08-21 韩国电子通信研究院 使用帧间预测信息的方法和装置
US10785494B2 (en) * 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
US20190116374A1 (en) * 2017-10-17 2019-04-18 Qualcomm Incorporated Coding motion information of video data using coding structure-based candidate list construction
CN111480341A (zh) * 2017-11-01 2020-07-31 Vid拓展公司 用于合并模式的解码器侧运动矢量细化和子块运动导出
EP3711299A1 (en) * 2017-11-14 2020-09-23 Qualcomm Incorporated Unified merge candidate list usage
TW201924349A (zh) * 2017-11-17 2019-06-16 晨星半導體股份有限公司 與移動補償相關之影像處理裝置及影像處理方法
US10623746B2 (en) * 2017-12-07 2020-04-14 Tencent America LLC Method and apparatus for video coding
CN108347616B (zh) * 2018-03-09 2020-02-14 中南大学 一种基于可选时域运动矢量预测的深度预测方法及装置
WO2019194502A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019194514A1 (ko) 2018-04-01 2019-10-10 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019199141A1 (ko) * 2018-04-13 2019-10-17 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
US11297348B2 (en) * 2018-04-13 2022-04-05 Mediatek Inc. Implicit transform settings for coding a block of pixels
US10999604B2 (en) 2018-04-13 2021-05-04 Mediatek Inc. Adaptive implicit transform setting
US10397603B1 (en) * 2018-05-08 2019-08-27 Tencent America LLC Method and apparatus for video coding
US11259015B2 (en) 2018-05-24 2022-02-22 Kt Corporation Method and apparatus for processing video signal
CN117956182A (zh) * 2018-06-04 2024-04-30 华为技术有限公司 获取运动矢量的方法和装置
US11109025B2 (en) * 2018-06-04 2021-08-31 Tencent America LLC Method and apparatus for sub-block based temporal motion vector prediction
KR20210016581A (ko) 2018-06-05 2021-02-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Ibc 및 atmvp 간의 상호 작용
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
TWI739120B (zh) 2018-06-21 2021-09-11 大陸商北京字節跳動網絡技術有限公司 合併仿射模式與非合併仿射模式的統一拘束
AU2019295574B2 (en) * 2018-06-27 2023-01-12 Vid Scale, Inc. Methods and apparatus for reducing the coding latency of decoder-side motion refinement
CN110662059B (zh) 2018-06-29 2021-04-20 北京字节跳动网络技术有限公司 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
CN114466197A (zh) 2018-06-29 2022-05-10 北京字节跳动网络技术有限公司 用于查找表更新的编码的运动信息的选择
WO2020003283A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Conditions for updating luts
CN110662053B (zh) 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 使用查找表的视频处理方法、装置和存储介质
CN110662064B (zh) 2018-06-29 2022-06-14 北京字节跳动网络技术有限公司 Lut中的运动候选的检查顺序
CN110662054B (zh) 2018-06-29 2023-01-06 北京字节跳动网络技术有限公司 用于视频处理的方法、装置、计算机可读存储介质
CA3105330C (en) 2018-06-29 2023-12-05 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and amvp
EP3794825A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Update of look up table: fifo, constrained fifo
EP4362468A3 (en) * 2018-07-02 2024-06-26 Huawei Technologies Co., Ltd. Motion vector prediction method and device, and codec
TWI734133B (zh) 2018-07-02 2021-07-21 大陸商北京字節跳動網絡技術有限公司 更新查找表的規則
KR20230022267A (ko) * 2018-07-02 2023-02-14 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2020017861A1 (ko) * 2018-07-16 2020-01-23 엘지전자 주식회사 서브블록 단위의 시간적 움직임 정보 예측을 위한 인터 예측 방법 및 그 장치
US11539958B2 (en) 2018-07-17 2022-12-27 Lg Electronics Inc. Method for predicting subblock-based temporal motion vector and apparatus therefor
CN112425172A (zh) * 2018-07-18 2021-02-26 北京达佳互联信息技术有限公司 使用基于历史的运动向量预测进行视频编码的方法和装置
KR20210115053A (ko) * 2018-07-27 2021-09-24 삼성전자주식회사 서브 블록 기반으로 영상을 복호화하는 방법 및 장치, 부호화 방법 및 장치
US11539977B2 (en) * 2018-07-31 2022-12-27 Hfi Innovation Inc. Method and apparatus of merge with motion vector difference for video coding
CN117241039A (zh) 2018-08-28 2023-12-15 华为技术有限公司 帧间预测方法、装置以及视频编码器和视频解码器
CN117319650A (zh) * 2018-08-28 2023-12-29 华为技术有限公司 编码方法、解码方法以及编码装置、解码装置
CN116980591B (zh) * 2018-08-29 2024-03-15 北京达佳互联信息技术有限公司 视频编码的方法、计算设备和存储介质
TW202025760A (zh) 2018-09-12 2020-07-01 大陸商北京字節跳動網絡技術有限公司 要檢查多少個hmvp候選
KR102467326B1 (ko) 2018-09-12 2022-11-16 엘지전자 주식회사 영상 코딩 시스템에서 서브 블록 단위의 움직임 예측에 기반한 영상 디코딩 방법 및 장치
GB2579763B (en) * 2018-09-21 2021-06-09 Canon Kk Video coding and decoding
WO2020060344A1 (ko) * 2018-09-21 2020-03-26 엘지전자 주식회사 영상 신호를 처리하기 위한 방법 및 장치
WO2020061395A1 (en) * 2018-09-21 2020-03-26 Interdigital Vc Holdings, Inc. Motion vector prediction in video encoding and decoding
CN110944193B (zh) 2018-09-24 2023-08-11 北京字节跳动网络技术有限公司 视频编码和解码中的加权双向预测
KR102354489B1 (ko) * 2018-10-08 2022-01-21 엘지전자 주식회사 Atmvp 후보를 기반으로 영상 코딩을 수행하는 장치
CN111010571B (zh) 2018-10-08 2023-05-16 北京字节跳动网络技术有限公司 组合仿射Merge候选的生成和使用
US11051034B2 (en) * 2018-10-08 2021-06-29 Qualcomm Incorporated History-based motion vector predictor
GB2595053B (en) 2018-10-18 2022-07-06 Canon Kk Video coding and decoding
GB2578151B (en) 2018-10-18 2021-06-09 Canon Kk Video coding and decoding
WO2020084474A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Gradient computation in bi-directional optical flow
WO2020084556A1 (en) * 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block motion candidate list in video coding
EP3847814A4 (en) * 2018-11-06 2021-07-14 Beijing Bytedance Network Technology Co. Ltd. POSITION DEPENDENT STORAGE, MOVEMENT INFORMATION
WO2020094151A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in pairwise average candidate calculations
WO2020098647A1 (en) * 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for affine prediction
WO2020098695A1 (en) * 2018-11-13 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Construction method for a single type motion candidate list
CN112997496B (zh) * 2018-11-14 2024-05-14 北京字节跳动网络技术有限公司 仿射预测模式的改进
CN113056914B (zh) 2018-11-20 2024-03-01 北京字节跳动网络技术有限公司 基于部分位置的差计算
EP4325849A3 (en) 2018-11-22 2024-04-17 Beijing Bytedance Network Technology Co., Ltd. Coordination method for sub-block based inter prediction
CN113170099B (zh) 2018-11-29 2024-03-29 北京字节跳动网络技术有限公司 块内拷贝模式和帧间预测工具之间的交互
CN113170182B (zh) * 2018-12-03 2024-01-26 北京字节跳动网络技术有限公司 不同预测模式下的修剪方法
US11122288B2 (en) * 2018-12-06 2021-09-14 Qualcomm Incorporated Spatio-temporal motion vector prediction patterns for video coding
EP3716626A4 (en) * 2018-12-12 2021-05-19 LG Electronics Inc. METHOD AND DEVICE FOR PROCESSING VIDEO SIGNAL BASED ON A TRANSFORM OF HISTORY-BASED MOTION VECTORS
WO2020130520A1 (ko) * 2018-12-16 2020-06-25 엘지전자 주식회사 화면간 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
US11902566B2 (en) * 2018-12-28 2024-02-13 Telefonaktiebolaget Lm Ericsson (Publ) Generating a motion vector predictor list
JP2020108083A (ja) * 2018-12-28 2020-07-09 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム
BR112021012462A2 (pt) * 2018-12-29 2021-09-08 Vid Scale, Inc. Dispositivo e método de codificação de vídeo
WO2020141886A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 Sbtmvp 기반 인터 예측 방법 및 장치
WO2020140242A1 (zh) * 2019-01-03 2020-07-09 北京大学 视频处理方法和装置
CN111357288B (zh) * 2019-01-03 2021-08-31 深圳市大疆创新科技有限公司 视频图像处理方法与装置
WO2020140243A1 (zh) * 2019-01-03 2020-07-09 北京大学 视频图像处理方法与装置
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Ｌｕｔ更新の起動
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
JP2022521554A (ja) 2019-03-06 2022-04-08 北京字節跳動網絡技術有限公司 変換された片予測候補の利用
US20200288175A1 (en) * 2019-03-06 2020-09-10 Qualcomm Incorporated Signaling of triangle merge mode indexes in video coding
JP6897885B2 (ja) * 2019-03-08 2021-07-07 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
CN112954329B (zh) 2019-03-11 2022-08-26 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
WO2020182147A1 (en) * 2019-03-11 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Improvement on motion candidate list construction
CN113826397A (zh) * 2019-03-15 2021-12-21 交互数字Vc控股公司 用于图像编码和解码的方法和设备
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
CN111953995A (zh) * 2019-05-17 2020-11-17 华为技术有限公司 一种帧间预测的方法和装置
WO2020233662A1 (en) 2019-05-21 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Syntax signaling for optical-flow based inter coding
CN113994698B (zh) 2019-06-04 2023-11-24 北京字节跳动网络技术有限公司 有条件地实施运动候选列表构建过程
EP3963890A4 (en) 2019-06-04 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. BUILDING A LIST OF MOVEMENT CANDIDATES USING NEIGHBOR BLOCK INFORMATION
WO2020244660A1 (en) 2019-06-06 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction for video coding
CN114026852A (zh) * 2019-06-07 2022-02-08 北京达佳互联信息技术有限公司 用于视频编解码的子块时间运动矢量预测
JP7198949B2 (ja) * 2019-06-13 2023-01-04 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド ビデオ符号化のための動きベクトル予測
WO2020251319A1 (ko) * 2019-06-13 2020-12-17 엘지전자 주식회사 Sbtmvp를 이용한 인터 예측 기반 영상 또는 비디오 코딩
CN112118447B (zh) * 2019-06-19 2023-06-20 华为技术有限公司 融合候选运动信息列表的构建方法、装置及编解码器
EP3987797A4 (en) 2019-06-24 2023-03-22 FG Innovation Company Limited DEVICE AND METHOD FOR ENCODING VIDEO DATA
CN114342405A (zh) 2019-06-24 2022-04-12 Lg电子株式会社 图像解码方法和用于该图像解码方法的装置
CN114128295B (zh) 2019-07-14 2024-04-12 北京字节跳动网络技术有限公司 视频编解码中几何分割模式候选列表的构建
CN114208184A (zh) 2019-08-13 2022-03-18 北京字节跳动网络技术有限公司 基于子块的帧间预测中的运动精度
CN110740317B (zh) * 2019-09-18 2021-10-15 浙江大华技术股份有限公司 子块运动预测、编码方法、编码器及存储装置
WO2021052504A1 (en) 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Scaling method for sub-block based inter prediction
WO2021057996A1 (en) 2019-09-28 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
KR20220070530A (ko) * 2019-10-10 2022-05-31 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 삼각형 분할을 이용한 비디오 코딩을 위한 방법 및 장치
CN110691253B (zh) * 2019-10-17 2022-03-01 北京大学深圳研究生院 一种基于帧间预测的编解码方法及装置
EP4032290A4 (en) 2019-10-18 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SYNTAX CONSTRAINTS IN REPORTING SUBPICTURE PARAMETER SETS
EP4082202A4 (en) * 2019-12-24 2023-05-10 Beijing Dajia Internet Information Technology Co., Ltd. MOTION ESTIMATION AREA FOR MERGER CANDIDATES
US11375231B2 (en) * 2020-01-14 2022-06-28 Tencent America LLC Method and apparatus for video coding
US20230104476A1 (en) * 2021-10-05 2023-04-06 Tencent America LLC Grouping based adaptive reordering of merge candidate
WO2024078331A1 (en) * 2022-10-14 2024-04-18 Mediatek Inc. Method and apparatus of subblock-based motion vector prediction with reordering and refinement in video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140016701A1 (en) * 2012-07-09 2014-01-16 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120287999A1 (en) 2011-05-11 2012-11-15 Microsoft Corporation Syntax element prediction in error correction
KR101960034B1 (ko) 2011-09-09 2019-03-19 엘지전자 주식회사 인터 예측 방법 및 그 장치
US9736489B2 (en) * 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
KR20130050406A (ko) 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
US9729873B2 (en) 2012-01-24 2017-08-08 Qualcomm Incorporated Video coding using parallel motion estimation
US9699450B2 (en) 2012-10-04 2017-07-04 Qualcomm Incorporated Inter-view predicted motion vector for 3D video
CN103841425B (zh) 2012-10-08 2017-04-05 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
US9762927B2 (en) 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
US9667996B2 (en) 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140016701A1 (en) * 2012-07-09 2014-01-16 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
K. McCann et.al, "High Efficiency Video Coding (HEVC) Test Model 16 (HM 16) Encoder Description", JCTVC-R1002, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/th Meeting: Sapporo, JP, 30 June – 7 July 2014 *
K. McCann et.al, "High Efficiency Video Coding (HEVC) Test Model 16 (HM 16) Encoder Description", JCTVC-R1002, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 18th Meeting: Sapporo, JP, 30 June – 7 July 2014,

Also Published As

Publication number Publication date
TW201640893A (zh) 2016-11-16
KR102102029B1 (ko) 2020-04-17
EA201791449A1 (ru) 2017-12-29
EA035270B1 (ru) 2020-05-22
EP3251361A1 (en) 2017-12-06
CN107211156B (zh) 2019-08-30
JP2018506908A (ja) 2018-03-08
HUE047034T2 (hu) 2020-04-28
CA2971636C (en) 2021-10-12
BR112017015890A2 (pt) 2018-04-10
EP3251361B1 (en) 2019-08-14
JP6636530B2 (ja) 2020-01-29
US20160219278A1 (en) 2016-07-28
TN2017000288A1 (en) 2019-01-16
CA2971636A1 (en) 2016-08-04
ES2755573T3 (es) 2020-04-22
US11477477B2 (en) 2022-10-18
WO2016123081A1 (en) 2016-08-04
BR112017015890B1 (pt) 2023-10-17
CN107211156A (zh) 2017-09-26
KR20170108010A (ko) 2017-09-26

Similar Documents

Publication Publication Date Title
TWI696382B (zh) 以子預測單元為基礎之先進時間運動向量預測
CN108605136B (zh) 基于图片次序计数的运动矢量精简
CN107690809B (zh) 使用空间及/或时间运动信息的子预测单元运动向量预测
CN109644272B (zh) 用于建构候选列表的几何型优先级
CN109691106B (zh) 一种对视频数据进行编解码的方法、装置及计算机可读存储介质
US10477238B2 (en) Sub-PU based bi-directional motion compensation in video coding
US20190246143A1 (en) Intra block copy for video coding
JP2023145503A (ja) ビデオコーディングのための動きベクトル予測のためのマージ候補
JP6337104B2 (ja) テクスチャコーディングのためのより正確な高度残差予測（ａｒｐ）
TW201842766A (zh) 於視訊解碼器中導出運動向量資訊
WO2019147826A1 (en) Advanced motion vector prediction speedups for video coding
JP6855242B2 (ja) ビデオコーディングのためのディスパリティベクトルおよび／または高度残差予測
JP2018110407A (ja) ビデオコード化における視差ベクトル予測
TW201924345A (zh) 寫碼用於視頻寫碼之仿射預測移動資訊
US10958928B2 (en) Decoder-side motion vector derivation for video coding
US9438926B2 (en) Constraints on neighboring block based disparity vector (NBDV) techniques for 3D video
TW201419877A (zh) 用於３ｄ視訊之視圖間預測之運動向量
US9426465B2 (en) Sub-PU level advanced residual prediction
US11528504B2 (en) Motion vector prediction with motion information collecting buffer
OA18314A (en) Sub-prediction unit based advanced temporal motion vector prediction.