TW201711472A - 使用空間及／或時間運動資訊之子預測單元運動向量預測 - Google Patents

使用空間及／或時間運動資訊之子預測單元運動向量預測 Download PDF

Info

Publication number
TW201711472A
TW201711472A TW105118445A TW105118445A TW201711472A TW 201711472 A TW201711472 A TW 201711472A TW 105118445 A TW105118445 A TW 105118445A TW 105118445 A TW105118445 A TW 105118445A TW 201711472 A TW201711472 A TW 201711472A
Authority
TW
Taiwan
Prior art keywords
sub
block
blocks
video
motion information
Prior art date
Application number
TW105118445A
Other languages
English (en)
Inventor
錢威俊
翔林 王
章立
劉鴻彬
陳建樂
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201711472A publication Critical patent/TW201711472A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在一個實例中，一種用於解碼視訊資料之器件包括經組態以儲存視訊資料之一記憶體，及經組態以執行以下操作之一視訊解碼器：判定一當前視訊資料區塊之一運動預測候選者指示運動資訊待經導出用於該當前區塊之子區塊；回應於該判定：將該當前區塊分割成該等子區塊，對於該等子區塊中之每一者，使用針對至少兩個相鄰區塊之運動資訊來導出運動資訊，並使用該各別導出之運動資訊解碼該等子區塊。

Description

使用空間及/或時間運動資訊之子預測單元運動向量預測
本申請案主張2015年6月11日申請之美國臨時申請案第62/174,393號及2016年2月15日申請之美國臨時申請案第62/295,329號之權利，該等申請案中之每一者的全部內容特此以引用之方式併入。
本發明係關於視訊寫碼。
數位視訊能力可併入至廣泛範圍之器件中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)所定義之標準、高效視訊寫碼(HEVC)標準(亦稱作ITU-T H.265)及此等標準之擴展中所描述的彼等視訊寫碼技術。視訊器件可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減 少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視訊截塊(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊，對於一些技術而言，視訊區塊亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)之截塊中的視訊區塊。圖像之框間寫碼(P或B)截塊中之視訊區塊可使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測或關於其他參考圖像中之參考樣本之時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測產生待寫碼之區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼經框間寫碼區塊。經框內寫碼區塊係根據框內寫碼模式及殘餘資料來編碼。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生殘餘變換係數，可接著量化該等殘餘變換係數。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多之壓縮。
大體而言，本發明之技術係關於視訊資料區塊之子區塊之運動資訊(例如，運動向量)的導出。舉例而言，該等技術可用於導出預測單元(PU)或PU之子預測單元(子PU)的運動資訊。大體而言，此等技術包括自相鄰子區塊之運動資訊導出該等子區塊中之每一者的運動資訊。相鄰子區塊可包括在空間上及/或在時間上相鄰之子區塊。舉例而言，對於給定子區塊，視訊寫碼器(諸如視訊編碼器或視訊解碼器)可藉由組合(例如，平均)左相鄰子區塊、上方相鄰子區塊及/或時間上相鄰之子區塊(諸如，右下時間上相鄰之子區塊)之運動資訊而導出運動資訊。另外，子區塊之此運動資訊之導出可使用用於運動資訊預測 的候選者清單之特定候選者來傳信。
在一個實例中，一種解碼視訊資料之方法包括判定當前視訊資料區塊之運動預測候選者指示運動資訊待經導出用於當前區塊之子區塊，及回應於該判定：將當前區塊分割成子區塊，對於該等子區塊中之每一者，使用至少兩個相鄰區塊之運動資訊來導出運動資訊，及使用各別導出之運動資訊解碼該等子區塊。
在另一實例中，一種用於解碼視訊資料之器件包括經組態以儲存視訊資料之一記憶體及經組態以執行以下操作之一視訊解碼器：判定當前視訊資料區塊之運動預測候選者指示運動資訊待經導出用於當前區塊之子區塊；及回應於該判定：將當前區塊分割成子區塊，對於該等子區塊中之每一者，使用至少兩個相鄰區塊之運動資訊導出運動資訊，並使用各別導出之運動資訊解碼該等子區塊。
在另一實例中，一種用於解碼視訊資料之器件包括用於判定當前視訊資料區塊之運動預測候選者指示運動資訊待經導出用於當前區塊之子區塊的構件，用於回應於該判定將當前區塊分割成子區塊之構件，用於回應於該判定對於該等子區塊中之每一者使用至少兩個相鄰區塊之運動資訊導出運動資訊的構件，及用於回應於該判定使用各別導出之運動資訊解碼該等子區塊之構件。
在另一實例中，一種電腦可讀儲存媒體上面儲存有指令，該等指令在經執行時使得處理器執行以下操作：判定當前視訊資料區塊之運動預測候選者指示運動資訊待經導出用於當前區塊之子區塊；及回應於該判定：將當前區塊分割成子區塊，對於該等子區塊中之每一者，使用至少兩個相鄰區塊之運動資訊導出運動資訊，及使用各別導出之運動資訊解碼該等子區塊。
在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優點將自該描述及圖式以及自申請專利範圍而為顯而易 見。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
76‧‧‧反量化單元
78‧‧‧反變換單元
80‧‧‧求和器
82‧‧‧參考圖像記憶體
100‧‧‧區塊
102‧‧‧區塊
104A‧‧‧預測單元0(PU0)
104B‧‧‧預測單元1(PU1)
106A‧‧‧預測單元0(PU0)
106B‧‧‧預測單元1(PU1)
108A‧‧‧空間相鄰區塊
108B‧‧‧空間相鄰區塊
108C‧‧‧空間相鄰區塊
108D‧‧‧空間相鄰區塊
108E‧‧‧空間相鄰區塊
110A‧‧‧區塊
110B‧‧‧區塊
110C‧‧‧區塊
110D‧‧‧區塊
110E‧‧‧區塊
120‧‧‧實例寫碼單元(CU)
122A‧‧‧預測單元0(PU0)
122B‧‧‧預測單元1(PU1)
124‧‧‧右下區塊
126‧‧‧中心區塊
128‧‧‧外部區塊
130‧‧‧當前圖像
132‧‧‧當前參考圖像
134‧‧‧同置圖像
136‧‧‧同置參考圖像
138‧‧‧當前區塊
140‧‧‧同置區塊
142‧‧‧時間運動向量預測符(TMVP)/TMVP候選者
144‧‧‧運動向量
160‧‧‧當前圖像
162‧‧‧同置圖像
164‧‧‧當前預測單元(PU)
166A‧‧‧子預測單元(PU)
166B‧‧‧子預測單元
166C‧‧‧子預測單元
166D‧‧‧子預測單元
168A‧‧‧子預測單元
168B‧‧‧子預測單元
168C‧‧‧子預測單元
168D‧‧‧子預測單元
170A‧‧‧運動向量
170B‧‧‧運動向量
170C‧‧‧運動向量
170D‧‧‧運動向量
172A‧‧‧運動向量
172B‧‧‧運動向量
172C‧‧‧運動向量
172D‧‧‧運動向量
174A‧‧‧視差向量
174B‧‧‧視差向量
174C‧‧‧視差向量
174D‧‧‧視差向量
180‧‧‧當前圖像
182‧‧‧參考圖像
184‧‧‧當前預測單元
186‧‧‧預測單元
188A‧‧‧子預測單元
188B‧‧‧子預測單元
188C‧‧‧子預測單元
188D‧‧‧子預測單元
190A‧‧‧運動向量
190B‧‧‧運動向量
190C‧‧‧運動向量
190D‧‧‧運動向量
192‧‧‧運動向量
200‧‧‧參考圖像
202‧‧‧參考圖像
204‧‧‧當前圖像
206‧‧‧運動源圖像
208‧‧‧當前區塊
210‧‧‧對應區塊
212‧‧‧時間運動向量
214‧‧‧運動向量
216‧‧‧運動向量
250‧‧‧區塊
254A‧‧‧子區塊
254B‧‧‧子區塊
254C‧‧‧子區塊
254D‧‧‧子區塊
254E‧‧‧子區塊
254F‧‧‧子區塊
254G‧‧‧子區塊
254H‧‧‧子區塊
254I‧‧‧子區塊
254J‧‧‧子區塊
254K‧‧‧子區塊
254L‧‧‧子區塊
254M‧‧‧子區塊
254N‧‧‧子區塊
254O‧‧‧子區塊
254P‧‧‧子區塊
256A‧‧‧相鄰子區塊
256B‧‧‧相鄰子區塊
256C‧‧‧相鄰子區塊
256D‧‧‧相鄰子區塊
256E‧‧‧相鄰子區塊
256F‧‧‧相鄰子區塊
256G‧‧‧相鄰子區塊
256H‧‧‧相鄰子區塊
260‧‧‧區塊
264A‧‧‧子區塊
264B‧‧‧子區塊
264C‧‧‧子區塊
264D‧‧‧子區塊
266A‧‧‧相鄰子區塊
266B‧‧‧相鄰子區塊
266C‧‧‧相鄰子區塊
266D‧‧‧相鄰子區塊
266E‧‧‧相鄰子區塊
266F‧‧‧相鄰子區塊
266G‧‧‧相鄰子區塊
266H‧‧‧相鄰子區塊
266I‧‧‧相鄰子區塊
266J‧‧‧相鄰子區塊
圖1為說明可利用用於實施進階時間運動向量預測(ATMVP)之技術之實例視訊編碼及解碼系統的方塊圖。
圖2為說明可實施用於進階時間運動向量預測(ATMVP)之技術的視訊編碼器之實例的方塊圖。
圖3為說明可實施用於進階時間運動向量預測(ATMVP)之技術之視訊解碼器之實例的方塊圖。
圖4為說明高效率視訊寫碼(HEVC)中之空間相鄰候選者的概念圖。
圖5為說明HEVC中之時間運動向量預測(TMVP)之概念圖。
圖6說明3D-HEVC之實例預測結構。
圖7為說明3D-HEVC中之基於子PU之視圖間運動預測之概念圖。
圖8為說明自參考圖像之子PU運動預測的概念圖。
圖9為說明ATMVP(類似於TMVP)中之相關圖像的概念圖。
圖10為說明實例空間時間運動向量預測符(STMVP)導出程序之流程圖。
圖11A及圖11B為說明PU之子PU以及PU之相鄰子PU的實例之概念圖。
圖12為說明根據本發明之技術的編碼視訊資料之實例方法之流程圖。
圖13為根據本發明之技術的解碼視訊資料之方法的實例。
大體而言，本發明係關於視訊編解碼器中之運動向量預測。更特定言之，進階運動向量預測可藉由自空間及時間相鄰區塊導出給定區塊(例如，預測單元(PU))之子區塊(例如，子預測單元(PU))之運動 向量而達成。在一個實例中，視訊寫碼器(諸如視訊編碼器或視訊解碼器)可將當前區塊(例如，當前PU)分割成子區塊(例如，子PU)，並針對每一子PU自相鄰區塊導出子PU中之每一者的運動資訊(包括運動向量)，該等相鄰區塊可包括空間及/或時間上相鄰之區塊。舉例而言，對於子區塊中之每一者，視訊寫碼器可自左相鄰空間區塊、上方相鄰空間區塊及/或右下相鄰時間區塊導出運動資訊。空間上相鄰之區塊可為直接鄰近於子區塊或在包括子區塊之當前區塊外部的子區塊。使用在當前區塊外部之子區塊可允許子區塊之運動資訊被並行導出。
視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。MVC之最新聯合草案係描述於2010年3月之「用於通用視聽服務之進階視訊寫碼(Advanced video coding for generic audiovisual services)」(ITU-T標準H.264)中。
另外，存在新開發之視訊寫碼標準，即ITU-T視訊寫碼專家群組(VCEG)及ISO/IEC運動圖像專家群組(MPEG)之視訊寫碼聯合合作小組(JCT-VC)已開發的高效率視訊寫碼(HEVC)。HEVC之最新草案可自phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip獲得。HEVC標準亦在推薦標準ITU-T H.265及國際標準ISO/IEC 23008-2中聯合呈現，兩者皆題為「高效率視訊寫碼」且兩者皆於2014年10月公開。
運動資訊：對於每一區塊，運動資訊之集合可為可用的。運動資訊之集合含有用於前向及後向預測方向之運動資訊。此處，前向及後向預測方向為對應於當前圖像或截塊之參考圖像清單0(RefPicList0)及參考圖像清單1(RefPicList1)的兩個預測方向。術語 「前向」及「後向」不必具有幾何含義。替代地，其用以區分運動向量係基於哪一參考圖像清單。前向預測意謂，基於參考清單0形成之預測，而後向預測意謂基於參考清單1形成之預測。在參考清單0及參考清單1兩者皆用以形成給定區塊之預測的情況下，其被稱為雙向預測。
對於給定圖像或截塊，若使用僅一個參考圖像清單，則在圖像或截塊內部之每一區塊經前向預測。若兩個參考圖像清單皆用於給定圖像或截塊，則在圖像或截塊內部之區塊可經前向預測，或後向預測，或雙向預測。
對於每一預測方向，運動資訊含有參考索引及運動向量。參考索引用以識別對應參考圖像清單中(例如，RefPicList0或RefPicList1)之參考圖像。運動向量具有水平分量及垂直分量兩者，其中每一分量分別指示沿水平方向及垂直方向之偏移值。在一些描述中，為簡單起見，術語「運動向量」可與運動資訊互換地使用以指示運動向量及其相關聯參考索引兩者。
視訊寫碼標準中廣泛地使用圖像次序計數(POC)以識別圖像之顯示次序。儘管存在一個經寫碼視訊序列內之兩個圖像可具有相同POC值的情況，但經寫碼視訊序列內通常不發生此類情況。當位元串流中存在多個經寫碼視訊序列時，具有同一POC值之圖像就解碼次序而言可更接近於彼此。圖像之POC值通常用於參考圖像清單建構、如HEVC中之參考圖像集之導出及運動向量按比例縮放。
進階視訊寫碼(AVC)(H.264)中之巨集區塊(MB)結構：在H.264/AVC中，每一框間巨集區塊(MB)可被分割成四個不同方式：
‧一個16×16MB分割區
‧兩個16×8MB分割區
‧兩個8×16MB分割區
‧四個8×8MB分割區
一個MB中之不同MB分割區針對每一方向可具有不同參考索引值(RefPicList0或RefPicList1)。
當MB不被分割成四個8×8MB分割區時，對於每一方向上之每一MB分割區，MB僅具有一個運動向量。
當MB被分割成四個8×8MB分割區時，每一8×8MB分割區可進一步被分割成子區塊，該等子區塊中之每一者在每一方向上可具有不同運動向量。存在自8×8MB分割區得到子區塊之四種不同方式：
‧一個8×8子區塊
‧兩個8×4子區塊
‧兩個4×8子區塊
‧四個4×4子區塊
每一子區塊在每一方向上可具有不同運動向量。因此，運動向量以等於或高於子區塊之位準呈現。
AVC中之時間直接模式：在AVC中，可以針對B截塊中之跳躍或直接模式之MB或MB分割區位準啟用時間直接模式。對於每一MB分割區，與當前區塊之RefPicList1[0]中之當前MB分割區同置的區塊之運動向量用以導出運動向量。同置區塊中之每一運動向量基於POC距離而按比例縮放。
AVC中之空間直接模式：在AVC中，直接模式亦可自空間相鄰者預測運動資訊。
高效率視訊寫碼(HEVC)中之寫碼單元(CU)結構：在HEVC中，截塊中之最大寫碼單元被稱作寫碼樹型區塊(CTB)或寫碼樹型單元(CTU)。CTB含有四分樹，該四分樹之節點為寫碼單元。
CTB之大小範圍在HEVC主規範中可介於16×16至64×64之間(儘管技術上可支援8×8CTB大小)。寫碼單元(CU)可與CTB大小相同，且小 達8×8。每一寫碼單元係用一個模式寫碼。當CU經框間寫碼時，其可進一步分割成2個或4個預測單元(PU)，或當不應用另一分割區時變為僅一個PU。當兩個PU存在於一個CU中時，該兩個PU可為一半大小之矩形或大小為CU之¼或¾大小的兩個矩形。
當CU經框間寫碼時，針對每一PU呈現運動資訊之一個集合。另外，每一PU藉由獨特框間預測模式寫碼以導出該運動資訊集合。
HEVC中之運動預測：在HEVC標準中，存在針對預測單元(PU)之兩個運動向量預測模式，其分別稱為合併(跳躍被視為合併之特殊情況)模式及進階運動向量預測(AMVP)模式。
在AMVP或合併模式中，針對多個運動向量預測符維持運動向量(MV)候選者清單。當前PU之運動向量以及合併模式中之參考索引係藉由自MV候選者清單獲取一個候選者而產生。
MV候選者清單含有用於合併模式之達5個候選者且僅兩個候選者用於AMVP模式。合併候選者可含有運動資訊之集合，例如對應於兩個參考圖像清單(清單0及清單1)之運動向量及參考索引。若由合併索引來識別合併候選者，則參考圖像用於當前區塊之預測，以及判定相關聯之運動向量。然而，在AMVP模式下，對於自清單0或清單1之每一潛在預測方向，需要將參考索引連同對MV候選者清單之MVP索引一起明確地傳信，此係因為AMVP候選者含有僅一運動向量。在AMVP模式中，可進一步改進經預測運動向量。
如可自上文看出，合併候選者對應於運動資訊之整個集合，而AMVP候選者含有僅用於特定預測方向之一個運動向量及參考索引。
以類似方式自相同空間及時間相鄰區塊導出兩個模式之候選者。
圖1為說明可利用用於實施進階時間運動向量預測(ATMVP)之技術之實例視訊編碼及解碼系統10的方塊圖。如圖1中所示，系統10包 括源器件12，其提供待在稍後時間由目的地器件14解碼之經編碼視訊資料。詳言之，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、所謂的「智慧型」平板電腦、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或類似者。在一些情況下，源器件12及目的地器件14可經裝備以用於無線通信。
目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14之任一類型之媒體或器件。在一個實例中，電腦可讀媒體16可包含通信媒體以使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。可根據諸如無線通信協定之通信標準調變經編碼視訊資料，且將其傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或諸如網際網路之全球網路)之一部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14之通信之任何其他設備。
在一些實例中，經編碼資料可自輸出介面22輸出至儲存器件。類似地，可由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取之資料儲存媒體中之任一者，諸如，硬碟機、Blu-ray碟片、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在再一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊 資料且將彼經編碼視訊資料傳輸至目的地器件14之任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此資料連接可包括無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)，或兩者的適合於存取儲存於檔案伺服器上之經編碼視訊資料之組合。自儲存器件之經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。
本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存在資料儲存媒體上之數位視訊之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。根據本發明，源器件12之視訊編碼器20可經組態以應用用於進階時間運動向量預測(ATMVP)之技術。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18(諸如外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合式顯示器件。
圖1之所說明系統10僅為一個實例。用於進階時間運動向量預測(ATMVP)之技術可藉由任何數位視訊編碼及/或解碼器件來執行。儘管本發明之技術一般由視訊編碼器件執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編碼解碼器」)執行。此外，本發明之技術 亦可由視訊預處理器執行。源器件12及目的地器件14僅為源器件12產生經寫碼視訊資料用於傳輸至目的地器件14的此等寫碼器件之實例。在一些實例中，器件12、14可以實質上對稱之方式操作，使得器件12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸以用於(例如)視訊串流、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源18可包括諸如視訊攝影機之視訊俘獲器件、含有先前俘獲之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋送介面。作為另一替代例，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些情況下，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中所描述之技術一般可適用於視訊寫碼，且可適用於無線及/或有線應用。在每一情況下，經俘獲、預先俘獲或電腦產生之視訊可由視訊編碼器20編碼。經編碼視訊資訊可接著由輸出介面22輸出至電腦可讀媒體16上。
電腦可讀媒體16可包括諸如無線廣播或有線網路傳輸之瞬時媒體，或諸如硬碟、隨身碟、緊密光碟、數位影音光碟、Blu-ray光碟之儲存媒體(亦即，非暫時性儲存媒體)，或其他電腦可讀媒體。在一些實例中，網路伺服器(未圖示)可自源器件12接收經編碼視訊資料，且(例如)經由網路傳輸將經編碼視訊資料提供至目的地器件14。類似地，媒體產生設施(諸如光碟衝壓設施)之計算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，可理解電腦可讀媒體16包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦 可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊，該語法資訊亦由視訊解碼器30使用，包括描述區塊及其他經寫碼單元(例如，GOP)之特性及/或處理的語法元素。顯示器件32將經解碼視訊資料顯示給使用者，且可包含多種顯示器件中之任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據諸如高效率視訊寫碼(HEVC)標準、HEVC標準之擴展或後續標準(諸如，ITU-T H.266)之視訊寫碼標準操作。替代地，視訊編碼器20及視訊解碼器30可根據諸如替代地被稱作MPEG-4第10部分進階視訊寫碼(AVC)之ITU-T H.264標準的其他專屬或行業標準或此等標準之擴展而操作。然而，本發明之技術不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。儘管圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30各自可實施為多種合適之編碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術以軟體部分實施時，器件可將針對軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中的組合式編碼器/解碼器(編解碼器)之部分。
大體而言，HEVC標準描述視訊圖框或圖像可被劃分成包括明度樣本及色度樣本兩者的一連串樹型區塊或最大寫碼單元(LCU)。位元串流內之語法資料可定義LCU之大小，LCU就像素之數目而言為最大寫碼單元。截塊包括按寫碼次序之許多連續樹型區塊。視訊圖框或圖像可分割成一或多個截塊。每一樹型區塊可根據四分樹而分裂成若干寫碼單元(CU)。一般而言，四分樹資料結構每CU包括一個節點，其中根節點對應於樹型區塊。若CU分裂成四個子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於該等子CU中之一者。
該四分樹資料結構中之每一節點可提供針對對應CU之語法資料。舉例而言，該四分樹中之節點可包括分裂旗標，從而指示對應於該節點之CU是否分裂成子CU。針對CU之語法元素可經遞迴地定義，且可取決於該CU是否分裂成子CU。若CU未經進一步分裂，則該CU被稱作葉CU。在本發明中，即使不存在原始葉CU之顯式分裂，葉CU之四個子CU仍亦將被稱作葉CU。舉例而言，若16×16大小之CU未進一步分裂，則四個8×8子CU亦將被稱作葉CU，儘管該16×16CU從未分裂。
除CU不具有大小區別外，H.265中之CU具有與H.264標準之巨集區塊類似之用途。舉例而言，可將樹型區塊分裂成四個子節點(亦稱作子CU)，且每一子節點又可為父代節點且可被分裂成另外四個子節點。被稱作四分樹之葉節點之最終的未分裂子節點包含寫碼節點，該寫碼節點亦被稱作葉CU。與經寫碼位元串流相關聯之語法資料可定義被稱作最大CU深度的可分裂一樹型區塊之最大次數，且亦可定義該等寫碼節點之最小大小。因此，位元串流亦可定義最小寫碼單元(SCU)。本發明使用術語「區塊」來指HEVC之上下文中的CU、PU或TU中之任一者，或其他標準之上下文中的類似資料結構(例如， H.264/AVC中之巨集區塊及其子區塊)。
CU包括寫碼節點以及與該寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且形狀必須為正方形。CU之大小範圍可為自8×8像素直至具有最大64×64像素或大於64×64像素的樹型區塊之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可在CU經跳過或直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼之間不同。PU可經分割成非正方形形狀。與CU相關聯之語法資料亦可描述(例如)CU根據四分樹至一或多個TU之分割。TU之形狀可為正方形或非正方形(例如，矩形)。
HEVC標準允許根據TU進行變換，該等變換對於不同CU可不同。通常基於針對經分割LCU所定義之給定CU內的PU之大小來對TU設定大小，儘管可並非總是此狀況。TU的大小通常與PU相同或比PU小。在一些實例中，可使用被稱為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為較小單元。可將RQT之葉節點稱作變換單元(TU)。與TU相關聯之像素差值可經變換以產生可加以量化之變換係數。
葉CU可包括一或多個預測單元(PU)。一般而言，PU表示對應於對應CU之全部或一部分的空間區域，且可包括用於擷取PU之參考樣本的資料。此外，PU包括與預測有關之資料。舉例而言，當PU經框內模式編碼時，PU之資料可包括於殘餘四分樹(RQT)中，該RQT可包括描述用於對應於PU之TU的框內預測模式之資料。作為另一實例，當PU經框間模式編碼時，PU可包括定義PU之一或多個運動向量的資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量指向之參考圖像，及/或運動向量之參 考圖像清單(例如，清單0、清單1或清單C)。
具有一或多個PU之葉CU亦可包括一或多個變換單元(TU)。如上文所論述，可使用RQT(亦稱作TU四分樹結構)來指定該等變換單元。舉例而言，分裂旗標可指示葉CU是否分裂成四個變換單元。接著，可將每一變換單元進一步分裂為另外子TU。當TU未進一步分裂時，可將其稱作葉TU。大體而言，對於框內寫碼而言，屬於葉CU之所有葉TU共用同一框內預測模式。即，通常應用同一框內預測模式來計算葉CU之所有TU之預測值。對於框內寫碼，視訊編碼器可使用框內預測模式將每一葉TU之殘餘值計算為在CU之對應於TU的部分與原始區塊之間的差。TU不必限於PU之大小。因此，TU可大於或小於PU。對於框內寫碼，PU可與針對同一CU之對應葉TU同置。在一些實例中，葉TU之最大大小可對應於對應葉CU之大小。
此外，葉CU之TU亦可與稱作殘餘四分樹(RQT)之各別四分樹資料結構相關聯。即，葉CU可包括指示葉CU如何被分割成TU之四分樹。TU四分樹之根節點通常對應於葉CU，而CU四分樹之根節點通常對應於樹型區塊(或LCU)。將RQT之未被分裂的TU稱作葉TU。一般而言，除非另有註釋，否則本發明分別使用術語CU及TU來指葉CU及葉TU。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)通常包含一系列視訊圖像中之一或多者。GOP可包括語法資料於GOP之標頭、圖像中之一或多者之標頭中或別處，該語法資料描述包括於GOP中之圖像之數目。圖像之每一截塊可包括描述該各別截塊之編碼模式的截塊語法資料。視訊編碼器20通常對個別視訊截塊內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而大小不同。
作為一實例，HM支援以各種PU大小之預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小的框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小的框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小之框間預測的不對稱分割。在不對稱分割中，CU之一個方向未分割，而另一方向分割成25%及75%。CU之對應於25%分割區之部分由「n」繼之以「上(Up)」、「下(Down)」、「左(Left)」或「右(Right)」之指示來指示。因此，例如，「2N×nU」指水平方向上以頂部2N×0.5N PU及底部2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以指視訊區塊依據垂直維度與水平維度之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊在垂直方向上將具有16個像素(y=16)且在水平方向上將具有16個像素(x=16)。同樣地，N×N區塊通常在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向上與垂直方向上具有同一數目個像素。舉例而言，區塊可包含N×M像素，其中M未必等於N。
在使用CU之PU的框內預測性或框間預測性寫碼之後，視訊編碼器20可計算CU之TU的殘餘資料。PU可包含描述在空間域(亦被稱作像素域)中產生預測性像素資料之方法或模式之語法資料，且TU可包含在對殘餘視訊資料應用變換(例如離散餘弦變換(DCT)、整數變換、小波變換或概念上類似的變換)之後變換域中的係數。殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且接著變換該等TU以產生CU之變換係數。
在進行用以產生變換係數之任何變換之後，視訊編碼器20可執 行對變換係數之量化。量化通常指變換係數經量化以可能減少用以表示變換係數之資料的量從而提供進一步壓縮之程序。量化程序可減小與一些或所有係數相關聯之位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在量化之後，視訊編碼器可掃描變換係數，從而自包括經量化變換係數之二維矩陣產生一維向量。該掃描可經設計以將較高能量(且因此較低頻率)係數置於陣列前部，且將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數以產生可經熵編碼的串行化向量。在其他實例中，視訊編碼器20可執行自適應掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應可變長度寫碼(CAVLC)、上下文自適應二進位算術寫碼(CABAC)、基於語法之上下文自適應二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法來對一維向量熵編碼。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯的語法元素以供視訊解碼器30用於解碼視訊資料中。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸之符號。上下文可係關於(例如)符號之鄰近值是否為非零。為了執行CAVLC，視訊編碼器20可選擇用於待傳輸之符號的可變長度碼。可將VLC中之碼字建構成使得相對較短之碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，相對於(例如)針對待傳輸之每一符號使用相等長度碼字，使用VLC可達成位元節省。機率判定可係基於指派給符號之上下文。
2016年1月25日申請之美國申請案第15/005,564號(下文中，「'564申請案」)描述除本發明之技術以外的以下技術，該等技術可藉由視訊編碼器20及/或視訊解碼器30單獨或以任何組合方式執行。詳言 之，'564申請案描述與ATMVP候選者在經插入(例如)作為合併候選者清單的情況下之位置相關的技術。假定空間候選者及TMVP候選者以某一次序插入至合併候選者清單中。ATMVP候選者可被插入至彼等候選者之任何相對固定位置中。在一個替代例中，例如ATMVP候選者可在前兩個空間候選者(例如，A1及B1)之後被插入至合併候選者清單中。在一個替代例中，例如ATMVP候選者可被插入至前三個空間候選者(例如，A1及B1及B0)之後。在一個替代例中，例如ATMVP候選者可被插入至前四個空間候選者(例如，A1、B1、B0及A0)之後。在一個替代例中，例如ATMVP候選者可緊先於TMVP候選者而被插入。在一個替代例中，例如ATMVP候選者可緊後於TMVP候選者被插至。替代地，候選者清單中之ATMVP候選者之位置可在位元串流中被傳信。其他候選者(包括TMVP候選者)之位置可另外進行傳信。
'564申請案亦描述與ATMVP候選者之可用性檢查可藉由存取僅運動資訊之一個集合而應用有關的技術，視訊編碼器20及/或視訊解碼器30可經組態以執行該等技術。當此資訊集合不可用(例如，一個區塊經框內寫碼)時，整個ATMVP候選者被視為不可用。在彼情況下，ATMVP將不被插入至合併清單中。中心位置或中心子PU僅僅用於檢查ATMVP候選者之可用性。當使用中心子PU時，選擇中心子PU為涵蓋中心位置(例如，中心3位置，具有對PU之左上樣本之相對座標(W/2、H/2)，其中W×H為PU之大小)之一個位置。此位置或中心子PU可連同時間向量一起使用以識別運動源圖像中之對應區塊。識別來自涵蓋對應區塊之中心位置之區塊的運動資訊集合。
'564申請案亦描述來自子PU的經ATMVP寫碼之PU之運動資訊之代表集合的技術，視訊編碼器20及/或視訊解碼器30可經組態以執行該等技術。為形成ATMVP候選者，首先形成運動資訊之代表集合。可自固定位置或固定子PU導出運動資訊之此代表集合。如上文所描 述，可以與用於判定ATMVP候選者之可用性之運動資訊之集合的彼方式相同之方式來選擇該固定位置或固定子PU。當子PU已識別其自身運動資訊之集合且其為不可用時，其經設定成等於運動資訊之代表集合。若運動資訊之代表集合經設定成子PU之彼代表運動資訊集合，則在最差情境下，在解碼器側並不需要額外運動儲存以用於當前CTU或截塊。當解碼程序需要整個PU由一個運動資訊集合表示(包括修剪)時，此代表運動資訊集合用於所有情境中，以使得程序用於產生組合式雙預測性合併候選者。
'564申請案亦描述與可如何利用TMVP候選者修剪ATMVP候選者以及可如何考慮TMVP與ATMVP之間的交互有關的技術，可藉由視訊編碼器20及/或視訊解碼器30執行該等技術。基於子PU之候選者(例如，具有普通候選者之ATMVP候選者)之修剪可藉由使用此基於子PU之候選者的代表運動資訊集合(如項目符號#3中)來進行。若此運動資訊集合與普通合併候選者相同，則兩個候選者被視為相同的。替代地或另外，執行檢查以判定ATMVP是否含有多個子PU之多個不同運動資訊集合；若識別出至少兩個不同集合，則基於子PU之候選者並不用於修剪(亦即，被視為與任何其他候選者不同)；否則，其可用於修剪(例如，可在修剪程序期間被修剪)。替代地或另外，可用空間候選者(例如，僅左及上候選者)修剪ATMVP候選者，其中位置指明為A1及B1。替代地，僅一個候選者由時間參考形成，從而為ATMVP候選者或TMVP候選者。當ATMVP可用時，候選者為ATMVP；否則，候選者為TMVP。此候選者在類似於TMVP之位置的位置中經插入至合併候選者清單中。在此情況下，候選者之最大數目可保持不變。替代地，即使當ATMVP不可用時，TMVP仍始終被禁用。替代地，僅當ATMVP不可用時使用TMVP。替代地，當ATMVP可用且TMVP不可用時，一個子PU之一個運動資訊集合被用作TMVP候選者。此外，在此 情況下，不應用ATMVP與TMVP之間的修剪程序。替代地或另外，用於ATMVP之時間向量亦可用於TMVP，以使得並不需要使用如用於HEVC中之當前TMVP的右下位置或中心3位置。替代地，由時間向量識別之位置及右下及中心3位置聯合地被考慮以提供可用的TMVP候選者。
'564申請案亦描述可如何支援ATMVP之多個可用性檢查以給予較高機會得到更準確且有效之ATMVP候選者，前述操作可藉由視訊編碼器20及/或視訊解碼器30執行。當來自如由第一時間向量(例如，如圖9中所展示)所識別之運動源圖像之當前ATMVP候選者不可用時，其他圖像可被視為運動源圖像。當考慮另一圖像時，其可與不同第二時間向量相關聯，或可僅與第二時間向量相關聯，該第二時間向量自指向不可用ATMVP候選者之第一時間向量按比例縮放。第二時間向量可識別第二運動源圖像中之ATMVP候選者，且可應用相同可用性檢查。若如自第二運動源圖像所導出之ATMVP候選者為可用的，則ATMVP候選者被導出且不需要檢查其他圖像；否則，需要檢查作為運動源圖像之其他圖像。待檢查之圖像可為當前圖像之參考圖像清單中之具有給定次序之彼等圖像。對於每一清單，以參考索引之遞升次序來檢查圖像。首先檢查清單X且接著檢查清單Y(為1-X)中之圖像。選擇清單X以使得清單X為含有用於TMVP之同置圖像的清單。替代地，X僅設定成1或0。待檢查之圖像可以給定次序包括藉由空間相鄰者之運動向量所識別之彼等圖像。當前ATMVP適用於的PU之分割區可為2N×2N、N×N、2N×N、N×2N或其他AMP分割區(諸如2N×N/2)。替代地或另外，若可允許其他分割區大小，則亦可支援ATMVP且可包括此大小(例如，64×8)。替代地，該模式可僅應用於某些分割區，例如2N×2N。
'564申請案亦描述可如何使用不同類型合併模式標記ATMVP候 選者，視訊編碼器20及/或視訊解碼器30可經組態以執行以上操作。
當自相鄰者識別向量(如在第一階段中之時間向量)時，可按次序檢查多個相鄰位置，例如用於合併候選者清單建構中之彼等位置。對於相鄰者中之每一者，可按次序檢查對應於參考圖像清單0(清單0)或參考圖像清單1(清單1)之運動向量。當兩個運動向量可用時，可首先檢查清單X中之運動向量，且接著檢查清單Y(其中Y等於1-X)中之運動向量，以使得清單X為含有用於TMVP之同置圖像的清單。在ATMVP中，時間向量經使用、作為子PU之任何中心位置之移位而添加，其中時間向量之分量可需要移位至整數。此經移位中心位置用於識別運動向量可經分配給之最小單元，例如，具有涵蓋當前中心位置之4×4大小的最小單元。替代地，可在對應於清單1之彼等運動向量之前檢查對應於清單0之運動向量。替代地，可在對應於清單0之彼等運動向量之前檢查對應於清單1之運動向量。替代地，按次序檢查所有空間相鄰者中之對應於清單X之所有運動向量，接著檢查對應於清單Y(其中Y等於1-X)之運動向量。此處，X可為指示同置圖像屬於之清單，或僅僅被設定成0或1。空間相鄰者之次序可與用於HEVC合併模式中之彼次序相同。
'564申請案亦描述可藉由視訊編碼器20及/或視訊解碼器30執行之與如下操作相關的技術：當識別時間向量之第一階段中不包括識別參考圖像時，如圖9中所示之運動源圖像可僅設定成固定圖像，例如，用於TMVP之同置圖像。在此情況下，可僅自指向此固定圖像之運動向量來識別向量。在此情況下，向量可僅自指向任一圖像之運動向量來識別，但進一步朝向固定圖像按比例縮放。當在識別向量之第一階段中由識別參考圖像(如圖9中所示之運動源圖像)組成時，以下額外檢查中之一或多者可適用於候選者運動向量。若運動向量與經框內寫碼之圖像或截塊相關聯，則此運動向量被視為不可用且不可用於 轉換為向量。若運動向量識別相關聯圖像中之框內區塊(藉由例如相加當前中心座標與運動向量)，則此運動向量被視為不可用且不可用於轉換為向量。
'564申請案亦描述可藉由視訊編碼器20及/或視訊解碼器30執行之與如下操作相關的技術：當在識別向量之第一階段中時，向量之分量可設定成(當前PU之半寬度，當前PU之半高度)，使得其識別運動源圖像中之右下像素位置。此處，(x,y)指示一個運動向量之水平分量及垂直分量。替代地，向量之分量可設定成(總和(當前PU之半寬度M)、總和(當前PU之半高度N))，其中函數總和(a,b)傳回a及b之總和。在一個實例中，當運動資訊儲存於4×4單元中時，M及N兩者皆被設定成等於2。在另一實例中，當運動資訊儲存於8×8單元中時，M及N兩者被設定成等於4。
'564申請案亦描述與當ATMVP應用時之子區塊/子PU大小在參數集(例如，圖像參數集之序列參數集)中傳信相關的技術，可藉由視訊編碼器20及/或視訊解碼器30執行該等技術。該大小範圍介於最小PU大小至CTU大小。亦可預定義或用傳信該大小。該大小可(例如)小達4×4。替代地，可基於PU或CU之大小導出子區塊/子PU大小。舉例而言，子區塊/子PU可被設定成等於最大(4×4、(CU之寬度)>>M)。可在位元串流中預定義或傳信M之值。
'564申請案亦描述與合併候選者之最大數目歸因於ATMVP可被視為新的合併候選者而增加1有關的技術，該等技術可藉由視訊編碼器20及/或視訊解碼器30執行。舉例而言，相較於在修剪之後佔據合併候選者清單中之5個候選者之HEVC，合併候選者之最大數目可增加至6。替代地，可針對ATMVP執行用習知TMVP候選者進行修剪或用習知TMVP候選者進行統一，以使得合併候選者之最大數目可保持不改變。替代地，當ATMVP被識別為可用時，空間相鄰候選者被自 合併候選者清單排除，例如，按提取次序之最後空間相鄰候選者被排除。
'564申請案亦描述可藉由視訊編碼器20及/或視訊解碼器30執行之與以下操作相關的技術：當多個空間相鄰運動向量經考慮以導出時間向量時，可基於當前PU之相鄰運動向量以及藉由被設定為等於運動向量之特定時間向量識別的相鄰運動向量來計算運動向量類似性。可選擇產生最高運動類似性之一個時間向量作為最終時間向量。在一個替代例中，對於來自相鄰位置N之每一運動向量，運動向量識別運動源圖像中之區塊(與當前PU相同之大小)，其中其相鄰位置N含有運動資訊之集合。此運動向量集合與如當前區塊之相鄰位置N中之運動資訊之集合進行比較。在另一替代例中，對於來自相鄰位置N之每一運動向量，該運動向量識別運動源圖像中之區塊，其中其相鄰位置含有多個運動資訊集合。此等多個運動向量集合與來自相同相對位置中之當前PU之相鄰位置的多個運動資訊集合進行比較。
可根據以上技術計算運動資訊類似性。舉例而言，當前PU具有指明為MIA1、MIB1、MIA0及MIB0之來自A1、B1、A0及B0之以下運動資訊集合。對於時間向量TV，其識別對應於運動源圖像中之PU的區塊。此區塊具有來自相同相對A1、B1、A0及B0位置且指明為TMIA1、TMIB1、TMIA0及TMIB0的運動資訊。如藉由TV所判定之運動類似性被計算為，其中MVSim()定義運動資訊之兩個集合(MIN,TMIN)之間的類似性。在以上兩個情況中，可使用運動類似性MVSim，其中兩個輸入參數為兩個運動資訊，每一運動資訊有達兩個運動向量及兩個參考索引。由於清單X中之每一對運動向量實際上與不同圖像之不同清單X中之參考圖像、當前圖像及運動源圖像相關聯。
對於兩個運動向量MVXN及TMVXN(其中X等於0或1)中之每一 者，運動向量差MVDXN可根據上述技術經計算為MVXN-TMVXN。隨後，差MVSimX經計算為(例如)abs(MVDX N [0])+abs(MVDX N [1])，或(MVDX N [0]*MVDX N [0]+MVDX N [1]*MVDX N [1])。若兩個運動資訊集合含有可用運動向量，則MVSim設定為等於MVSim0+MVSim1。為了具有運動差之統一計算，運動向量中之兩者需要向相同固定圖像按比例縮放，該固定圖像可例如為當前圖像之清單X之第一參考圖像RefPicListX[0]。若來自第一集合之清單X中之運動向量之可用性及來自第二集合之清單X中之運動向量之可用性不同，亦即一個參考索引為-1而另一個並非-1，則此兩個運動資訊集合被視為在方向X上不類似。
若兩個集合在兩者設定上不類似，則最終MVSim函數可根據上述技術傳回大值T，該大值T可(例如)被視為無窮大。替代地，對於一對運動資訊集合，若自清單X(X等於0或1)但並非自清單Y(Y等於1-X)來預測一集合且另一集合具有相同狀態，則可使用1與2之間的加權(例如，MVSim等於MVSimX*1.5)。當一個集合僅自清單X預測且另一個僅自清單Y預測時，MVSim經設定成大值T。替代地，對於任何運動資訊集合，只要一個運動向量為可用的，便將產生兩個運動向量。在僅一個運動向量為可用的情況下(對應於清單X)，該運動向量按比例縮放以形成對應於另一清單Y之運動向量。替代地，可基於當前PU之相鄰像素與由運動向量識別之區塊(與當前PU大小相同)之相鄰像素之間的差來量測運動向量。可選擇產生最小差之運動向量作為最終時間向量。
'564申請案亦描述可藉由視訊編碼器20及/或視訊解碼器30執行之與以下操作相關的技術：當導出當前區塊之時間向量時，來自用ATMVP寫碼之相鄰區塊的運動向量及/或時間向量可具有比自其他相鄰區塊之運動向量高的優先權。在一個實例中，首先僅檢查相鄰區塊 之時間向量，且第一可用的時間向量可設定成當前區塊之時間向量。僅當不存在此類時間向量時，進一步檢查普通運動向量。在此情況下，需要儲存用於經ATMVP寫碼之區塊的時間向量。在另一實例中，首先僅檢查來自經ATMVP寫碼之相鄰區塊之運動向量，且第一可用之運動向量可被設定成當前區塊之時間向量。僅當不存在此類時間向量時，進一步檢查普通運動向量。在另一實例中，首先僅檢查來自經ATMVP寫碼之相鄰區塊之運動向量，且第一可用運動向量可被設定成當前區塊之時間向量。若此類運動向量不可用，則時間向量之檢查類似於上文所論述方式而繼續。在另一實例中，首先檢查來自相鄰區塊之時間向量，第一可用的時間向量可被設定成當前區塊之時間向量。若此類運動向量不可用，則時間向量之檢查類似於上文所論述方式而繼續。在另一實例中，首先檢查經ATMVP寫碼之相鄰區塊之時間向量及運動向量，第一可用的時間向量及運動向量可被設定成當前區塊之時間向量。僅當不存在此類時間向量及運動向量時，進一步檢查普通運動向量。
'564申請案亦描述與如下操作相關之技術：當多個空間相鄰運動向量經考慮以導出時間向量時，可選擇一運動向量使得其最小化自像素域計算之失真，例如，模板匹配可用於導出時間向量以使得產生最小匹配成本之一者經選擇為最終時間向量。此等技術亦可藉由視訊編碼器20及/或視訊解碼器30執行。
'564申請案亦描述可藉由視訊編碼器20及/或視訊解碼器30執行之針對以下操作的技術：自對應區塊(在運動源圖像中)導出運動資訊集合正以一方式執行，在該方式中，當運動向量在任何清單X之對應區塊中可用(指明運動向量為MVX)時，對於ATMVP候選者之當前子PU，運動向量被視為可供用於清單X(藉由按比例縮放MVX)。若運動向量不可用於任何清單X之對應區塊中，則運動向量被視為不可用 於清單X。替代地，當對應區塊中之運動向量不可用於清單X但可用於清單1-X(將1-X指明為Y且指明運動向量為MVY)時，運動向量仍被視為可供用於清單X(藉由向清單X中之目標參考圖像按比例縮放MVY)。替代地或另外，當清單X及清單Y(等於1-X)之對應區塊中之兩個運動向量為可用時，來自清單X及清單Y之運動向量不必直接用於按比例縮放以藉由按比例縮放產生當前子PU之兩個運動向量。在一個實例中，當闡述ATMVP候選者時，TMVP中完成之低延遲檢查應用於每一子PU。若對於當前截塊之每一參考圖像清單中之每一圖像(由refPic指明)，refPic之圖像次序計數(POC)值小於當前截塊之POC，則當前截塊被考慮為具有低延遲模式。在此低延遲模式中，來自清單X及清單Y之運動向量經按比例縮放以分別產生清單X及清單Y之當前子PU之運動向量。當不處於低延遲模式時，僅來自MVX或MVY之一個運動向量MVZ被選擇且按比例縮放以產生用於當前子PU之兩個運動向量。類似於TMVP，在此情況下，Z經設定為等於collocated_from_l0_flag，從而意謂其取決於如TMVP中之同置圖像是在當前圖像之清單X中抑或在清單Y中。替代地，Z經設定如下：若自清單X識別出運動源圖像，則Z設定成X。替代地，另外，當運動源圖像屬於兩個參考圖像清單，且RefPicList0[idx0]為首先存在於清單0中之運動源圖像且RefPicList(1)[idx1]為首先存在於清單1中之運動源圖像時，Z在idx0小於或等於idx1情況下設定成0，且否則被設定成1。
'564申請案亦描述用於傳信運動源圖像之技術，該等技術可藉由視訊編碼器20及/或視訊解碼器30執行。詳言之，指示運動源圖像是來自清單0抑或來自清單1之旗標經傳信用於B截塊。替代地，另外，對當前圖像之清單0或清單1之參考索引可經傳信以識別運動源圖像。
'564申請案亦描述可藉由視訊編碼器20及/或視訊解碼器30執行之與如下操作相關的技術：當識別時間向量時，若向量指向相關聯運 動源圖像中之經框內寫碼區塊，則向量被視為不可用(因此可考慮其他向量)。
根據本發明之技術，視訊編碼器20及/或視訊解碼器30可經組態以自空間及時間相鄰區塊導出用於區塊(例如，PU)之子區塊(例如，子PU)的運動向量。如下文所論述，視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可自三維域中之相鄰區塊之資訊導出用於PU之每一子PU的運動向量。此意謂相鄰區塊可為當前圖像中之空間相鄰者或先前經寫碼圖像中之時間相鄰者。下文更詳細地論述之圖10為說明實例空間時間運動向量預測符(STMVP)導出程序的流程圖。另外，上文關於項目符號#1、#2、#3、#4、#6、#7、#12及#13所描述的方法可直接擴展至STMVP。
在以下描述中，術語「區塊」用以指用於儲存預測相關資訊(例如框間或框內預測、框內預測模式、運動資訊等)的區塊單元。此預測資訊經保存且可用於寫碼將來區塊，例如預測用於針對區塊之預測模式資訊。在AVC及HEVC中，此區塊之大小為4×4。
應注意，在以下描述中，「PU」指示經框間寫碼區塊單元及用以指示自相鄰區塊導出運動資訊之單元的子PU。
視訊編碼器20及/或視訊解碼器30可經組態以單獨或以任何組合方式應用以下方法中的任一者。
子PU及相鄰區塊之大小：考慮具有多個子PU之PU，子PU之大小通常等於或大於彼相鄰區塊大小。在一個實例中，如圖11A中所示，加陰影正方形表示在當前PU外部之相鄰區塊(使用小寫字母a、b…i表示)，且剩餘正方形(使用大寫字母A、B…P表示)表示當前PU中之子PU。子PU及其相鄰區塊之大小係相同的。舉例而言，該大小等於4×4。圖11B展示子PU大於相鄰區塊的另一實例。以此方式，用於運動資訊導出之相鄰區塊的大小可等於或小於導出運動資訊所針對的子 區塊之大小。替代地，子PU可採用非正方形形狀，諸如矩形或三角形形狀。此外，子PU之大小可在截塊標頭中傳信。在一些實例中，上文關於(例如)在參數集中傳信子區塊或子PU大小所論述的程序可擴展至此等技術。舉例而言，子PU大小可在參數集(諸如序列參數集(SPS)或圖像參數集(PPS))中傳信。
關於圖11A的實例，假定視訊寫碼器將光柵掃描次序(A、B、C、D、E等)應用於子PU以導出子區塊之運動預測。然而，亦可應用其他掃描次序，且應注意此等技術不受限於僅光柵掃描次序。
相鄰區塊可分類成兩種不同類型：空間及時間。空間相鄰區塊為已經寫碼之區塊或在當前圖像或截塊中並與當前子PU相鄰的已經掃描之子PU。時間相鄰區塊為在先前經寫碼圖像中並與當前子PU之同置區塊相鄰之區塊。在一個實例中，視訊寫碼器使用與當前PU相關聯的所有參考圖像以獲得時間相鄰區塊。在另一實例中，視訊寫碼器將參考圖像之子集用於STMVP導出，例如，每一參考圖像清單之僅第一項目用於STMVP導出。
在此等定義之後，對於子PU(A)，進一步參看圖11A，所有白區塊(a、b…i)及其在先前經寫碼圖像中之同置區塊為視作可用的空間及時間相鄰區塊。根據光柵掃描次序，區塊B、C、D、E…P並非在空間上可用於子PU(A)。然而，所有子PU(自A至P)為子PU(A)之時間上可用之相鄰區塊，此係因為其運動資訊可在先前經寫碼圖像中之其同置區塊中發現。採用子PU(G)作為另一實例：其係可用之空間相鄰區塊包括自a、b…至i及亦自A至F之彼等區塊。此外，在一些實例中，某一約束可應用於空間相鄰區塊，例如，空間相鄰區塊(亦即，自a、b…至i)可約束為在同一LCU/截塊/圖塊中。
根據本發明之技術，視訊寫碼器(視訊編碼器20或視訊解碼器30)可選擇所有可用相鄰區塊之子集以導出用於每一子PU之運動資訊或 運動欄位。用於導出每一PU之子集可經預定義；替代地，視訊編碼器20可傳信該子集(且視訊解碼器30可接收指示該子集之所傳信之資料)為截塊標頭、PPS、SPS或其類似者中之高位準語法。為最佳化寫碼效能，子集對於每一子PU可不同。實際上，為簡單起見，子集之位置之固定圖案係較佳的。舉例而言，每一子PU可使用其直接上方空間相鄰者，其直接左空間相鄰者及其直接右下時間相鄰者作為子集。關於圖11A之實例，當考慮子PU(J)(水平地散列)時，上方區塊(F)及左區塊(I)(左下對角地散列)為在空間上可用之相鄰區塊，且右下區塊(O)(在兩個方向上對角地散列)為在時間上可用之相鄰區塊。在此子集情況下，在當前PU中之子PU歸因於處理相依性而將順序地(以所定義次序，諸如光柵掃描次序)處理。
另外或替代地，當考慮子PU(J)時，視訊編碼器20及視訊解碼器30可將上方區塊(F)及左區塊(I)看作在空間上可用之相鄰區塊，且將底部區塊(N)及右區塊(K)看作在時間上可用之相鄰區塊。在此子集的情況下，視訊編碼器20及視訊解碼器30可歸因於處理相依性而順序地處理當前PU中之子PU。
為允許並行處理當前PU中之每一子PU，視訊編碼器20及視訊解碼器30可使用一些子PU之不同相鄰區塊子集用於運動預測導出。在一個實例中，可定義僅含有不屬於當前PU之空間相鄰區塊(例如區塊a、b…i)之子集。在此情況下，並行處理將係可能的。
在另一實例中，對於給定子PU，若子PU空間相鄰區塊在當前PU內，則彼空間相鄰區塊之同置區塊可置於子集中並用以導出當前子PU之運動資訊。舉例而言，當考慮子PU(J)時，上方區塊(F)及左區塊(I)及右下區塊(O)之時間同置區塊經選擇為子集以導出子PU(J)之運動。在此情況下，子PU(J)之子集含有三個時間相鄰區塊。在另一實例中，可啟用部分並行程序，其中一個PU分裂成若干區且每一區(涵 蓋若干子PU)可經獨立地處理。
有時相鄰區塊經框內寫碼，其中需要具有用以判定對彼等區塊之替代運動資訊用於更好地運動預測及寫碼效率的規則。舉例而言，考慮子PU(A)，可能存在區塊b、c及/或f經框內寫碼，且a、d、e、g、h及i經框間寫碼的情況。對於空間相鄰者，視訊編碼器20及視訊解碼器30可使用預定義次序來用首先發現之框間寫碼區塊之彼運動資訊填充經框內寫碼區塊之運動資訊。舉例而言，上方相鄰者之搜尋次序可經設定為自直接上方相鄰者開始向右直至最右相鄰者為止，從而意謂b、c、d及e之次序。左相鄰者之搜尋次序可經設定為自直接左相鄰者開始向下直至最下相鄰者為止，從而意謂f、g、h及i之次序。若經由搜尋程序未發現經框間寫碼區塊，則上方或左空間相鄰者被考慮為不可用。對於時間相鄰者，可使用與TMVP導出中指定之規則相同的規則。然而，應注意亦可使用其他規則，例如基於運動方向、時間距離(在不同參考圖像中之搜尋)及空間位置等之規則。
視訊編碼器20及視訊解碼器30可使用根據本發明之技術的用於導出給定子PU之運動資訊的以下方法。視訊編碼器20及視訊解碼器30可首先判定目標參考圖像，並執行運動向量按比例縮放。對於每一相鄰區塊，運動向量按比例縮放可基於每一參考圖像清單應用於其運動向量以便將所有相鄰區塊之運動向量映射至每一清單中之相同參考圖像。存在兩個步驟：首先，判定待用於按比例縮放之源運動向量。第二，判定源運動向量投影至之目標參考圖像。對於第一步，可使用若干方法：對於每一參考清單，運動向量按比例縮放獨立於另一參考清單中之運動向量；對於給定區塊之運動資訊，若在參考清單中不存在運動向量(例如，替代雙向預測模式之單向預測模式)，則無運動向量按比例縮放經執行用於彼清單。
運動向量按比例縮放並不獨立於另一參考清單中之運動向量；對於給定區塊之運動資訊，若無運動向量在參考清單中不可用，則其可自另一參考清單中之運動向量按比例縮放。
兩個運動向量自一預定義參考清單(如在TMVP中)按比例縮放
在一個實例中，根據本發明之技術，視訊編碼器20及視訊解碼器30使用上述方法a)用於按比例縮放空間相鄰區塊之運動向量，及上述方法c)用於按比例縮放時間相鄰區塊之運動向量。然而，可在其他實例中使用其他組合。
如對於第二步驟，可基於可用的空間相鄰區塊之運動資訊(例如參考圖像)根據某一規則來選擇目標參考圖像。此規則之一個實例為大部分規則，亦即，選擇藉由大部分區塊共用之參考圖像。在此情況下，不存在目標參考圖像自編碼器至解碼器之所需要的傳信，此係因為亦可在解碼器側使用相同規則推斷相同資訊。替代地，此參考圖像亦可在截塊標頭中經明確地規定，或在一些其他方法中傳信至解碼器。在一個實例中，目標參考圖像經判定為每一參考清單之第一參考圖像(refidx=0)。
在判定目標參考圖像及視需要按比例縮放運動向量之後，視訊編碼器20及視訊解碼器30導出給定子PU之運動資訊。假定對於給定子PU存在具有運動資訊的N個可用相鄰區塊。首先，視訊編碼器20及視訊解碼器30判定預測方向(InterDir)。用於判定預測方向之一個簡單方法係如下：a. InterDir經初始化為零，接著循環穿過N個可用相鄰區塊之運動資訊；b. 若清單0中存在至少一個運動向量，則InterDir=(InterDir bitwiseOR1)；c. 若清單1中存在至少一個運動向量，則InterDir=(InterDir bitwiseOR2)。
此處「bitwiseOR」表示逐位元或操作。在此實例中，InterDir之值經定義為：0(非框間預測)，1(基於清單0之框間預測)、2(基於清單1之框間預測)，及3(基於清單0及清單1兩者之框間預測)。
替代地，類似於關於上文所描述之運動向量按比例縮放之目標參考圖像之判定，大部分規則可用於基於所有可用相鄰區塊之運動資訊判定給定子PU之InterDir的值。
在判定InterDir之後，可導出運動向量。對於基於導出之InterDir的每一參考清單，可存在如上文所論述的經由對目標參考圖像之運動向量按比例縮放可獲得的M個運動向量(M<=N)。參考清單之運動向量可導出為：
其中w i 及w j 分別為水平及垂直運動分量之加權因子，且O i 及O j 為取決於加權因子之偏移值。
可基於各種因子判定加權因子。在一個實例中，相同規則可應用於一個PU內之所有子PU。規則可定義如下：
‧舉例而言，可基於當前子PU及對應相鄰區塊之位置距離判定加權因子。
‧在另一實例中，亦可在按比例縮放之前基於目標參考圖像與係與對應相鄰區塊之運動向量相關聯的參考圖像之間的POC距離來判定加權因子。
‧在又一實例中，可基於運動向量差或一致性而判定加權因子。
‧為簡單起見，所有加權因子亦可設定成1。
替代地，不同規則可應用於一個PU內之若干子PU。舉例而言，可應用上述規則，另外，對於位於第一列/第一行處之子PU，自時間 相鄰區塊導出的運動向量之加權因子設定成0，而對於剩餘區塊，自空間相鄰區塊導出之運動向量之加權因子設定成0。
應注意實際上，上述等式可按原樣實施，或經簡化而易於實施。舉例而言，為避免除法或浮點運算，固定點運算可用於近似上述等式。一個個例為，為了避免除以3，吾人可替代地選擇乘以43/128以用乘法及位元移位替換除法運算。彼等實施變化應考慮為涵蓋於本發明之技術的相同精神下。
另外或替代地，當程序調用兩個運動向量時，等式(1)可被以下等式(2)取代：
另外或替代地，當程序調用三個運動向量時，等式(1)可被以下等式(3)取代：
另外或替代地，當程序調用四個運動向量時，等式(1)可被以下等式(4)取代：
其中若t為正值，則sign(t)為1；且若t為負值，則sign(t)為-1。
另外或替代地，亦可應用非線性操作以導出運動向量，諸如中值濾波。
視訊編碼器20及視訊解碼器30可進一步判定此等技術之運動向量可用性。即使當每一子PU之運動向量預測符可用時，STMVP模式可經重設為對於一個PU不可用。舉例而言，一旦每一子PU之運動向量預測符經導出用於給定PU，一些可用性檢查便經執行以判定是否 應使STMVP模式可供用於給定PU。此操作用以消除STMVP模式經最終選擇用於給定PU極其不大可能的情況。當STMVP模式不可用時，模式傳信不包括STMVP。在STMVP模式藉由在合併清單中插入SMTVP而實施情況下，當STMVP模式經判定為不可用時，合併清單不包括此STMVP候選者。因此，可減少傳信額外負擔。
考慮一個PU分割成M個子PU。在一個實例中，若M個子PU當中之N1(N1<=M)個子PU具有相同運動向量預測符(亦即，相同運動向量及相同參考圖像索引)，則僅在N1小於臨限值或預測符不同於合併清單中之其他運動向量預測符(具有較小合併索引)時使STMVP可用。在另一實例中，若在STMVP模式下之N2(N2<=M)個子PU共用與在ATMVP情況下之對應子PU相同之運動向量預測符，則僅在N2小於另一臨限值時使STMVP可用。在一個實例中，用於N1及N2之兩個臨限值皆設定為等於M。
視訊編碼器20及視訊解碼器30接著可將導出之運動預測符插入至候選者清單(例如合併清單)中。若STMVP候選者可用，則視訊編碼器20及視訊解碼器30可將STMVP候選者插入至候選者清單(例如，合併清單)中。在上述項目符號#1中之程序可經擴展且STMVP候選者可在ATMVP候選者之前或之後被插入。在一個實例中，視訊編碼器20及視訊解碼器30就在合併清單中之ATMVP候選者之後插入STMVP。
視訊編碼器20可(例如)在圖框標頭、區塊標頭、截塊標頭或GOP標頭中進一步將語法資料(諸如，基於區塊之語法資料、基於圖框之語法資料，及基於GOP之語法資料)發送至視訊解碼器30。GOP語法資料可描述各別GOP中之圖框數目，且圖框語法資料可指示用以編碼對應圖框之編碼/預測模式。
視訊編碼器20及視訊解碼器30各自可經實施為可適用的多種合適編碼器或解碼器電路中之任一者，諸如一或多個微處理器、數位信 號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可經整合為組合式編碼器/解碼器(編碼解碼器)之部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件(諸如蜂巢式電話)。
圖2為說明可實施用於進階時間運動向量預測(ATMVP)之技術的視訊編碼器20之實例的方塊圖。視訊編碼器20可執行視訊截塊內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減小或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之相鄰圖框或圖像內之視訊中之時間冗餘。框內模式(I模式)可指若干基於空間之寫碼模式中之任一者。諸如單向預測(P模式)或雙向預測(B模式)之框間模式可指若干基於時間之寫碼模式中的任一者。
如圖2中所示，視訊編碼器20接收待編碼之視訊圖框內之當前視訊區塊。在圖2之實例中，視訊編碼器20包括模式選擇單元40、參考圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。用於視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。亦可包括解塊濾波器(圖2中未展示)以對區塊邊界進行濾波以自重建構之視訊移除區塊效應偽影。若需要，則解塊濾波器將通常對求和器62之輸出濾波。除瞭解塊濾波器外，亦可使用額外濾波器(迴路中或迴路後)。為簡潔起見未展示此等濾波器，但若需要，此等濾波器可對求和器50之輸出濾波(作為迴路內濾波器)。
在編碼程序期間，視訊編碼器20接收待寫碼之視訊圖框或截 塊。可將該圖框或截塊劃分成多個視訊區塊。運動估計單元42及運動補償單元44執行接收之視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性寫碼以提供時間預測。框內預測單元46可替代地執行接收之視訊區塊相對於與待寫碼區塊相同之圖框或截塊中之一或多個相鄰區塊的框內預測性寫碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次，(例如)以選擇用於每一視訊資料區塊之適當寫碼模式。
此外，分割單元48可基於對先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割為子區塊。舉例而言，分割單元48可最初將一圖框或截塊分割成多個LCU，且基於位元率-失真分析(例如，位元率-失真最佳化)來將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示將LCU分割為子CU之四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可(例如)基於誤差結果而選擇寫碼模式(框內或框間)中之一者，且將所得經框內或經框間寫碼區塊提供至求和器50以產生殘餘區塊資料，及提供至求和器62以重建構經編碼區塊以用作參考圖框。模式選擇單元40亦將諸如運動向量、框內模式指示符、分區資訊及其他此類語法資訊之語法元素提供至熵編碼單元56。
運動估計單元42及運動補償單元44可高度整合，但為概念目的而分開來說明。由運動估計單元42執行之運動估計為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示當前視訊圖框或圖像內之視訊區塊的PU相對於在參考圖框(或其他經寫碼單元)內之預測性區塊之位移，該預測性區塊係相對於該當前圖框(或其他經寫碼單元)內正經寫碼的當前區塊。預測性區塊為依據像素差被發現緊密地匹配於待寫碼區塊之區塊，該像素差可藉由絕對差和(SAD)、平方差和(SSD)或其他差量度予以判定。在一些實例 中，視訊編碼器20可計算儲存於參考圖像記憶體64中之參考圖像之子整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分率像素位置的值。因此，運動估計單元42可執行相對於全像素位置及分率像素位置之運動搜尋且輸出具有分率像素精確度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼截塊中之視訊區塊的PU之運動向量。參考圖像可係選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，其中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將所計算運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量提取或產生預測性區塊。再次，在一些實例中，運動估計單元42與運動補償單元44可在功能上整合。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量指向之預測性區塊。求和器50藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。大體而言，運動估計單元42相對於明度分量而執行運動估計，且運動補償單元44將基於明度分量所計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊截塊相關聯之語法元素以供視訊解碼器30在解碼視訊截塊之視訊區塊中使用。
模式選擇單元40亦可選擇子區塊(例如，子PU)運動導出模式用於區塊(例如，PU)。亦即，模式選擇單元40可在一系列編碼遍次之間比較多種編碼因素(包括預測模式)以判定哪一編碼遍次(及因此，哪一因素集合，包括哪一預測模式)產生所需要位元率-失真最佳化(RDO)特 性。當模式選擇單元40選擇子區塊運動資訊導出模式用於視訊資料區塊(例如，PU)時，運動補償單元44可使用本發明之技術來預測區塊。
詳言之，使用子區塊運動資訊導出模式，運動補償單元44可導出區塊之子區塊的運動資訊。舉例而言，運動補償單元44可針對每一子區塊判定兩個或兩個以上相鄰子區塊之運動資訊並自相鄰子區塊之運動資訊導出子區塊之運動資訊。舉例而言，相鄰子區塊可包括空間及/或時間相鄰子區塊。在一個實例中，運動補償單元44藉由平均左相鄰空間子區塊、上方相鄰空間子區塊及右下時間相鄰子區塊的運動資訊(例如，運動向量)而導出每一子區塊之運動資訊，如下文關於圖11A更詳細地論述。在其他實例中，運動補償單元44可使用(例如)式(1)至(4)中之一者導出每一子區塊之運動資訊。運動補償單元44可使用用於子區塊中之每一者的導出之運動資訊以判定用於子區塊之預測資料。藉由擷取用於子區塊中之每一者的此預測資料，運動補償單元44使用子區塊運動資訊導出模式產生當前區塊的經預測之區塊。
如上文所描述，作為由運動估計單元42及運動補償單元44執行之框間預測的替代例，框內預測單元46可對當前區塊進行框內預測。詳言之，框內預測單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46(或在一些實例中模式選擇單元40)可自所測試模式中選擇適當框內預測模式來使用。
舉例而言，框內預測單元46可使用對於各種所測試之框內預測模式的位元率-失真分析來計算位元率-失真值，且在所測試之模式之中選擇具有最佳位元率-失真特性之框內預測模式。位元率-失真分析大體上判定經編碼區塊與原始、未編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元率 (即，位元之數目)。框內預測單元46可根據各種經編碼區塊之失真及位元率來計算比率以判定哪一框內預測模式展現該區塊之最佳位元率-失真值。
在選擇用於區塊之框內預測模式後，框內預測單元46可將指示區塊之所選框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括以下各者：組態資料，其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦稱作碼字映射表)；各種區塊之編碼上下文的定義；及待用於該等上下文中之每一者的最有可能之框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之該或該等組件。變換處理單元52將變換(諸如離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用小波變換、整數變換、子頻帶變換或其他類型之變換。在任何情況下，變換處理單元52將變換應用於殘餘區塊，從而產生殘餘變換係數區塊。該變換可將殘餘資訊自像素值域轉換至變換域，諸如頻域。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減少位元位元率。量化程序可減小與一些或所有係數相關聯之位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。替代性地，熵編碼單元56可執行掃描。
在量化之後，熵編碼單元56熵寫碼經量化之變換係數。舉例而言，熵編碼單元56可執行上下文自適應可變長度寫碼(CAVLC)、上下 文自適應二進位算術寫碼(CABAC)、基於語法之上下文自適應二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的情況下，上下文可係基於相鄰區塊。在由熵編碼單元56進行熵寫碼之後，可將經編碼位元串流傳輸至另一器件(例如，視訊解碼器30)或存檔以供稍後傳輸或擷取。
此外，熵編碼單元56可編碼各種視訊資料區塊的各種其他語法元素。舉例而言，熵編碼單元56可編碼表示視訊資料之每一CU的每一PU之預測模式的語法元素。當框間預測經指示用於PU時，熵編碼單元56可編碼運動資訊，運動資訊可包括是使用合併模式抑或進階運動向量預測(AMVP)編碼運動向量。在任一情況下，視訊編碼器20形成包括可預測運動資訊所藉以之候選者(對於PU的空間及/或時間相鄰區塊)的候選者清單。根據本發明之技術，候選者清單可包括指示子區塊運動資訊導出模式將用於PU的候選者。此外，熵編碼單元56可將指示將使用哪一候選者的候選者索引編碼至候選者清單中。因此，若選定子區塊運動資訊導出模式，則熵編碼單元56編碼候選者索引，該候選者索引指表示子區塊運動資訊導出模式之候選者。
反量化單元58及反變換單元60分別應用反量化及反變換以在像素域中重建構殘餘區塊(例如)以供稍後用作參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像記憶體64之圖框中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用至經重建構之殘餘區塊以計算次整數像素值用於運動估計中。求和器62將經重建構之殘餘區塊添加至由運動補償單元44產生之經運動補償的預測區塊，以產生經重建構之視訊區塊以用於儲存於參考圖像記憶體64中。經重建構之視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間寫碼後續視訊圖框中之區塊。
以此方式，視訊編碼器20表示經組態以執行以下操作之視訊編 碼器之實例：判定當前視訊資料區塊之運動預測候選者指示運動資訊將經導出用於當前區塊之子區塊，及回應於該判定：將當前區塊分割成子區塊，對於該等子區塊中之每一者，使用用於至少兩個相鄰區塊之運動資訊導出運動資訊，並使用各別導出之運動資訊解碼該等子區塊。即，視訊編碼器20使用本發明之技術既編碼且又解碼視訊資料之區塊。
圖3為說明可實施用於進階時間運動向量預測(ATMVP)之技術之視訊解碼器30之實例的方塊圖。在圖3之實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、反量化單元76、反變換單元78、參考圖像記憶體82和求和器80。在一些實例中，視訊解碼器30可執行大體上互逆於關於視訊編碼器20(圖2)所描述之編碼遍次的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符產生預測資料。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊截塊之視訊區塊及相關聯之語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元70熵解碼位元串流以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可在視訊截塊層級及/或視訊區塊層級接收語法元素。
當視訊截塊經寫碼為框內寫碼(I)截塊時，框內預測單元74可基於傳信之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊截塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即，B、P或GPB)截塊時，運動補償單元72基於運動向量及自熵解碼單元70接收之其他語法元素產生用於當前視訊截塊之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單中之一者內的參 考圖像中之一者產生。視訊解碼器30可基於儲存於參考圖像記憶體82中之參考圖像使用預設建構技術來建構參考圖框清單即清單0及清單1。
運動補償單元72藉由剖析運動向量及其他語法元素來判定用於當前視訊截塊之視訊區塊的預測資訊，並使用該預測資訊以產生經解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元72使用所接收語法元素中之一些來判定用以寫碼視訊截塊之視訊區塊之預測模式(例如，框內或框間預測)、框間預測截塊類型(例如，B截塊、P截塊或GPB截塊)、用於該截塊之參考圖像清單中之一或多者之建構資訊、用於該截塊之每一經框間編碼視訊區塊之運動向量、用於該截塊之每一經框間寫碼視訊區塊之框間預測狀態及用以解碼當前視訊截塊中之視訊區塊的其他資訊。
運動補償單元72亦可執行基於內插濾波器之內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間所使用的內插濾波器，以計算參考區塊之次整數像素的內插值。在此情況下，運動補償單元72可根據接收之語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。
根據本發明之技術，當使用框間預測來預測諸如PU之區塊時，熵解碼單元70解碼參考候選者清單之候選者索引的值，並將候選者索引之值傳遞至運動補償單元72。候選者索引之值可參考候選者清單中的候選者，該候選者表示使用子區塊運動資訊導出模式預測區塊。若候選者索引之值確實參考候選者清單中之表示使用子區塊運動資訊導出模式預測區塊的候選者，則運動補償單元72可使用子區塊運動資訊導出模式產生區塊之經預測區塊。
更明確而言，使用子區塊運動資訊導出模式，運動補償單元72可導出區塊之子區塊的運動資訊。舉例而言，運動補償單元72可針對 每一子區塊判定兩個或兩個以上相鄰子區塊之運動資訊並自相鄰子區塊之運動資訊導出子區塊之運動資訊。舉例而言，相鄰子區塊可包括空間及/或時間相鄰子區塊。在一個實例中，運動補償單元72藉由平均左相鄰空間子區塊、上方相鄰空間子區塊及右下時間相鄰子區塊之運動資訊(例如，運動向量)而導出每一子區塊之運動資訊，如下文關於圖11A更詳細地論述。在其他實例中，運動補償單元72可使用例如式(1)至(4)中之一者導出每一子區塊之運動資訊。運動補償單元72可使用用於子區塊中之每一者的導出之運動資訊以判定用於子區塊之預測資料。藉由擷取用於子區塊中之每一者的此預測資料，運動補償單元72使用子區塊運動資訊導出模式產生當前區塊的經預測之區塊。
反量化單元76反量化(亦即，解量化)位元串流中所提供並由熵解碼單元70解碼的經量化變換係數。反量化程序可包括使用由視訊解碼器30針對視訊截塊中之每一視訊區塊計算之量化參數QPY以判定應應用的量化程度及(同樣地)反量化程度。
反變換單元78將反變換(例如，反DCT、反整數變換或概念上類似之反變換程序)應用於變換係數，以便在像素域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊後，視訊解碼器30藉由對來自反變換單元78之殘餘區塊與由運動補償單元72產生之對應預測性區塊求和而形成經解碼之視訊區塊。求和器80表示執行此求和運算之該或該等組件。若需要，亦可應用解塊濾波器來對經解碼區塊濾波以便移除區塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路中抑或在寫碼迴路之後)以使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖框或圖像中之經解碼之視訊區塊儲存於參考圖像記憶體82中，該參考圖像記憶體儲存用於後續運動補償之參考圖像。參考圖像記憶體82亦儲存經解碼視訊以用於稍後在顯示器件(諸如，圖1之顯示器件32)上呈現。
以此方式，視訊解碼器30表示經組態以執行以下操作之視訊解碼器之實例：判定當前視訊資料區塊之運動預測候選者指示運動資訊將經導出用於當前區塊之子區塊，及回應於該判定：將當前區塊分割成子區塊，對於該等子區塊中之每一者，使用用於至少兩個相鄰區塊之運動資訊導出運動資訊，並使用各別導出之運動資訊解碼該等子區塊。
圖4為說明HEVC中之空間相鄰候選者的概念圖。儘管自區塊產生候選者之方法對於合併模式及AMVP模式而言不同，但對於特定PU(PU0)，空間MV候選者係自圖4上展示之相鄰區塊所導出。
在合併模式中，可用圖4(a)中展示之具有數字之次序導出達四個空間MV候選者，且該次序如下：左(0,A1)、上(1,B1)、右上(2,B0)、左下(3,A0)及左上(4,B2)，如圖4(a)中所示。即，在圖4(a)中，區塊100包括PU0 104A及PU1 104B。當視訊寫碼器使用合併模式寫碼用於PU0 104A之運動資訊時，視訊寫碼器以彼次序將來自空間相鄰區塊108A、108B、108C、108D及108E之運動資訊添加至候選者清單。如同HEVC中一樣，區塊108A、108B、108C、108D及108E亦可分別被稱作區塊A1、B1、B0、A0及B2。
在AVMP模式中，如圖4(b)上所展示，相鄰區塊被分成兩個群組：包括區塊0及1之左群組及包括區塊2、3及4之上群組。此等區塊分別被標記為圖4(b)中之區塊110A、110B、110C、110D及110E。詳言之，在圖4(b)中，區塊102包括PU0 106A及PU1 106B，且區塊110A、110B、110C、110D及110E表示對PU0 106A之空間相鄰者。對於每一群組，參考與由傳信之參考索引指示之參考圖像相同之參考圖像的相鄰區塊中之潛在候選者具有待選擇之最高優先權以形成該群組之最終候選者。有可能的是，所有相鄰區塊均不含指向同一參考圖像的運動向量。因此，若不可發現此候選者，則將按比例縮放第一可用 候選者以形成最終候選者；因此，可補償時間距離差。
圖5為說明HEVC中之時間運動向量預測之概念圖。詳言之，圖5(a)說明包括PU0 122A及PU 1 122B之實例CU 120。PU0 122A包括PU 122A之中心區塊126及對於PU0 122A之右下區塊124。圖5(a)亦展示可自PU0 122A之運動資訊預測運動資訊所針對之外部區塊128，如下文所論述。圖5(b)說明包括將預測運動資訊所針對之當前區塊138之當前圖像130。詳言之，圖5(b)說明對當前圖像130之同置圖像134(包括對當前區塊138之同置區塊140)、當前參考圖像132及同置參考圖像136。使用運動向量144預測同置區塊140，該運動向量144用作區塊138之運動資訊之時間運動向量預測符(TMVP)142。
若TMVP經啟用且TMVP候選者可用，則視訊寫碼器可在任何空間運動向量候選者之後添加TMVP候選者(例如，TMVP候選者142)至MV候選者清單中。對於合併模式及AMVP模式兩者，TMVP候選者之運動向量導出之程序為相同的。然而，根據HEVC，合併模式中之TMVP候選者之目標參考索引設定成0。
TMVP候選者導出之初始區塊位置為同置PU外部之右下區塊，如圖5(a)中展示為對PU0 122A的區塊124，以補償用於產生空間相鄰候選者之上方區塊及左區塊之偏差。然而，若區塊124位於當前CTB列之外部或運動資訊並不可用於區塊124，則區塊被如圖5(a)中所展示之PU之中心區塊126所取代。
如截塊層級資訊所指示，自同置圖像134之同置區塊140導出TMVP候選者142之運動向量。
類似於AVC中之時間直接模式，TMVP候選者之運動向量可經受運動向量按比例縮放，該按比例縮放經執行以補償當前圖像130與當前參考圖像132及同置圖像134與同置參考圖像136之間的圖像次序計數(POC)距離差。亦即，可按比例縮放運動向量144以基於此等POC差 產生TMVP候選者142。
下文論述HEVC之合併及AMVP模式之若干態樣。
運動向量按比例縮放：假定運動向量之值在呈現時間上與圖像之間的距離成比例。運動向量使兩個圖像相關聯：參考圖像及含有運動向量之圖像(即含有圖像)。當視訊編碼器20或視訊解碼器30使用運動向量預測另一運動向量時，基於圖像次序計數(POC)值計算含有圖像與參考圖像之間的距離。
對於待預測之運動向量，其相關聯之含有圖像及參考圖像不同。即，對於兩個截然不同之運動向量存在兩個POC差值：經預測之第一運動向量，及用以預測第一運動向量之第二運動向量。此外，第一POC差為第一運動向量之當前圖像與參考圖像之間的差，且第二POC差為含有第二運動向量之圖像與第二運動向量參考之參考圖像之間的差。可基於此等兩個POC距離按比例縮放第二運動向量。對於空間相鄰候選者，用於兩個運動向量之含有圖像相同，而參考圖像不同。在HEVC中，運動向量按比例縮放適用於空間及時間相鄰候選者之TMVP及AMVP兩者。
人造運動向量候選者產生：若運動向量候選者清單不完整，則可產生人造運動向量候選者並將其插入至該清單之末端，直至該清單包括預定數目個候選者。
在合併模式中，存在兩個類型之人造MV候選者：僅針對B截塊導出之組合式候選者，及在第一類型並未提供足夠人造候選者情況下僅針對AMVP使用之零候選者。
對於已在候選者清單中且具有必要運動資訊之每一對候選者，雙向組合運動向量候選者藉由參考清單0中之圖像之第一候選者的運動向量與參考清單1中之圖像之第二候選者的運動向量之組合導出。
下文為用於候選者插入之實例修剪程序之描述。來自不同區塊 之候選者可恰巧相同，此情形降低合併/AMVP候選者清單之效率。可應用修剪程序以解決此問題。根據修剪程序，在某一程度上，視訊寫碼器將當前候選者清單中之一個候選者與其他候選者相比較以避免插入相同候選者。為減小複雜度，僅應用有限數目個修剪程序，而不是將每一潛在候選者與清單中已經存在之所有其他現有候選者相比較。
圖6說明3D-HEVC之實例預測結構。3D-HEVC為藉由JCT-3V開發之HEVC之3D視訊擴展。在此子章節中描述與本發明之技術相關的關鍵技術。
圖6展示針對三視圖情況之多視圖預測結構。V3指明基礎視圖，且可自同一時間例項之附屬(基礎)視圖中之圖像預測非基礎視圖(V1或V5)中之圖像。
值得提及的是，在MV-HEVC中支援視圖間樣本預測(自重建構之樣本)，圖8中展示MV-HEVC之典型預測結構。
MV-HEVC及3D-HEVC兩者以基礎(紋理)視圖以HEVC(版本1)解碼器解碼之方式與HEVC相容。MV-HEVC及3D-HEVC之測試模型描述於Zhang等人的截至2015年1月26日可自mpeg.chiariglione.org/standards/mpeg-h/high-efficiency-video-coding/test-model-6-3d-hevc-and-mv-hevc獲得之「Test Model 6 of 3D-HEVC and MV-HEVC」(JCT-3V文獻ISO/IEC JTC1/SC29/WG11 N13940)中。
在MV-HEVC中，可由具有相同時間例項之同一視圖中之圖像及參考視圖中之圖像兩者藉由將此等圖像之全部放置於圖像之參考圖像清單中而預測非基礎視圖中之當前圖像。因此，當前圖像之參考圖像清單含有時間參考圖像及視圖間參考圖像兩者。
與對應於時間參考圖像之參考索引相關聯之運動向量指明為時間運動向量。
與對應於視圖間參考圖像之參考索引相關聯之運動向量指明為 視差運動向量。
3D-HEVC支援MV-HEVC中之所有特徵；因此，實現如上文所提及之視圖間樣本預測。
另外，支援更進階的僅紋理寫碼工具及深度相關/相依寫碼工具。
僅紋理寫碼工具常常要求可屬於同一目標之對應區塊(視圖之間)的識別。因此，視差向量導出為3D-HEVC中之基本技術。
圖7為說明3D-HEVC中之基於子PU之視圖間運動預測之概念圖。圖7展示當前視圖(V1)之當前圖像160及參考視圖(V0)中之同置圖像162。當前圖像160包括當前PU 164，該當前PU 164包括四個子PU 166A至166D(子PU 166)。各別視差向量174A至174D(視差向量174)識別與同置圖像162中之子PU 166對應之子PU 168A至168D。3D-HEVC描述用於視圖間合併候選者(亦即，自參考視圖中之參考區塊導出之候選者)之子PU層級視圖間運動預測方法。
當啟用此模式時，當前PU 164可對應於參考視圖中之參考區域(具有與由視差向量識別之當前PU相同的大小)，且該參考區域可具有比產生通常用於PU之運動資訊之一個集合所需之運動資訊更豐富的運動資訊。因此，可使用子PU層級視圖間運動預測(SPIVMP)方法，如圖7中所展示。
亦可作為特殊合併候選者傳信此模式。子PU中之每一者含有運動資訊之全集。因此，PU可含有多個運動資訊集合。
3D-HEVC中之基於子PU之運動參數繼承(MPI)：類似地，在3D-HEVC中，亦可以類似於子PU層級視圖間運動預測之方式擴展MPI候選者。舉例而言，若當前深度PU具有含有多個PU之同置區，則當前深度PU可被分成若干子PU，且每一PU可具有不同運動資訊集合。此方法被稱作子PU MPI。即，對應子PU 168A至168D之運動向量172A 至172D可由子PU 166A至166D繼承(如運動向量170A至170D一般)，如圖7中所展示。
用於2D視訊寫碼之子PU相關資訊：在2014年9月25日申請、2015年3月26日公開為美國公開案第2015/0086929號的美國申請案第14/497,128號中，描述基於子PU之進階TMVP設計。在單層寫碼中，提議兩階段進階時間運動向量預測設計。
第一階段將導出識別參考圖像中之當前預測單元(PU)之對應區塊的向量，且第二階段將自對應區塊提取多個運動資訊集合且將其指派給PU之子PU。PU之每一子PU因此經單獨地運動補償。ATMVP之概念概述如下：
1. 第一階段中之向量可自當前PU之空間及時間相鄰區塊導出。
2. 可隨著啟動所有其他合併候選者當中的合併候選者而達成此程序。
適用於單層寫碼及子PU時間運動向量預測，PU或CU可具有待在預測符頂部上傳送之運動細化資料。
14/497,128申請案之若干設計態樣強調如下：
1. 向量導出之第一階段亦可由僅零向量簡化。
2. 向量導出之第一階段可包括聯合識別運動向量及其相關聯圖像。已提議選擇相關聯圖像及進一步決定運動向量為第一階段向量之各種方式。
3. 若運動資訊在以上程序期間不可用，則「第一階段向量」用於取代。
4. 自時間相鄰者所識別之運動向量必須以類似於TMVP中之運動向量按比例縮放之方式按比例縮放以用於當前子PU。然而，可使用以下方式中之一者設計可按比例縮放此運動向量針對的參考圖像：
a. 由當前圖像之固定參考索引識別圖像。
b. 若亦可用於當前圖像之參考圖像清單中，則該圖像經識別為對應時間相鄰者之參考圖像。
c. 圖像經設定成第一階段中所識別及來自運動向量被擷取之處的同置圖像。
圖8為說明自參考圖像之子PU運動預測的概念圖。在此實例中，當前圖像180包括當前PU 184(例如，PU)。在此實例中，運動向量192識別參考圖像182之相對於PU 184之PU 186。PU 186被分割成子PU 188A至188D，每一子PU具有各別運動向量190A至190D。因此，雖然當前PU 184實際上未分割成獨立子PU，但在此實例中，可使用來自子PU 188A至188D之運動資訊預測當前PU 184。詳言之，視訊寫碼器可使用各別運動向量190A至190D寫碼當前PU 184之子PU。然而，視訊寫碼器無需寫碼指示當前PU 184分裂成子PU之語法元素。以此方式，可使用自各別子PU 188A至188D繼承之多個運動向量190A至190D有效地預測當前PU 184，而不傳信用於將當前PU 184分裂成多個子PU之語法元素之額外負擔。
圖9為說明ATMVP(類似於TMVP)中之相關圖像的概念圖。詳言之，圖9說明當前圖像204、運動源圖像206及參考圖像200、202。更特定而言，當前圖像204包括當前區塊208。時間運動向量212識別相對於當前區塊208之運動源圖像206之對應區塊210。對應區塊210又包括運動向量214，該運動向量214參考參考圖像202且充當當前區塊208之至少一部分(例如，當前區塊208之子PU)之進階時間運動向量預測符。即，可添加運動向量214為當前區塊208之候選者運動向量預測符。若被選定，則可使用對應運動向量(亦即，參考參考圖像200之運動向量216)預測當前區塊208之至少一部分。
圖10為說明根據本發明之技術的實例方法之流程圖。圖10之方法可藉由視訊編碼器20及/或視訊解碼器30執行。出於通用性，圖10 之方法經解釋為藉由「視訊寫碼器」執行，該視訊寫碼器可再次對應於視訊編碼器20或視訊解碼器30中之任一者。
最初，視訊寫碼器自PU之當前子PU的空間或時間相鄰區塊獲得可用運動欄位(230)。視訊寫碼器接著自所獲得相鄰運動欄位導出運動資訊(232)。視訊寫碼器接著判定是否已導出了PU之所有子PU的運動資訊(234)。若並未導出(234之「否」分支)，則視訊寫碼器導出剩餘子PU之運動資訊(230)。另一方面，若已導出了所有子PU之運動資訊(234之「是」分支)，則視訊寫碼器例如如上文所解釋判定空間時間子PU運動預測符之可用性(236)。若空間時間子PU運動預測符可用，則視訊寫碼器將空間時間子PU運動預測符插入至合併清單中(238)。
儘管圖10之方法中未展示，但視訊寫碼器接著可使用合併候選者清單寫碼PU(例如，PU之子PU中之每一者)。舉例而言，當藉由視訊編碼器20執行時，視訊編碼器20可使用子PU作為預測符計算PU(例如，每一子PU)之殘餘區塊，變換及量化該(等)殘餘區塊，並熵編碼所得經量化變換係數。類似地，視訊解碼器30可熵解碼所接收之資料以再生經量化變換係數，反量化及反變換此等係數以再生該(等)殘餘區塊，且接著組合該(等)殘餘區塊與對應子PU以解碼對應於PU之區塊。
圖11A及圖11B為說明包括使用導出之運動資訊預測之子區塊的區塊之實例的概念圖。詳言之，圖11A說明包括子區塊254A至254P(子區塊254)之區塊250(例如，PU)，子區塊254A至254P在區塊250為PU時可表示子PU。對於區塊250之相鄰子區塊256A至256I(相鄰子區塊256)在圖11A中亦予以展示並加淺灰色陰影。
大體而言，視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可使用來自兩個或兩個以上相鄰區塊之運動資訊導出用於區塊250之子區 塊254的運動資訊。相鄰區塊可包括在空間上相鄰及/或在時間上相鄰之區塊。舉例而言，視訊寫碼器可自在空間上相鄰之子區塊254F及254I及自對應於子區塊254O之位置的在時間上相鄰的區塊導出用於子區塊254J之運動資訊。在時間上相鄰之區塊可係來自與子區塊254O同置的先前經寫碼圖像。為導出用於子區塊254J的運動資訊之運動向量，視訊寫碼器可平均用於子區塊254F、子區塊254I及與子區塊254O同置的在時間上相鄰之區塊之運動向量。替代地，視訊寫碼器可使用如上文所論述之式(1)至(4)中之一者導出運動向量。
在一些實例中，視訊寫碼器可經組態以始終自在區塊250外部之子區塊(例如，相鄰子區塊256及/或在時間上相鄰之子區塊)導出運動資訊。此組態可允許子區塊254將被並行寫碼。舉例而言，視訊寫碼器可自子區塊256B及256F以及與子區塊254F同置的時間上相鄰子區塊之運動資訊導出子區塊254A之運動資訊。視訊寫碼器亦可使用子區塊256C、256B、256F及與子區塊254F及254G同置的時間上相鄰之子區塊的運動資訊與子區塊254A並行地導出子區塊254B之運動資訊。
圖11B說明包括子區塊264A至264D(子區塊264)的區塊260(例如，PU)，子區塊264A至264D再次可表示子PU。圖11B亦說明相鄰子區塊266A至266I(相鄰子區塊266)。大體而言，圖11B之實例指示區塊(諸如區塊260)之子區塊可具有多種大小，且可大於用以導出運動資訊之相鄰區塊。在此實例中，子區塊264大於相鄰子區塊266。然而，視訊寫碼器(諸如視訊編碼器20及視訊解碼器30)可經組態以將類似於以上關於子區塊254所論述之彼等技術的技術應用於子區塊264。
圖12為說明根據本發明之技術的編碼視訊資料之實例方法之流程圖。出於解釋及實例的目的，關於視訊編碼器20(圖1及圖2)及其組件描述圖12之方法。然而，應理解，其他視訊編碼器件可經組態以執 行此等或類似技術。此外，某些步驟可被省去，以不同次序執行，及/或並行執行。
最初，視訊編碼器20將寫碼單元(CU)分割成一或多個預測單元(PU)(270)。視訊編碼器20接著可對於PU中之每一者測試多種預測模式(例如，空間或框內預測、時間或框間預測及子區塊運動導出預測)(272)。詳言之，模式選擇單元40可測試多種預測模式，並選擇用於PU之模式中的一者，該所選擇模式產生用於PU之最佳位元率失真特性。出於實例的目的假定，視訊編碼器20選擇用於CU之PU的子PU運動導出模式(274)。
根據子PU運動導出模式，視訊編碼器20將PU分割成子PU(276)。大體而言，子PU可與PU為可區分的在於，諸如運動資訊之獨立資訊未經寫碼用於子PU。替代地，根據本發明之技術，視訊編碼器20自相鄰子PU導出用於子PU之運動資訊(278)。相鄰子PU可包括空間及/或時間相鄰子PU。舉例而言，可如關於圖11A所論述而選擇相鄰子PU。即，在此實例中，對於每一子PU，視訊編碼器20自包括上方相鄰空間子PU、左相鄰空間子PU及右下時間相鄰子PU的相鄰子PU導出運動資訊。視訊編碼器20可將導出之運動資訊計算為相鄰子PU之運動資訊的平均值，或根據上文所論述之式(1)至(4)計算導出之運動資訊。
視訊編碼器20接著可使用導出之運動資訊預測子PU(280)。即，視訊編碼器20之運動補償單元44可使用各別子PU的導出之運動資訊擷取用於PU之子PU中之每一者的預測之資訊。視訊編碼器20可將PU之經預測區塊形成為經預測子PU中之每一者在PU之其各別位置中的總成。
視訊編碼器20接著可計算PU之殘餘區塊(282)。舉例而言，求和器50可逐像素計算PU之原始版本與經預測區塊之間的差，從而形成 殘餘區塊。接著，視訊編碼器20之變換處理單元52及量化單元54可分別變換及量化殘餘區塊以產生經量化變換係數(284)。熵編碼單元56接著可熵編碼經量化變換係數(286)。
此外，熵編碼單元56可熵編碼PU之指示使用子PU運動導出模式預測PU的候選者索引(286)。詳言之，熵編碼單元56可建構包括複數個運動預測候選者以及表示子PU運動導出模式之候選者的候選者清單。因此，當視訊編碼器20選擇子PU運動資訊導出模式時，熵編碼單元56熵編碼表示索引的值，該索引識別在PU之候選者清單中的表示子PU運動導出模式的候選者之位置。
在以上文所描述的方式編碼PU之後，視訊編碼器20亦以大體上類似(儘管互逆)方式解碼PU。儘管圖12中未圖示，但視訊編碼器20亦反變換及反量化經量化變換係數以再生殘餘區塊，並組合殘餘區塊與預測區塊以解碼PU，以在後續預測(例如，框內及/或框間預測)期間用作參考區塊。
以此方式，圖12之方法表示一方法之實例，該方法包括判定當前視訊資料區塊之運動預測候選者指示運動資訊將經導出用於當前區塊之子區塊，及回應於該判定：將當前區塊分割成子區塊，對於該等子區塊中之每一者，使用至少兩個相鄰區塊之運動資訊導出運動資訊，並使用各別導出之運動資訊編碼(及解碼)該等子區塊。
圖13為根據本發明之技術的解碼視訊資料之方法的實例。出於解釋及實例的目的，關於視訊解碼器30(圖1及圖3)及其組件描述圖13之方法。然而，應理解，其他視訊解碼器件可經組態以執行此等或類似技術。此外，某些步驟可被省去，以不同次序執行，及/或並行執行。
最初，視訊解碼器30之熵解碼單元70熵解碼候選者清單中之候選者之指示子PU運動導出模式用於預測單元的候選者索引(290)。儘 管未圖示，但應理解，最初視訊解碼器30建構候選者清單並添加候選者至候選者清單。在此實例中，出於解釋之目的，候選者索引參考表示子PU運動導出模式之候選者。然而，大體而言，應理解，候選者索引可參考用於PU之候選者清單中之候選者中的任一者。
在此實例中，因為候選者索引參考表示子PU運動導出模式將用於PU的候選者，所以視訊解碼器30將PU分割成若干子PU(292)。視訊解碼器30之運動補償單元72接著自相鄰子PU導出該等子PU中之每一者的運動資訊(294)。相鄰子PU可包括空間及/或時間相鄰子PU。舉例而言，可如關於圖11A所論述而選擇相鄰子PU。即，在此實例中，對於每一子PU，視訊解碼器30自包括上方相鄰空間子PU、左相鄰空間子PU及右下時間相鄰子PU的相鄰子PU導出運動資訊。視訊解碼器30可將導出之運動資訊計算為相鄰子PU之運動資訊的平均值，或根據上文所論述之式(1)至(4)計算導出之運動資訊。
視訊解碼器30接著可使用導出之運動資訊預測子PU(296)。即，視訊解碼器30之運動補償單元72可使用各別子PU之導出之運動資訊擷取用於PU之子PU中之每一者的所預測之資訊。視訊解碼器30可將PU的經預測之區塊形成為經預測子PU中之每一者在PU之其各別位置中的總成。
視訊解碼器30之熵解碼單元70可進一步熵解碼PU之經量化變換係數(298)。反量化單元76及反變換單元78可分別反量化及反變換經量化變換係數以產生PU之殘餘區塊(300)。視訊解碼器30接著可使用經預測區塊及殘餘區塊解碼預測單元(302)。詳言之，求和器80可在逐像素基礎上組合經預測之區塊與殘餘區塊以解碼預測單元。
以此方式，圖13之方法表示解碼視訊資料之方法之實例，該方法包括判定當前視訊資料區塊之運動預測候選者指示運動資訊將經導出用於當前區塊之子區塊，及回應於該判定：將當前區塊分割成子區 塊，對於該等子區塊中之每一者，使用用於至少兩個相鄰區塊之運動資訊導出運動資訊，並使用各別導出之運動資訊解碼該等子區塊。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行、可經添加、合併或完全省略(例如，對於實踐該等技術而言並非所有所描述之動作或事件皆為必要的)。此外，在某些實例中，可例如經由多線緒處理、中斷處理或多個處理器同時而非順序執行動作或事件。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體可對應於(1)為非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例且非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。另外，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理 解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是針對非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟使用雷射以光學方式再現資料。以上之組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，該一或多個處理器係諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效的整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或併入組合式編解碼器中。此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可在包括無線手機、積體電路(IC)或一組IC(例如，晶片組)之廣泛多種器件或裝置中實施。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適之軟體及/或韌體來提供該等單元。
已描述了各種實例。此等及其他實例係在以下申請專利範圍之範疇內。

Claims (30)

  1. 一種解碼視訊資料之方法，該方法包含：判定一當前視訊資料區塊之一運動預測候選者指示運動資訊將經導出用於該當前區塊之子區塊；回應於該判定：將該當前區塊分割成該等子區塊；對於該等子區塊中之每一者，使用至少兩個相鄰區塊之運動資訊導出運動資訊；及使用該各別導出之運動資訊解碼該等子區塊。
  2. 如請求項1之方法，其中該至少兩個相鄰區塊係選自包括一上方相鄰區塊、一左相鄰區塊及一時間上相鄰之區塊的一群組。
  3. 如請求項2之方法，其中該上方相鄰區塊包含該當前區塊內之一上方相鄰子區塊。
  4. 如請求項2之方法，其中該左相鄰區塊包含在該當前區塊內之一左相鄰子區塊。
  5. 如請求項2之方法，其中該上方相鄰區塊包含在該當前區塊外部之一上方相鄰子區塊。
  6. 如請求項2之方法，其中該左相鄰區塊包含在該當前區塊外部之一左相鄰子區塊。
  7. 如請求項2之方法，其中該時間上相鄰之區塊包含一先前經解碼圖像中之相鄰於與該先前經解碼圖像中之該當前區塊同置之一區塊的一區塊。
  8. 如請求項2之方法，其中導出該運動資訊包含使用該上方相鄰區塊、該左相鄰區塊及該時間上相鄰之區塊之該運動資訊之一平均值導出該運動資訊。
  9. 如請求項1之方法，其中該等相鄰區塊具有等於或小於該等子區塊之大小的大小。
  10. 如請求項1之方法，其進一步包含解碼表示該等子區塊之一大小的資料。
  11. 如請求項10之方法，其中解碼表示該等子區塊之該大小的該資料包含解碼在一截塊標頭、一序列參數集(SPS)或一圖像參數集(PPS)中之至少一者中的該資料。
  12. 如請求項1之方法，其中導出該運動資訊包含按比例縮放對於一共同參考圖像之該等相鄰區塊之運動資訊。
  13. 如請求項1之方法，其中導出該運動資訊包含根據以下公式導出該等子區塊中之每一者的一運動向量(MV)，其中wi表示一水平加權因子，wj表示一垂直加權因子，Oi表示一水平偏移值，且Oj表示一垂直偏移值：
  14. 如請求項1之方法，其進一步包含添加該運動預測候選者至一候選者清單。
  15. 如請求項1之方法，其進一步包含在解碼該等子區塊之前編碼該等子區塊，該方法進一步包含編碼識別該當前區塊之該運動預測候選者的資料。
  16. 如請求項1之方法，該方法可在一無線通信器件上執行，其中該器件包含：一記憶體，其經組態以儲存該視訊資料；一處理器，其經組態以執行指令以處理儲存於該記憶體中之該視訊資料；及一接收器，其經組態以接收該視訊資料之一經編碼版本。
  17. 如請求項16之方法，其中該無線通信器件為一蜂巢式電話，且該經編碼視訊資料係藉由該接收器接收且根據一蜂巢式通信標準調變。
  18. 一種用於解碼視訊資料之器件，該器件包含：一記憶體，其經組態以儲存視訊資料；及一視訊解碼器，其經組態以：判定該視訊資料之一當前區塊之一運動預測候選者指示運動資訊將經導出用於該當前區塊之子區塊；回應於該判定：將該當前區塊分割成該等子區塊；對於該等子區塊中之每一者，使用至少兩個相鄰區塊之運動資訊導出運動資訊；及使用該各別導出之運動資訊解碼該等子區塊。
  19. 如請求項18之器件，其中為導出該運動資訊，該視訊解碼器經組態以對於該等子區塊中之每一者，使用一上方相鄰子區塊、一左相鄰子區塊及一時間上相鄰之子區塊導出該運動資訊。
  20. 如請求項19之器件，其中該上方相鄰子區塊包含在該當前區塊內或在該當前區塊外部之一上方相鄰子區塊，且其中該左相鄰子區塊包含在該當前區塊內或在該當前區塊外部之一左相鄰子區塊。
  21. 如請求項18之器件，其中該視訊解碼器經進一步組態以自一截塊標頭、一序列參數集(SPS)或一圖像參數集(PPS)中之至少一者解碼表示該等子區塊之一大小的資料。
  22. 如請求項18之器件，其中該視訊解碼器經進一步組態以按比例縮放對於一共同參考圖像之該等相鄰區塊之運動資訊。
  23. 如請求項18之器件，其進一步包含經組態以在該視訊解碼器解碼該等子區塊之前編碼該等子區塊的一視訊編碼器。
  24. 如請求項18之器件，其中該器件為一無線通信器件，其進一步包含：一接收器，其經組態以接收該視訊資料之一經編碼版本。
  25. 如請求項24之器件，其中該無線通信器件為一蜂巢式電話，且該經編碼視訊資料係藉由該接收器接收且根據一蜂巢式通信標準調變。
  26. 一種用於解碼視訊資料之器件，該器件包含：用於判定一當前視訊資料區塊之一運動預測候選者指示運動資訊將經導出用於該當前區塊之子區塊的構件；用於回應於該判定將該當前區塊分割成該等子區塊之構件；用於回應於該判定針對該等子區塊中之每一者使用至少兩個相鄰區塊之運動資訊導出運動資訊之構件；及用於回應於該判定使用該各別導出之運動資訊解碼該等子區塊的構件。
  27. 如請求項26之器件，其中用於導出該運動資訊之該構件包含用於對於該等子區塊中之每一者使用一上方相鄰子區塊、一左相鄰子區塊及一時間上相鄰之子區塊導出該運動資訊的構件。
  28. 如請求項27之器件，其中該上方相鄰子區塊包含在該當前區塊內或在該當前區塊外部之一上方相鄰子區塊，且其中該左相鄰子區塊包含在該當前區塊內或在該當前區塊外部之一左相鄰子區塊。
  29. 如請求項26之器件，其進一步包含用於在用於解碼之該構件解碼該等子區塊之前編碼該等子區塊之構件。
  30. 一種上面儲存有指令之電腦可讀儲存媒體，該等指令在執行時使得一處理器：判定一當前視訊資料區塊之一運動預測候選者指示運動資訊將經導出用於該當前區塊之子區塊；回應於該判定：將該當前區塊分割成該等子區塊；對於該等子區塊中之每一者，使用至少兩個相鄰區塊之運動資訊導出運動資訊；及使用該各別導出之運動資訊解碼該等子區塊。
TW105118445A 2015-06-11 2016-06-13 使用空間及／或時間運動資訊之子預測單元運動向量預測 TW201711472A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562174393P 2015-06-11 2015-06-11
US201662295329P 2016-02-15 2016-02-15
US15/176,790 US10271064B2 (en) 2015-06-11 2016-06-08 Sub-prediction unit motion vector prediction using spatial and/or temporal motion information

Publications (1)

Publication Number Publication Date
TW201711472A true TW201711472A (zh) 2017-03-16

Family

ID=56292896

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105118445A TW201711472A (zh) 2015-06-11 2016-06-13 使用空間及／或時間運動資訊之子預測單元運動向量預測

Country Status (9)

Country Link
US (1) US10271064B2 (zh)
EP (1) EP3308545A1 (zh)
JP (1) JP6766079B2 (zh)
KR (1) KR102094588B1 (zh)
CN (1) CN107690809B (zh)
AU (1) AU2016274692A1 (zh)
BR (1) BR112017026588A2 (zh)
TW (1) TW201711472A (zh)
WO (1) WO2016201094A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11778194B2 (en) 2018-09-23 2023-10-03 Beijing Bytedance Network Technology Co., Ltd MV planar mode with block level
TWI846773B (zh) * 2018-12-05 2024-07-01 美商高通公司 用於視訊寫碼之三角運動資訊

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016165069A1 (en) * 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
WO2017195608A1 (ja) * 2016-05-13 2017-11-16 シャープ株式会社 動画像復号装置
ES2699748B2 (es) * 2016-07-05 2021-05-13 Kt Corp Metodo y aparato para procesar senal de video
CN116708785A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
CN116567213A (zh) * 2016-08-11 2023-08-08 Lx 半导体科技有限公司 编码/解码设备以及发送图像数据的设备
US10721489B2 (en) 2016-09-06 2020-07-21 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
US10477238B2 (en) 2016-09-07 2019-11-12 Qualcomm Incorporated Sub-PU based bi-directional motion compensation in video coding
KR102472399B1 (ko) 2016-10-04 2022-12-05 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018169571A1 (en) * 2017-03-15 2018-09-20 Google Llc Segmentation-based parameterized motion models
US11496747B2 (en) 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
KR20180107761A (ko) * 2017-03-22 2018-10-02 한국전자통신연구원 참조 블록을 사용하는 예측 방법 및 장치
US10582209B2 (en) * 2017-03-30 2020-03-03 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-PU TMVP) for video coding
US11172203B2 (en) * 2017-08-08 2021-11-09 Mediatek Inc. Intra merge prediction
EP3451665A1 (en) * 2017-09-01 2019-03-06 Thomson Licensing Refinement of internal sub-blocks of a coding unit
WO2019089933A1 (en) * 2017-11-01 2019-05-09 Vid Scale, Inc. Sub-block motion derivation and decoder-side motion vector refinement for merge mode
US11425418B2 (en) * 2017-11-01 2022-08-23 Vid Scale, Inc. Overlapped block motion compensation
TW201924349A (zh) * 2017-11-17 2019-06-16 晨星半導體股份有限公司 與移動補償相關之影像處理裝置及影像處理方法
WO2019146718A1 (ja) * 2018-01-29 2019-08-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2019151279A1 (ja) 2018-01-30 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US11394992B2 (en) * 2018-03-14 2022-07-19 Hfi Innovation Inc. Methods and apparatuses of generating average candidates in video coding systems
BR112020019453A2 (pt) 2018-03-26 2021-01-05 Huawei Technologies Co., Ltd. Aparelho e método de predição inter para codificação de vídeo
US20190045195A1 (en) * 2018-03-30 2019-02-07 Intel Corporation Reduced Partitioning and Mode Decisions Based on Content Analysis and Learning
KR20240115932A (ko) * 2018-04-01 2024-07-26 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019194499A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019227297A1 (zh) * 2018-05-28 2019-12-05 华为技术有限公司 一种视频图像的帧间预测方法、装置及编解码器
CN112602324B (zh) * 2018-06-22 2024-07-23 Op方案有限责任公司 块水平几何划分
EP3797516A1 (en) 2018-06-29 2021-03-31 Beijing Bytedance Network Technology Co. Ltd. Interaction between lut and amvp
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Ｌｕｔ更新条件
KR20210025537A (ko) 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념
TWI728390B (zh) * 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 查找表尺寸
KR20210024502A (ko) 2018-06-29 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Hmvp 후보를 병합/amvp에 추가할 때의 부분/풀 프루닝
TWI723445B (zh) 2018-06-29 2021-04-01 大陸商北京字節跳動網絡技術有限公司 查找表的更新：fifo、約束的fifo
KR102611261B1 (ko) 2018-06-29 2023-12-08 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 업데이트 대상 lut 또는 비업데이트 lut의 구별
CN114885173A (zh) 2018-06-29 2022-08-09 抖音视界(北京)有限公司 Lut中的运动候选的检查顺序
CN112866720B (zh) * 2018-07-02 2022-02-18 华为技术有限公司 一种运动矢量预测方法、装置与编解码器
TWI723446B (zh) 2018-07-02 2021-04-01 大陸商北京字節跳動網絡技術有限公司 具有lic的lut
KR102545728B1 (ko) * 2018-07-16 2023-06-20 엘지전자 주식회사 서브블록 단위의 시간적 움직임 정보 예측을 위한 인터 예측 방법 및 그 장치
EP3831062A4 (en) 2018-08-17 2022-07-06 HFI Innovation Inc. SIMPLIFIED SUBMODE METHOD AND APPARATUS FOR VIDEO CODING
CN112567750A (zh) * 2018-08-17 2021-03-26 联发科技股份有限公司 用于视频编解码的简化合并候选列表的方法和装置
EP3827589A4 (en) * 2018-08-29 2021-09-29 Beijing Dajia Internet Information Technology Co., Ltd. METHOD AND DEVICE FOR VIDEO ENCODING USING SUBBLOCK-BASED MOVEMENT VECTOR PREDICTION
TWI820211B (zh) 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 取決於總數減去k的開始檢查hmvp候選的條件
WO2020061395A1 (en) * 2018-09-21 2020-03-26 Interdigital Vc Holdings, Inc. Motion vector prediction in video encoding and decoding
TW202029755A (zh) * 2018-09-26 2020-08-01 美商Ｖｉｄ衡器股份有限公司 視訊編碼雙預測
CN111050164B (zh) * 2018-10-15 2022-05-17 华为技术有限公司 一种编解码的方法和装置
CN111083487B (zh) * 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 仿射模式的运动信息的存储
CN111093080B (zh) 2018-10-24 2024-06-04 北京字节跳动网络技术有限公司 视频编码中的子块运动候选
WO2020088691A1 (en) * 2018-11-02 2020-05-07 Beijing Bytedance Network Technology Co., Ltd. Harmonization between geometry partition prediction mode and other tools
CN111418205B (zh) 2018-11-06 2024-06-21 北京字节跳动网络技术有限公司 用于帧间预测的运动候选
PL3876539T3 (pl) * 2018-11-08 2024-04-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Sposób kodowania/dekodowania sygnału obrazu i urządzenie do tego
WO2020106208A1 (en) * 2018-11-21 2020-05-28 Telefonaktiebolaget Lm Ericsson (Publ) Methods of video picture coding with sub-block merge simplification and related apparatuses
EP4325849A3 (en) 2018-11-22 2024-04-17 Beijing Bytedance Network Technology Co., Ltd. Coordination method for sub-block based inter prediction
CN113170167A (zh) * 2018-11-29 2021-07-23 北京字节跳动网络技术有限公司 块内拷贝模式中的标志指示方法
US11197017B2 (en) * 2018-12-06 2021-12-07 Tencent America LLC Methods and apparatuses for video coding
JP2020108083A (ja) * 2018-12-28 2020-07-09 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム
CN113261294B (zh) * 2019-01-02 2024-06-18 Lg电子株式会社 基于sbtmvp的帧间预测方法和设备
CN113170194A (zh) * 2019-01-02 2021-07-23 北京字节跳动网络技术有限公司 基于散列的运动搜索的简化
CN111357288B (zh) * 2019-01-03 2021-08-31 深圳市大疆创新科技有限公司 视频图像处理方法与装置
CN116866605A (zh) * 2019-01-03 2023-10-10 北京大学 视频处理方法和装置
WO2020140243A1 (zh) 2019-01-03 2020-07-09 北京大学 视频图像处理方法与装置
KR102648159B1 (ko) 2019-01-10 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
CN113273216B (zh) * 2019-01-12 2022-09-13 北京字节跳动网络技术有限公司 Mmvd改进
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
US10904553B2 (en) 2019-01-22 2021-01-26 Tencent America LLC Method and apparatus for video coding
US11202089B2 (en) * 2019-01-28 2021-12-14 Tencent America LLC Method and apparatus for determining an inherited affine parameter from an affine model
CN113273217A (zh) 2019-02-03 2021-08-17 北京字节跳动网络技术有限公司 非对称四叉树分割
CN113424535A (zh) * 2019-02-13 2021-09-21 北京字节跳动网络技术有限公司 基于运动矢量预测表的历史更新
WO2020180166A1 (ko) * 2019-03-07 2020-09-10 디지털인사이트주식회사 영상 부호화/복호화 방법 및 장치
CN116800959B (zh) 2019-03-12 2024-03-26 北京达佳互联信息技术有限公司 用于视频编码的方法、装置和存储介质
CN113615193B (zh) 2019-03-22 2024-06-25 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
KR20220002991A (ko) * 2019-04-25 2022-01-07 오피 솔루션즈, 엘엘씨 글로벌 모션을 갖는 프레임들에서의 적응적 모션 벡터 예측 후보들
CN113906760A (zh) * 2019-06-05 2022-01-07 北京字节跳动网络技术有限公司 用于帧间预测的运动信息推导
KR102712127B1 (ko) * 2019-06-19 2024-09-30 엘지전자 주식회사 비디오/영상 코딩 시스템에서 중복 시그널링 제거 방법 및 장치
CN114026871A (zh) * 2019-06-24 2022-02-08 鸿颖创新有限公司 用于对视频数据编码的装置和方法
KR20220043109A (ko) 2019-08-13 2022-04-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측의 모션 정밀도
CN114424553A (zh) 2019-09-22 2022-04-29 北京字节跳动网络技术有限公司 基于子块的帧间预测的缩放方法
CN115398888B (zh) * 2020-03-30 2024-06-11 字节跳动有限公司 用于对视频编解码中并置图片的约束的方法、装置和介质
KR20220037382A (ko) * 2020-09-17 2022-03-24 레몬 인크. 디코더 구성 레코드에서의 픽처 치수 표시
US11490122B2 (en) * 2020-09-24 2022-11-01 Tencent America LLC Method and apparatus for video coding
WO2024077561A1 (en) * 2022-10-13 2024-04-18 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7010367B2 (en) 2003-10-16 2006-03-07 Caterpillar Inc. Operator interface for a work machine
US20070268964A1 (en) * 2006-05-22 2007-11-22 Microsoft Corporation Unit co-location-based motion estimation
JP5188875B2 (ja) * 2007-06-04 2013-04-24 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
US9100655B2 (en) * 2010-04-13 2015-08-04 Panasonic Intellectual Property Corporation Of America Motion compensation method, image decoding method, image coding method, motion compensation apparatus, program, and integrated circuit
CN102263947B (zh) * 2010-05-27 2016-07-06 香港科技大学 图像运动估计的方法及系统
GB2487200A (en) * 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
US9288501B2 (en) * 2011-03-08 2016-03-15 Qualcomm Incorporated Motion vector predictors (MVPs) for bi-predictive inter mode in video coding
US9083983B2 (en) * 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
EP4283995A3 (en) * 2011-10-05 2024-02-21 Sun Patent Trust Decoding method and decoding apparatus
US9491459B2 (en) * 2012-09-27 2016-11-08 Qualcomm Incorporated Base layer merge and AMVP modes for video coding
US10616607B2 (en) * 2013-02-25 2020-04-07 Lg Electronics Inc. Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
US20140269920A1 (en) * 2013-03-15 2014-09-18 Cisco Technology, Inc. Motion Estimation Guidance in Transcoding Operation
US10244253B2 (en) * 2013-09-13 2019-03-26 Qualcomm Incorporated Video coding techniques using asymmetric motion partitioning
JP6233240B2 (ja) 2013-09-26 2017-11-22 信越化学工業株式会社 パターン形成方法
US9762927B2 (en) * 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
US20140269620A1 (en) * 2014-05-27 2014-09-18 Bandwidth.Com, Inc. Techniques for Establishing a Handoff Profile Using User Feedback
CN104079944B (zh) * 2014-06-30 2017-12-01 华为技术有限公司 视频编码的运动矢量列表构建方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11778194B2 (en) 2018-09-23 2023-10-03 Beijing Bytedance Network Technology Co., Ltd MV planar mode with block level
TWI835864B (zh) * 2018-09-23 2024-03-21 大陸商北京字節跳動網絡技術有限公司 簡化的空時運動矢量預測
TWI846773B (zh) * 2018-12-05 2024-07-01 美商高通公司 用於視訊寫碼之三角運動資訊

Also Published As

Publication number Publication date
KR20180018535A (ko) 2018-02-21
KR102094588B1 (ko) 2020-03-27
CN107690809B (zh) 2020-05-01
JP2018522468A (ja) 2018-08-09
EP3308545A1 (en) 2018-04-18
WO2016201094A1 (en) 2016-12-15
AU2016274692A1 (en) 2017-11-30
US10271064B2 (en) 2019-04-23
CN107690809A (zh) 2018-02-13
JP6766079B2 (ja) 2020-10-07
BR112017026588A2 (pt) 2018-08-14
US20160366435A1 (en) 2016-12-15

Similar Documents

Publication Publication Date Title
CN107690809B (zh) 使用空间及/或时间运动信息的子预测单元运动向量预测
CN109691106B (zh) 一种对视频数据进行编解码的方法、装置及计算机可读存储介质
JP7543325B2 (ja) ビデオコーディングのための動きベクトル予測のためのマージ候補
TWI696382B (zh) 以子預測單元為基礎之先進時間運動向量預測
CN108605136B (zh) 基于图片次序计数的运动矢量精简
CN109644272B (zh) 用于建构候选列表的几何型优先级
TWI717586B (zh) 於視訊解碼器中導出運動向量資訊
CN109891890B (zh) 用于解码视频数据的方法、编码视频数据的方法及相关设备
JP6231203B2 (ja) ビデオコード化における視差ベクトルを使用するブロック識別
JP6337104B2 (ja) テクスチャコーディングのためのより正確な高度残差予測（ａｒｐ）
KR102180859B1 (ko) 3d 비디오 코딩에서 디스패리티 벡터 도출 및 모션 벡터 예측에 대한 단순화
TWI501611B (zh) 用於３ｄ視訊之視圖間預測之運動向量
TW201924345A (zh) 寫碼用於視頻寫碼之仿射預測移動資訊
JP6855242B2 (ja) ビデオコーディングのためのディスパリティベクトルおよび／または高度残差予測
US9426465B2 (en) Sub-PU level advanced residual prediction