TW201340724A - 視訊寫碼中之像差向量預測 - Google Patents

視訊寫碼中之像差向量預測 Download PDF

Info

Publication number
TW201340724A
TW201340724A TW102109103A TW102109103A TW201340724A TW 201340724 A TW201340724 A TW 201340724A TW 102109103 A TW102109103 A TW 102109103A TW 102109103 A TW102109103 A TW 102109103A TW 201340724 A TW201340724 A TW 201340724A
Authority
TW
Taiwan
Prior art keywords
motion vector
aberration
region
block
vector
Prior art date
Application number
TW102109103A
Other languages
English (en)
Inventor
Li Zhang
Ying Chen
Marta Karczewicz
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201340724A publication Critical patent/TW201340724A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明描述用於基於空間上及時間上相鄰於待預測之一當前區塊之一或多個區的像差運動向量來判定用於一當前區塊之一像差向量的技術。該等空間上及時間上相鄰區包括一個或複數個區塊，且該像差運動向量表示用於該空間上或時間上相鄰區內之該複數個區塊之一個參考圖像清單中的一單一向量。該經判定像差向量可用於利用不同視圖之間的資訊之寫碼工具，諸如，合併模式、進階運動向量預測(AMVP)模式、視圖間運動預測及視圖間殘差預測。

Description

視訊寫碼中之像差向量預測
本申請案主張以下各者之權利： 2012年3月14日申請之美國臨時申請案61/610,961； 2012年4月9日申請之美國臨時申請案61/621,929； 2012年4月11日申請之美國臨時申請案61/623,041； 2012年6月12日申請之美國臨時申請案61/658,754； 2012年8月11日申請之美國臨時申請案61/682,221；及 2012年8月11日申請之美國臨時申請案61/682,224，該等臨時申請案中每一者之全部內容係特此以引用方式併入。
本發明係關於視訊寫碼，且更特定言之，係關於用於寫碼多視圖及三維(3D)視訊資料之技術。
可將數位視訊能力併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型電腦或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電話會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊壓縮技術，諸如，由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分之進階視訊寫碼(AVC)定義之標準、目前在開發中之高效率視訊寫碼 (HEVC)標準及此等標準之擴充中所描述的視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測，以減少或移除視訊序列中所固有之冗餘。對於基於區塊之視訊寫碼，可將一視訊片段(例如，視訊圖框或視訊圖框之一部分)分割為多個視訊區塊，該等視訊區塊亦可被稱為樹區塊、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)片段中的視訊區塊係相對於同一圖像中之相鄰區塊中的參考樣本使用空間預測來編碼。圖像之經框間寫碼(P或B)片段中的視訊區塊可相對於同一圖像中之相鄰區塊中的參考樣本使用空間預測，或相對於其他參考圖像中之參考樣本使用時間預測。圖像可被稱為圖框，且參考圖像可被稱為參考圖框。
空間或時間預測產生待寫碼之區塊的預測性區塊。殘餘資料表示在待寫碼之原始區塊與預測性區塊之間的像素差。根據運動向量及殘餘資料來編碼經框間寫碼區塊，該運動向量指向形成預測性區塊之參考樣本之區塊，該殘餘資料指示在經寫碼區塊與預測性區塊之間的差。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生接著可量化之殘餘變換係數。可掃描最初以二維陣列配置之經量化變換係數，以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更大程度之壓縮。
本發明所描述之技術通常係關於基於空間及/或時間相鄰區塊之運動資訊來判定用於一視圖之一圖像之一當前區塊的一像差向量。該等技術考量相鄰區塊之該運動資訊被儲存之方式以判定用於該當前區塊之該像差向量。舉例而言，本發明所描述之技術可評估空間上及/ 或時間上相鄰於該當前區塊之相鄰區之運動資訊，其中一區包括該等相鄰區塊中之一者或複數者。該等技術可基於用於該區之該經儲存運動資訊來判定用於該當前區塊之該像差向量。該等技術可進一步允許隨機存取點(RAP)圖像之視圖間運動預測，又利用經判定像差向量作為運動向量預測子候選者。
在一實例中，本發明描述一種用於解碼視訊資料之方法。該方法包括判定用於複數個視圖中之一第一視圖中之一圖像中之一區的一運動向量是否為一像差運動向量。在此實例中，該區相鄰於待預測之一當前區塊，該區包括一或多個區塊，用於該區之該運動向量表示用於一個參考圖像清單之一單一運動向量，且該像差運動向量指代一第二不同視圖中之一圖像。該方法亦包括：回應於判定出用於該圖像中之該區之該運動向量為該像差運動向量而判定用於該區之該像差運動向量是否為用於該當前區塊之一像差向量；及框間預測解碼該當前區塊，其中若判定出用於該區之該像差運動向量為用於該當前區塊之該像差向量，則該解碼使用用於該區之該像差運動向量作為用於該當前區塊之該像差向量。
在一實例中，本發明描述一種用於編碼視訊資料之方法。該方法包括判定用於複數個視圖中之一第一視圖中之一圖像中之一區的一運動向量是否為一像差運動向量。在此實例中，該區相鄰於待預測之一當前區塊，該區包括一或多個區塊，用於該區之該運動向量表示針對一個參考圖像清單的用於該一或多個區塊之一單一運動向量，且該像差運動向量指代一第二不同視圖中之一圖像。該方法亦包括：回應於判定出用於該圖像中之該區之該運動向量為該像差運動向量而判定用於該區之該像差運動向量是否為用於該當前區塊之一像差向量；及框間預測編碼該當前區塊，其中若判定出用於該區之該像差運動向量為用於該當前區塊之該像差向量，則該編碼使用用於該區之該像差運 動向量作為用於該當前區塊之該像差向量。
在一實例中，本發明描述一種用於解碼視訊資料之器件。該器件包括一視訊解碼器，該視訊解碼器經組態以判定用於複數個視圖中之一第一視圖中之一圖像中之一區的一運動向量是否為一像差運動向量。在此實例中，該區相鄰於待預測之一當前區塊，該區包括一或多個區塊，用於該區之該運動向量表示針對一個參考圖像清單的用於該一或多個區塊之一單一運動向量，且該像差運動向量指代一第二不同視圖中之一圖像。回應於判定出用於該圖像中之該區之該運動向量為該像差運動向量，該視訊解碼器經組態以判定用於該區之該像差運動向量是否為用於該當前區塊之一像差向量。該視訊解碼器亦經組態以框間預測解碼該當前區塊，其中為了解碼該當前區塊，若判定出用於該區之該像差運動向量為用於該當前區塊之該像差向量，則該視訊解碼器使用用於該區之該像差運動向量作為用於該當前區塊之該像差向量。
在一實例中，本發明描述一種用於編碼視訊資料之器件。該器件包括一視訊編碼器，該視訊編碼器經組態以判定用於複數個視圖中之一第一視圖中之一圖像中之一區的一運動向量是否為一像差運動向量。在此實例中，該區相鄰於待預測之一當前區塊，該區包括一或多個區塊，用於該區之該運動向量表示針對一個參考圖像清單的用於該一或多個區塊之一單一運動向量，且該像差運動向量指代一第二不同視圖中之一圖像。回應於判定出用於該圖像中之該區之該運動向量為該像差運動向量，該視訊編碼器經組態以判定用於該區之該像差運動向量是否為用於該當前區塊之一像差向量。該視訊編碼器亦經組態以框間預測編碼該當前區塊，其中為了編碼該當前區塊，若判定出用於該區之該像差運動向量為用於該當前區塊之該像差向量，則該視訊編碼器使用用於該區之該像差運動向量作為用於該當前區塊之該像差向 量。
在一實例中，本發明描述一種用於解碼視訊資料之器件。該器件包括用於判定用於複數個視圖中之一第一視圖中之一圖像中之一區的一運動向量是否為一像差運動向量的構件。在此實例中，該區相鄰於待預測之一當前區塊，該區包括一或多個區塊，用於該區之該運動向量表示針對一個參考圖像清單的用於該一或多個區塊之一單一運動向量，且該像差運動向量指代一第二不同視圖中之一圖像。該器件亦包括：回應於判定出用於該圖像中之該區之該運動向量為該像差運動向量，用於判定用於該區之該像差運動向量是否為用於該當前區塊之一像差向量的構件；及用於框間預測解碼該當前區塊的構件，其中若判定出用於該區之該像差運動向量為用於該當前區塊之該像差向量，則用於框間預測解碼的該構件使用用於該區之該像差運動向量作為用於該當前區塊之該像差向量。
在一實例中，本發明描述一種用於編碼視訊資料之器件。該器件包括用於判定用於複數個視圖中之一第一視圖中之一圖像中之一區的一運動向量是否為一像差運動向量的構件。在此實例中，該區相鄰於待預測之一當前區塊，該區包括一或多個區塊，用於該區之該運動向量表示針對一個參考圖像清單的用於該一或多個區塊之一單一運動向量，且該像差運動向量指代一第二不同視圖中之一圖像。該器件亦包括：回應於判定出用於該圖像中之該區之該運動向量為該像差運動向量，用於判定用於該區之該像差運動向量是否為用於該當前區塊之一像差向量的構件；及用於框間預測編碼該當前區塊的構件，其中若判定出用於該區之該像差運動向量為用於該當前區塊之該像差向量，則用於框間預測編碼的該構件使用用於該區之該像差運動向量作為用於該當前區塊之該像差向量。
在一實例中，本發明描述一種儲存有指令之電腦可讀儲存媒 體，該等指令在執行時使一或多個處理器判定用於複數個視圖中之一第一視圖中之一圖像之一區的一運動向量是否為一像差運動向量。在此實例中，該區相鄰於待預測之一當前區塊，該區包括一或多個區塊，用於該區之該運動向量表示針對一個參考圖像清單的用於該一或多個區塊之一單一運動向量，且該像差運動向量指代一第二不同視圖中之一圖像。回應於判定出用於該圖像中之該區之該運動向量為該像差運動向量，該等指令使該一或多個處理器判定用於該區之該像差運動向量是否為用於該當前區塊之一像差向量。該等指令亦使該一或多個處理器框間預測解碼該當前區塊，其中使該一或多個處理器進行解碼之該等指令包含在判定出用於該區之該像差運動向量為用於該當前區塊之該像差向量時使該一或多個處理器使用用於該區之該像差運動向量作為用於該當前區塊之該像差向量的指令。
在一實例中，本發明描述一種儲存有指令之電腦可讀儲存媒體，該等指令在執行時使一或多個處理器判定用於複數個視圖中之一第一視圖中之一圖像之一區的一運動向量是否為一像差運動向量。在此實例中，該區相鄰於待預測之一當前區塊，該區包括一或多個區塊，用於該區之該運動向量表示針對一個參考圖像清單的用於該一或多個區塊之一單一運動向量，且該像差運動向量指代一第二不同視圖中之一圖像。回應於判定出用於該圖像中之該區之該運動向量為該像差運動向量，該等指令使該一或多個處理器判定用於該區之該像差運動向量是否為用於該當前區塊之一像差向量。該等指令亦使該一或多個處理器框間預測編碼該當前區塊，其中使該一或多個處理器進行編碼之該等指令包含在判定出用於該區之該像差運動向量為用於該當前區塊之該像差向量時使該一或多個處理器使用用於該區之該像差運動向量作為用於該當前區塊之該像差向量的指令。
在隨附圖式及以下描述中陳述一或多個實例之細節。其他特 徵、目標及優勢將自該描述及該等圖式且自申請專利範圍變得顯而易見。
10‧‧‧系統
12‧‧‧來源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊來源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
33‧‧‧儲存器件
34‧‧‧預測單元(PU)
36‧‧‧當前圖像
38‧‧‧當前區塊
40A‧‧‧位置
41‧‧‧深度值
42‧‧‧深度圖
44‧‧‧當前圖像
46‧‧‧像差向量
48‧‧‧參考樣本區塊
50‧‧‧運動向量
52‧‧‧參考區塊
54‧‧‧參考圖像
56‧‧‧運動向量
58‧‧‧參考區塊
60‧‧‧參考圖像
62‧‧‧圖像
64‧‧‧區塊
66‧‧‧區塊
68‧‧‧區塊
70‧‧‧圖像
72‧‧‧區塊
74‧‧‧圖像
76‧‧‧區塊
78‧‧‧時間運動向量
80‧‧‧像差運動向量
82‧‧‧行緩衝器
84A‧‧‧區
84B‧‧‧區
84C‧‧‧區
84D‧‧‧區
84E‧‧‧區
84F‧‧‧區
84G‧‧‧區
84H‧‧‧區
86‧‧‧圖像
88‧‧‧區塊
90‧‧‧參考圖像
92‧‧‧同置區塊
94‧‧‧運動向量
96‧‧‧參考圖像
98‧‧‧同置區塊
100‧‧‧像差運動向量
102‧‧‧圖像
104‧‧‧區塊
106‧‧‧參考圖像
108‧‧‧同置區塊
110‧‧‧圖像
112‧‧‧區塊
114‧‧‧圖像
116‧‧‧區塊
118‧‧‧圖像
120‧‧‧同置區(CR)區塊
122‧‧‧同置最大寫碼單元(CLCU)區塊
124‧‧‧右底部(BR)區塊
126‧‧‧當前圖像
128‧‧‧區塊
130‧‧‧區塊
132‧‧‧區塊
134‧‧‧圖像
136‧‧‧區塊
138‧‧‧運動向量
140‧‧‧圖像
142‧‧‧區塊
144‧‧‧像差運動向量
146‧‧‧圖像
148‧‧‧區塊
150‧‧‧運動向量
152‧‧‧分割單元
154‧‧‧預測處理單元
156‧‧‧運動估計單元
158‧‧‧運動補償單元
160‧‧‧框內預測單元
162‧‧‧求和器
164‧‧‧變換處理單元
166‧‧‧量化處理單元
168‧‧‧熵編碼單元
170‧‧‧反量化處理單元
172‧‧‧反變換處理單元
174‧‧‧求和器
176‧‧‧參考圖像記憶體
180‧‧‧熵解碼單元
181‧‧‧預測處理單元
182‧‧‧運動補償單元
184‧‧‧框內預測單元
186‧‧‧反量化處理單元
188‧‧‧反變換處理單元
190‧‧‧求和器
192‧‧‧參考圖像記憶體
A0‧‧‧區塊
A1‧‧‧區塊
B0‧‧‧區塊
B1‧‧‧區塊
B2‧‧‧區塊
S0‧‧‧視圖
S1‧‧‧視圖
S2‧‧‧視圖
S3‧‧‧視圖
S4‧‧‧視圖
S5‧‧‧視圖
S6‧‧‧視圖
S7‧‧‧視圖
T0‧‧‧時間位置/時間執行個體
T1‧‧‧時間位置/時間執行個體
T2‧‧‧時間位置/時間執行個體
T3‧‧‧時間位置/時間執行個體
T4‧‧‧時間位置/時間執行個體
T5‧‧‧時間位置/時間執行個體
T6‧‧‧時間位置/時間執行個體
T7‧‧‧時間位置/時間執行個體
T8‧‧‧時間位置/時間執行個體
T9‧‧‧時間位置/時間執行個體
T10‧‧‧時間位置/時間執行個體
T11‧‧‧時間位置/時間執行個體
圖1為根據本發明所描述之一或多個實例的說明實例視訊編碼及解碼系統的方塊圖。
圖2為根據本發明所描述之一或多個實例的說明實例多視圖視訊寫碼(MVC)編碼或解碼次序的圖形圖。
圖3為說明實例MVC預測型樣的圖形圖。
圖4為說明運動向量可為候選運動向量預測子之空間上相鄰區塊的概念圖。
圖5為說明供基於像差向量來判定候選運動向量預測子之方式的概念圖。
圖6為說明清潔隨機存取(clean random access,CRA)圖像之實例的概念圖。
圖7為說明判定候選像差向量之一實例的概念圖。
圖8為根據本發明所描述之一或多個實例的說明運動向量資訊被儲存之方式的概念圖。
圖9為說明判定候選像差向量之一實例的概念圖。
圖10為說明與待預測之當前區塊同置之同置區塊之實例的概念圖。
圖11為說明判定候選像差向量之一實例的概念圖。
圖12為說明可實施本發明所描述之技術之視訊編碼器之實例的方塊圖。
圖13為說明可實施本發明所描述之技術之視訊解碼器之實例的方塊圖。
圖14為根據本發明所描述之一或多種技術的說明視訊解碼器之 實例操作的流程圖。
圖15為根據本發明所描述之一或多種技術的說明視訊編碼器之實例操作的流程圖。
圖16為根據本發明所描述之一或多種技術的說明視訊寫碼器之實例操作的流程圖。
本發明所描述之技術通常係有關多視圖紋理(或紋理及深度)寫碼(MVC)，且更特定言之，係有關視訊寫碼器(例如，視訊編碼器或視訊解碼器)判定用於MVC之當前視圖之當前圖像內之當前區塊的像差向量的方式。MVC指代複數個視圖被寫碼之方式，其中每一視圖包括複數個圖像。MVC可用以支援三維(3D)視訊。在3D應用中，當顯示器呈現來自視圖中之兩者或兩者以上之圖像時，檢視者感知包圍3D體積之影像，而非約束於顯示器之二維(2D)區域之影像。包圍3D體積之影像之檢視者感知係歸因於不同視圖之圖像中之物件之間的水平像差。
像差向量為指代對應圖像內之區塊的向量，該對應圖像係在不同於當前圖像之當前視圖的視圖中。對應圖像內之區塊及當前圖像中之當前區塊可包括相似視訊內容；然而，區塊在對應圖像內之位置與當前區塊在當前圖像內之位置之間存在水平像差。當前區塊之像差向量提供對應圖像中之區塊與當前圖像中之當前區塊之間的此水平像差之度量。在另一實例中，區塊在對應圖像內之位置與當前區塊在當前圖像內之位置之間亦可存在垂直像差。當前區塊之像差向量可提供對應圖像中之區塊與當前圖像中之當前區塊之間的此垂直像差之度量。當前視圖之當前圖像及不同視圖之對應圖像被顯示的時間可相同(亦即，使得當前視圖及不同視圖為針對同一時間執行個體之視圖)。
如下文更詳細地所描述，視訊寫碼器基於用於時間上及空間上 相鄰於當前區塊之一或多個區塊之運動資訊來判定像差向量。然而，由於用於此等空間上及時間上相鄰區塊之運動資訊被儲存的方式，在一些實例中，視訊寫碼器可無需逐區塊地針對該等空間上及時間上相鄰區塊判定該運動資訊。實情為，視訊寫碼器可經組態以逐區地判定運動資訊，其中一個區包括一或多個相鄰區塊且可大於當前區塊之大小。在此實例中，視訊寫碼器考量用於空間上及時間上相鄰區塊之運動資訊被儲存的方式，使得視訊寫碼器逐區地判定運動資訊，此情形相比於逐區塊地判定運動資訊可引起運動資訊之較少判定。
在一些實例中，視訊寫碼器判定像差向量而未必需要導出用於圖像之深度圖，其中該深度圖指示該圖像中之像素之相對深度，或而未必寫碼全域像差向量(global disparity vector,GDV)。自所導出之深度圖判定之像差向量被稱作平滑時間視圖預測(smooth temporal-view predicted,STV)像差向量。GDV為將相同像差向量指派給每一像素之向量。在一些其他實例中，STV像差向量可應用於每一預測單元/寫碼單元/巨集區塊/巨集區塊分割區，因此，其中每一者具有其自有STV。
導出用於圖像之深度圖可為處理密集型及時間密集型。因此，判定用於區塊之像差向量而未必需要導出用於圖像之深度圖會增進有效視訊寫碼。此外，即使可得到深度圖，仍可利用本發明所描述之技術。該等技術亦可用於深度圖寫碼工具。此外，GDV不提供不同視圖中之對應區塊之間的像差之準確描述。舉例而言，一個視圖中之圖像中之兩個區塊可在另一視圖中之圖像中被位移達不同量。因為GDV將相同像差向量指派給所有像素，所以GDV不準確地定義兩個區塊的不同量之像差。
像差向量可用於若干寫碼工具中，諸如，視圖間運動預測、視圖間殘差預測。舉例而言，視圖間運動預測為可以兩種方式使用像差 向量之實例。在第一方式中，對於視圖間運動預測，用於當前區塊之像差向量所指代之區塊的運動向量可為用於當前區塊之運動向量之複數個潛在運動向量預測子中的運動向量預測子。當視訊寫碼器選擇此運動向量預測子(例如，由當前區塊之像差向量指代之區塊的運動向量)時，視訊寫碼器可在合併模式或跳過模式下利用此運動向量預測子作為當前區塊之運動向量(出於簡單起見，在以下描述中，合併模式用以指示合併模式及跳過模式兩者)，且可在進階運動向量預測(AMVP)模式下利用此運動向量預測子以判定當前區塊之運動向量。在此狀況下，使用自像差向量轉換之運動向量作為用於AMVP或合併模式之額外候選者。在第二方式中，對於視圖間運動預測，使用像差向量以將一個對應區塊定位於參考視圖中，且可將該對應區塊之運動資訊轉換至用於AMVP或合併模式之候選者。
舉例而言，在合併模式之實例中，視訊寫碼器可將運動向量預測子設定為當前區塊之運動向量，且利用由運動向量預測子指代之參考圖像以框間預測當前區塊。在AMVP模式下，視訊寫碼器可寫碼運動向量預測子與當前區塊之實際運動向量之間的殘差。在此實例中，視訊寫碼器將殘差加至運動向量預測子或自運動向量預測子減去殘差以判定當前區塊之運動向量。又，在AMVP模式下，視訊寫碼器將參考索引寫碼至第一參考圖像清單及第二參考圖像清單中至少一者中以識別用以框間預測當前區塊之參考圖像。
藉由判定像差向量而未必需要導出深度圖，視訊寫碼器可經組態以判定用於像差向量所指代之區塊之運動向量，其判定方式相比於視訊寫碼器首先導出深度圖以判定像差向量之實例更有效。此外，藉由不依賴於GDV，視訊寫碼器可經組態以提供具有經判定像差向量的更準確量之像差，其中經判定像差向量更準確地定義運動向量待在合併模式或AMVP模式下使用之區塊。因為在合併模式及AMVP模式下 用於像差所指代之區塊之運動向量為用於當前區塊之潛在運動向量預測子，所以在本發明所描述之技術中，視訊寫碼器可經組態以實施合併模式及AMVP模式，其實施方式相比於一些其他技術更有效。
在一些實例中，視訊寫碼器經組態以基於候選像差向量清單來判定用於區塊之像差向量。舉例而言，不是導出深度圖及自深度圖導出像差向量，而是在一些實例中，視訊寫碼器建構候選像差向量清單、選擇該等候選像差向量中之一者，且基於該選定候選像差向量來判定用於當前區塊之像差向量。可存在視訊寫碼器選擇候選像差向量中之一者的各種方式，且本發明所描述之技術不限於供選擇該候選像差向量之任何特定方式。
判定像差向量而未必導出深度圖可允許若干寫碼工具，諸如，針對某些類型之圖像的視圖間運動預測/視圖間殘差預測。舉例而言，視圖間運動預測可應用於利用本發明所描述之技術的隨機存取點(RAP)圖像，諸如，瞬時解碼器再新(IDR)圖像及清潔隨機存取(CRA)圖像。在一些其他技術(例如，未根據本發明所描述之技術的技術)中，視圖間運動預測可不應用於某些非基礎視圖(例如，相依視圖)中之RAP圖像，此係因為該等RAP圖像必須經完全地解碼以導出RAP圖像之經估計深度圖且像差向量依賴於該經估計深度圖。藉由導出像差向量而無需深度圖，本發明所描述之技術可允許針對非基礎視圖之RAP圖像的視圖間運動預測。
在一些實例中，視訊寫碼器基於空間及時間相鄰區塊來建構候選像差向量清單。舉例而言，若空間上或時間上相鄰於當前區塊之區塊使用視圖間預測，則可潛在地包括用於此等區塊之像差運動向量作為候選像差向量。視圖間預測指代框間預測，其中包括用以框間預測當前區塊之參考區塊的參考圖像定位於不同於定位有包括當前區塊之當前圖像之視圖的視圖中。像差運動向量為用於第一視圖中之圖像中 之區塊的向量，該向量指代第二不同視圖中之圖像中之區塊。
如上文所描述，根據本發明所描述之技術，在建構候選像差向量清單時，視訊寫碼器可考量用於空間上及時間上相鄰區塊之運動向量資訊被儲存的方式。舉例而言，對於包括時間上相鄰區塊之參考圖像，視訊寫碼器可不在每一實例中儲存用於參考圖像中之每一4×4區塊之運動向量，但可在一些實例中儲存用於參考圖像中之每一4×4區塊之運動向量。在一些實例中，視訊解碼器可經組態以針對16×16區儲存一個參考圖像清單中之一個運動向量(其中16×16區包括16個4×4區塊)。用於16×16區之此一個運動向量可被視為用於參考圖像清單中之區內之16個4×4區塊中每一者的單一運動向量。
出於簡單起見，在以下描述中，用於區之運動向量表示一個參考圖像清單之運動向量。又，無論來自參考圖像抑或來自當前圖像內之區皆可包括一或多個區塊。出於說明簡易起見，用實例來描述技術，在該等實例中，區包括一個以上區塊，但應理解，區可包括一或多個區塊。
在以上實例中，儘管參考圖像中之16×16區中之每一4×4區塊可由不同運動向量寫碼，但當視訊寫碼器儲存運動向量資訊時，用於16×16區中之每一4×4區塊之個別運動向量資訊遺失，且用針對每一4×4區塊相同之一個運動向量進行替換。將運動向量儲存於16×16區中之另一益處為：記憶體要求顯著地縮減(亦即，無需將用於每一4×4區塊之運動向量儲存於16×16區內)。可存在視訊寫碼器判定用於16×16區之單一運動向量的不同方式，且本發明所描述之技術不限於視訊寫碼器判定用於16×16區之單一運動向量的任何特定方式。
在視訊寫碼器儲存用於區之運動向量的實例中，不是逐區塊地，而是可沒有必要使視訊寫碼器判定時間上相鄰於當前區塊之每一4×4區塊之運動向量資訊。舉例而言，為了判定候選像差向量，視訊 寫碼器可檢查參考圖像內之以下位置：與當前區塊同置之區、涵蓋同置區之最大寫碼單元(LCU)區內之區塊，及右底部區塊。然而，可有可能的是，用於所有此等經檢查區域之運動向量資訊係歸因於視訊寫碼器儲存該運動向量資訊之方式而相同。因此，視訊寫碼器可無需出於判定用於當前區塊之候選像差向量之目的而判定用於所有此等區塊之運動向量資訊。
取而代之，視訊寫碼器可判定用於16×16區之運動向量資訊。若用於此16×16區之運動向量為像差運動向量，則此像差運動向量可為用以判定用於當前區塊之像差向量之候選像差向量。在此實例中，16×16區在大小方面大於4×4時間上相鄰區塊中每一者。又，16×16區在大小方面可大於當前區塊之大小。應理解，視訊寫碼器可逐區塊地檢查4×4時間上相鄰區塊。
在以上實例中，視訊寫碼器基於時間上相鄰於當前區塊之區來判定候選像差向量。如上文所描述，在一些實例中，視訊寫碼器亦評估是否視圖間預測任何空間上相鄰區塊，且利用用於此等空間上相鄰區塊之像差運動向量作為用於當前區塊之像差向量之候選者。相似於具有時間上相鄰區塊之狀況，在一些實例中，視訊寫碼器不儲存用於空間上相鄰區塊之所有運動向量資訊。
舉例而言，在用於框間預測在包括當前區塊之行(line)上方之行中的區塊時，視訊寫碼器將用於此行(亦即，在包括當前區塊之行上方的行)中之區塊之運動向量資訊儲存於行緩衝器(line buffer)中。在行緩衝器中，視訊寫碼器可不儲存用於每一4×4區塊之所有運動向量資訊。實情為，兩個區塊可共用相同運動向量資訊。然而，在所有實例中無需共用相同運動向量資訊之兩個區塊，且視訊寫碼器可儲存用於每一4×4區塊之所有運動向量資訊。
舉例而言，假定存在以一行而配置之四個4×4區塊。可存在用於 以該行而配置之此四個4×4區塊中每一者之運動向量，且用於此四個4×4區塊之運動向量可不同。
在此實例中，儘管用於第一4×4區塊及第二4×4區塊之運動向量可不同，但當儲存時，第一4×4區塊及第二4×4區塊共用相同運動向量資訊，且視訊寫碼器將用於此等區塊兩者之一個運動向量儲存於行緩衝器中。此一個運動向量表示用於第一4×4區塊及第二4×4區塊之單一運動向量。
在一些實例中，視訊寫碼器儲存用於第一區塊之運動向量資訊作為用於第一區塊及第二區塊兩者之運動向量，使得用於第二4×4區塊之運動向量資訊遺失，且用於第一4×4區塊之運動向量資訊保留。又，在此實例中，儘管用於第三4×4區塊及第四4×4區塊之運動向量可不同，但當儲存時，第三4×4區塊及第四4×4區塊共用相同運動向量資訊，且視訊寫碼器可將用於此等區塊兩者之一個運動向量儲存於行緩衝器中。此一個運動向量表示用於第三4×4區塊及第四4×4區塊之單一運動向量。在一些實例中，視訊寫碼器儲存用於第四區塊之運動向量資訊作為用於第三區塊及第四區塊兩者之運動向量，使得用於第二4×4區塊之運動向量資訊遺失，且用於第四4×4區塊之運動向量資訊保留。
在一些實例中，所儲存之運動向量資訊可自第一4×4區塊及第二4×4區塊或第三4×4區塊及第四4×4區塊導出，且所導出之運動向量資訊可不相同於該兩個區塊中任一者。一般而言，視訊寫碼器可利用任何技術以縮減需要儲存於行緩衝器中之運動向量資訊，且上文所描述之技術(例如，儲存用於一個區塊之運動向量資訊作為用於兩個區塊之運動向量資訊，或導出用於兩個區塊之運動向量資訊)係出於說明之目的而被提供且不應被視為限制性的。
在以上實例中，視訊寫碼器儲存用於在包括當前區塊之行上方 之行內之8×4區的運動向量資訊，其中每一8×4區包括兩個4×4區塊。在此狀況下，可沒有必要使視訊寫碼器判定用於空間上相鄰於當前區塊之區塊當中之每一4×4區塊的運動向量資訊。舉例而言，有可能的是，用於空間上相鄰區塊中之一些之運動向量資訊相同。在此實例中，判定用於區塊中僅一者之運動向量資訊可足夠判定哪些候選者可包括於候選像差向量清單中。
換言之，視訊寫碼器可不判定用於空間上相鄰區塊當中之4×4區塊之運動向量資訊。實情為，視訊寫碼器可判定用於8×4區之運動向量資訊(在此實例中)，其中8×4區包括各自空間上相鄰於當前區塊之兩個4×4區塊(例如，表示兩個4×4區塊之單一運動向量)。若用於此8×4區之運動向量為像差運動向量，則此像差運動向量可為用以判定用於當前區塊之像差向量之候選像差向量。在此實例中，8×4區在大小方面大於4×4空間上相鄰區塊中每一者。又，8×4區在大小方面可大於當前區塊之大小。
此外，本發明所描述之技術可克服存在於一些視訊寫碼技術中之其他問題。舉例而言，用於空間及時間相鄰區塊之像差運動向量可包括水平分量及垂直分量兩者(例如，x座標及y座標兩者)。然而，像差向量之一些實例僅包括水平分量。因此，在一些實例中，當使用空間或時間相鄰區塊之像差運動向量時，視訊寫碼器可將y座標值設定至0，使得候選像差向量僅包括x座標。再次，並非所有像差向量皆需要必要地僅包括水平分量，且可包括水平分量及垂直分量兩者。
相反地，如下文更詳細地所描述，當使用像差向量作為像差運動向量時，像差運動向量可不包括y分量。然而，在一些實例中，可有益的是自位置不在與正被預測之區塊確切地相同之y座標處的區塊來視圖間預測當前區塊。換言之，自正被視圖間預測之區塊僅水平地位移的在參考視圖中之參考圖像中之區塊可未必為用於預測之最佳區 塊。在此狀況下，可需要使像差運動向量包括y座標以識別在參考視圖中之參考圖像中之經水平位移區塊上方或下方的區塊。在一些實例中，當自像差向量導出像差運動向量時，本發明所描述之技術允許像差運動向量包括y座標。
圖1為根據本發明所描述之一或多個實例的說明實例視訊編碼及解碼系統的方塊圖。舉例而言，系統10包括來源器件12及目的地器件14。來源器件12及目的地器件14經組態以實施多視圖寫碼(MVC)，其中來源器件12及目的地器件14各自寫碼不同視圖之圖像。當一起檢視不同視圖之圖像時，檢視者感知包圍3D體積之影像，而非約束於顯示器之2D區域之影像。
系統10可根據不同視訊寫碼標準、專屬標準或任何其他多視圖寫碼方式而操作。下文描述視訊寫碼標準之幾個實例且不應被視為限制性的。視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦被稱作ISO/IEC MPEG-4 AVC)，包括其可按比例調整視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴充。MVC之最新聯合草稿被描述於2010年3月ITU-T Recommendation H.264之「Advanced video coding for generic audiovisual services」中。MVC之較新近的公開可得到聯合草稿被描述於2012年6月ITU-T Recommendation H.264之「Advanced video coding for generic audiovisual services」中。到2012年1月為止已核准MVC之當前聯合草稿。
另外，存在由ITU-T視訊寫碼專家團體(VCEG)及ISO/IEC運動圖像專家團體(MPEG)之視訊寫碼聯合合作小組(JCT-VC)開發之新視訊寫碼標準，即，高效率視訊寫碼(HEVC)。到2013年3月6日為止，被稱作HEVC WD9的HEVC之新近工作草稿可得自http：//phenix.int- evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v10.zip。
僅出於說明之目的，用根據H.264及HEVC標準之實例來描述本發明所描述之技術。在一些實例中，本發明所描述之技術可適用於H.264 3D-AVC標準、H.264 MVC+Depth(H.246 MVC+D)標準及3D-HEVC標準。然而，本發明所描述之技術不應被視為限於此等實例標準，且可擴充至用於多視圖寫碼或3D視訊寫碼之其他視訊寫碼標準，或可擴充至未必基於特定視訊寫碼標準的與多視圖寫碼或3D視訊寫碼有關之技術。舉例而言，本發明所描述之技術係由用於多視圖寫碼之視訊編碼器/解碼器(編碼解碼器)實施，其中多視圖寫碼包括兩個或兩個以上視圖之寫碼。
如圖1所示，系統10包括來源器件12，來源器件12產生待在稍後時間由目的地器件14解碼之經編碼視訊資料。來源器件12及目的地器件14包含廣泛範圍之器件中任一者，包括諸如所謂「智慧型」電話之無線手機、所謂「智慧型」鍵台(pad)，或經配備用於無線通信之其他此等無線器件。來源器件12及目的地器件14之額外實例包括(但不限於)數位電視、數位直播系統中之器件、無線廣播系統中之器件、個人數位助理(PDA)、膝上型電腦、桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式無線電電話、衛星無線電電話、視訊電傳會議器件及視訊串流器件，或其類似者。
目的地器件14可經由鏈路16而接收待解碼之經編碼視訊資料。鏈路16包含能夠將經編碼視訊資料自來源器件12移動至目的地器件14的任何類型之媒體或器件。在一實例中，鏈路16包含通信媒體以使來源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。經編碼視訊資料可根據諸如無線通信協定之通信標準予以調變，且傳輸 至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成以封包為基礎之網路之部分，諸如，區域網路、廣域網路，或諸如網際網路之全域網路。通信媒體可包括路由器、交換器、基地台，或可有用於促進自來源器件12至目的地器件14之通信之任何其他設備。
在一些實例中，將經編碼資料自輸出介面22輸出至儲存器件33。相似地，由輸入介面28自儲存器件33存取經編碼資料。儲存器件33之實例包括多種分散式或本端存取式資料儲存媒體中任一者，諸如，硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在一另外實例中，儲存器件33對應於保持由來源器件12產生之經編碼視訊之檔案伺服器或另一中間儲存器件。在此等實例中，目的地器件14經由串流或下載而自儲存器件33存取經儲存視訊資料。檔案伺服器為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接式儲存(NAS)器件，或本端磁碟機。目的地器件14經由包括網際網路連接之任何標準資料連接而存取經編碼視訊資料。此連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)或此兩者之組合。經編碼視訊資料自儲存器件33之傳輸可為串流傳輸、下載傳輸或此兩者之組合。
本發明之技術未必限於無線應用或設定。該等技術可應用於視訊寫碼以支援多種多媒體應用中任一者，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、供儲存於資料儲存媒體上之數位視訊之編碼、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，系統10經組態以支援 單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，來源器件12包括視訊來源18、視訊編碼器20及輸出介面22。在一些狀況下，輸出介面22包括調變器/解調變器(數據機)及/或傳輸器。在來源器件12中，視訊來源18包括諸如以下各者之來源中之一或多者：視訊俘獲器件(例如，視訊攝影機)、含有經先前俘獲視訊之視訊封存檔、用以自視訊內容提供者接收視訊之視訊饋送介面，及/或用於產生電腦圖形資料作為來源視訊之電腦圖形系統、此等來源之組合，或任何其他來源。作為一實例，若視訊來源18為視訊攝影機，則來源器件12及目的器件14可形成所謂攝影機電話或視訊電話。然而，本發明所描述之技術大體上適用於視訊寫碼，且可應用於無線及/或有線應用。
視訊編碼器20編碼經俘獲、經預俘獲或經電腦產生視訊。來源器件12之輸出介面22經組態以將經編碼視訊資料傳輸至目的地器件14。經編碼視訊資料亦可(或或者)儲存至儲存器件33上以供稍後由目的地器件14或其他器件存取以用於解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些狀況下，輸入介面28包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16或自儲存器件33接收經編碼視訊資料。經由鏈路16而傳達或提供於儲存器件33上之經編碼視訊資料包括由視訊編碼器20產生以供諸如視訊解碼器30之視訊解碼器使用以解碼該視訊資料之多種語法元素。此等語法元素可與傳輸於通信媒體上、儲存於儲存媒體上或儲存於檔案伺服器上之經編碼視訊資料一起被涵括。
顯示器件32可與目的地器件14整合或在目的地器件14外部。在一些實例中，目的地器件14包括整合式顯示器件且亦經組態以與外部顯示器件介接。在其他實例中，目的地器件14為顯示器件。一般而 言，顯示器件32向使用者顯示經解碼視訊資料，且包含多種顯示器件中任一者，諸如，液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器，或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據諸如上文所列出之實例的各種視訊寫碼標準而操作。然而，本發明所描述之技術不應被視為因而受到限制。出於描述之目的，視訊編碼器20及視訊解碼器30係在HEVC或H.264標準及此等標準之擴充的上下文中得以描述，且可適用於諸如H.264 3D-AVC標準、H.264 MVC+D標準及3D-HEVC標準之標準。然而，本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。諸如被稱作On2 VP6/VP7/VP8之技術的專屬寫碼技術亦可實施本文所描述之技術中之一或多者。
儘管圖1中未圖示，但在一些態樣中，視訊編碼器20及視訊解碼器30各自係與一音訊編碼器及解碼器整合，且包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或分離資料串流中之音訊及視訊兩者之編碼。適用時，在一些實例中，MUX-DEMUX單元符合ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30各自可被實施為多種合適編碼器電路中任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術係部分地以軟體予以實施時，一器件可將用於該軟體之指令儲存於合適非暫時性電腦可讀媒體中且使用一或多個處理器而以硬體來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中每一者可包括於一或多個編碼器或解碼器中，該一或多個編碼器或解碼器中任一者可作為組合式編碼器/解碼器(CODEC)之部分而整合於各別器件中。根據本發明所描述之技術，視訊編碼器20經組態以編碼視訊資料且視訊解碼器30經組 態以解碼視訊資料。
圖2為根據本發明所描述之一或多個實例的說明實例多視圖視訊寫碼(MVC)編碼或解碼次序的圖形圖。舉例而言，圖2所說明之解碼次序配置被稱作時間優先寫碼(time-first coding)。在圖2中，S0至S7各自指代多視圖視訊之不同視圖。T0至T8各自表示一個輸出時間執行個體。一存取單元可包括針對一個輸出時間執行個體之所有視圖之經寫碼圖像。舉例而言，第一存取單元包括針對時間執行個體T0之所有視圖S0至S7(亦即，圖像0至7)，第二存取單元包括針對時間執行個體T1之所有視圖S0至S7(亦即，圖像8至15)，等等。在此實例中，圖像0至7處於相同時間執行個體(亦即，時間執行個體T0)，圖像8至15處於相同時間執行個體(亦即，時間執行個體T1)。具有相同時間執行個體之圖像通常被同時顯示，且正是相同時間執行個體之圖像內之物件之間的水平像差及可能某一垂直像差使檢視者感知包圍3D體積之影像。
在圖2中，視圖中每一者包括圖像集合。舉例而言，視圖S0包括圖像0、8、16、24、32、40、48、56及64集合，視圖S1包括圖像1、9、17、25、33、41、49、57及65集合，等等。每一集合包括兩個圖像：一個圖像被稱作紋理視圖分量(texture view component)，且另一圖像被稱作深度視圖分量(depth view component)。視圖之圖像集合內之紋理視圖分量及深度視圖分量可被視為彼此對應。舉例而言，視圖之圖像集合內之紋理視圖分量被視為對應於視圖之圖像集合內之深度視圖分量，且反之亦然(亦即，深度視圖分量對應於其在該集合中之紋理視圖分量，且反之亦然)。如本發明所使用，對應於深度視圖分量之紋理視圖分量可被視為作為單一存取單元之同一視圖之部分的紋理視圖分量及深度視圖分量。
紋理視圖分量包括所顯示之實際影像內容。舉例而言，紋理視 圖分量可包括明度(Y)及色度(Cb及Cr)分量。深度視圖分量可指示其對應紋理視圖分量中之像素之相對深度。作為一實例，深度視圖分量可被視為僅包括明度值之灰階影像。換言之，深度視圖分量可不輸送任何影像內容，而是提供紋理視圖分量中之像素之相對深度的度量。
舉例而言，深度視圖分量中之純白色像素指示出其在對應紋理視圖分量中之對應像素根據檢視者之觀點而言較近，且深度視圖分量中之純黑色像素指示出其在對應紋理視圖分量中之對應像素根據檢視者之觀點而言較遠。介於黑色與白色之間的各種灰色陰影指示不同深度層級。舉例而言，深度視圖分量中之極灰色像素指示出其在紋理視圖分量中之對應像素相比於深度視圖分量中之淺灰色像素較遠。因為僅需要灰階來識別像素之深度，所以深度視圖分量無需包括色度分量，此係因為深度視圖分量之色彩值可不提供任何目的。
僅使用明度值(例如，強度值)以識別深度之深度視圖分量係出於說明之目的而被提供且不應被視為限制性的。一般而言，可利用任何技術以指示紋理視圖分量中之像素之相對深度。
根據MVC，紋理視圖分量係自在同一視圖中但在不同存取單元中之紋理視圖分量予以框間預測，或自在一或多個不同視圖中但在同一存取單元中之紋理視圖分量予以框間預測。紋理視圖分量可以視訊資料區塊予以寫碼，該等區塊被稱作「視訊區塊」且在H.264上下文中通常被稱作「巨集區塊」。諸如HEVC標準之其他視訊寫碼標準可將視訊區塊稱作樹區塊或寫碼單元(CU)。
相同時間執行個體中之圖像中之視訊內容可相似。然而，視訊內容可在水平方向上稍微位移，且亦可能地在垂直方向上稍微位移。舉例而言，若一區塊在視圖S0之圖像0中定位於(x,y)處，則在視圖S1之圖像1中定位於(x+x',y)處之區塊包括與在視圖S0之圖像0中定位於(x,y)處之區塊相似的視訊內容。在此實例中，在視圖S0之圖像0中定 位於(x,y)處之區塊及在視圖S1之圖像1中定位於(x+x',y)處之區塊被視為對應區塊。在一些實例中，用於在視圖S1之圖像1中定位於(x+x',y)處之區塊的像差向量指代其對應區塊之位置。舉例而言，用於定位於(x+x',y)處之區塊的像差向量為(-x',0)。
在一些實例中，視訊編碼器20或視訊解碼器30利用第一視圖之圖像中之區塊的像差向量以識別第二視圖之圖像中之對應區塊。視訊編碼器20或視訊解碼器30可利用用於第二視圖之圖像中之經識別對應區塊的運動資訊作為第一視圖中之圖像中之區塊之候選運動預測子清單中的候選運動向量預測子。在一些實例中，視訊編碼器20或視訊解碼器30選擇此候選運動預測子(例如，用於第二視圖之圖像中之區塊的運動資訊)作為用於第一視圖中之圖像中之區塊的運動向量預測子。在此實例中，視訊編碼器20或視訊解碼器30根據所謂合併模式或進階運動向量預測(AMVP)模式而基於運動向量預測子來判定用於第一視圖中之圖像中之區塊的運動向量，該等模式兩者在下文中得以更詳細地描述。在一些實例中，像差向量可用以將殘餘區塊定位於第二視圖中以預測第一視圖之當前殘餘資訊。
視訊編碼器20或視訊解碼器30經組態以判定區塊之像差向量。在一些其他技術(亦即，除了根據本發明所描述之技術的技術以外的技術)中，視訊編碼器20或視訊解碼器30首先導出用於紋理視圖分量之深度視圖分量，且接著基於所導出之深度視圖分量來判定用於紋理視圖分量中之區塊之像差向量。所得像差向量被稱作平滑時間視圖預測(STV)像差向量。又在一些其他技術中，視訊編碼器20及視訊解碼器30寫碼向每一像素指派相同像差向量之全域像差向量(GDV)。
然而，導出深度視圖分量可複雜(亦即，處理密集型及時間密集型)。本發明所描述之技術允許視訊編碼器20及視訊解碼器30判定用於紋理視圖分量中之區塊之像差向量，而未必首先判定深度視圖分 量。然而，即使視訊編碼器20及視訊解碼器30將首先導出深度視圖分量，視訊編碼器20及視訊解碼器30仍可利用本發明所描述之技術。在一些狀況下，本發明所描述之技術可用作深度圖寫碼工具。
又，GDV可不為實際像差向量之準確度量，且因此可不準確地指代運動向量被用作運動向量預測子之區塊。換言之，GDV所指代之區塊之運動向量相比於實際像差向量所指代之區塊之運動向量為較不準確的運動向量預測子。
圖3為說明實例MVC預測型樣的圖形圖。在圖3之實例中，說明八個視圖(具有視圖ID「S0」至「S7」)，且針對每一視圖說明十二個時間位置(「T0」至「T11」)。亦即，圖3中之每一列對應於一視圖，而每一行指示一時間位置。
儘管MVC具有可由H.264/AVC解碼器或HEVC解碼器解碼之所謂基礎視圖且立體視圖對亦可受到MVC支援，但MVC之優勢為：其可支援使用兩個以上視圖作為3D視訊輸入且解碼由該多個視圖表示之此3D視訊的實例。具有MVC解碼器(例如，H.264/MVC解碼器或HEVC解碼器)之用戶端之轉譯器(renderer)可期望具有多個視圖之3D視訊內容。
在圖3中，視圖S0被視為基礎視圖，且視圖S1至S7被視為相依視圖。基礎視圖包括未被視圖間預測之圖像。基礎視圖中之圖像可相對於同一視圖中之其他圖像予以框間預測。舉例而言，視圖S0中無任一圖像中係相對於視圖S1至S7中任一者中之圖像予以框間預測，但視圖S0中之一些圖像係相對於視圖S0中之其他圖像予以框間預測。
相依視圖包括被視圖間預測之圖像。舉例而言，視圖S1至S7中每一者包括相對於另一視圖中之圖像予以框間預測的至少一圖像。相依視圖中之圖像可相對於基礎視圖中之圖像予以框間預測，或可相對於其他相依視圖中之圖像予以框間預測。
包括基礎視圖及相依視圖兩者會確保不同類型之視訊解碼器可解碼圖像。舉例而言，一種類型之視訊解碼器未經組態成處理多視圖寫碼。該類型之視訊解碼器仍可解碼基礎視圖，而經組態成處理多視圖寫碼之視訊解碼器可解碼視圖S0至S7中每一者。
文件m22570及m22571定義用於以HEVC為基礎之3D寫碼(3D-HEVC)的一些技術，且到2013年3月6日為止可用密碼而得自http：//wg11.sc29.org/doc_end_user/documents/98_Geneva/wg11/m22570-v2-m22570-v2.zip；http：//wg11.sc29.org/doc_end_user/documents/98_Geneva/wg11/m22571-v2-m22571-v2.zip。此等文件所描述之工具中之一者為視圖間運動預測，其中基於同一存取單元之其他視圖中的已經寫碼之運動參數來預測或推斷(例如，在AMVP模式或合併模式下)相依視圖中之區塊之運動參數(亦即，運動向量及參考索引)。如更詳細地所描述，在m22570及m22571文件所描述之技術中可存在某些限制及問題。本發明所描述之技術潛在地克服m22570及m22571文件所描述之技術中的一些限制及問題。針對3D-HEVC之最新參考軟體描述可得自：Gerhard Tech、Krzysztof Wegner、Ying Chen、Sehoon Yea之「3D-HEVC Test Model 1」，http：//phenix.it-sudparis.eu/jct2/doc_end_user/documents/1_Stockholm/wg11/JCT3V-A1005-v1.zip，2012年4月，瑞典斯德哥爾摩。針對3D-HEVC之最新參考軟體(即，HTM)可得自：https：//hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/trunk。
圖3中之圖像在圖3中被指示於每一列與每一行之相交處。具有MVC擴充之H.264/AVC標準可使用術語圖框以表示視訊之部分，而HEVC標準可使用術語圖像以表示視訊之部分。本發明互換式地使用術語圖像及圖框。
圖3中之圖像係使用包括字母之陰影區塊予以說明，該字母指定對應圖像被框內寫碼(亦即，為I圖像)，抑或在一個方向上被框間寫碼(亦即，作為P圖像)或在多個方向上被框間寫碼(亦即，作為B圖像)。一般而言，預測係由箭頭指示，其中箭頭指向之圖像(pointed-to picture)使用箭頭出發之圖像(pointed-from picture)以供預測參考。舉例而言，自時間位置T0處之視圖S0之I圖像來預測時間位置T0處之視圖S2之P圖像。
如同單視圖視訊編碼一樣，可相對於不同時間位置處之圖像來預測性地編碼多視圖視訊寫碼視訊序列之圖像。舉例而言，視圖S0在時間位置T1處之b圖像具有自視圖S0在時間位置T0處之I圖像指向該b圖像的箭頭，從而指示出自該I圖像來預測該b圖像。然而，另外，在多視圖視訊編碼之上下文中，圖像可被視圖間預測。亦即，視圖分量(例如，紋理視圖分量)可使用其他視圖中之視圖分量以供參考。舉例而言，在MVC中，實現視圖間預測，就好像另一視圖中之視圖分量為框間預測參考一樣。潛在視圖間參考係在序列參數集(Sequence Parameter Set,SPS)MVC擴充中被傳信且可藉由參考圖像清單建構程序修改，該程序使能夠對框間預測參考或視圖間預測參考進行靈活排序。
圖3提供視圖間預測之各種實例。在圖3之實例中，視圖S1之圖像被說明為自視圖S1在不同時間位置處之圖像予以預測，又自視圖S0及S2在相同時間位置處之圖像予以視圖間預測。舉例而言，自視圖S1在時間位置T0及T2處之B圖像以及視圖S0及S2在時間位置T1處之b圖像中每一者來預測視圖S1在時間位置T1處之b圖像。
在圖3之實例中，大寫字母「B」及小寫字母「b」用以指示圖像之間的不同階層式關係，而非指示不同寫碼方法。一般而言，大寫字母「B」圖像在預測階層中相對高於小寫字母「b」圖框。圖3亦使用 不同陰影層級來說明預測階層之變化，其中較大量之陰影(亦即，相對較暗)圖框在預測階層中高於具有較少陰影(亦即，相對較亮)之彼等圖框。舉例而言，圖3中之所有I圖像係用完全陰影予以說明，而P圖像具有稍微較亮陰影，且B圖像(及小寫字母b圖像)相對於彼此具有各種陰影層級，但始終亮於P圖像及I圖像之陰影。
一般而言，預測階層係與視圖次序索引有關，此在於：在預測階層中相對較高之圖像應在解碼在該階層中相對較低之圖像之前被解碼，使得在該階層中相對較高之彼等圖像可在解碼在該階層中相對較低之圖像期間用作參考圖像。視圖次序索引為指示存取單元中之視圖分量之解碼次序的索引。如H.264/AVC之Annex H(MVC修正)中所規定，在序列參數集(SPS)MVC擴充中隱含視圖次序索引。在SPS中，對於每一索引i，對對應view_id進行傳信。視圖分量之解碼應遵循視圖次序索引之遞增次序。若所有視圖皆被呈現，則視圖次序索引係按自0至num_views_minus_1之連續次序。
以此方式，用作參考圖像之圖像係在解碼參考該等參考圖像予以編碼之圖像之前被解碼。視圖次序索引為指示存取單元中之視圖分量之解碼次序的索引。對於每一視圖次序索引i，對對應view_id進行傳信。視圖分量之解碼遵循視圖次序索引之遞增次序。若所有視圖皆被呈現，則視圖次序索引集合可包含自0至視圖之完全數目減1之連續排序集合。
對於階層之相等層級處之某些圖像，相對於彼此之解碼次序可無關緊要。舉例而言，視圖S0在時間位置T0處之I圖像用作視圖S2在時間位置T0處之P圖像的參考圖像，視圖S2在時間位置T0處之P圖像又用作視圖S4在時間位置T0處之P圖像的參考圖像。因此，視圖S0在時間位置T0處之I圖像應在視圖S2在時間位置T0處之P圖像之前被解碼，視圖S2在時間位置T0處之P圖像應在視圖S4在時間位置T0處之P 圖像之前被解碼。然而，在視圖S1與視圖S3之間，解碼次序無關緊要，此係因為視圖S1及視圖S3對於預測而言並不依賴於彼此，而是僅自在預測階層中較高之視圖予以預測。此外，視圖S1可在視圖S4之前被解碼，只要視圖S1在視圖S0及S2之後被解碼即可。
以此方式，可使用階層式排序以描述視圖S0至S7。假設標記法SA>SB意謂視圖SA應在視圖SB之前被解碼。在圖2之實例中，在使用此標記法的情況下，S0>S2>S4>S6>S7。又，關於圖2之實例，S0>S1，S2>S1，S2>S3，S4>S3，S4>S5且S6>S5。不違反此等要求的用於視圖之任何解碼次序係可能的。因此，許多不同解碼次序係可能的，其中僅具有某些限制。
在一些實例中，圖3可被視為說明紋理視圖分量。在用以在所謂合併模式或AMVP模式下實施視圖間運動預測之此等實例中，在一些狀況下，視訊編碼器20或視訊解碼器30利用用於由待框間預測之當前區塊之像差向量指代之區塊的運動向量作為運動向量預測子。本發明所描述之技術判定當前區塊之像差向量而未必需要導出深度視圖分量，且未必依賴於全域像差向量。
一視訊序列通常包括來自一視圖(例如，圖2及圖3所說明之視圖)之一系列視訊圖像。圖像群組(GOP)通常包含一系列一或多個視訊圖像。GOP可在GOP之標頭中、在GOP之一或多圖像之標頭中或在別處包括語法資料，該語法資料描述包括於GOP中之圖像之數目。每一圖像可包括描述用於各別圖像之編碼模式之圖像語法資料。視訊編碼器20通常對個別視訊圖像內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於巨集區塊、對應於巨集區塊之分割區且可能地對應於分割區之子區塊，如H.264標準中所定義，或對應於最大寫碼單元(LCU)、寫碼單元(CU)、預測單元(PU)或變換單元(TU)，如HEVC標準中所定義。視訊區塊可具有固定或變化大小，且在大小方面可根據 所規定寫碼標準而不同。每一視訊圖像可包括複數個片段。每一片段可包括複數個區塊。
作為一實例，ITU-T H.264標準支援以各種區塊大小之框內預測，諸如，針對明度分量之16乘16、8乘8或4乘4，以及針對色度分量之8×8，又支援以各種區塊大小之框間預測，諸如，針對明度分量之16×16、16×8、8×16、8×8、8×4、4×8及4×4，以及針對色度分量之對應按比例調整大小。在本發明中，「N×N」與「N乘N」可互換式地用以指代區塊在垂直尺寸及水平尺寸方面之像素尺寸(例如，16×16像素或16乘16像素)。一般而言，16×16區塊將在垂直方向上具有16個像素(y=16)且在水平方向上具有16個像素(x=16)。同樣地，N×N區塊通常在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。區塊中之像素可以列及行而配置。此外，區塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M像素，其中M未必等於N。
當區塊被框內模式編碼(例如，框內預測)時，區塊可包括描述用於區塊之框內預測模式的資料。作為另一實例，當區塊被框間模式編碼(例如，框間預測)時，區塊可包括定義用於區塊之運動向量的資訊。此運動向量指代同一視圖中之參考圖像，或指代另一視圖中之參考圖像。舉例而言，定義用於區塊之運動向量的資料描述運動向量之水平分量、運動向量之垂直分量、用於運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)。另外，當區塊被框間預測時，區塊可包括諸如運動向量所指向之參考圖像的參考索引資訊，及/或用於運動向量之參考圖像清單(例如，RefPicList0或RefPicList1)。
JCT-VC正致力於開發HEVC標準。HEVC標準化努力係基於視訊寫碼器件之演進模型，其被稱作HEVC測試模型(HM)。HM推測視訊寫碼器件相對於根據(例如，ITU-T H.264/AVC)之現有器件的若干額 外能力。舉例而言，H.264提供9個框內預測編碼模式，而HM可提供多達33個方向性/角度框內預測編碼模式加上DC及平面模式。
HM之工作模型描述出可將一視訊圖像劃分成包括明度樣本及色度樣本兩者之樹區塊或最大寫碼單元(LCU)序列。樹區塊具有與H.264標準之巨集區塊之目的相似的目的。一片段包括按寫碼次序之數個連續樹區塊。一視訊圖像可分割成一或多個片段。每一樹區塊可根據四元樹而分裂成若干寫碼單元(CU)。舉例而言，作為四元樹之根節點的樹區塊可分裂成四個子節點，且每一子節點又可為一父節點且分裂成另外四個子節點。作為四元樹之葉節點的最後未分裂子節點包含寫碼節點(亦即，經寫碼視訊區塊)。與經寫碼位元串流相關聯之語法資料可定義樹區塊可被分裂之最大次數，且亦可定義寫碼節點之最小大小。在一些實例中，樹區塊被稱作LCU。
CU包括寫碼節點以及與寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小且可為正方形形狀。在一些實例中，CU之大小係在自8×8像素直至最大值為64×64像素或更大的樹區塊之大小的範圍內。在一些實例中，每一CU含有一或多個PU及一或多個TU。舉例而言，與CU相關聯之語法資料描述CU成為一或多個PU之分割。分割模式在CU被跳過或直接模式編碼、框內預測模式編碼抑或框間預測模式編碼之間不同。在一些實例中，PU可經分割為非正方形形狀。舉例而言，與CU相關聯之語法資料亦描述根據四元樹而進行的CU成為一或多個TU之分割。TU可為正方形或非正方形形狀。
HEVC標準允許根據TU之變換，該等變換對於不同CU可不同。TU通常係基於針對經分割LCU而定義之給定CU內之PU的大小被設定大小，但並非始終為此狀況。TU之大小通常係與PU之大小相同或小於PU之大小。在一些實例中，使用被稱作「殘餘四元樹」(residual quad tree,RQT)之四元樹結構將對應於CU之殘餘樣本再分成較小單元。RQT之葉節點可被稱作變換單元(TU)。在一些實例中，變換與TU相關聯之像素差值以產生變換係數，其被量化。
一般而言，PU包括與預測程序有關之資料。舉例而言，當PU被框內模式編碼時，PU包括描述用於PU之框內預測模式的資料。作為另一實例，當PU被框間模式編碼時，PU包括定義用於PU之運動向量的資料。舉例而言，定義用於PU之運動向量的資料描述運動向量之水平分量、運動向量之垂直分量、用於運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向之參考圖像，及/或用於運動向量之參考圖像清單(例如，RefList0或RefPicList1)。
一般而言，TU用於變換程序及量化程序。具有一或多個PU之給定CU亦可包括一或多個變換單元(TU)。在預測之後，視訊編碼器20可計算對應於PU之殘餘值。該殘餘值包含可變換成變換係數、被量化且使用TU予以掃描以產生串行化變換係數以供熵寫碼之像素差值。本發明通常使用術語「視訊區塊」以指代CU之寫碼節點。在一些特定狀況下，本發明亦可使用術語「視訊區塊」以指代可包括寫碼節點以及PU及TU之樹區塊，亦即，LCU或CU。
作為一實例，HM支援以各種PU大小之預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小之框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小之框間預測。HM亦支援針對以2N×nU、2N×nD、nL×2N及nR×2N之PU大小之框間預測的非對稱分割。在非對稱分割中，CU之一個方向未被分割，而另一方向分割成25%及75%。對應於25%分割區的CU之部分係由「n」後跟著「上」、「下」、「左」或「右」之指示進行指示。因此，舉例而言，「2N×nU」指代被水平地分割之2N×2N CU，其中2N×0.5N PU係在頂 部且2N×1.5N PU係在底部。
在H.264標準或HEVC標準中，在框內預測性或框間預測性寫碼之後，視訊編碼器20在HEVC中或在H.264中針對巨集區塊來計算用於CU之TU之殘餘資料。PU包含在空間域(亦被稱作像素域)中之像素資料，且在將變換(例如，離散餘弦變換(DCT))、整數變換、小波變換或概念上相似變換應用於殘餘視訊資料之後，TU包含在變換域中之係數。殘餘資料可對應於未經編碼圖像之像素與在HEVC中對應於PU之預測值或在H.264中針對巨集區塊之預測值之間的像素差。
在進行任何變換以產生變換係數之後，在一些實例中，視訊編碼器20執行變換係數之量化。量化通常指代如下程序：在該程序中，量化變換係數以可能地縮減用以表示該等係數之資料之量，從而提供進一步壓縮。該量化程序縮減與該等係數中之一些或全部相關聯之位元深度。舉例而言，在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在一些實例中，視訊編碼器20利用預定義掃描次序以掃描經量化變換係數以產生可被熵編碼之串行化向量。在其他實例中，視訊編碼器20執行自適應性掃描。在掃描經量化變換係數以形成一維向量之後，在一些實例中，視訊編碼器20根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、以語法為基礎之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法(作為幾個實例)來熵編碼一維向量。視訊編碼器20亦熵編碼與經編碼視訊資料相關聯之語法元素以供視訊解碼器30用於解碼該視訊資料。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸符號。該上下文可與(例如)該符號之相鄰值是否為非零有關。為了執行CAVLC，視訊編碼器20可選擇用於待傳輸符號之可變 長度碼。VLC中之碼字可經建構成使得相對較短碼對應於較可能之符號，而較長碼對應於較不可能之符號。以此方式，VLC之使用相比於(例如)針對每一待傳輸符號使用相等長度碼字可達成位元節省。機率判定可基於指派給該符號之上下文。
如上文所描述，在MVC中，視訊編碼器20及視訊解碼器30參考第二視圖之參考圖像內之參考區塊來框間預測第一視圖之當前圖像內之當前區塊。此框間預測被稱作視圖間預測。當前圖像及參考圖像之時間執行個體在各別視圖中可相同。在此實例中，視訊編碼器20或視訊解碼器30執行橫越同一存取單元中之圖像的視圖間預測，其中該同一存取單元中之圖像處於相同時間執行個體。
為了對當前區塊執行視圖間預測，視訊編碼器20或視訊解碼器30建構識別可用於框間預測之參考圖像(包括可用於視圖間預測之圖像)的參考圖像清單。框間預測指代相對於參考圖像中之參考區塊來預測當前圖像中之當前區塊。視圖間預測為框間預測子集，此在於：在視圖間預測中，參考圖像係在不同於當前圖像之視圖的視圖中。因此，對於視圖間預測，視訊編碼器20及視訊解碼器30在經建構參考圖像清單中之一者或兩者中添加另一視圖中之參考圖像。可在經建構參考圖像清單內之任何位置處識別另一視圖中之參考圖像。如本發明所使用，當視訊編碼器20正對一區塊執行框間預測(例如，框間預測一區塊)時，視訊編碼器20可被視為框間預測編碼一區塊。當視訊解碼器30正對一區塊執行框間預測(例如，框間預測一區塊)時，視訊解碼器30可被視為框間預測解碼一區塊。
在框間預測中，用於當前區塊之運動向量識別待用作用於框間預測當前區塊之參考區塊之區塊的位置，且至經建構參考圖像清單中之一者或兩者中的參考索引識別包括用作用於框間預測當前區塊之參考區塊之區塊的參考圖像。在MVC中，存在至少兩種類型之運動向 量。時間運動向量指代時間參考圖像，其中時間參考圖像為與包括待預測區塊之圖像相同之視圖內的圖像，且其中時間參考圖像係早於或遲於包括待預測區塊之圖像被顯示。像差運動向量指代不同於包括待預測區塊之圖像之視圖的視圖中之參考圖像。在本發明中，術語「運動向量」可指代時間運動向量或像差運動向量，或僅指代時間運動向量或像差運動向量，此在該描述之上下文中將清楚可見。
當視訊編碼器20或視訊解碼器30利用時間運動向量時，視訊編碼器20及視訊解碼器30被視為實施運動補償預測(motion-compensated prediction,MCP)。當視訊編碼器20或視訊解碼器30利用像差運動向量時，視訊編碼器20及視訊解碼器30被視為實施像差補償預測(disparity-compensated prediction,DCP)或視圖間預測。
為了縮減需要被傳信之視訊資料之量，沒有必要使視訊編碼器20在每一實例中對用於待預測之當前區塊之運動向量進行傳信。實情為，視訊解碼器30基於運動向量預測子來判定用於當前區塊之運動向量。運動向量預測子為用於不同於當前區塊之區塊之運動向量。不同於當前區塊之區塊可為空間上相鄰於當前區塊之區塊、時間上相鄰於當前區塊之區塊，或不同於當前區塊之視圖的視圖中之對應區塊。
視訊解碼器30利用運動向量預測子以根據合併模式或進階運動向量預測(AMVP)模式來判定當前區塊之運動向量。在合併模式及AMVP模式兩者下，在一些實例中，視訊解碼器30實施隱式技術以建構候選運動向量預測子清單。隱式技術意謂視訊解碼器30未必需要自視訊編碼器20接收以供建構候選運動向量預測子清單之方式指示視訊解碼器30的指令。在其他實例中，有可能使視訊編碼器20以供建構候選運動向量預測子清單之方式指示視訊解碼器30。出於說明之目的，用實例來描述技術，在該等實例中，視訊解碼器30實施隱式技術以建構候選運動向量預測子清單。
舉例而言，視訊解碼器30判定空間上相鄰於當前區塊之一或多個區塊之運動向量，且將此等運動向量作為候選運動向量預測子包括於候選運動向量預測子清單中。在一些實例中，視訊解碼器30判定時間上相鄰於當前區塊之一或多個區塊之運動向量，且將此等運動向量作為候選運動向量預測子包括於候選運動向量預測子清單中。時間上相鄰區塊指代與包括當前區塊之圖像相同的視圖中之圖像中之區塊，該等區塊在該圖像中包圍與當前區塊在其圖像中所包圍之區域大致相同的區域。時間上相鄰區塊可被稱作同置區塊。
在一些實例中，視訊解碼器30基於時間上相鄰區塊之圖像次序計數(POC)值及當前區塊之POC值來按比例調整用於時間上相鄰區塊之運動向量。POC值指示圖像之顯示或輸出次序。
此外，在一些實例中，視訊解碼器30判定由當前區塊之像差向量指代之區塊的運動向量。由當前區塊之像差向量指代之區塊係在不同於當前區塊之視圖的視圖中。由像差向量指代之區塊被稱作對應於當前區塊之區塊，此係因為對應區塊及當前區塊包括相似視訊內容，但根據不同視圖之觀點而言。在此等實例中，視訊解碼器30將用於對應區塊之運動向量作為候選運動向量預測子包括於候選運動向量預測子清單中。
在一些實例中，視訊編碼器20將索引值傳信至候選運動向量預測子清單中，且視訊解碼器30基於至候選運動向量預測子清單中之索引值來選擇候選運動向量預測子清單中識別之運動向量預測子。在合併模式下，視訊解碼器30將選定運動向量預測子設定為用於當前區塊之運動向量。又，在合併模式下，視訊解碼器30繼承選定運動向量預測子所指代之參考圖像。舉例而言，運動向量預測子為用於不同於當前區塊之區塊之運動向量。用於不同於當前區塊之區塊之運動向量指代由至第一參考圖像清單(RefPicList0)或第二參考圖像清單 (RefPicList1)中之一者中之索引值識別的參考圖像。在合併模式下，視訊解碼器30繼承至參考圖像清單中之參考索引作為至用於當前區塊之參考圖像清單中之參考索引。在一些實例中，參考索引可需要在其可被繼承之前基於圖像次序計數(POC)值予以轉換。以此方式，視訊解碼器30判定用於當前區塊之運動向量，及用以在合併模式下框間預測當前區塊之參考圖像。
在AMVP模式下，除了對至候選運動向量預測子清單中之索引值進行傳信以外，視訊編碼器20亦對由該索引值識別之運動向量預測子與當前區塊之實際運動向量之間的殘差進行傳信。視訊解碼器30基於至候選運動向量預測子清單中之索引值來選擇運動向量預測子，且加上或減去由該索引值識別之運動向量預測子與當前區塊之實際運動向量之間的經傳信殘差以判定用於當前區塊之運動向量。
在一些實例中，在AMVP模式下，視訊編碼器20亦對至RefPicList0或RefPicList1中之參考索引進行傳信，該參考索引識別將由視訊解碼器30用於框間預測當前區塊之參考圖像。換言之，不同於合併模式，在AMVP模式下，視訊解碼器30不繼承參考索引，而是接收參考索引。
圖4為說明運動向量可為候選運動向量預測子之空間上相鄰區塊的概念圖。在圖4中，待框間預測之當前區塊為預測單元(PU)34。圖4說明空間上相鄰於PU 34之區塊A0、A1、B0、B1及B2(亦即，與PU 34相同之圖像內的區塊)。在一些實例中，視訊解碼器30判定用於A0、A1、B0、B1及B2之運動向量，且在可能按比例調整之後包括此等運動向量中之一或多者(若可得到)作為用於PU 34之候選運動向量預測子清單中之候選運動向量預測子。
區塊A0、A1、B0、B1及B2為空間上相鄰於PU 34之區塊的實例且不應被視為空間上相鄰於PU 34之區塊的僅有實例。舉例而言，空 間上相鄰於PU 34之區塊可定位於不同於區塊A0、A1、B0、B1及B2之位置處。區塊A0、A1、B0、B1及B2之位置被定義如下。
在圖4中，明度位置(xP,yP)規定相對於包括PU 34之當前圖像之左頂部樣本的PU 34之左頂部明度樣本。因此，相對於當前圖像之左頂部樣本的當前PU「N」之左頂部明度樣本為(xN,yN)。變數nPSW及nPSH表示針對明度的PU 34之寬度及高度。在此實例中，(xN,yN)(其中N係由A0、A1、B0、B1或B2替換)分別被定義為(xP-1,yP+nPSH)、(xP-1,yP+nPSH-1)、(xP+nPSW,yP-1)、(xP+nPSW-1,yP-1)或(xP-1,yP-1)。以此方式，視訊解碼器30判定空間上相鄰區塊之位置。視訊解碼器30將在此等區塊中之一或多者之可能按比例調整之後的運動向量包括於用於判定PU 34之運動向量之候選運動向量預測子清單中。
下文描述視訊解碼器30判定用於時間上相鄰區塊之運動向量的方式。如下文所描述，在一些實例中，時間上相鄰區塊駐留於與包括待框間預測之當前區塊之圖像相同的視圖中之圖像中。然而，時間上相鄰區塊未必需要駐留於與包括待框間預測之當前區塊之圖像相同的視圖中之圖像中。在一些實例中，時間上相鄰區塊可駐留於不同於包括待框間預測之當前區塊之圖像之視圖的視圖中之圖像中。舉例而言，包括時間上相鄰區塊之圖像可由至用於包括待框間預測之當前區塊之圖像的參考圖像清單中之一者中的collocated_ref_idx索引值識別。collocated_ref_idx索引值可識別與包括待框間預測之區塊之圖像相同的視圖中之圖像，或與包括待框間預測之區塊之圖像不同的視圖中之圖像。在此等實例中任一者中，由collocated_ref_idx索引值識別之圖像可包括「時間上相鄰區塊」，如該片語在本發明中所使用。用於為候選運動向量預測子之時間上相鄰區塊之運動向量被稱作時間運動向量預測子(temporal motion vector predictor,TMVP)。
為了判定用於時間上相鄰區塊之運動向量，視訊解碼器30可判 定哪一圖像包括時間上相鄰區塊。包括時間上相鄰區塊之圖像被稱作同置圖像。若待框間預測之區塊(例如，當前區塊)係在當前圖像之片段內，其中該片段為B片段(例如，相對於RefPicList0中之參考圖像予以預測、相對於RefPicList1中之參考圖像予以預測，或相對於兩個參考圖像予以預測，其中在RefPicList0中識別一個參考圖像且在RefPicList1中識別另一參考圖像)，則視訊編碼器20對指示在RefPicList0中抑或在RefPicList1中識別同置圖像之旗標(例如，collocated_from_10_flag)進行傳信。舉例而言，若旗標值為1，則視訊解碼器30判定出在RefPicList0中識別同置圖像，且若旗標值為0，則視訊解碼器30判定出在RefPicList1中識別同置圖像。
在一些實例中，對於B片段，視訊解碼器30自經建構RefPicList0及RefPicList1建構組合式參考圖像清單(RefPicListC)。若視訊寫碼器對參考圖像清單修改語法進行傳信，則視訊解碼器30修改RefPicListC。在視訊解碼器30建構RefPicListC之實例中，視訊編碼器20可不對collocated_from_10_flag進行傳信。在此等實例中，視訊解碼器30判定出在RefPicListC中識別同置圖像。
若待框間預測之區塊係在當前圖像之片段內，其中該片段為P片段(例如，相對於RefPicList0中之參考圖像予以預測)，則視訊編碼器20可不對旗標進行傳信。在此狀況下，視訊解碼器30判定出同置圖像定位於RefPicList0中，此係因為當前區塊(亦即，待框間預測之區塊)係在P片段內。
視訊解碼器30亦可接收至經判定參考圖像清單中之索引。舉例而言，視訊編碼器20在包括待框間預測之當前區塊的片段之片段標頭中對collocated_ref_idx語法進行傳信。如上文所描述，collocated_ref_idx語法提供至經判定參考圖像清單中之索引值。視訊解碼器30基於至參考圖像清單中之索引值來判定包括時間上相鄰區塊 之同置圖像。
視訊解碼器30接著識別經判定同置圖像中之同置區塊。舉例而言，視訊解碼器30基於當前區塊在其圖像中之位置來識別同置區塊在同置圖像中之位置。舉例而言，假定當前區塊為預測單元(PU)。在此狀況下，視訊解碼器30基於PU在其圖像中之位置來判定寫碼單元(CU)在同置圖像中之位置。同置圖像中之此CU被稱作同置區塊。
在一些實例中，視訊解碼器30判定用於同置區塊內之右底部PU的運動向量。在一些實例中，視訊解碼器30判定用於涵蓋同置區塊之經修改中間位置之PU的運動向量。同置區塊之經修改中間位置可指代自同置區塊之中心點朝向同置區塊之右底部隅角延伸的區塊。換言之，定位於同置區塊之經修改中間位置處之區塊的左頂部隅角可為同置區塊之中心，且定位於同置區塊之經修改中間位置處之區塊的右底部隅角可相對於同置區塊之中心在向下且向右之方向上延伸。在一些實例中，視訊解碼器30基於同置圖像及包括當前區塊之圖像的POC值來按比例調整此等經識別運動向量。
HEVC標準進一步定義哪些圖像可為同置圖像。換言之，HEVC標準進一步定義視訊解碼器30可利用哪些圖像以自時間上相鄰區塊判定候選運動向量預測子。舉例而言，視訊編碼器20對圖像參數集(PPS)中之enable_temporal_mvp_flag進行傳信。當包括當前區塊之圖像之時間識別值(temporal_id)為0且用於該圖像之語法元素指代PPS(其中enable_temporal_mvp_flag為0)時，視訊解碼器30可將儲存於視訊解碼器30之經解碼圖像緩衝器(DPB)中的所有參考圖像設定為「未用於時間運動向量預測」。在此狀況下，視訊解碼器30可不利用按解碼次序早於包括當前區塊之圖像的任何圖像作為用於包括當前區塊之圖像及用於按解碼次序在包括當前區塊之圖像之後的圖像的同置圖像。
圖5為說明供基於像差向量來判定候選運動向量預測子之方式的概念圖。圖5所描述之實例未必根據本發明所描述之技術，其中在本發明所描述之技術中，視訊解碼器30可無需導出深度圖以判定像差向量。圖5說明當前視圖之當前圖像36。當前圖像36包括當前區塊38，當前區塊38為待框間預測之區塊。為了判定用於當前區塊38之候選運動向量預測子，在圖5之實例中，視訊解碼器30判定用於當前區塊38之像差向量。
為了判定用於區塊38之像差向量，視訊解碼器30判定當前區塊38在當前圖像36中之位置40A。視訊解碼器30判定深度圖42中之深度值41。舉例而言，視訊解碼器30可能已必須導出當前圖像36之深度圖42，且深度值41指示定位於當前區塊38之位置40A處之像素的相對深度。
在圖5之實例中，視訊解碼器30判定像差向量46。舉例而言，視訊解碼器30可判定當前區塊38應被水平地位移的量，使得檢視者在由深度值41定義之深度處感知區塊38之視訊內容。像差向量46可指示水平位移之經判定量，且因此可基於深度值41予以判定。像差向量46為平滑時間視圖預測(STV)像差向量之實例。
如所說明，像差向量46指代參考視圖中之當前圖像44之參考樣本區塊48。參考樣本區塊48可包括與當前區塊38之視訊內容相似的視訊內容，參考樣本區塊48之位置在參考視圖中之當前圖像44中相對於當前區塊38在當前視圖中之當前圖像36中之位置水平地位移。參考區塊48之運動向量50指代參考視圖之參考圖像54之參考區塊52。
運動向量50為用於當前區塊38之運動向量之運動向量預測子的實例。舉例而言，視訊解碼器30將運動向量50包括於用於當前區塊38之候選運動向量預測子清單中。
在一些實例中，視訊解碼器30亦包括像差向量46作為用於當前 區塊38之候選運動向量預測子。舉例而言，圖5說明出參考區塊48被框間預測。然而，出於說明之目的，假定參考區塊48被框內預測，而未被框間預測。在此狀況下，不存在可由視訊解碼器30用作運動向量預測子的用於參考區塊48之運動向量。因此，在此實例中，視訊解碼器30包括像差向量46作為候選運動向量預測子清單中之運動向量預測子。
可存在運動向量50需要滿足以包括為候選運動向量預測子之某些要求。作為一實例，視訊解碼器30判定出僅在運動向量50所指代之圖像(亦即，參考視圖中之圖像54)之時間執行個體與當前區塊38之一個參考圖像(諸如，圖像60)之時間執行個體相同(亦即，圖像54及圖像60屬於同一存取單元)時才將運動向量50包括於候選運動向量預測子清單中。
在圖5所說明之實例中，視訊解碼器30實施合併模式。舉例而言，視訊編碼器20對至視訊解碼器30所建構之候選運動向量預測子清單中之索引進行傳信。在圖5中，假定至候選運動向量預測子清單中之索引識別運動向量50。在此狀況下，對於合併模式，視訊解碼器30選擇運動向量50，且將運動向量50設定為用於區塊38之運動向量(亦即，運動向量56)。
又，在此實例中，視訊解碼器30可能已繼承識別參考視圖中之參考圖像54的至參考圖像清單中之參考索引。在此實例中，至視訊解碼器30針對當前視圖之圖像36所建構之參考圖像清單中的經繼承參考索引可識別當前視圖中之參考圖像60。當前視圖中之參考圖像60包括參考區塊58。視訊解碼器30利用參考區塊58以框間預測當前區塊38。
關於圖5所描述之AMVP模式技術及合併模式技術可被概述如下。舉例而言，AMVP模式及合併模式兩者皆允許視圖間運動向量預測子包括於候選運動向量預測子清單中。視訊解碼器30判定當前區塊 之中間樣本之深度估計，且基於經判定深度估計來判定像差向量及參考視圖中之參考區塊。
在AMVP模式下，若至用於當前區塊之RefPicList0及RefPicList1中之一者或兩者中的參考索引指代視圖間參考圖像，則視訊解碼器30將視圖間運動向量預測子設定為等於經判定像差向量。又，若至用於由像差向量指代之區塊之RefPicList0及RefPicList1中之一者或兩者中的參考索引指代時間參考圖像(亦即，與包括由像差向量指代之區塊之圖像相同的視圖中之圖像)，且若時間參考圖像之時間執行個體與將由視訊解碼器30用於框間預測之參考圖像之時間執行個體相同，則視訊解碼器30利用用於參考區塊之運動向量作為運動向量預測子。在所有其他狀況下，視訊解碼器30可不利用來自不同視圖之運動向量。
在合併模式(或跳過模式)下，視訊解碼器30利用針對圖像36而建構之參考圖像清單中的前兩個索引。對於參考索引0，視訊解碼器30判定候選運動向量預測子，其判定方式係與上文關於AMVP模式所描述之方式相同(亦即，參考索引0中識別之圖像為參考圖像44)。若視訊解碼器30判定用於參考索引0中識別之圖像的候選運動向量預測子，則視訊解碼器30包括運動向量50作為候選運動向量且繼承運動向量50之參考索引(亦即，識別圖像54之參考索引)。
若視訊解碼器30未在用參考索引0來識別圖像的情況下判定候選運動向量預測子，則視訊解碼器30在合併模式下針對用參考索引1識別之圖像重複以上步驟。若視訊解碼器30未在用參考索引1來識別圖像的情況下判定候選運動向量預測子，則視訊解碼器30不包括用於來自候選運動向量預測子清單中之參考視圖之區塊的運動向量。
在一些實例中，視訊解碼器30以由參考索引1識別之圖像開始，且接著繼續進行至由參考索引0識別之圖像。此情形可引起視訊解碼器30實施之時間預測多於視圖間運動預測。
在圖5所描述之實例中，視訊解碼器30首先需要導出深度圖42以判定像差向量46。存在視訊解碼器30導出深度圖42之各種方式。作為一實例，視訊解碼器30使用基礎視圖中之圖像的時間運動向量，及對應於基礎視圖中之圖像的基礎視圖中之深度圖，以判定/更新用於相依視圖中之圖像的深度圖。作為另一實例，視訊解碼器30使用用於相依視圖中及基礎視圖中之圖像的時間運動向量，以及用於相依視圖中之圖像的像差運動向量，以判定/更新用於相依視圖中之圖像的深度圖。可存在供導出深度圖之其他方式。
作為一實例，在寫碼程序開始時，視訊解碼器30可解碼基礎視圖中之第一圖像。基礎視圖可包括並未自另一視圖中之圖像予以預測的圖像。舉例而言，參看圖3，基礎視圖可為視圖S0，此係因為視圖S0中之圖像並未用視圖S1至S7中任一者中之圖像予以框間預測。視圖S0中之第一圖像為經框內預測圖像(亦即，在時間T0用視圖S0中之I表示的I圖像)。又，非基礎視圖(例如，相依視圖)中之一者中的第一圖像可被視圖間運動預測或框內預測。非基礎視圖(被稱作相依視圖)可包括相對於另一視圖中之圖像(例如，用像差運動向量)予以框間預測的圖像。在寫碼程序之此階段，不能得到深度圖。
在解碼非基礎視圖中之第一圖像之後，可得到像差運動向量(亦即，用以框間預測非基礎視圖之第一圖像中之區塊的像差運動向量)。此等像差運動向量可轉換至深度值以產生深度圖。深度圖可用以映射至基礎視圖，或用以更新非基礎視圖中之後繼圖像之深度圖。自深度圖，視訊解碼器30可能夠判定用於區塊之像差向量。
一般而言，用於導出深度圖之此技術可複雜且需要視訊解碼器30消耗處理電力及時間以導出深度圖。在本發明所描述之實例中，視訊解碼器30可不首先導出深度圖以判定用於當前區塊之像差向量。取而代之，視訊解碼器30可自空間上及/或時間上相鄰區塊之像差運動 向量判定像差向量，此情形相比於自所導出之深度圖判定像差向量可為較不複雜的任務。
在一些其他技術中，視訊編碼器20及視訊解碼器30可編碼或解碼GDV，而非自深度圖判定像差向量。因為GDV提供用於所有像素之相同像差向量，所以GDV不提供針對實際像差向量之準確度量，且因此，自GDV判定之運動向量預測子不與自區塊之實際像差向量判定的運動向量預測子一樣良好。因此，在自深度圖判定像差向量時，及根據使用GDV作為用於實際像差向量之替代產品，可存在缺陷。
在一些實例中，根據本發明所描述之技術，經判定像差向量可不相同於當前區塊之實際像差向量。作為一實例，當前區塊之實際像差向量可包括x分量，而不包括y分量，或針對y分量包括0，此係因為實際像差向量指代相對於當前區塊僅水平地位移之對應區塊。在一些實例中，經判定像差向量包括x分量及y分量兩者，此係因為用以判定該像差向量之像差運動向量可包括x分量及y分量兩者。用於區塊之經判定像差向量可被稱作用於視圖間運動預測之像差向量(DVIVMP)，此係因為其為用於視圖間運動預測之經建構像差向量。
為了判定用於當前區塊之像差向量，視訊解碼器30建構候選像差向量清單。此候選像差向量清單不應與候選運動向量預測子清單相混淆。候選像差向量清單識別可潛在地用以判定當前區塊之像差向量的向量。候選運動向量預測子清單識別可潛在地用以判定當前區塊之運動向量的向量。
又，像差向量及像差運動向量不應相混淆。第一視圖中之區塊的像差運動向量為指代第二視圖中之區塊的運動向量，其中第二視圖中之區塊為用以框間預測第一視圖中之區塊的參考區塊。像差向量為指代不同於正被預測之區塊的視圖中之區塊的向量，且指示正被預測之區塊相對於包括由像差向量指代之區塊之圖像的位移。由像差向量 指代之區塊未必需要用以框間預測當前區塊，但可用以判定用於當前區塊之運動向量預測子。在一些實例中，由經修改像差向量(藉由將經判定像差向量之y分量設定至0)指代之區塊用以框間預測當前區塊。在此等實例中，經修改像差向量被視為像差運動向量之實例。
換言之，並非所有像差向量皆為像差運動向量，且當由像差向量指代之區塊用以框間預測當前區塊時，彼等像差向量可轉換至像差運動向量。像差運動向量指代用作用於框間預測之參考區塊的區塊，且未必指示當前區塊之位移。
舉例而言，視訊編碼器20在不同於當前區塊之視圖的視圖中之圖像中執行搜尋，且找到最佳地匹配於當前區塊的在不同視圖之圖像中之區塊。視訊編碼器20及視訊解碼器30接著利用此「最佳匹配」區塊以用於框間預測當前區塊，該框間預測係藉由用像差運動向量來識別「最佳匹配」區塊之位置而進行。
像差向量未必指代「最佳匹配」區塊。實情為，像差向量指代運動向量可用作運動向量預測子之區塊。然而，若像差向量所指代之區塊未被框間預測(例如，不存在用於像差向量所指代之區塊的運動向量)，則像差向量可為候選運動向量預測子。在一些實例中，即使像差向量所指代之區塊被框間預測，在修改之後的像差向量仍可為額外候選運動向量預測子。
應理解，如何使用像差向量(例如，用於判定運動向量預測子)之以上實例係僅出於說明之目的而被提供且不應被視為限制性的。換言之，以上實例描述經判定像差向量可被使用之一些方式，但本發明所描述之技術不應被視為如此限制性的。一般而言，本發明所描述之技術提供判定像差向量之實例方式，諸如，用於判定像差向量而未必需要導出深度圖之技術(作為一實例)。
為了建構候選像差向量清單，視訊解碼器30判定是否已用像差 運動向量來視圖間運動預測空間上相鄰區塊及/或時間上相鄰區塊。視訊解碼器30可包括用於已在候選像差向量清單或已使用隱式像差向量之向量中被視圖間運動預測之相鄰區塊的像差運動向量中之一或多者。下文更詳細地描述隱式像差向量。此外，在一些實例中，STV或GDV亦可用以建構候選像差向量清單。視訊解碼器30可利用複數種不同技術中任一者以自候選像差向量清單選擇一個候選像差向量，且將選定候選像差向量設定為用於當前區塊之像差向量。
在以上實例中，視訊解碼器30逐區塊地評估空間上相鄰區塊及時間上相鄰區塊之運動向量資訊以建構候選像差向量清單。然而，在給出視訊解碼器30儲存空間上及時間上相鄰區塊之運動向量資訊之方式的情況下，逐區塊地評估空間上相鄰區塊及時間上相鄰區塊之運動向量資訊可低效。如更詳細地所描述，在一些實例中，視訊解碼器30考量空間上相鄰區塊及時間上相鄰區塊之運動向量資訊被儲存的方式，使得視訊解碼器30逐區地評估運動向量資訊，其中一區包括複數個相鄰區塊且在大小方面可大於當前區塊。然而，若視訊解碼器30逐區塊地儲存空間上或時間上相鄰區塊之運動向量資訊，則該區可包括一個區塊。換言之，在本發明中，該區可包括一或多個區塊。
基於像差運動向量之逐區評估，視訊解碼器30建構一候選像差向量清單、選擇該等候選像差向量中之一者，且基於該選定候選像差向量來判定用於當前區塊之像差向量。視訊解碼器30利用由經判定像差向量指代之區塊來實施合併模式或AMVP模式。在一些實例中，視訊解碼器30亦可使用由經判定像差向量指代之區塊來實施視圖間殘差預測。在一些實例中，視訊解碼器30可利用由經判定像差向量指代之區塊來實施其他寫碼工具。作為一實例，視訊解碼器30可藉由使用相鄰區(例如，包括一或多個空間上或時間上相鄰區塊之區)之像差運動向量作為用於一區塊之像差向量來框間預測解碼該區塊。舉例而言， 視訊解碼器30可使用相鄰區之像差運動向量作為區塊之像差向量來實施合併模式或AMVP模式。
在本發明所描述之技術中，用於區之像差運動向量包括x分量及y分量兩者。因此，在一些實例中，經判定像差向量包括x分量及y分量兩者。在一些實例中，視訊解碼器30亦包括經判定像差向量作為用於候選運動向量預測子清單中之當前區塊之候選運動向量預測子。
視訊解碼器30可在將經判定像差向量包括於候選運動向量預測子清單中之前修改經判定像差向量。舉例而言，視訊解碼器30將經判定像差向量之y分量設定為等於0以用於修改經判定像差向量，且將經修改像差向量包括於候選運動向量預測子清單中。在一些情況下，經修改像差向量相比於經判定像差向量為用於當前區塊之運動向量之較佳預測子。在一些實例中，可不等於0的經判定像差向量之y分量保持不變，且用於視圖間運動預測及/或視圖間殘差預測。
此外，在本發明所描述之一些技術中，藉由自空間上及時間上相鄰區塊判定像差向量，可用視圖間運動預測及/或視圖間殘差預測或使用像差向量之其他寫碼工具來寫碼某些類型之圖像。舉例而言，在一些其他技術(亦即，未根據本發明所描述之技術的技術)中，相依視圖包括隨機存取點(RAP)圖像，諸如，瞬時解碼器再新(IDR)圖像及清潔隨機存取(CRA)圖像。在此等其他技術中，在完全地解碼RAP圖像以前不能得到用於RAP圖像之深度圖。因此，在此等其他技術中，無法使用合併模式或AMVP模式來視圖間預測RAP圖像，此係因為深度圖不可用以判定像差向量。
然而，在本發明所描述之技術中，視訊解碼器30可經組態以判定像差向量而無需導出深度圖。因此，在一些實例中，視訊解碼器30能夠經組態以針對RAP圖像實施合併模式及AMVP模式，其中候選運動向量預測子清單包括來自不同於RAP圖像之視圖的視圖中之區塊的 運動向量。
下文描述實例圖像類型。在HEVC中存在可由網路抽象層(NAL)單元類型識別之四個圖像類型。圖像類型之實例包括(但不限於)瞬時解碼器再新(IDR)圖像、清潔隨機存取(CRA)圖像、時間層存取(TLA)圖像，及不為IDR、CRA或TLA圖像之經寫碼圖像。
H.264/AVC規範已定義IDR圖像，且HEVC標準已自H.264/AVC規範繼承IDR圖像之定義。HEVC標準亦已定義清潔隨機存取(CRA)圖像、中斷連結存取(broken link access,BLA)圖像及時間層存取(TLA)圖像。此等圖像類型在HEVC中為新式的且不可用於H.264/AVC規範中。
CRA圖像為促進自視訊序列之中間之任何隨機存取點開始之解碼的圖像類型，且相比於使用IDR圖像以供隨機存取可更有效。在HEVC中，自此等CRA圖像開始之位元串流亦為符合型位元串流(conforming bitstream)。TLA圖像為可用以指示有效時間層交換點之圖像類型。下文更詳細地描述CRA及TLA圖像。
在諸如廣播及串流之視訊應用中，檢視者可需要在不同頻道之間進行切換，或需要以最小延遲跳躍至視訊內之特定部分。為了允許此切換或跳躍，視訊編碼器20可在視訊位元串流中以規則區間包括隨機存取圖像。隨機存取圖像為可供開始解碼之圖像。舉例而言，當使用者切換頻道或跳躍至視訊內之特定部分時，視訊在隨機存取圖像處切換或跳躍至隨機存取圖像。
H.264/AVC及HEVC兩者中規定之IDR圖像可用於隨機存取。然而，因為IDR圖像開始經寫碼視訊序列且始終清潔視訊解碼器30之經解碼圖像緩衝器(DPB)，所以按解碼次序在IDR之後的圖像無法使用在IDR圖像之前解碼的圖像作為參考。舉例而言，DPB儲存由視訊解碼器30出於框間預測(例如，框間預測解碼)之目的而用作參考圖像之 經解碼圖像。若視訊解碼器30清除DPB(如當視訊解碼器30在IDR圖像處開始解碼時所發生)，則在DPB中可不存在可由按解碼次序在IDR圖像之後的圖像(被稱作引導圖像)用作參考圖像的任何圖像。
因此，依賴於用於隨機存取之IDR圖像之位元串流可具有顯著較低寫碼效率(例如，6%)。為了改良寫碼效率，HEVC中之CRA圖像允許按解碼次序在CRA之後但按輸出次序在CRA圖像之前的圖像使用在CRA圖像之前解碼的圖像作為參考。
圖6為說明清潔隨機存取(CRA)圖像之實例的概念圖。舉例而言，圖6說明由自有顯示次序識別之圖像。該顯示次序係由圖像次序計數(POC)值識別。舉例而言，在圖6中，具有POC值24之圖像為CRA圖像，且屬於圖像群組(GOP)。GOP亦包括具有POC值17至23之圖像。具有POC值17至23之圖像按解碼次序在CRA圖像(亦即，具有POC值24之圖像)之後(亦即，具有POC值17至23之圖像係由具有POC值24之CRA圖像予以框間預測，或由已被框間預測之圖像予以框間預測，已被框間預測之該等圖像係已由具有POC值24之CRA圖像予以框間預測)。然而，具有POC值17至23之圖像按輸出次序在具有POC值24之CRA圖像之前(亦即，具有POC值17至23之圖像係早於具有POC值24之CRA圖像被顯示)。
在此實例中，具有POC值17至23之圖像被稱作具有POC值24之CRA的引導圖像，且可在視訊解碼器30自當前CRA圖像(亦即，具有POC值24之圖像)之前的IDR或CRA圖像開始解碼時被正確地解碼。然而，若視訊解碼器30自具有POC值24之CRA圖像開始解碼，則視訊解碼器30可不能夠適當地解碼具有POC值17至23之圖像。在此等狀況下，視訊解碼器30在隨機存取解碼期間捨棄引導圖像(亦即，具有POC值17至23之圖像)。
此外，為了防止自取決於視訊解碼器30在何處開始解碼而可能 不可用之參考圖像之誤差傳播，按解碼次序及輸出次序兩者在具有POC值24之CRA圖像之後的下一GOP中之所有圖像不使用按解碼次序或輸出次序在具有POC值24之CRA圖像之前的任何圖像作為參考。舉例而言，如上文所描述，若視訊解碼器30自具有POC值24之CRA圖像開始解碼，則視訊解碼器30捨棄具有POC值17至23之圖像。在此狀況下，因為具有POC值17至23之圖像不可用，所以按解碼次序及輸出次序兩者在具有POC值24之CRA圖像之後的圖像不使用具有POC值17至23之圖像中任一者作為參考圖像。
在H.264/AVC中用復原點補充增強資訊(supplemental enhancement information,SEI)訊息來支援相似隨機存取功能性。並非所有符合H.264/AVC標準之視訊解碼器皆支援復原點SEI訊息。
在HEVC中，以CRA圖像開始之位元串流被視為符合型位元串流。如上文所描述，當位元串流以CRA圖像開始時，CRA圖像之引導圖像可指代不可用參考圖像且因此無法被正確地解碼。然而，亦如上文所描述，HEVC規定開始之CRA圖像之引導圖像未被輸出，因此，名稱為「清潔隨機存取」。
為了建立位元串流符合性要求，HEVC規定一解碼程序以產生不可用參考圖像以用於解碼非輸出引導圖像。然而，視訊解碼器30未必必須遵循彼解碼程序，只要視訊解碼器30可產生相比於當自位元串流之開始執行該解碼程序時相同的輸出即可。此外，在HEVC中，符合型位元串流可根本不含有IDR圖像，且因此可含有經寫碼視訊序列之子集或不完整之經寫碼視訊序列。
如上文所描述，在一些實例中，視訊解碼器30評估空間上及時間上相鄰區塊之運動向量以判定用於當前區塊之像差向量。以下實例說明視訊解碼器30自空間上及時間上相鄰區塊之運動向量判定用於當前區塊之像差向量的實例方式。以下實例不應被視為限制性的，且該 等技術可擴充至用於判定用於當前區塊之像差向量的其他可能技術。
在給出目標參考視圖的情況下，為了啟用自目標參考視圖之視圖間運動預測，視訊解碼器30可利用空間像差向量、時間像差向量及/或隱式像差向量以產生用於視圖間運動預測之像差向量(DVIVMP)及/或用於視圖間殘差預測之像差向量。空間像差向量、時間像差向量及隱式像差向量皆在下文得以更詳細地描述。在一些實例中，像差向量未由給定目標參考視圖限定，此意謂像差向量對應於被視為可用之任何相依視圖中的圖像且可直接用作經判定像差向量。在一些實例中，此像差向量用以基於同一存取單元之目標參考視圖中的已經寫碼之運動參數來預測或推斷當前視圖中之區塊的運動參數(亦即，運動向量預測子)。根據本發明之技術，視訊解碼器30可基於經判定隱式像差向量(IDV)、空間像差向量(SDV)及時間像差向量(TDV)來建構候選像差向量清單。舉例而言，該等經判定候選像差向量中之一或多者可包括於用於合併或AMVP之候選清單。
圖7為說明判定候選像差向量之一實例的概念圖。在圖7中，圖像62係在第一視圖中，且包括待使用合併模式或AMVP模式予以框間預測之區塊64。為了判定用於區塊64之像差向量，視訊解碼器30判定用於空間上相鄰區塊之運動向量。視訊解碼器30可按任何次序評估空間上相鄰區塊。對於每一空間上相鄰區塊，視訊解碼器30判定用識別RefPicList0中之參考圖像的前向預測向量抑或用識別RefPicList1中之參考圖像的後向預測向量來預測空間上相鄰區塊。若使用組合式參考圖像清單(亦即，RefPicListC)，則視訊解碼器30判定用於空間上相鄰區塊之運動向量是否識別RefPicListC中之圖像。若此等空間上相鄰區塊中任一者係用像差運動向量予以框間預測，則視訊解碼器30將像差運動向量包括於用於區塊64之候選像差向量清單中。
舉例而言，圖7說明各自空間上相鄰於區塊64之空間上相鄰區塊 66及時間上相鄰區塊68(例如，相鄰區塊66/68屬於與區塊64相同之圖像，該圖像為圖像62)。在此實例中，區塊66及區塊68各自為4×4區塊。在圖7中，區塊66係用圖像70之區塊72予以框間預測，如由指代圖像70之區塊72的時間運動向量78所說明。圖像70係在與圖像62相同之視圖中，但處於不同時間執行個體。
區塊68係相對於圖像74之區塊76予以視圖間預測。舉例而言，用於區塊68之運動向量80為指代圖像74之區塊76的像差運動向量。圖像62及74在相同時間執行個體中位於不同視圖中。運動向量80為像差運動向量，此係因為圖像74定位於不同於定位有圖像62之第一視圖的第二視圖中。此外，圖像62及圖像74之時間執行個體相同。因此，圖像62及圖像74屬於同一存取單元。
在此實例中，視訊解碼器30評估區塊66之運動向量78及區塊68之運動向量80，且判定出運動向量80為像差運動向量。視訊解碼器30接著將像差運動向量80包括於候選像差向量清單中。像差運動向量80可被稱作空間像差向量(SDV)。
然而，由於視訊解碼器30儲存區塊66及區塊68之運動向量資訊的方式，可沒有必要使視訊解碼器30評估區塊66及區塊68兩者之運動向量資訊。舉例而言，在視訊解碼器30框間預測區塊66及區塊68之後，視訊解碼器30將用於區塊66及區塊68之運動向量資訊儲存於視訊解碼器30之行緩衝器中。在一些實例中，在將運動向量資訊儲存於行緩衝器中之前，視訊解碼器30壓縮用於區塊66及區塊68之運動向量資訊，使得視訊解碼器30儲存用於區塊66及區塊68中之一者之運動向量資訊，或自用於區塊66及68之運動向量資訊導出用於區塊66及68兩者之運動向量資訊。圖8中進一步說明運動向量資訊之壓縮。並非在每一實例中皆需要運動向量資訊之壓縮。
圖8為根據本發明所描述之一或多個實例的說明運動向量資訊被 儲存之方式的概念圖。圖8說明行緩衝器82。行緩衝器82儲存用於空間上定位於待預測之當前區塊上方之區塊的運動向量。圖8中之區塊0至15各自為4×4區塊。
運動向量資訊包括框間預測方向、參考圖像索引，及運動向量(MV)。在一些實例中，視訊解碼器30不將用於區塊0至15中每一者之運動向量資訊儲存於行緩衝器82中。實情為，視訊解碼器30將用於每四個區塊中之兩個區塊之運動向量資訊儲存於行緩衝器82內。此情形引起針對一個行之2：1運動向量資訊壓縮，且引起需要儲存於行緩衝器82中之較少資訊。
舉例而言，用於區塊0至3中每一者之運動向量資訊可不同。在此實例中，儘管用於區塊0及區塊1之運動向量資訊不同，但當儲存時，區塊0及區塊1共用相同運動向量資訊，且視訊解碼器30將用於區塊0及區塊1兩者之一個運動向量資訊集合儲存於行緩衝器82中。在圖8中，視訊解碼器30儲存用於區塊0之運動向量資訊作為用於區塊0及區塊1兩者之運動向量資訊。在此狀況下，用於區塊1之運動向量資訊可遺失，且用於區塊0之運動向量資訊保留。
相似地，在此實例中，儘管用於區塊2及區塊3之運動向量不同，但當儲存時，區塊2及區塊3共用相同運動向量資訊，且視訊解碼器30可將用於區塊2及區塊3兩者之一個運動向量資訊集合儲存於行緩衝器中。在一些實例中，視訊解碼器30儲存用於區塊3之運動向量資訊作為用於區塊2及區塊3兩者之運動向量。在此狀況下，用於區塊2之運動向量資訊遺失，且用於區塊3之運動向量資訊保留。
換言之，對於用於行緩衝器縮減之運動向量資訊壓縮，視訊解碼器30不將用於區塊0及區塊1兩者之運動向量資訊儲存於行緩衝器82中。實情為，視訊解碼器30將區塊1之運動向量資訊儲存於行緩衝器82中，且區塊0之運動向量資訊可遺失。相似地，視訊解碼器30將區 塊3之運動向量資訊儲存於行緩衝器82中，且區塊2之運動向量資訊可遺失。
在圖8中，暗化區塊指示運動向量資訊被儲存之區塊。箭頭指示運動向量資訊現在係由經儲存運動向量資訊表示之區塊。如所說明，因為用於區塊之一半之運動向量資訊遺失且係由用於區塊之另一半之運動向量資訊表示，所以相比於用於區塊之全部之運動向量資訊被儲存的狀況，在行緩衝器82中需要記憶體之僅一半。
關於圖8所描述之技術為一種用於實施運動向量資訊壓縮之方式。可存在用於實施用於行緩衝器縮減之運動向量資訊壓縮之其他方式，且本發明所描述之技術不限於用於實施用於行緩衝器縮減之運動向量資訊壓縮之任何特定方式。
根據本發明所描述之技術，視訊解碼器30可無需判定用於區塊0至15中每一者之運動向量資訊，此係因為行緩衝器82儲存用於區塊之一區而非用於該區內之所有區塊的運動資訊。舉例而言，區84A至84H各自表示8×4像素區。舉例而言，區84A表示第一8×4區，其中第一8×4區包括區塊0及1。在此實例中，區塊0之運動向量資訊被視為區84A之運動向量資訊。區84B表示第二8×4區，其中第二8×4區包括區塊2及3，等等。在此實例中，區塊3之運動向量資訊被視為區84B之運動向量資訊，等等。
此外，儘管圖8說明8×4區，但本發明之態樣並不受到如此限制。在其他實例中，區可為4×8區，其中行緩衝器82儲存用於駐留於垂直線而非水平線中之區塊之運動向量資訊。相似地，空間上相鄰區塊之4×4區塊大小亦係出於說明之目的而被提供且不應被視為限制性的。
在圖8之實例中，視訊解碼器30可判定區84A至84H中哪一者包括空間上相鄰於當前區塊之區塊。接著，視訊解碼器30判定用於包括空 間上相鄰於當前區塊之區塊之區的運動向量資訊，而非判定用於該區內之空間上相鄰區塊中每一者的運動向量資訊。若用於該區之運動向量為像差運動向量，則視訊解碼器30可將像差運動向量包括於用於當前區塊之候選像差向量清單中。在此實例中，用於該區之運動向量表示用於該區內之複數個區塊之單一運動向量。
在一些實例中，可存在用於包括空間上相鄰區塊之區之兩個運動向量，一個運動向量指代RefPicList0且另一運動向量指代RefPicList1。在此等實例中，存在用於包括空間上相鄰區塊之區內之所有區塊的指代RefPicList0之一個單一運動向量，及用於包括空間上相鄰區塊之區內之所有區塊的指代RefPicList1之一個單一運動向量。
舉例而言，返回參看圖7，假定圖7之區塊66對應於圖8之區塊2，且區塊68對應於圖8之區塊3。在此實例中，行緩衝器82儲存用於像差運動向量80之運動向量資訊及識別圖像74之參考索引，而不儲存用於時間運動向量78之運動向量資訊及識別圖像70之參考索引。
在此實例中，視訊解碼器30無需判定用於區塊66之運動向量資訊及用於區塊68之運動向量資訊。取而代之，視訊解碼器30可判定用於區84B之運動向量資訊，其中區84B包括區塊66及區塊68。此情形允許視訊解碼器30執行運動向量資訊之較少判定，藉此增進有效視訊寫碼。在此狀況下，區84B之運動向量資訊指示出運動向量為像差運動向量80。因為用於區84之運動向量為像差運動向量，所以視訊解碼器30將像差運動向量80作為用於區塊64之候選像差向量包括於用於區塊64之候選像差向量清單中。像差運動向量80可被稱作空間像差向量(SDV)，此係因為像差運動向量80為用於空間上相鄰區84之像差向量。又，若用於空間上相鄰區塊(例如，空間上相鄰區)之像差運動向量80被判定為用於區塊64之像差向量(例如，因為像差運動向量80係選自候選像差向量清單)，則視訊解碼器30可使用像差運動向量80作 為用於區塊64之像差向量以用於框間預測區塊64。舉例而言，視訊解碼器30可使用像差運動向量80作為區塊64之像差向量來對區塊64實施AMVP或合併模式。
在圖7及圖8之實例中，視訊解碼器30利用空間上相鄰區塊以判定用於當前區塊之候選像差向量。在一些實例中，代替利用空間上相鄰區塊或除了利用空間上相鄰區塊以外，視訊解碼器30利用時間上相鄰區塊以判定用於當前區塊之另一候選像差向量。
圖9為說明判定候選像差向量之一實例的概念圖。圖9說明包括待框間預測之區塊88的視圖1中之圖像86。存在用於圖像86之三個可能參考圖像：圖像96及圖像106，此係因為此等圖像屬於與圖像86相同之視圖；以及圖像90，此係因為圖像90係在不同視圖(視圖0)中，但在與圖像86相同之存取單元中(例如，圖像86及圖像90之時間執行個體相同)。
在此實例中，視訊解碼器30判定用於參考圖像90、96及106中之三個同置區塊(亦即，區塊92、區塊98及區塊108)之運動向量資訊。舉例而言，視訊解碼器30判定用於同置區塊92、98及108中任一者之運動向量是否為像差運動向量。
在圖9中，區塊108被框內預測，且因此未用像差運動向量予以預測。區塊92係用運動向量94予以框間預測。然而，運動向量94為時間運動向量，此係因為運動向量94指代圖像110中之區塊112，且圖像110係在與圖像90相同之視圖(亦即，視圖0)中。
圖像96之區塊98係相對於圖像102之區塊104予以框間預測，如由運動向量100所說明。在此實例中，圖像96係在視圖1中，且圖像102係在不同視圖(亦即，視圖0)中。因此，運動向量100為像差運動向量。在此實例中，視訊解碼器30將像差運動向量100作為候選像差向量包括於候選像差向量清單中。像差運動向量100被稱作時間像差 向量(TDV)，此係因為像差運動向量100為用於同置區塊之運動向量。
圖9說明與區塊88同置之同置區塊之一些實例。可存在同置區塊之其他實例。舉例而言，與當前區塊同置之區塊之一實例為定位於與當前區塊在其當前圖像中所處之區相同的區中之同置圖像中的區塊。此區被稱作同置區(co-located region,CR)。換言之，同置區塊之一實例為同置圖像之CR中之區塊。
同置區塊之另一實例為涵蓋同置區之最大寫碼單元(LCU)。舉例而言，LCU在大小方面可大於當前區塊，且因此可在同置圖像中包圍相比於由當前圖像中之當前區塊包圍之區域較多的區域。此LCU所涵蓋之區被稱作同置LCU(CLCU)。
作為同置區塊之又一實例，視訊解碼器30識別定位於同置圖像中之同置區之右底部處的區塊。同置區塊之此實例被稱作BR，BR為右底部區塊之縮寫。圖10中進一步說明同置區塊之實例。作為同置區塊之又一實例，定位於同置圖像中之任何區塊可用以導出候選像差向量。
圖10為說明與待預測之當前區塊同置之同置區塊之實例的概念圖。圖10說明圖像114及圖像118。在一些實例中，圖像114及圖像118屬於同一視圖及不同存取單元。在一些實例中，圖像114及圖像118屬於不同視圖及同一存取單元。在任一實例中，圖像118被視為與圖像114同置。或者，僅對於第一實例，圖像118被視為與圖像114同置(亦即，屬於同一視圖及不同存取單元)。
圖像114包括待使用(例如)合併模式或AMVP模式或殘差預測予以框間預測之區塊116。為了實施合併模式或AMVP模式，視訊解碼器30判定用於區塊116之候選像差向量，其中該等候選像差向量中之一或多者為來自被視圖間預測之同置區塊之像差運動向量。
在圖10中，區塊120為與區塊116同置之同置區塊之一實例。舉例而言，區塊120在圖像118中涵蓋區塊116在圖像114中所涵蓋之相同區。區塊120被稱作同置區(CR)區塊(例如，涵蓋同置圖像中之同置區之區塊)。
區塊122為與區塊116同置之同置區塊之另一實例。舉例而言，區塊122為大小大於或等於區塊116之大小的最大寫碼單元(LCU)。在圖10之實例中，區塊122在圖像118中涵蓋多於區塊116在圖像114中所涵蓋之區域的區域。然而，區塊122在圖像118中涵蓋區塊116在圖像114中所涵蓋之至少相同區域。在此狀況下，區塊122為涵蓋區塊116之同置區之LCU，且被稱作CLCU區塊。
區塊124為與區塊116同置之同置區塊之又一實例。舉例而言，區塊124定位於圖像118中之同置區之右底部，該同置區係與駐留有區塊116的圖像114中之區同置。區塊124被稱作BR區塊。
在一些實例中，為了判定用於區塊116之候選像差向量，視訊解碼器30判定用於CR區塊120、CLCU區塊122及BR區塊124中之一或多者之運動向量資訊。舉例而言，視訊解碼器30判定CR區塊120、CLCU區塊122及BR區塊124內之4×4區塊中每一者是否被視圖間預測。視訊解碼器30可將用於CR區塊120、CLCU區塊122及BR區塊124內之經視圖間預測4×4區塊之像差運動向量包括於用於區塊116之候選像差向量清單中。
然而，判定用於CR區塊120、CLCU區塊122及BR區塊124內之每一4×4區塊之運動向量資訊可需要視訊解碼器30不必要地判定用於多於所需要區塊之同置區塊之運動向量資訊。舉例而言，相似於具有空間上相鄰區塊之實例，視訊解碼器30可不儲存用於同置圖像內之每一4×4區塊之運動向量資訊。然而，可有可能的是，在一些實例中，視訊解碼器30儲存用於同置圖像內之4×4區塊之運動向量資訊。
舉例而言，在視訊解碼器30框間預測或框內預測同置圖像內之區塊之後，視訊解碼器30可對同置圖像中之經框間預測4×4區塊之運動向量應用16倍壓縮。作為一實例，為了應用16倍壓縮，視訊解碼器30基於16個4×4區塊(在水平方向上之4個4×4區塊及在垂直方向上之4個4×4區塊)來產生一個運動向量資訊以引起用於16×16區之運動向量。舉例而言，視訊解碼器30可選擇一個16×16區之左頂部4×4區塊之運動資訊以表示所有16個4×4區塊。視訊解碼器30將用於16×16區之運動向量儲存於視訊解碼器30之緩衝器中。此緩衝器可與行緩衝器82相同，或為視訊解碼器30之不同緩衝器。
換言之，同置圖像中之16×16區包括16個4×4區塊。用於此等16個4×4區塊之運動向量資訊可不同。然而，對於用於記憶體頻寬縮減之運動向量壓縮，用於此等16個4×4區塊中每一者之個別運動向量資訊可遺失，且用用於包圍16個4×4區塊之16×16區之一個運動向量進行替換。用於16×16區之此運動向量表示用於16×16區內之複數個4×4區塊之單一運動向量。此單一運動向量可指代兩個參考圖像清單(RefPicList0或RefPicList1)中之一者。在一些實例中，可存在用於16×16區之兩個運動向量，一個運動向量指代RefPicList0且另一運動向量指代RefPicList1。在此等實例中，存在用於16×16區內之所有區塊的指代RefPicList0之一個單一運動向量，及用於16×16區內之所有區塊的指代RefPicList1之一個單一運動向量。在未使用壓縮之實例中，該區可包括一個4×4區塊。
此外，為包括16個4×4區塊之16×16區的區係出於說明之目的而被提供，且不應被考慮。該區可具有不同於16×16之大小，且視訊解碼器30可出於16倍壓縮而在水平方向及垂直方向兩者上將運動向量場縮小取樣達因數4。相似地，時間上相鄰區塊之4×4區塊大小亦係出於說明之目的而被提供且不應被視為限制性的。
根據本發明所描述之技術，視訊解碼器30可無需判定用於同置區塊內之每一4×4區塊之運動向量資訊。實情為，視訊解碼器30可判定用於包括同置區塊內之4×4區塊之16×16區的運動向量資訊。舉例而言，返回參看圖10，視訊解碼器30可無需判定用於CR區塊120、CLCU區塊122或BR區塊124內之每一4×4區塊之運動向量資訊以判定該等4×4區塊中任一者是否已用像差運動向量予以視圖間預測。
在此實例中，視訊解碼器30判定用於涵蓋CR區塊120、CLCU區塊122及BR區塊124之該或該等16×16區之運動向量是否為像差運動向量。若用於涵蓋CR區塊120、CLCU區塊122及BR區塊124之該或該等16×16區之運動向量為像差運動向量，則視訊解碼器30將像差運動向量作為候選像差向量包括於區塊116之候選像差向量清單中。又，若用於涵蓋CR區塊120、CLCU區塊122及BR區塊124之該或該等區(例如，時間上相鄰區)之像差運動向量被判定為用於區塊88之像差向量(例如，因為該像差運動向量係選自候選像差向量清單)，則視訊解碼器30可使用此像差運動向量作為用於區塊88之像差向量以用於框間預測區塊88。舉例而言，視訊解碼器30可使用像差運動向量作為區塊88之像差向量來對區塊88實施AMVP或合併模式。
圖7至圖10所說明之實例描述視訊解碼器30判定添加至候選像差向量清單之候選像差向量的技術。舉例而言，圖7及圖8描述將空間像差向量(SDV)包括至候選像差向量清單中。圖9及圖10描述將時間像差向量(TDV)包括至候選像差向量清單中。若視訊解碼器30選擇SDV或TDV作為用於當前區塊之像差向量，則視訊解碼器30使用選定SDV或TDV像差向量來對當前區塊實施合併模式或AMVP模式以識別運動向量資訊用以判定用於當前區塊之運動向量資訊的區塊。
然而，本發明所描述之技術並不受到如此限制。在一些實例中，視訊解碼器30亦判定隱式像差向量(IDV)，且將IDV包括於候選 清單向量清單中。IDV為相鄰區塊之像差向量，該相鄰區塊之相鄰區塊係用視圖間運動預測予以寫碼。舉例而言，假定待預測之當前區塊被稱作第一區塊，相鄰於第一區塊之區塊被稱作第二區塊，且相鄰於第二區塊之區塊被稱作第三區塊。
在此實例中，第二區塊係相對於與第二區塊相同之視圖中之圖像予以框間預測。然而，用於第二區塊之運動向量係自第三區塊予以判定。舉例而言，為了判定用於第二區塊之運動向量，視訊解碼器30使用上文所描述之相似技術來判定用於第二區塊之像差向量。視訊解碼器30使用用於第二區塊之像差向量所指代之第三區塊的運動向量作為用於第二區塊之運動向量。在此狀況下，第二區塊之像差向量被稱作隱式像差向量(IDV)，且視訊解碼器30包括此IDV作為用於第一區塊之候選像差向量。
換言之，視訊解碼器30基於空間上及時間上相鄰於當前區塊之區塊來判定上文關於圖7至圖10所描述之SDV及TDV。IDV與SDV及TDV不同之處在於：視訊解碼器30基於空間上及/或時間上相鄰於一區塊之空間上及/或時間上相鄰區塊來判定IDV，且此區塊空間上及/或時間上相鄰於當前區塊。舉例而言，若視訊解碼器30基於由第二區塊之像差向量定位之第三區塊的運動向量來判定用於空間上及/或時間上相鄰區塊(被稱作第二區塊)之運動向量，則視訊解碼器30將該像差向量(被稱作IDV)包括於用於當前區塊(被稱作第一區塊)之候選像差向量清單中。圖11中進一步說明IDV向量。
圖11為說明判定候選像差向量之一實例的概念圖。圖11說明包括區塊128之當前圖像126，其中區塊128為待預測區塊。在圖11中，區塊130相鄰於區塊128，且係用圖像134之區塊136予以框間預測，如由運動向量138所說明。在此實例中，視訊解碼器30使用AMVP模式或合併模式來判定運動向量138，其中視訊解碼器30建構用於區塊130之 候選運動向量預測子清單。在圖11中，視訊解碼器30包括用於區塊130之候選運動向量預測子，其中視訊解碼器30基於空間上相鄰於區塊130之空間上相鄰區塊之像差向量來判定用於區塊130之候選運動向量預測子。換言之，在一些實例中，視訊解碼器30實施本發明所描述之技術以判定用於區塊130之候選運動向量預測子。
舉例而言，視訊解碼器30可能已判定出空間上相鄰於區塊130之區塊係相對於在與包括區塊130之圖像相同之存取單元中指代不同視圖中之區塊的像差運動向量予以視圖間預測。視訊解碼器30接著可能已判定用於不同視圖中之區塊之運動向量。若用於不同視圖中之區塊之運動向量指代在與待用以框間預測區塊130之參考圖像相同之存取單元(例如，相同時間執行個體)中的圖像，則視訊解碼器30可能已使用用於不同視圖中之區塊之運動向量資訊以框間預測區塊130。
舉例而言，在圖11中，區塊132空間上相鄰於區塊130。又，在圖11中，區塊132係由圖像140之區塊142予以視圖間預測，如由像差運動向量144所指示。在此實例中，圖像140及圖像126係在同一存取單元(例如，相同時間執行個體)中，但在不同視圖中；因此，運動向量144為像差運動向量。在此實例中，視訊解碼器30判定出像差運動向量144為用於區塊130之候選像差向量。
為了判定用於區塊130之運動向量，視訊解碼器30判定區塊142(亦即，由用於區塊130之經判定像差向量指代之區塊，其中用於區塊130之經判定像差向量為像差運動向量144)之運動向量。如所說明，區塊142係相對於圖像146之區塊148予以框間預測，如由運動向量150所指示。在此實例中，視訊解碼器30包括運動向量150作為用於區塊130之候選運動向量預測子。舉例而言，視訊編碼器20可能已判定出區塊130應該用圖像134予以框間預測。在此實例中，圖像146係在與圖像134相同之時間執行個體(例如，同一存取單元)中。因此， 運動向量150可為用於區塊130之有效運動向量預測子。
在圖11中，視訊解碼器30判定出運動向量150為用於區塊130之運動向量預測子，且將區塊130之運動向量設定為等於運動向量150。舉例而言，圖11說明運動向量138，其為區塊130之運動向量。在此實例中，視訊解碼器30基於運動向量150來判定運動向量138，如由自運動向量150延伸至運動向量138之虛線所說明。舉例而言，運動向量138繼承運動向量150之運動向量資訊。
在此實例中，因為視訊解碼器30基於經判定像差向量144(亦即，區塊132之像差運動向量，其為區塊130之經判定像差向量)來判定用於區塊130之運動向量，且區塊130空間上相鄰於區塊128，所以視訊解碼器30包括像差運動向量144作為用於區塊128之候選像差向量。在此實例中，像差運動向量144被稱作隱式像差向量(IDV)。此外，在此實例中，因為視訊解碼器30基於隱式像差向量(亦即，像差運動向量144)來判定用於區塊130之運動向量，所以區塊130被稱作隱式像差預測(implicitly disparity predicted,IDP)區塊。
應注意，儘管圖11說明基於空間上相鄰區塊之IDV之實例，但本發明所描述之技術並不受到如此限制。在一些實例中，區塊130可為時間上相鄰區塊，且區塊132可為相鄰於區塊130之空間上或時間上相鄰區塊，而非區塊130及區塊132兩者皆為圖11所說明之空間上相鄰區塊。因此，IDV之一實例為基於空間上相鄰區塊而判定之IDV。IDV之另一實例為基於時間上相鄰區塊而判定之IDV。
此外，根據本發明所描述之技術，視訊解碼器30可考量在判定用於當前區塊之IDV時儲存用於區塊之運動資訊的方式。舉例而言，當IDV係基於空間上相鄰區塊時，視訊解碼器30可判定用於區塊之一區(例如，區塊之8×4區)之運動向量是否為像差運動向量，其中該區包括與包括待框間預測之區塊之圖像相同的圖像中之複數個區塊，且 用於該等區塊中至少一者之運動向量不同於用於其他區塊之運動向量。又，當IDV係基於時間上相鄰區塊時，視訊解碼器30可判定用於區塊之一區(例如，區塊之16×16區)之運動向量是否為像差運動向量，其中該區包括不同於包括待框間預測之區塊之圖像的圖像中之複數個區塊。
因此，視訊解碼器30可判定出當自相鄰於區塊之區(亦即，相鄰於當前區塊之區)之區塊的像差運動向量導出用於該區之運動向量時該區為隱式像差預測區(亦即，圖11之區塊132相鄰於包括圖11之區塊130的區塊之區)。回應於判定出該區為隱式像差預測區，視訊解碼器30可判定相鄰於該區之區塊的像差運動向量是否為用於當前區塊(例如，圖11之區塊128)之像差向量。舉例而言，視訊解碼器30可將相鄰於該區之區塊的像差運動向量包括於候選像差向量清單中，且選擇該像差運動向量。在此實例中，若判定出像差運動向量(亦即，像差運動向量144)為用於區塊128之像差向量，則視訊解碼器30可使用像差運動向量144作為用於區塊128之像差向量來框間預測解碼區塊128。在一些實例中，若用於相鄰區之像差運動向量未被判定為用於區塊128之像差向量(例如，用於空間或時間相鄰區之像差運動向量未被判定為用於區塊128之像差向量，或者空間或時間相鄰區未用像差運動向量予以框間預測)，則視訊解碼器30可使用像差運動向量144作為用於區塊128之像差向量來框間預測解碼區塊128。
以此方式，視訊解碼器30可基於視訊解碼器30儲存用於空間上及/或時間上相鄰於當前區塊之區塊之運動向量資訊的方式來建構用於待預測之當前區塊之候選像差向量清單。此候選像差向量清單可包括一或多個空間像差向量(SDV)、一或多個時間像差向量(TDV)，及/或一或多個隱式像差向量(IDV)。
視訊解碼器30可自候選像差向量清單選擇候選像差向量中之一 者。如本發明所描述，判定用於當前之候選像差向量清單及自該清單選擇候選像差向量可克服上文關於STV及GDV所描述之問題，使得視訊解碼器30能夠以時間有效方式在最小複雜性的情況下判定用於當前區塊之像差向量。
可存在由視訊解碼器30利用以判定選擇哪一候選像差向量之各種可能準則。作為一實例，視訊解碼器30選擇最頻繁出現之候選像差向量。作為另一實例，視訊解碼器30選擇第一候選像差向量(例如，一旦找到候選像差向量，視訊解碼器30就停止尋找候選像差向量)。在此實例中，視訊解碼器30可首先尋找SDV，接著尋找TDV，隨後尋找IDV；然而，SDV、TDV及IDV之次序係出於說明之目的而被提供且不應被視為限制性的。舉例而言，若視訊解碼器30尋找SDV，則SDV可為像差向量。然而，若不存在SDV，但視訊解碼器30尋找TDV，則TDV可為像差向量，等等。
作為另一實例，視訊解碼器30選擇最短候選像差向量，如由視訊解碼器30取得候選像差向量之x分量及y分量之平方的總和及該總和之結果的平方根所判定。一般而言，視訊解碼器30可利用任何技術以自候選像差向量清單選擇候選像差向量，包括自視訊編碼器20接收候選像差向量中之索引值。
視訊解碼器30可基於選定候選像差向量來判定當前區塊之像差向量。舉例而言，視訊解碼器30將選定候選像差向量設定為當前區塊之像差向量。在此實例中，若選定候選像差向量亦包括x分量及y分量兩者，則當前區塊之經判定像差向量可包括x分量及y分量兩者。在一些實例中，視訊解碼器30可將選定候選像差向量之y分量設定為等於0，使得在當前區塊之經判定像差向量中不存在垂直分量。
在一些實例中，視訊解碼器30利用經判定像差向量以識別在不同於當前區塊之視圖的視圖中之圖像中之區塊。視訊解碼器30判定用 於在不同於當前區塊之視圖的視圖中之圖像中之區塊的運動向量。在此實例中，視訊解碼器30將經判定運動向量作為候選運動向量預測子包括於用於當前區塊之候選運動向量預測子清單中。在一些實例中，若經判定運動向量指代與用以框間預測當前圖像之圖像相同之時間執行個體中的圖像，則視訊解碼器30將經判定運動向量作為候選運動向量預測子包括於用於當前圖像之候選運動向量預測子清單中。
視訊解碼器30可基於用於當前區塊之候選運動向量預測子清單來對當前區塊實施合併模式或AMVP模式。舉例而言，視訊解碼器30可選擇運動向量預測子中之一者，諸如(作為一實例)，藉由自視訊編碼器20接收運動向量預測子清單中之索引值。視訊解碼器30接著以上文所描述之方式利用用於選定候選運動向量預測子之運動向量資訊。
又，在一些實例中，視訊解碼器30亦包括經判定像差向量作為候選運動向量預測子。舉例而言，如上文所描述，候選運動向量預測子清單提供使視訊解碼器30判定用於當前區塊之運動向量而未必接收定義該運動向量之語法元素的方式。在一些狀況下，經判定像差向量(例如，來自候選像差向量清單之選定像差向量)亦可為用於當前區塊之合適候選運動向量預測子，且可為候選運動向量預測子。
在經判定像差向量為候選運動向量之實例中，經判定像差向量被視為像差運動向量。此係因為：在此等實例中，直接地使用像差向量所指代之區塊以框間預測當前區塊(例如，視訊編碼器20對像差向量所指代之區塊與當前區塊之間的殘差進行傳信)。
在一些實例中，視訊解碼器30修改經判定像差向量。舉例而言，如上文所描述，用於當前區塊之經判定像差向量可包括x分量及y分量兩者。在一些實例中，視訊解碼器30將經判定像差向量之y分量設定為等於0。視訊解碼器30包括經修改像差向量作為用於當前區塊之候選運動向量預測子。
在一些實例中，視訊解碼器30實施合併模式或AMVP模式之平行處理。舉例而言，在HEVC中，視訊解碼器30可將最大寫碼單元(LCU)劃分成平行運動估計區(MER)，且可僅允許屬於不同MER的相鄰於當前區塊之彼等區塊包括於用於運動向量預測子清單之建構程序中。
視訊編碼器20可在圖像參數集(PPS)中定義MER之大小。舉例而言，PPS中之log2_parallel_merge_level_minus2語法元素定義MER之大小。此外，當MER大小大於N×N以使得2N×2N為寫碼單元(CU)之最小大小時，HEVC規範可定義出MER以空間上相鄰區塊(若其在與當前區塊相同之MER內部)被視為不可用之方式起作用。
又，以上技術係關於視圖間運動預測予以描述；然而，此等技術可擴充至視圖間殘差預測。舉例而言，在以HEVC為基礎之3DV中啟用視圖間殘差預測。在以HEVC為基礎之3DV中，使用自深度圖判定之像差向量以將殘餘參考區塊定位於殘餘參考視圖中。當針對殘餘區塊啟用殘差預測時，除了運動補償預測子及用於此區塊之經傳信殘差以外，亦加上殘餘區塊。
在一些實例中，對於視圖間殘差預測，視訊解碼器30可以上文所描述之方式(例如，基於SDV、TDV及/或IDV)來判定像差向量。視訊解碼器30可判定像差向量所指代之區塊。在此實例中，對於視圖間殘差預測，視訊解碼器30可使用經判定區塊(亦即，像差向量所指代之區塊)之殘餘資訊以框間預測當前區塊之殘餘資訊。視訊編碼器20可實施相似技術。
如上文所描述，依賴於自深度圖判定之像差向量計算上複雜且耗時。因此，視訊解碼器30可利用上文所描述的用於判定像差向量之技術，且接著實施相似於上文所描述之技術的針對殘餘區塊之視圖間殘差預測。
以上實例已描述視訊解碼器30基於空間上相鄰區塊及時間上相鄰區塊來判定用於當前區塊之像差向量的方式。以下實例描述視訊解碼器30判定將評估哪些空間上相鄰區塊及時間上相鄰區塊以判定哪些相鄰區塊係用像差向量予以視圖間預測的方式。
舉例而言，對於給定當前視圖及參考視圖(例如，目標參考視圖或任何其他相依視圖)，視訊解碼器30可包括候選像差向量，而無論何時自空間上相鄰區塊、自時間上相鄰區塊或自相鄰區塊之相鄰區塊(諸如，對於隱式像差向量)找到候選像差向量。在一些實例中，視訊解碼器30首先包括自空間上相鄰區塊判定之像差向量，且接著將自時間上相鄰區塊判定之像差向量包括於候選像差向量清單中，隨後包括自相鄰區塊之相鄰區塊判定之像差向量。在一些實例中，視訊解碼器30首先包括自時間上相鄰區塊判定之像差向量，且接著將自空間上相鄰區塊判定之像差向量包括於候選像差向量清單中，隨後包括自相鄰區塊或相鄰區塊判定之像差向量。
在一些實例中，視訊解碼器30可首先判定空間上相鄰區塊中任一者是否用像差運動向量予以視圖間預測，且若找到像差運動向量，則視訊解碼器30可將彼像差運動向量包括於像差向量候選者清單中，且可不繼續進行判定是否用像差運動向量來視圖間預測時間上相鄰區塊中任一者。在一些實例中，視訊解碼器30可首先判定時間上相鄰區塊中任一者是否用像差運動向量予以視圖間預測，且若找到像差運動向量，則視訊解碼器30可將彼像差運動向量包括於像差向量候選者清單中，且可不繼續進行判定是否用像差運動向量來視圖間預測空間上相鄰區塊中任一者。空間/時間相鄰區塊及相鄰區塊之相鄰區塊的檢查次序可呈任何排列。
對於空間上相鄰區塊或時間上相鄰區塊，視訊解碼器30可判定用於空間上相鄰區塊或時間上相鄰區塊之運動向量是否指代 RefPicList0中之圖像，且若該運動向量為像差運動向量，則視訊解碼器30可將此像差運動向量包括於候選像差向量清單中。否則，若用於空間上相鄰區塊或時間上相鄰區塊之運動向量指代RefPicList1/RefPicListC中之圖像，則視訊解碼器30可將此像差運動向量包括於候選像差向量清單中。在先前實例中，視訊解碼器30首先檢查RefPicList0，且接著檢查RefPicList1/RefPicListC。在一些實例中，視訊解碼器30首先檢查RefPicList1/RefPicListC，且接著檢查RefPicList0。在一些實例中，可檢查僅一個參考圖像清單，例如，RefPicList0或RefPicList1。
對於空間上相鄰區塊，視訊解碼器30可按任何次序(例如，自左頂部開始且延伸至右頂部，或自右頂部開始且延伸至左頂部)判定用於相鄰區之運動向量是否為像差運動向量。在一些實例中，在視訊解碼器30未必判定區中之運動向量的情況下，視訊解碼器30可按任何次序判定空間上相鄰4×4區塊中任一者之運動向量是否為用於AMVP模式或合併模式下之像差運動向量。舉例而言，視訊解碼器30檢查4×4空間上相鄰區塊之次序可按由HEVC標準針對不使用視圖間運動預測之實例而定義之次序。舉例而言，對於合併模式，針對不使用視圖間運動預測之實例，HEVC定義出視訊解碼器30按如圖4所說明的A1、B1、B0、A0及B2之次序來檢查運動向量。在此實例中，視訊解碼器30可判定用於A1、B1、B0、A0及B2(按彼次序)中任一者之運動向量是否為像差運動向量。
或者，視訊解碼器30可利用按以上5個區塊(亦即，A1、B1、B0、A0及B2)之次序之任何排列或空間上相鄰區之任何排列。在一些實例中，視訊解碼器30可判定用於相鄰區塊或相鄰區之子集之運動向量是否為像差運動向量，且在一些實例中，按任何排列進行判定。
又，若空間上相鄰區塊係在與待預測之當前區塊相同之MER內 部，則視訊解碼器30不判定彼空間上相鄰區塊是否用像差運動向量予以視圖間預測。然而，本發明所描述之技術並不受到如此限制。在一些其他實例中，若空間上相鄰區塊係在與待預測之當前區塊相同之MER內，則視訊解碼器30判定彼區塊是否用像差運動向量予以視圖間預測。
如上文所描述，在一些實例中，可沒有必要使視訊解碼器30判定是否逐區塊地視圖間預測空間上相鄰區塊，但可判定是否逐區地視圖間預測空間上相鄰區塊。舉例而言，一區可包括複數個區塊。作為一實例，一區塊可為4×4，且該區可為包圍8×4區之兩個區塊。區塊及區之其他大小可為可能的，且本發明所描述之技術不應被視為限於4×4區塊及8×4區之實例。
對於時間上相鄰區塊，視訊解碼器30可判定評估哪些同置圖像及評估該等同置圖像內哪些區塊以判定是否用像差運動向量來視圖間預測時間上相鄰區塊。舉例而言，在一些實例中，為了選擇同置圖像，視訊解碼器30評估包括當前區塊之當前圖像之參考圖像清單中識別的圖像。在此等實例中，視訊解碼器30按遞增次序(例如，自第一圖像開始，且在清單中之最後圖像上結束)評估參考圖像清單中識別之圖像。在一些實例中，視訊解碼器30按遞減次序(例如，自清單中之最後圖像開始，且在清單中之第一圖像上結束)評估參考圖像清單中識別之圖像。
作為一實例，由視訊編碼器20傳信之num_ref_idx_10_active_minus1語法元素識別RefPicList0中之項目之數目，且由視訊編碼器20傳信之num_ref_idx_11_active_minus1語法元素或num_ref_idx_1C_active_minus1分別識別RefPicList1或RefPicListC中之項目之數目。num_ref_idx_1C_active_minus1語法元素可不為當前HEVC標準之部分，但此處被包括作為額外實例。出於說明之目的， 用為RefPicList0及RefPicList1之參考圖像清單來描述技術。在此實例中，假設N等於定義參考圖像清單中之項目之數目之此等兩個傳信值中的較大者。又，假設ref_idx指代RefPicList0或RefPicList1中之參考索引。
在一實例中，視訊解碼器30基於上文所描述之collocated_from_10_flag之值來檢查RefPicList0及RefPicList1中識別之圖像。舉例而言，若collocated_from_10_flag為0，則視訊解碼器30首先判定RefPicList0[ref_idx]中識別之圖像(其中ref_idx在0至N之範圍內)是否包括相對於像差運動向量予以視圖間預測之同置區塊。若RefPicList0中無任何圖像中之無任何同置區塊係用像差運動向量予以視圖間預測，則視訊解碼器30判定RefPicList1[ref_idx]中識別之圖像(其中ref_idx在0至N之範圍內)是否包括相對於像差運動向量予以視圖間預測之同置區塊。
若collocated_from_10_flag為1，則視訊解碼器30首先判定RefPicList1[ref_idx]中識別之圖像(其中ref_idx在0至N之範圍內)是否包括相對於像差運動向量予以視圖間預測之同置區塊。若RefPicList1中無任何圖像中之無任何同置區塊係用像差運動向量予以視圖間預測，則視訊解碼器30判定RefPicList0[ref_idx]中識別之圖像(其中ref_idx在0至N之範圍內)是否包括相對於像差運動向量予以視圖間預測之同置區塊。
在一些實例中，視訊解碼器30首先檢查如由RefPicList0[ref_idx]識別的RefPicList0中之任何圖像是否包括相對於像差向量予以視圖間預測之同置區塊而不管collocated_from_10_flag之值，且接著檢查如由RefPicList1[ref_idx]識別的RefPicList1中之任何圖像是否包括用像差向量予以視圖間預測之同置區塊而不管collocated_from_10_flag之值。在一些實例中，視訊解碼器30首先檢查如由RefPicList1[ref_idx]識別 的RefPicList1中之任何圖像是否包括相對於像差向量予以視圖間預測之同置區塊而不管collocated_from_10_flag之值，且接著檢查如由RefPicList0[ref_idx]識別的RefPicList0中之任何圖像是否包括用像差向量予以視圖間預測之同置區塊而不管collocated_from_10_flag之值。
當檢查RefPicList0或RefPicList1中之圖像時，若該等圖像中之一者係針對不同於當前區塊之視圖的視圖中之圖像，則視訊解碼器30可不判定在此圖像中是否存在用像差向量予以視圖間預測之任何同置區塊(例如，可跳過參考圖像清單中來自不同視圖之圖像)。或者，視訊解碼器30可判定不同於當前圖像之視圖的視圖中之圖像是否包括用像差運動向量予以視圖間預測之同置區塊。舉例而言，不同於當前區塊之視圖的視圖中之圖像可為與包括當前視圖之圖像相同的存取單元中之經先前解碼圖像。
在一些實例中，視訊解碼器30可判定不同於當前圖像之視圖的視圖中之圖像是否包括用像差運動向量予以視圖間預測之同置區塊，即使彼圖像未包括於RefPicList0或RefPicList1中仍如此。在此等實例中，在一些情況下，可有可能的是，存在具有在與包括當前區塊之圖像相同的存取單元中之圖像的多個視圖。對於此等狀況，視訊解碼器30可按視圖次序索引之遞減次序檢查圖像。舉例而言，視訊解碼器30可判定具有最高視圖次序索引之視圖中之圖像是否包括用像差運動向量予以視圖間預測之同置區塊，隨後判定具有第二最高視圖次序索引之視圖中之圖像是否包括用像差運動向量予以視圖間預測之同置區塊，等等。
在另一實例中，視訊解碼器30判定用於在不同視圖中之圖像中每一者之視圖識別符與用於當前區塊之視圖識別符之間的差。視訊解碼器30基於該差而按遞增次序檢查圖像。舉例而言，假定存在各自在與包括當前區塊之當前圖像相同之存取單元中的第一視圖中之圖像及 第二視圖中之圖像，且用於第一視圖之視圖識別符與用於當前視圖之視圖識別符之間的差小於用於第二視圖之視圖識別符與用於當前視圖之視圖識別符之間的差。在此狀況下，視訊解碼器30可首先判定第一視圖中之圖像中之同置區塊中任一者是否用像差向量予以視圖間預測，且若否，則判定第二視圖中之圖像中之同置區塊中任一者是否用像差向量予以視圖間預測。
在一些實例中，視訊解碼器30僅檢查參考圖像清單中識別之圖像子集以判定該等圖像中任一者是否包括用像差運動向量予以視圖間預測之同置區塊。在一些實例中，此圖像子集可包括用相對較小參考索引予以識別之圖像(例如，RefPicList0及RefPicList1中用參考索引0及參考索引1予以識別之圖像)。換言之，視訊解碼器30可檢查RefPicList0及RefPicList1之截斷版本中識別之圖像。
上文描述供視訊解碼器30檢查同置圖像以識別用像差運動向量予以視圖間預測之同置區塊的次序之一些實例方式。下文描述由視訊解碼器30在每一圖像中檢查以識別用像差運動向量予以視圖間預測之同置區塊的同置區塊。
如上文所描述，可存在同置區塊之三個實例(例如，CR區塊、CLCU區塊及BR區塊，如上文關於圖10所描述)。在一些實例中，視訊解碼器30可檢查CR區塊、CLCU區塊及BR區塊中每一者以判定哪些同置區塊係用像差運動向量予以視圖間預測。在一些實例中，視訊解碼器30可檢查CR區塊、CLCU區塊及BR區塊中之一或多者，但不檢查所有三個區塊。舉例而言，視訊解碼器30在一情況下可不檢查BR區塊、在一情況下可不檢查CR區塊，且在一情況下可不檢查CLCU區塊。
在一些實例中，視訊解碼器30檢查同置區塊之三個實例的次序對於不同視圖中之圖像不同。舉例而言，對於第一視圖中之圖像，視 訊解碼器30首先檢查CR區塊，隨後檢查CLCU區塊，且接著檢查BR區塊，以判定此等區塊中任一者是否用像差運動向量予以視圖間預測。對於第二視圖中之圖像，視訊解碼器30首先檢查BR區塊，隨後檢查CR區塊，且接著檢查CLCU區塊，以判定此等區塊中任一者是否用像差運動向量予以視圖間預測。
對於每一CR區塊或CLCU區塊，視訊解碼器30可光柵掃描CR區塊或CLCU區塊中之每一4×4區塊以判定該等4×4區塊中任一者是否用像差運動向量予以視圖間預測。在視訊解碼器30光柵掃描CLCU區塊之實例中，視訊解碼器30可跳過CR區塊之4×4區塊，且不判定CR區塊之4×4區塊中任一者是否用像差運動向量予以視圖間預測。
然而，檢查每一4×4時間上相鄰區塊可並非必要的。舉例而言，如上文所描述，視訊解碼器30可歸因於運動向量壓縮而儲存用於包括16個4×4區塊之一個16×16區之運動向量資訊，而非用於該等4×4區塊中每一者之運動向量資訊。在此等實例中，視訊解碼器30可按光柵掃描次序檢查16×16區以判定用於16×16區之運動向量是否為像差運動向量。在同置圖像位於不同存取單元中但位於同一視圖中之實例中，及在同置圖像位於同一存取單元中但位於不同視圖中之實例中，視訊解碼器30可在16×16區中進行檢查。
16×16區係作為一實例被描述且不應被視為限制性的。在一些實例中，該區可大於或小於16×16，且可基於視訊解碼器30壓縮用於時間上相鄰區塊(例如，在同一視圖但不同時間執行個體中之圖像中之區塊，或在不同視圖但相同時間執行個體中之圖像中之區塊)之運動向量資訊的方式。
在一些實例中，視訊解碼器30可在N×N區塊上之同置區塊上進行光柵掃描，其中2N×2N為最小寫碼單元(CU)之大小。在一些實例中，視訊解碼器30可在預測單元(PU)上進行光柵掃描。
根據本發明所描述之技術，在識別至少一像差運動向量(例如，基於空間上相鄰區塊及時間上相鄰區塊之掃描)之後，視訊解碼器30可出於不同目的而利用該像差運動向量。作為一實例，視訊解碼器30可將像差運動向量包括於用於當前區塊之候選像差向量清單中，且對於AMVP模式及合併模式，用於由選定候選像差向量指代之區塊之運動向量資訊包括於候選運動向量預測子清單中。作為另一實例，視訊解碼器30可將像差運動向量包括於候選運動向量預測子清單中。在此實例中，在一些情況下，視訊解碼器30可藉由將像差運動向量之y分量設定為等於零來修改像差運動向量。
儘管以上實例技術係根據視訊解碼器30之觀點予以描述，但本發明所描述之技術並不受到如此限制。一般而言，視訊編碼器20可經組態以實施相似於上文關於視訊解碼器30而描述之技術的技術。此外，在一些實例中，視訊解碼器30經組態以實施本發明所描述之技術，且視訊編碼器20並非如此。在一些實例中，視訊編碼器20經組態以實施本發明所描述之技術，且視訊解碼器30並非如此。在一些實例中，視訊編碼器20及視訊解碼器30兩者經組態以實施本發明所描述之技術。
因此，本發明描述經組態以判定用於第一視圖中之圖像中之區的運動向量是否為像差運動向量的視訊寫碼器(例如，視訊編碼器20及/或視訊解碼器30)。在此實例中，該區時間上或空間上相鄰於待預測之當前區塊。舉例而言，該區包括一或多個時間上或空間上相鄰區塊，且用於此區之運動向量表示針對一個參考圖像清單的用於複數個時間上或空間上相鄰區塊之單一運動向量。舉例而言，若自兩個參考圖像清單予以框間預測，則用於該區之一個運動向量表示針對一個參考圖像清單(例如，RefPicList0或RefPicList1中之一者)的用於一或多個區塊之單一運動向量，且用於該區之另一運動向量表示針對另一參 考圖像清單(例如，RefPicList0或RefPicList1中之另一者)的用於一或多個區塊之單一運動向量。視訊寫碼器經進一步組態以將像差運動向量包括於用於當前區塊之候選像差向量清單中。又，在一些實例中，當前區塊為瞬時解碼器再新(IDR)或清潔隨機存取(CRA)圖像之區塊。
在區為空間上相鄰區之實例中，該區可為包括兩個4×4區塊之8×4區。在此實例中，包括空間上相鄰區之圖像亦包括待預測之當前區塊。在區為時間上相鄰區之實例中，該區可為包括16個4×4區塊之16×16區。在此實例中，包括時間上相鄰區之圖像不包括當前區塊。如上文所描述，若壓縮未用於儲存用於時間上及/或空間上相鄰區塊之運動向量資訊，則空間上相鄰區及/或時間上相鄰區可包括一個區塊而非複數個區塊。
根據本發明所描述之技術，視訊寫碼器可經組態以判定參考圖像清單(例如，RefPicList0及RefPicList1中之一者或兩者)中識別之圖像中之時間上相鄰區是否用像差運動向量予以視圖間預測。舉例而言，在視訊寫碼器判定第一圖像之區是否被視圖間預測之後，視訊寫碼器判定第二圖像之區是否被視圖間預測。若第二圖像之區被視圖間預測，則視訊寫碼器將用於第二圖像之區之像差運動向量包括於用於當前區塊之候選像差向量清單中。
在此實例中，第一圖像及第二圖像兩者屬於一參考圖像清單。又，在一些實例中，該參考圖像清單按遞增次序識別第一圖像及第二圖像。舉例而言，識別參考圖像清單中之第一圖像的參考索引小於識別參考圖像清單中之第二圖像的參考索引。換言之，在參考圖像清單中，第一圖像係早於第二圖像被識別。
此外，視訊寫碼器可出於視圖間預測目的(諸如，對於合併模式及AMVP模式)而利用像差運動向量。舉例而言，視訊寫碼器將像差運動向量設定為用於當前區塊之像差向量。視訊寫碼器判定像差向量 所指代之區塊。視訊寫碼器亦判定用於像差向量所指代之區塊之運動向量，且將經判定運動向量包括於候選運動向量預測子清單中。視訊寫碼器接著可基於該等候選運動向量預測子中之一者來框間預測當前區塊。
在一些實例中，視訊寫碼器將像差運動向量包括於候選運動向量預測子清單中。舉例而言，視訊寫碼器藉由將像差運動向量之y分量設定為等於零來修改像差運動向量，且將經修改像差運動向量包括於候選運動向量預測子清單中。
在一些實例中，視訊寫碼器可實施用於視圖間殘差預測的本發明所描述之技術。舉例而言，視訊寫碼器可判定像差向量所指代之區塊，且可使用像差向量所指代之區塊(亦即，經判定區塊)之殘餘資訊以框間預測當前區塊之殘餘資訊。
圖12為說明可實施本發明所描述之技術之視訊編碼器之實例的方塊圖。舉例而言，圖12說明可執行視訊片段內之視訊區塊之框內寫碼及框間寫碼的視訊編碼器20。舉例而言，視訊編碼器20可執行框間預測編碼或框內預測編碼。框內寫碼依賴於空間預測以縮減或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以縮減或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。框內模式(I模式)可指代若干以空間為基礎之壓縮模式中任一者。諸如單向預測(P模式)或雙向預測(B模式)之框間模式可指代若干以時間為基礎之壓縮模式中任一者。
在圖12之實例中，視訊編碼器20包括分割單元152、預測處理單元154、參考圖像記憶體176、求和器162、變換處理單元164、量化處理單元166及熵編碼單元168。預測處理單元154包括運動估計單元156、運動補償單元158及框內預測單元160。對於視訊區塊重新建構，視訊編碼器20亦包括反量化處理單元170、反變換處理單元172及 求和器174。亦可包括解區塊濾波器(圖12中未圖示)以對區塊邊界進行濾波以自經重新建構視訊移除方塊效應假影。視需要，解區塊濾波器通常將對求和器174之輸出進行濾波。除瞭解區塊濾波器以外，亦可使用額外迴路濾波器(迴路內或迴路後)。參考圖像記憶體176為經解碼圖像緩衝器(DPB)之一實例。
如圖12所示，視訊編碼器20接收視訊資料，且分割單元152將該資料分割成視訊區塊。此分割亦可包括分割成片段、影像塊(tile)或其他較大單元，以及視訊區塊分割(例如，根據LCU及CU之四元樹結構)。視訊編碼器20通常說明編碼待編碼之視訊片段內之視訊區塊的組件。該片段可劃分成多個視訊區塊(且可能地劃分成被稱作影像塊之視訊區塊集合)。預測處理單元154可基於誤差結果(例如，寫碼速率及失真程度)來選擇用於當前視訊區塊之複數個可能寫碼模式中之一者，諸如，複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者。預測處理單元154可將所得經框內寫碼或經框間寫碼區塊提供至求和器162以產生殘餘區塊資料，且將所得經框內寫碼或經框間寫碼區塊提供至求和器174以重新建構經編碼區塊以用作參考圖像。
預測處理單元154內之框內預測單元160可執行當前視訊區塊相對於在與待寫碼之當前區塊相同的圖框或片段中之一或多個相鄰區塊的框內預測性寫碼以提供空間壓縮。預測處理單元154內之運動估計單元156及運動補償單元158執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊的框間預測性寫碼以提供時間壓縮。
運動估計單元156可經組態以根據用於視訊序列之預定型樣來判定用於視訊片段之框間預測模式。該預定型樣可將該序列中之視訊片段指定為P片段或B片段。運動估計單元156及運動補償單元158可高度地整合，但出於概念目的而被分離地說明。由運動估計單元156執行之運動估計為產生估計用於視訊區塊之運動之運動向量的程序。舉 例而言，運動向量可指示當前視訊圖框或圖像內之視訊區塊之PU相對於參考圖像內之預測性區塊的位移。
預測性區塊為被發現在像素差方面接近地匹配於待寫碼之視訊區塊之PU的區塊，像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差量度判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體176中之參考圖像之次整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分率像素位置的值。因此，運動估計單元156可執行相對於全像素位置及分率像素位置之運動搜尋且輸出具有分率像素精度之運動向量。
運動估計單元156藉由比較PU之位置與參考圖像之預測性區塊之位置而計算用於經框間寫碼片段中之視訊區塊之PU的運動向量。參考圖像可選自第一參考圖像清單(RefPicList0)或第二參考圖像清單(RefPicList1)，該等清單中每一者識別儲存於參考圖像記憶體176中之一或多個參考圖像。運動估計單元156將經計算運動向量發送至熵編碼單元168及運動補償單元158。
由運動補償單元158執行之運動補償可涉及基於由運動估計判定之運動向量來提取或產生預測性區塊，從而可能地執行至子像素精度之內插。在接收到用於當前視訊區塊之PU之運動向量後，運動補償單元158即可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。視訊編碼器20藉由自正被寫碼之當前視訊區塊之像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值。像素差值形成用於區塊之殘餘資料，且可包括明度差分量及色度差分量兩者。求和器162表示執行此減去運算之組件。運動補償單元158亦可產生與視訊區塊及視訊片段相關聯之語法元素以供視訊解碼器30用來解碼視訊片段之視訊區塊。運動估計單元156及運動補償單元158亦可一 起實施框間預測，其中區塊係相對於另一視圖中之區塊予以框間預測。
作為由運動估計單元156及運動補償單元158執行之框間預測(如上文所描述)的替代例，框內預測單元160可框內預測當前區塊。詳言之，框內預測單元160可判定用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元160可(例如)在分離編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元160(或在一些實例中，模式選擇單元)可自經測試模式選擇待使用之適當框內預測模式。舉例而言，框內預測單元160可使用針對各種經測試框內預測模式之位元率-失真分析來計算位元率-失真值，且在經測試模式當中選擇具有最佳位元率-失真特性之框內預測模式。位元率-失真分析通常判定經編碼區塊與經編碼以產生經編碼區塊之原始未經編碼區塊之間的失真(或誤差)之量，以及用以產生經編碼區塊之位元速率(亦即，位元之數目)。框內預測單元160可計算來自針對各種經編碼區塊之失真及位元率的比率以判定哪一框內預測模式展現該區塊之最佳位元率-失真值。
在任何狀況下，在選擇用於區塊之框內預測模式之後，框內預測單元160可將指示用於區塊之選定框內預測模式之資訊提供至熵編碼單元168。熵編碼單元168可根據本發明之技術來編碼指示選定框內預測模式之資訊。視訊編碼器20可在可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱作碼字映射表)之經傳輸位元串流組態資料中包括用於各種區塊之編碼上下文的定義，及用於該等上下文中每一者之最可能框內預測模式、框內預測模式索引表及經修改框內預測模式索引表的指示。
在預測處理單元154經由框間預測或框內預測而產生用於當前視訊區塊之預測性區塊之後，視訊編碼器20藉由自當前視訊區塊減去預 測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且應用於變換處理單元164。變換處理單元164使用諸如離散餘弦變換(DCT)或概念上相似變換之變換將殘餘視訊資料變換成殘餘變換係數。變換處理單元164可將殘餘視訊資料自像素域轉換至變換域，諸如，頻域。
變換處理單元164可將所得變換係數發送至量化處理單元166。量化處理單元166量化變換係數以進一步縮減位元速率。該量化程序可縮減與該等係數中之一些或全部相關聯之位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化處理單元166接著可執行包括經量化變換係數之矩陣之掃描。或者，熵編碼單元168可執行該掃描。
在量化之後，熵編碼單元168熵編碼經量化變換係數。舉例而言，熵編碼單元168可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、以語法為基礎之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在由熵編碼單元168進行之熵編碼之後，可將經編碼位元串流傳輸至視訊解碼器30或加以封存以供稍後由視訊解碼器30傳輸或擷取。熵編碼單元168亦可熵編碼用於正被寫碼之當前視訊片段之運動向量及其他語法元素。
反量化處理單元170及反變換處理單元172分別應用反量化及反變換，以在像素域中重新建構殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元158可藉由將殘餘區塊加至參考圖像清單中之一者內的參考圖像中之一者之預測性區塊來計算參考區塊。運動補償單元158亦可將一或多個內插濾波器應用於經重新建構殘餘區塊以計算次整數像素值以供運動估計中使用。求和器174將經重新建構殘餘區塊加至由運動補償單元158產生之經運動補償預測區塊以產生參考區 塊以供儲存於參考圖像記憶體176中。參考區塊可由運動估計單元156及運動補償單元158用作參考區塊以框間預測後續視訊圖框或圖像中之區塊。
以此方式，視訊編碼器20為經組態以實施本發明所描述之一或多種實例技術之視訊編碼器的實例。舉例而言，預測處理單元154可經組態以基於空間上及時間上相鄰區之像差運動向量來判定用於當前區塊之像差向量。預測處理單元154亦可經組態以利用經判定像差向量來判定用於候選運動向量預測子清單之候選運動向量預測子。在一些實例中，預測處理單元154可修改經判定像差向量，且將經修改之經判定像差向量包括於候選運動向量預測子清單中。預測處理單元154亦可經組態用於視圖間運動預測及視圖間殘差預測。
在一些實例中，除了預測處理單元154以外之單元可實施上文所描述之實例。在一些其他實例中，預測處理單元154結合視訊編碼器20之一或多個其他單元可實施上文所描述之實例。在一些實例中，視訊編碼器20之處理器或單元(圖12中未圖示)可單獨地或結合視訊編碼器20之其他單元實施上文所描述之實例。
圖13為說明可實施本發明所描述之技術之視訊解碼器之實例的方塊圖。舉例而言，視訊解碼器30可執行框間預測解碼或框內預測解碼。圖13說明視訊解碼器30。在圖13之實例中，視訊解碼器30包括熵解碼單元180、預測處理單元181、反量化處理單元186、反變換處理單元188、求和器190及參考圖像記憶體192。預測處理單元181包括運動補償單元182及框內預測單元184。在一些實例中，視訊解碼器30可執行與關於來自圖12之視訊編碼器20而描述之編碼遍次大體上互逆的解碼遍次。參考圖像記憶體192為經解碼圖像緩衝器(DPB)之一實例。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊片段之視訊區塊及關聯語法元素的經編碼視訊位元串流。視訊 解碼器30之熵解碼單元180熵解碼該位元串流以產生經量化係數、運動向量及其他語法元素。熵解碼單元180將該等運動向量及其他語法元素轉遞至預測處理單元181。視訊解碼器30可在視訊片段層級及/或視訊區塊層級處接收語法元素。
當視訊片段經寫碼為經框內寫碼(I)片段時，預測處理單元181之框內預測單元184可基於經傳信之框內預測模式及來自當前圖框或圖像之經先前解碼區塊之資料來產生用於當前視訊片段之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即，B或P)片段時，預測處理單元181之運動補償單元182基於自熵解碼單元180接收之運動向量及其他語法元素來產生用於當前視訊片段之視訊區塊的預測性區塊。該等預測性區塊可自參考圖像清單中之一者內的參考圖像中之一者予以產生。視訊解碼器30可基於儲存於參考圖像記憶體192中之參考圖像而使用預設建構技術來建構參考圖像清單(RefPicList0及RefPicList1)。
運動補償單元182藉由剖析運動向量及其他語法元素來判定用於當前視訊片段之視訊區塊的預測資訊，且使用該預測資訊以產生用於正被解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元182使用經接收語法元素中之一些以判定用以寫碼視訊片段之視訊區塊的預測模式(例如，框內預測或框間預測)、框間預測片段類型(例如，B片段或P片段)、用於該片段之參考圖像清單中之一或多者的建構資訊、用於該片段之每一經框間編碼視訊區塊的運動向量、用於該片段之每一經框間寫碼視訊區塊的框間預測狀態，及用以解碼當前視訊片段中之視訊區塊的其他資訊。
運動補償單元182亦可基於內插濾波器來執行內插。運動補償單元182可使用如由視訊編碼器20在視訊區塊之編碼期間使用之內插濾波器以計算參考區塊之次整數像素的內插值。在此狀況下，運動補償 單元182可自經接收語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器以產生預測性區塊。
反量化處理單元186反量化(亦即，解量化)位元串流中提供且由熵解碼單元180解碼之經量化變換係數。該反量化程序可包括使用由視訊編碼器20針對視訊片段中之每一視訊區塊計算的量化參數以判定量化程度，且同樣地判定應該應用之反量化程度。反變換處理單元188將反變換(例如，反DCT、反整數變換或概念上相似反變換程序)應用於變換係數以便在像素域中產生殘餘區塊。
在運動補償單元182基於運動向量及其他語法元素來產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由對來自反變換處理單元188之殘餘區塊與由運動補償單元182產生之對應預測性區塊進行求和來形成經解碼視訊區塊。求和器190表示執行此求和運算之組件。視需要，亦可應用解區塊濾波器以對經解碼區塊進行濾波以便移除方塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路中或在寫碼迴路之後)以使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖像中之經解碼視訊區塊儲存於參考圖像記憶體192中，參考圖像記憶體192儲存用於後續運動補償之參考圖像。參考圖像記憶體192亦儲存供稍後呈現於諸如圖1之顯示器件32之顯示器件上的經解碼視訊。
以此方式，視訊解碼器30為經組態以實施本發明所描述之一或多種實例技術之視訊解碼器的實例。舉例而言，預測處理單元181可經組態以基於空間上及時間上相鄰區之像差運動向量來判定用於當前區塊之像差向量。預測處理單元181亦可經組態以利用經判定像差向量來判定用於候選運動向量預測子清單之候選運動向量預測子。在一些實例中，預測處理單元181可修改經判定像差向量，且將經修改之經判定像差向量包括於候選運動向量預測子清單中。預測處理單元 181亦可經組態以執行視圖間運動預測及視圖間殘差預測。
在一些實例中，除了預測處理單元181以外之單元可實施上文所描述之實例。在一些實例中，預測處理單元181結合視訊解碼器30之一或多個其他單元可實施上文所描述之實例。在又一些其他實例中，視訊解碼器30之處理器或單元(圖13中未圖示)可單獨地或結合視訊解碼器30之其他單元實施上文所描述之實例。
圖14為根據本發明所描述之一或多種技術的說明視訊解碼器之實例操作的流程圖。視訊解碼器之一實例為視訊解碼器30。如圖14所說明，視訊解碼器30可判定用於區之運動向量是否為像差運動向量(194)。舉例而言，該區可包括一或多個區塊，且可在複數個視圖中之第一視圖中之圖像內。用於區之運動向量可表示針對一個參考圖像清單(亦即，RefPicList0或RefPicList1)的用於區內之一或多個區塊之單一運動向量。出於簡單起見，在用於區之運動向量係針對參考圖像清單中之一者的情況下描述技術。在一些狀況下，可存在用於區之兩個運動向量。在此等實例中，可存在用於一個參考圖像清單之區內之所有區塊的單一運動向量，及用於另一參考圖像清單之區內之所有區塊的單一運動向量。
該區可相鄰於(例如，空間上相鄰於、時間上相鄰於)當前區塊。該區亦可空間上或時間上相鄰於一區塊，該區塊空間上或時間上相鄰於當前區塊。又，若運動向量指代第二不同視圖中(例如，不同於包括具有該區之圖像的視圖之視圖中)之圖像，則運動向量可為像差運動向量。
回應於判定出用於圖像中之區之運動向量為像差運動向量，視訊解碼器30可判定用於該區之像差運動向量是否為用於當前區塊之像差向量(196)。可存在視訊解碼器30可判定用於該區之像差運動向量是否為用於當前區塊之像差向量的各種方式。作為一實例，視訊解碼 器30可檢查空間上相鄰區塊以判定空間像差向量(SDV)、檢查時間上相鄰區以判定時間像差向量(TDV)、檢查空間上/時間上相鄰區塊之空間上/時間上相鄰區以判定隱式像差向量(IDV)。視訊解碼器30可建構包括SDV、TDV及IDV之候選像差向量清單，且可選擇該等候選像差向量中之一者作為用於當前區塊之像差向量。作為另一實例，視訊解碼器30可選擇第一像差運動向量作為用於當前區塊之像差向量。可存在視訊解碼器30判定用於該區之像差運動向量是否為用於當前區塊之像差向量的其他實例方式。
視訊解碼器30框間預測解碼當前區塊(198)。舉例而言，若判定出用於區之像差運動向量為用於當前區塊之像差向量，則視訊解碼器30使用像差運動向量作為用於當前區塊之像差向量來框間預測解碼當前區塊。框間預測解碼指代由視訊解碼器30執行之框間預測。舉例而言，視訊解碼器30可判定像差向量所指代之區塊。視訊解碼器30可判定用於像差向量所指代之區塊之運動向量，且將用於像差向量所指代之區塊之運動向量包括於候選運動向量預測子清單中。在此實例中，作為合併模式或進階運動向量預測(AMVP)模式之部分，當用於像差向量所指代之區塊之運動向量係選自候選運動向量預測子清單時，視訊解碼器30可基於用於像差向量所指代之區塊之運動向量來框間預測解碼當前區塊。
圖15為根據本發明所描述之一或多種技術的說明視訊編碼器之實例操作的流程圖。視訊編碼器之一實例為視訊編碼器20。一般而言，關於判定用於當前區塊之像差向量，視訊編碼器20可執行與上文在圖14中針對視訊解碼器30所描述之技術相似的技術。
舉例而言，視訊編碼器20可判定用於區之運動向量是否為像差運動向量(200)。視訊編碼器20可判定用於區之運動向量是否為像差運動向量，其判定方式相似於上文在圖14中關於視訊解碼器30所描述 之方式。回應於判定出用於圖像中之區之運動向量為像差運動向量，視訊編碼器20判定用於該區之像差運動向量是否為用於當前區塊之像差向量(202)。可存在視訊編碼器20可判定用於該區之像差運動向量是否為用於當前區塊之像差向量的各種方式，且該等方式可相似於視訊解碼器30判定用於該區之像差運動向量是否為用於當前區塊之像差向量的方式。視訊編碼器20框間預測編碼當前區塊(204)。舉例而言，若判定出用於區之像差運動向量為用於當前區塊之像差向量，則視訊編碼器20使用像差運動向量作為用於當前區塊之像差向量進行框間預測編碼(204)。框間預測編碼指代由視訊編碼器20執行之框間預測，且視訊編碼器20可以相似於視訊解碼器30之方式但出於編碼視訊資料之目的而框間預測編碼當前區塊。如上文所描述，視訊解碼器30可出於解碼視訊資料之目的而執行框間預測解碼。
圖16為根據本發明所描述之一或多種技術的說明視訊寫碼器之實例操作的流程圖。視訊編碼器20及/或視訊解碼器30可經組態以實施圖16所說明之實例技術。
舉例而言，視訊寫碼器判定用於空間上或時間上相鄰區之運動向量是否為像差運動向量(206)。空間上相鄰區(例如，包括兩個4×4區塊之8×4區)係在與待預測區塊相同之圖像中。時間上相鄰區(例如，包括16個4×4區塊之16×16區)係在不同於包括待預測區塊之圖像的圖像中。在一些實例中，視訊寫碼器可判定用於空間上或時間上相鄰於空間上或時間上相鄰區塊之區之運動向量是否為像差運動向量。用於該區之運動向量表示用於該區內之複數個區塊之單一運動向量。
此外，對於時間上相鄰區，視訊寫碼器可評估用於當前區塊之一個或兩個參考圖像清單(亦即，用於包括當前區塊之圖像之經建構參考圖像清單)中之每一圖像。對於每一圖像，視訊寫碼器可判定該圖像是否包括用像差運動向量予以框間預測之時間上相鄰區。在一些 實例中，視訊寫碼器按遞增次序評估參考圖像清單中之每一圖像。又，視訊寫碼器基於collocated_from_10_flag之值來首先評估RefPicList0中之圖像或首先評估RefPicList1中之圖像。在其他實例中，視訊寫碼器首先評估RefPicList0中之圖像，且接著評估RefPicList1中之圖像，或反之亦然，而不管collocated_from_10_flag之值。
在圖16之實例中，視訊寫碼器將像差運動向量包括於候選像差向量清單中(208)。若視訊寫碼器自候選像差向量清單選擇此像差運動向量，則視訊寫碼器判定由該像差運動向量指代之區塊之運動向量(210)。在此實例中，視訊寫碼器將經判定運動向量包括於用於當前區塊之候選運動向量預測子清單中(212)。在一些實例中，視訊寫碼器亦將像差運動向量之經修改版本包括於候選運動向量預測子清單中(例如，y分量被設定為等於零之像差運動向量)(214)。
在一些狀況下，視訊寫碼器基於指示至候選運動向量預測子清單中之索引之經寫碼語法元素來選擇候選運動向量預測子(216)。視訊寫碼器接著使用進階運動向量預測(AMVP)模式或合併模式來框間預測當前區塊(218)。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合實施。若以軟體來實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體而傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體一般可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資 料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例且非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件，快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可藉由電腦存取的任何其他媒體。又，將任何連接恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)，或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL，或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而替代地有關非暫時性有形儲存媒體。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數位多功能光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟用雷射以光學方式再生資料。以上內容之組合亦應包括在電腦可讀媒體之範疇內。
可藉由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。因此，如本文所使用之術語「處理器」可指代前述結構或適於實施本文所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，可將本文所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，可將該等技術完全實施於一或多個電路或邏輯元件中。
本發明之技術可以廣泛多種器件或裝置實施，包括無線手機、積體電路(IC)或IC之集合(例如，晶片組)。各種組件、模組或單元描 述於本發明中以強調經組態以執行所揭示之技術的器件之功能性態樣，但未必需要藉由不同硬體單元來實現。更確切而言，如上文所描述，各種單元可組合於編解碼器硬體單元中，或藉由交互操作之硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體來提供。
在一些實例中，用包含視訊解碼器之器件或包含視訊編碼器之器件來描述該等技術。該器件可為諸如無線通信器件之獨立式器件。在一些實例中，該器件可為微處理器或積體電路。在此等實例中，該微處理器或積體電路可在適當時包括視訊解碼器或視訊編碼器。在一些實例中，該視訊解碼器及視訊編碼器可為獨立式微處理器或積體電路。
已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。

Claims (55)

  1. 一種用於解碼視訊資料之方法，該方法包含：判定用於複數個視圖中之一第一視圖中之一圖像中之一區的一運動向量是否為一像差運動向量，其中該區相鄰於待預測之一當前區塊，該區包括一或多個區塊，用於該區之該運動向量表示針對一個參考圖像清單的用於該一或多個區塊之一單一運動向量，且該像差運動向量指代一第二不同視圖中之一圖像；回應於判定出用於該圖像中之該區之該運動向量為該像差運動向量而判定用於該區之該像差運動向量是否為用於該當前區塊之一像差向量；及框間預測解碼該當前區塊，其中若判定出用於該區之該像差運動向量為用於該當前區塊之該像差向量，則該解碼使用用於該區之該像差運動向量作為用於該當前區塊之該像差向量。
  2. 如請求項1之方法，其中判定用於該第一視圖中之該圖像中之該區的該運動向量是否為一像差運動向量包含判定用於空間上相鄰於該當前區塊之一空間上相鄰區之該運動向量是否為該像差運動向量，且其中該圖像包括該空間上相鄰區且包括該當前區塊。
  3. 如請求項2之方法，其中該空間上相鄰區包含包括兩個4×4區塊之一8×4區。
  4. 如請求項1之方法，其中判定用於該第一視圖中之該圖像中之該區的該運動向量是否為一像差運動向量包含判定用於時間上相鄰於該當前區塊之一時間上相鄰區之該運動向量是否為該像差運動向量，且其中該圖像包括該時間上相鄰區且不包括該當前區塊。
  5. 如請求項4之方法，其中該時間上相鄰區包含包括16個4×4區塊之一16×16區。
  6. 如請求項1之方法，其進一步包含：當用於該區之該運動向量係自相鄰於該區之一區塊之一像差運動向量導出時，判定出該區為一隱式像差預測區；及回應於判定該區為該隱式像差預測區，判定相鄰於該區之該區塊之該像差運動向量是否為用於該當前區塊之該像差向量，其中，若用於該區之該像差運動向量不為用於該當前區塊之該像差向量，則在判定出相鄰於該區之該區塊之該像差運動向量為用於該當前區塊之該像差向量時，該解碼使用用於相鄰於該區之該區塊之該像差運動向量作為用於該當前區塊之該像差向量。
  7. 如請求項1之方法，其進一步包含：判定該像差向量所指代之一區塊；判定用於該像差向量所指代之該區塊之一運動向量；及將用於該像差向量所指代之該區塊之該運動向量包括於一候選運動向量預測子清單中，其中框間預測解碼該當前區塊包含：作為一合併模式或一進階運動向量預測(AMVP)模式之部分，當用於該像差向量所指代之該區塊之該運動向量係選自該候選運動向量預測子清單時，基於用於該像差向量所指代之該區塊之該運動向量來框間預測解碼該當前區塊。
  8. 如請求項1之方法，其進一步包含：判定該像差向量所指代之一區塊，其中框間預測解碼該當前區塊包含使用該經判定區塊之殘餘資訊以框間預測該當前區塊之殘餘資訊。
  9. 如請求項1之方法，其進一步包含：修改該像差運動向量；及將該經修改像差運動向量包括於用於該當前區塊之一候選運動向量預測子清單中。
  10. 如請求項9之方法，其中修改該像差運動向量包含將該像差運動向量之一y分量設定為等於零。
  11. 如請求項1之方法，其中該當前區塊可為一瞬時解碼器再新(IDR)或一清潔隨機存取(CRA)圖像之一區塊。
  12. 一種用於編碼視訊資料之方法，該方法包含：判定用於複數個視圖中之一第一視圖中之一圖像中之一區的一運動向量是否為一像差運動向量，其中該區相鄰於待預測之一當前區塊，該區包括一或多個區塊，用於該區之該運動向量表示針對一個參考圖像清單的用於該一或多個區塊之一單一運動向量，且該像差運動向量指代一第二不同視圖中之一圖像；回應於判定出用於該圖像中之該區之該運動向量為該像差運動向量而判定用於該區之該像差運動向量是否為用於該當前區塊之一像差向量；及框間預測編碼該當前區塊，其中若判定出用於該區之該像差運動向量為用於該當前區塊之該像差向量，則該編碼使用用於該區之該像差運動向量作為用於該當前區塊之該像差向量。
  13. 如請求項12之方法，其中判定用於該第一視圖中之該圖像中之該區的該運動向量是否為一像差運動向量包含判定用於空間上相鄰於該當前區塊之一空間上相鄰區之該運動向量是否為該像差運動向量，且其中該圖像包括該空間上相鄰區且包括該當前區塊。
  14. 如請求項13之方法，其中該空間上相鄰區包含包括兩個4×4區塊 之一8×4區。
  15. 如請求項12之方法，其中判定用於該第一視圖中之該圖像中之該區的該運動向量是否為一像差運動向量包含判定用於時間上相鄰於該當前區塊之一時間上相鄰區之該運動向量是否為該像差運動向量，且其中該圖像包括該時間上相鄰區且不包括該當前區塊。
  16. 如請求項15之方法，其中該時間上相鄰區包含包括16個4×4區塊之一16×16區。
  17. 如請求項12之方法，其進一步包含：當用於該區之該運動向量係自相鄰於該區之一區塊之一像差運動向量導出時，判定出該區為一隱式像差預測區；及回應於判定該區為該隱式像差預測區，判定相鄰於該區之該區塊之該像差運動向量是否為用於該當前區塊之該像差向量，其中，若用於該區之該像差運動向量不為用於該當前區塊之該像差向量，則在判定出相鄰於該區之該區塊之該像差運動向量為用於該當前區塊之該像差向量時，該編碼使用用於相鄰於該區之該區塊之該像差運動向量作為用於該當前區塊之該像差向量。
  18. 如請求項12之方法，其進一步包含：判定該像差向量所指代之一區塊，其中框間預測編碼該當前區塊包含使用該經判定區塊之殘餘資訊以框間預測該當前區塊之殘餘資訊。
  19. 如請求項12之方法，其進一步包含：修改該像差運動向量；及將該經修改像差運動向量包括於用於該當前區塊之一候選運動向量預測子清單中。
  20. 如請求項19之方法，其中修改該像差運動向量包含將該像差運動向量之一y分量設定為等於零。
  21. 如請求項12之方法，其中該當前區塊為一瞬時解碼器再新(IDR)或一清潔隨機存取(CRA)圖像之該當前區塊。
  22. 一種用於解碼視訊資料之器件，該器件包含一視訊解碼器，該視訊解碼器經組態以：判定用於複數個視圖中之一第一視圖中之一圖像中之一區的一運動向量是否為一像差運動向量，其中該區相鄰於待預測之一當前區塊，該區包括一或多個區塊，用於該區之該運動向量表示針對一個參考圖像清單的用於該一或多個區塊之一單一運動向量，且該像差運動向量指代一第二不同視圖中之一圖像；回應於判定出用於該圖像中之該區之該運動向量為該像差運動向量而判定用於該區之該像差運動向量是否為用於該當前區塊之一像差向量；且框間預測解碼該當前區塊，其中為了解碼該當前區塊，若判定出用於該區之該像差運動向量為用於該當前區塊之該像差向量，則該視訊解碼器使用用於該區之該像差運動向量作為用於該當前區塊之該像差向量。
  23. 如請求項22之器件，其中為了判定用於該第一視圖中之該圖像中之該區的該運動向量是否為一像差運動向量，該視訊解碼器經組態以判定用於空間上相鄰於該當前區塊之一空間上相鄰區之該運動向量是否為該像差運動向量，且其中該圖像包括該空間上相鄰區且包括該當前區塊。
  24. 如請求項23之器件，其中該空間上相鄰區包含包括兩個4×4區塊之一8×4區。
  25. 如請求項22之器件，其中為了判定用於該第一視圖中之該圖像 中之該區的該運動向量是否為一像差運動向量，該視訊解碼器經組態以判定用於時間上相鄰於該當前區塊之一時間上相鄰區之該運動向量是否為該像差運動向量，且其中該圖像包括該時間上相鄰區且不包括該當前區塊。
  26. 如請求項25之器件，其中該時間上相鄰區包含包括16個4×4區塊之一16×16區。
  27. 如請求項22之器件，其中該視訊解碼器經組態以：當用於該區之該運動向量係自相鄰於該區之一區塊之一像差運動向量導出時，判定出該區為一隱式像差預測區；且回應於判定該區為該隱式像差預測區，判定相鄰於該區之該區塊之該像差運動向量是否為用於該當前區塊之該像差向量，其中，若用於該區之該像差運動向量不為用於該當前區塊之該像差向量，則為了解碼該當前區塊，在判定出相鄰於該區之該區塊之該像差運動向量為用於該當前區塊之該像差向量時，該視訊解碼器使用用於相鄰於該區之該區塊之該像差運動向量作為用於該當前區塊之該像差向量。
  28. 如請求項22之器件，其中該視訊解碼器經組態以：判定該像差向量所指代之一區塊；判定用於該像差向量所指代之該區塊之一運動向量；且將用於該像差向量所指代之該區塊之該運動向量包括於一候選運動向量預測子清單中，其中，為了框間預測解碼該當前區塊，該視訊解碼器經組態以：作為一合併模式或一進階運動向量預測(AMVP)模式之部分，當用於該像差向量所指代之該區塊之該運動向量係選自該候選運動向量預測子清單時，基於用於該像差向量所指代之該區塊之該運動向量來框間預測解碼該當前區塊。
  29. 如請求項22之器件，其中該視訊解碼器經組態以：判定該像差向量所指代之一區塊，其中，為了框間預測解碼該當前區塊，該視訊解碼器經組態以使用該經判定區塊之殘餘資訊以框間預測該當前區塊之殘餘資訊。
  30. 如請求項22之器件，其中該視訊解碼器經組態以：修改該像差運動向量；且將該經修改像差運動向量包括於用於該當前區塊之一候選運動向量預測子清單中。
  31. 如請求項30之器件，其中，為了修改該像差運動向量，該視訊解碼器經組態以將該像差運動向量之一y分量設定為等於零。
  32. 如請求項22之器件，其中該當前區塊為一瞬時解碼器再新(IDR)或一清潔隨機存取(CRA)圖像之該當前區塊。
  33. 如請求項22之器件，其中該器件包含以下各者中之一者：一無線通信器件；一微處理器；及一積體電路。
  34. 一種用於編碼視訊資料之器件，該器件包含一視訊編碼器，該視訊編碼器經組態以：判定用於複數個視圖中之一第一視圖中之一圖像中之一區的一運動向量是否為一像差運動向量，其中該區相鄰於待預測之一當前區塊，該區包括一或多個區塊，用於該區之該運動向量表示針對一個參考圖像清單的用於該一或多個區塊之一單一運動向量，且該像差運動向量指代一第二不同視圖中之一圖像；回應於判定出用於該圖像中之該區之該運動向量為該像差運動向量而判定用於該區之該像差運動向量是否為用於該當前區 塊之一像差向量；且框間預測編碼該當前區塊，其中為了編碼該當前區塊，若判定出用於該區之該像差運動向量為用於該當前區塊之該像差向量，則該視訊編碼器使用用於該區之該像差運動向量作為用於該當前區塊之該像差向量。
  35. 如請求項34之器件，其中，為了判定用於該第一視圖中之該圖像中之該區的該運動向量是否為一像差運動向量，該視訊編碼器經組態以判定用於空間上相鄰於該當前區塊之一空間上相鄰區之該運動向量是否為該像差運動向量，且其中該圖像包括該空間上相鄰區且包括該當前區塊。
  36. 如請求項35之器件，其中該空間上相鄰區包含包括兩個4×4區塊之一8×4區。
  37. 如請求項34之器件，其中，為了判定用於該第一視圖中之該圖像中之該區的該運動向量是否為一像差運動向量，該視訊編碼器經組態以判定用於時間上相鄰於該當前區塊之一時間上相鄰區之該運動向量是否為該像差運動向量，且其中該圖像包括該時間上相鄰區且不包括該當前區塊。
  38. 如請求項37之器件，其中該時間上相鄰區包含包括16個4×4區塊之一16×16區。
  39. 如請求項34之器件，其中該視訊編碼器經組態以：當用於該區之該運動向量係自相鄰於該區之一區塊之一像差運動向量導出時，判定出該區為一隱式像差預測區；且回應於判定該區為該隱式像差預測區，判定相鄰於該區之該區塊之該像差運動向量是否為用於該當前區塊之該像差向量，其中，若用於該區之該像差運動向量不為用於該當前區塊之該像差向量，則為了編碼該當前區塊，在判定出相鄰於該區之 該區塊之該像差運動向量為用於該當前區塊之該像差向量時，該視訊編碼器使用用於相鄰於該區之該區塊之該像差運動向量作為用於該當前區塊之該像差向量。
  40. 如請求項34之器件，其中該視訊編碼器經組態以：判定該像差向量所指代之一區塊，其中，為了框間預測編碼該當前區塊，該視訊編碼器經組態以使用該經判定區塊之殘餘資訊以框間預測該當前區塊之殘餘資訊。
  41. 如請求項34之器件，其中該視訊編碼器經組態以：修改該像差運動向量；且將該經修改像差運動向量包括於用於該當前區塊之一候選運動向量預測子清單中。
  42. 如請求項41之器件，其中，為了修改該像差運動向量，該視訊編碼器經組態以將該像差運動向量之一y分量設定為等於零。
  43. 如請求項34之器件，其中該當前區塊為一瞬時解碼器再新(IDR)或一清潔隨機存取(CRA)圖像之該當前區塊。
  44. 一種用於解碼視訊資料之器件，該器件包含：用於判定用於複數個視圖中之一第一視圖中之一圖像中之一區的一運動向量是否為一像差運動向量的構件，其中該區相鄰於待預測之一當前區塊，該區包括一或多個區塊，用於該區之該運動向量表示針對一個參考圖像清單的用於該一或多個區塊之一單一運動向量，且該像差運動向量指代一第二不同視圖中之一圖像；回應於判定出用於該圖像中之該區之該運動向量為該像差運動向量，用於判定用於該區之該像差運動向量是否為用於該當前區塊之一像差向量的構件；及 用於框間預測解碼該當前區塊的構件，其中若判定出用於該區之該像差運動向量為用於該當前區塊之該像差向量，則用於框間預測解碼的該構件使用用於該區之該像差運動向量作為用於該當前區塊之該像差向量。
  45. 如請求項44之器件，其中用於判定用於該第一視圖中之該圖像中之該區的該運動向量是否為一像差運動向量的該構件包含用於判定用於空間上相鄰於該當前區塊之一空間上相鄰區之該運動向量是否為該像差運動向量的構件，且其中該圖像包括該空間上相鄰區且包括該當前區塊。
  46. 如請求項45之器件，其中該空間上相鄰區包含包括兩個4×4區塊之一8×4區。
  47. 如請求項44之器件，其中用於判定用於該第一視圖中之該圖像中之該區的該運動向量是否為一像差運動向量的該構件包含用於判定用於時間上相鄰於該當前區塊之一時間上相鄰區之該運動向量是否為該像差運動向量的構件，且其中該圖像包括該時間上相鄰區且不包括該當前區塊。
  48. 如請求項47之器件，其中該時間上相鄰區包含包括16個4×4區塊之一16×16區。
  49. 一種用於編碼視訊資料之器件，該器件包含：用於判定用於複數個視圖中之一第一視圖中之一圖像中之一區的一運動向量是否為一像差運動向量的構件，其中該區相鄰於待預測之一當前區塊，該區包括一或多個區塊，用於該區之該運動向量表示針對一個參考圖像清單的用於該一或多個區塊之一單一運動向量，且該像差運動向量指代一第二不同視圖中之一圖像；回應於判定出用於該圖像中之該區之該運動向量為該像差運 動向量，用於判定用於該區之該像差運動向量是否為用於該當前區塊之一像差向量的構件；及用於框間預測編碼該當前區塊的構件，其中若判定出用於該區之該像差運動向量為用於該當前區塊之該像差向量，則用於框間預測編碼的該構件使用用於該區之該像差運動向量作為用於該當前區塊之該像差向量。
  50. 如請求項49之器件，其中用於判定用於該第一視圖中之該圖像中之該區的該運動向量是否為一像差運動向量的該構件包含用於判定用於空間上相鄰於該當前區塊之一空間上相鄰區之該運動向量是否為該像差運動向量的構件，且其中該圖像包括該空間上相鄰區且包括該當前區塊。
  51. 如請求項50之器件，其中該空間上相鄰區包含包括兩個4×4區塊之一8×4區。
  52. 如請求項49之器件，其中判定用於該第一視圖中之該圖像中之該區的該運動向量是否為一像差運動向量包含判定用於時間上相鄰於該當前區塊之一時間上相鄰區之該運動向量是否為該像差運動向量，且其中該圖像包括該時間上相鄰區且不包括該當前區塊。
  53. 如請求項52之器件，其中該時間上相鄰區包含包括16個4×4區塊之一16×16區。
  54. 一種儲存有指令之電腦可讀儲存媒體，該等指令在執行時使一或多個處理器：判定用於複數個視圖中之一第一視圖中之一圖像中之一區的一運動向量是否為一像差運動向量，其中該區相鄰於待預測之一當前區塊，該區包括一或多個區塊，用於該區之該運動向量表示針對一個參考圖像清單的用於該一或多個區塊之一單一運 動向量，且該像差運動向量指代一第二不同視圖中之一圖像；回應於判定出用於該圖像中之該區之該運動向量為該像差運動向量而判定用於該區之該像差運動向量是否為用於該當前區塊之一像差向量；且框間預測解碼該當前區塊，其中使該一或多個處理器進行解碼之該等指令包含在判定出用於該區之該像差運動向量為用於該當前區塊之該像差向量時使該一或多個處理器使用用於該區之該像差運動向量作為用於該當前區塊之該像差向量的指令。
  55. 一種儲存有指令之電腦可讀儲存媒體，該等指令在執行時使一或多個處理器：判定用於複數個視圖中之一第一視圖中之一圖像中之一區的一運動向量是否為一像差運動向量，其中該區相鄰於待預測之一當前區塊，該區包括一或多個區塊，用於該區之該運動向量表示針對一個參考圖像清單的用於該一或多個區塊之一單一運動向量，且該像差運動向量指代一第二不同視圖中之一圖像；回應於判定出用於該圖像中之該區之該運動向量為該像差運動向量而判定用於該區之該像差運動向量是否為用於該當前區塊之一像差向量；且框間預測編碼該當前區塊，其中使該一或多個處理器進行編碼之該等指令包含在判定出用於該區之該像差運動向量為用於該當前區塊之該像差向量時使該一或多個處理器使用用於該區之該像差運動向量作為用於該當前區塊之該像差向量的指令。
TW102109103A 2012-03-14 2013-03-14 視訊寫碼中之像差向量預測 TW201340724A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261610961P 2012-03-14 2012-03-14
US201261621929P 2012-04-09 2012-04-09
US201261623041P 2012-04-11 2012-04-11
US201261658754P 2012-06-12 2012-06-12
US201261682224P 2012-08-11 2012-08-11
US201261682221P 2012-08-11 2012-08-11
US13/798,997 US9525861B2 (en) 2012-03-14 2013-03-13 Disparity vector prediction in video coding

Publications (1)

Publication Number Publication Date
TW201340724A true TW201340724A (zh) 2013-10-01

Family

ID=49157227

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102109103A TW201340724A (zh) 2012-03-14 2013-03-14 視訊寫碼中之像差向量預測

Country Status (7)

Country Link
US (1) US9525861B2 (zh)
EP (1) EP2826244A1 (zh)
JP (2) JP6608275B2 (zh)
KR (1) KR101834611B1 (zh)
CN (1) CN104170380B (zh)
TW (1) TW201340724A (zh)
WO (1) WO2013138593A1 (zh)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US10104391B2 (en) 2010-10-01 2018-10-16 Dolby International Ab System for nested entropy encoding
US20120082228A1 (en) * 2010-10-01 2012-04-05 Yeping Su Nested entropy encoding
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
KR101626683B1 (ko) * 2011-08-30 2016-06-01 인텔 코포레이션 멀티뷰 비디오 코딩 방안
CN107580218B (zh) * 2011-09-09 2020-05-12 株式会社Kt 用于解码视频信号的方法
US9350992B2 (en) 2011-11-18 2016-05-24 Google Technology Holdings LLC Explicit way for signaling a collocated picture for high efficiency video coding
CN108055548B (zh) 2012-01-19 2021-10-08 韩国电子通信研究院 用于图像编码/解码的方法和设备
US9445076B2 (en) 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
US9549180B2 (en) 2012-04-20 2017-01-17 Qualcomm Incorporated Disparity vector generation for inter-view prediction for video coding
US9609341B1 (en) * 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
EP2842333A4 (en) * 2012-07-02 2016-01-06 Mediatek Inc METHOD AND DEVICE FOR DERIVING INTERCONNECTION CANDIDATES IN 3D VIDEO CODING
WO2014005280A1 (en) * 2012-07-03 2014-01-09 Mediatek Singapore Pte. Ltd. Method and apparatus to improve and simplify inter-view motion vector prediction and disparity vector prediction
EP2839664A4 (en) * 2012-07-09 2016-04-06 Mediatek Inc METHOD AND APPARATUS FOR PREDICTING INTERVIEW SUB-DIVISION IN 3D VIDEO CODING
US20150208083A1 (en) * 2012-07-10 2015-07-23 Lg Electronics Inc. Method and device for processing video signal
CN104521236B (zh) * 2012-07-27 2017-10-20 寰发股份有限公司 三维视频编码或解码方法
US9247271B2 (en) * 2012-10-08 2016-01-26 Inria Institut National De Recherche En Informatique Et En Automatique Method and device for motion information prediction in multi-view video coding
CN102946535B (zh) * 2012-10-09 2015-05-13 华为技术有限公司 预测块的视差矢量预测值获取的方法和装置
WO2014077573A2 (ko) * 2012-11-13 2014-05-22 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
JP6042556B2 (ja) * 2012-11-16 2016-12-14 寰發股▲ふん▼有限公司ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ． ３ｄビデオ符号化における制約される視差ベクトル導出の方法と装置
US10728565B2 (en) * 2013-04-05 2020-07-28 Samsung Electronics Co., Ltd. Video encoding method and apparatus thereof and a video decoding method and apparatus thereof
CN105324996B (zh) * 2013-04-10 2018-12-21 寰发股份有限公司 三维视频编码的视图间候选推导的方法及其装置
WO2015003383A1 (en) * 2013-07-12 2015-01-15 Mediatek Singapore Pte. Ltd. Methods for inter-view motion prediction
WO2015006922A1 (en) * 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction
US10129560B2 (en) * 2013-07-18 2018-11-13 Lg Electronics Inc. Method and apparatus for processing video signal
CN105723712B (zh) * 2013-10-14 2019-06-28 韩国电子通信研究院 基于多层的图像编码/解码方法和设备
US20160255368A1 (en) * 2013-10-18 2016-09-01 Lg Electronics Inc. Method and apparatus for coding/decoding video comprising multi-view
US9693077B2 (en) * 2013-12-13 2017-06-27 Qualcomm Incorporated Controlling sub prediction unit (sub-PU) motion parameter inheritance (MPI) in three dimensional (3D) HEVC or other 3D coding
EP3117606B1 (en) 2014-03-13 2018-12-26 Qualcomm Incorporated Simplified advanced residual prediction for 3d-hevc
JP6374605B2 (ja) * 2014-10-07 2018-08-15 サムスン エレクトロニクス カンパニー リミテッド 映像を復号する方法、装置及び記録媒体
CN104902256B (zh) * 2015-05-21 2018-01-09 南京大学 一种基于运动补偿的双目立体图像编解码方法
US10148977B2 (en) * 2015-06-16 2018-12-04 Futurewei Technologies, Inc. Advanced coding techniques for high efficiency video coding (HEVC) screen content coding (SCC) extensions
WO2020030183A1 (en) 2018-08-10 2020-02-13 Huawei Technologies Co., Ltd. Coding method, device, system with merge mode
EP3837841A4 (en) 2018-09-03 2021-10-20 Huawei Technologies Co., Ltd. CODIFICATION PROCESS, DEVICE AND SYSTEM WITH MERGING MODE
WO2020075053A1 (en) 2018-10-08 2020-04-16 Beijing Bytedance Network Technology Co., Ltd. Generation and usage of combined affine merge candidate
CN109068140B (zh) * 2018-10-18 2021-06-22 北京奇艺世纪科技有限公司 视频编码中运动向量的确定方法、装置及视频编解码设备
JP7288964B2 (ja) 2018-12-28 2023-06-08 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 動きベクトル予測因子リストを生成すること
WO2020156538A1 (en) 2019-02-03 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interaction between mv precisions and mv difference coding
CN113424533B (zh) 2019-02-14 2024-09-10 北京字节跳动网络技术有限公司 复杂度降低的解码器侧运动推导
JP7522135B2 (ja) 2019-05-11 2024-07-24 北京字節跳動網絡技術有限公司 複数のイントラ符号化方法の相互作用
KR102627834B1 (ko) 2019-05-11 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 프로세싱에서의 코딩 툴들의 선택적 사용
JP7323641B2 (ja) 2019-05-21 2023-08-08 北京字節跳動網絡技術有限公司 アフィンモードのための適応動きベクトル差分分解
KR102113071B1 (ko) 2019-06-28 2020-05-21 한국타이어앤테크놀로지 주식회사 일체형 전자장치의 제조방법
EP3984227A4 (en) 2019-07-27 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. TOOL USE RESTRICTIONS BASED ON TYPES OF REFERENCE IMAGES
WO2021027774A1 (en) 2019-08-10 2021-02-18 Beijing Bytedance Network Technology Co., Ltd. Subpicture dependent signaling in video bitstreams
CN114342408A (zh) 2019-08-26 2022-04-12 北京字节跳动网络技术有限公司 视频编码中帧内编码模式的扩展
WO2021037258A1 (en) 2019-08-30 2021-03-04 Beijing Bytedance Network Technology Co., Ltd. Sub-partitioning in intra coding
WO2021068954A1 (en) 2019-10-12 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. High level syntax for video coding tools
CN114631317B (zh) 2019-10-18 2024-03-15 北京字节跳动网络技术有限公司 子图片的参数集信令中的语法约束
CN110798676A (zh) * 2019-11-29 2020-02-14 苏州新光维医疗科技有限公司 一种利用内镜镜头动态图像形成3d视觉的方法及装置
US20240015319A1 (en) * 2022-07-11 2024-01-11 Tencent America LLC Partition, motion vector (mv) derivation of template-matching, and subblock mv derivation for subblock based mv predictor

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787598B2 (ja) * 1991-06-06 1995-09-20 株式会社エイ・ティ・アール視聴覚機構研究所 視差補正装置
JP3693407B2 (ja) * 1996-04-04 2005-09-07 シャープ株式会社 多視点画像符号化装置および復号装置
US6970206B1 (en) * 2000-04-20 2005-11-29 Ati International Srl Method for deinterlacing interlaced video by a graphics processor
JP2002245451A (ja) * 2001-02-19 2002-08-30 Nippon Hoso Kyokai <Nhk> 立体画像評価装置
JP4262014B2 (ja) * 2003-07-31 2009-05-13 キヤノン株式会社 画像撮影装置および画像処理方法
KR100888962B1 (ko) 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US8854486B2 (en) * 2004-12-17 2014-10-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US8644386B2 (en) 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR101276720B1 (ko) * 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
JP5021739B2 (ja) * 2006-07-12 2012-09-12 エルジー エレクトロニクス インコーポレイティド 信号処理方法及び装置
GB2445008B (en) * 2006-12-20 2008-12-31 Sony Comp Entertainment Europe Image compression and/or decompression
US20080159407A1 (en) * 2006-12-28 2008-07-03 Yang Nick Y Mechanism for a parallel processing in-loop deblock filter
JP5249242B2 (ja) * 2007-01-24 2013-07-31 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
US8953684B2 (en) 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
JP5303556B2 (ja) * 2007-08-06 2013-10-02 トムソン ライセンシング 複数のインタービュー参照ピクチャを用いたモーションスキップモードのための方法及び装置
WO2009131688A2 (en) 2008-04-25 2009-10-29 Thomson Licensing Inter-view skip modes with depth
WO2010043773A1 (en) 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
KR101619451B1 (ko) 2009-04-17 2016-05-10 엘지전자 주식회사 다시점 비디오 신호의 처리 방법 및 장치
ES2561078T3 (es) 2010-07-15 2016-02-24 Ge Video Compression, Llc Codificación de vídeo híbrido que soporta síntesis de vistas intermedias
WO2012096164A1 (ja) 2011-01-12 2012-07-19 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US20120189060A1 (en) 2011-01-20 2012-07-26 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for encoding and decoding motion information and disparity information
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
JP6112418B2 (ja) 2011-06-29 2017-04-12 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
WO2013072484A1 (en) 2011-11-18 2013-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view coding with efficient residual handling
WO2013132792A1 (ja) 2012-03-06 2013-09-12 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、及び動画像符号化復号装置
US9445076B2 (en) 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
KR101626759B1 (ko) 2012-05-10 2016-06-02 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US20130336405A1 (en) 2012-06-15 2013-12-19 Qualcomm Incorporated Disparity vector selection in video coding

Also Published As

Publication number Publication date
WO2013138593A1 (en) 2013-09-19
JP2018110407A (ja) 2018-07-12
CN104170380B (zh) 2018-01-12
JP2015514340A (ja) 2015-05-18
US20130242046A1 (en) 2013-09-19
JP6608275B2 (ja) 2019-11-20
KR101834611B1 (ko) 2018-03-05
JP6585200B2 (ja) 2019-10-02
EP2826244A1 (en) 2015-01-21
KR20140144210A (ko) 2014-12-18
CN104170380A (zh) 2014-11-26
US9525861B2 (en) 2016-12-20

Similar Documents

Publication Publication Date Title
JP6585200B2 (ja) ビデオコード化における視差ベクトル予測
JP6768768B2 (ja) ３ｄビデオコーディングにおける視差ベクトル導出および動きベクトル予測の簡略化
CN112956190B (zh) 仿射运动预测
JP6337104B2 (ja) テクスチャコーディングのためのより正確な高度残差予測（ａｒｐ）
JP6185143B2 (ja) スキップおよびダイレクトモード用の３ｄビデオコーディングにおける視差ベクトル導出
JP6522629B2 (ja) ３ｄビデオコード化のためのブロックベースの高度残差予測
JP6096217B2 (ja) ３ｄビデオコーディングにおけるビュー合成予測サポートのシグナリング
US9445076B2 (en) Disparity vector construction method for 3D-HEVC
JP6231203B2 (ja) ビデオコード化における視差ベクトルを使用するブロック識別
TWI539796B (zh) 視差向量推導
TWI501611B (zh) 用於３ｄ視訊之視圖間預測之運動向量
CN113039787A (zh) 解码器侧运动矢量细化
TWI536812B (zh) 針對三維（３ｄ）視訊之基於鄰近區塊的差異向量之約束
EP2962466B1 (en) Neighboring block disparity vector derivation in 3d video coding
JP2016507966A (ja) 高効率ビデオコーディングに基づくビデオ情報のスケーラブルコーディングのためのデバイスおよび方法
TW201440496A (zh) 於可擴展及多視角視訊寫碼之進階殘差預測
TW201342883A (zh) 在使用深度之３ｄ視訊寫碼中的多重假設差異向量建立
JP6352271B2 (ja) 高効率ビデオコーディングに基づくスケーラブルコーディングのための動きフィールドアップサンプリング
JP6359681B2 (ja) ３ｄ−ｈｅｖｃのための簡略化された高度残差予測