TWI530165B - 視差向量推導 - Google Patents

視差向量推導 Download PDF

Info

Publication number
TWI530165B
TWI530165B TW102146296A TW102146296A TWI530165B TW I530165 B TWI530165 B TW I530165B TW 102146296 A TW102146296 A TW 102146296A TW 102146296 A TW102146296 A TW 102146296A TW I530165 B TWI530165 B TW I530165B
Authority
TW
Taiwan
Prior art keywords
block
blocks
video
disparity
disparity vector
Prior art date
Application number
TW102146296A
Other languages
English (en)
Other versions
TW201433149A (zh
Inventor
康傑萬
陳盈
章立
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201433149A publication Critical patent/TW201433149A/zh
Application granted granted Critical
Publication of TWI530165B publication Critical patent/TWI530165B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

視差向量推導
本申請案主張2012年12月14日申請之美國臨時專利申請案第61/737,639號之權利，該案之全部內容以引用之方式併入本文中。
本發明係關於視訊編碼及解碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂之「智慧型電話」、視訊電傳會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4部分10進階視訊寫碼(AVC)所定義之標準、目前正開發之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼而言，可將視訊片段(亦即，視訊圖框或視訊圖框之一部分)分割成區塊。使用相對於在相同圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像 之框內寫碼(I)片段中的區塊。圖像之框間寫碼(P或B)片段中之區塊可使用相對於在相同圖像中之相鄰區塊中之參考樣本的空間預測或相對於在其他參考圖像中之參考樣本之時間預測。可將圖像稱作圖框，且可將參考圖像稱作參考圖框。
空間預測或時間預測導致寫碼用於區塊之預測性區塊。殘差資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量來編碼框間寫碼區塊，且殘差資料指示經寫碼區塊與預測性區塊之間的差。根據框內寫碼模式及殘差資料來編碼經框內寫碼區塊。為達成另外之壓縮，可將殘差資料自像素域變換至變換域，從而產生殘差係數，可接著量化該等殘差係數。可掃描最初配置成二維陣列之經量化之係數以便產生係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
可藉由編碼視圖(例如，來自多個透視圖)來產生多視圖寫碼位元串流。已開發了使用多視圖寫碼態樣之一些三維(3D)視訊標準。舉例而言，不同視圖可傳輸左眼視圖及右眼視圖以支援3D視訊。或者，一些3D視訊寫碼程序可應用所謂之多視圖加深度寫碼。在多視圖加深度寫碼中，3D視訊位元串流可不僅含有紋理視圖分量而且含有深度視圖分量。舉例而言，每一視圖可包含一個紋理視圖分量及一個深度視圖分量。
大體上，本發明係關於多視圖及三維視訊寫碼。詳言之，本發明描述編碼及解碼視訊資料之技術。根據該等技術，將一父代區塊(諸如，寫碼單元(CU)或寫碼樹型單元(CTU))分割成複數個區塊，諸如，預測單元(PU)或CU。此外，一視訊寫碼器可執行一視差向量推導程序以推導該複數個區塊中之一代表性區塊的一視差向量。若該視訊寫碼器為一視訊編碼器，則該視訊編碼器可部分地藉由基於該所推 導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而分開地執行視圖間預測來產生一包括該視訊資料之一經寫碼表示的位元串流。若該視訊寫碼器為一視訊解碼器，則該視訊解碼器可部分地藉由基於該所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而分開地執行視圖間預測來重新建構該複數個區塊中之該兩個或兩個以上區塊的樣本區塊。
在一個實例中，本發明描述一種用於解碼視訊資料之方法，該方法包含：執行一視差向量推導程序以推導複數個區塊中之一代表性區塊的一視差向量，其中該視訊資料包括一被分割成該複數個區塊之父代區塊；及部分地藉由基於該所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測來重新建構該複數個區塊中之該兩個或兩個以上區塊的樣本區塊。
在另一實例中，本發明描述一種編碼視訊資料之方法，該方法包含：執行一視差向量推導程序以推導複數個區塊中之一代表性區塊的一視差向量，其中該視訊資料包括一被分割成該複數個區塊之父代區塊；及部分地藉由基於該所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測來產生一包括該視訊資料之一經寫碼表示的位元串流。
在另一實例中，本發明描述一種器件，該器件包含：一記憶體，其經組態以儲存視訊資料；及一或多個處理器，其經組態以：執行一視差向量推導程序以推導複數個區塊中之一代表性區塊的一視差向量，其中該視訊資料包括一被分割成該複數個區塊之父代區塊；及 基於該所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測。
在另一實例中，本發明描述一種器件，該器件包含：用於執行一視差向量推導程序以推導複數個區塊中之一代表性區塊的一視差向量的構件，其中視訊資料包括一被分割成該複數個區塊之父代區塊；及用於基於該所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測的構件。
在另一實例中，本發明描述一種非暫時性電腦可讀資料儲存媒體，該非暫時性電腦可讀資料儲存媒體具有儲存於其上之指令，該等指令在執行時使一器件：執行一視差向量推導程序以推導複數個區塊中之一代表性區塊的一視差向量，其中視訊資料包括一被分割成該複數個區塊之父代區塊；及基於該所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測。
本發明之一或多個實例之細節闡述於隨附圖式及以下描述中。其他特徵、目標及優勢將自該描述、該等圖式及申請專利範圍顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
40‧‧‧當前預測單元(PU)
100‧‧‧預測處理單元
102‧‧‧殘差產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換處理單元
112‧‧‧重新建構單元
114‧‧‧濾波單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
122‧‧‧運動估計單元
124‧‧‧運動補償單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
151‧‧‧經寫碼圖像緩衝器(CPB)
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反變換處理單元
158‧‧‧重新建構單元
160‧‧‧濾波單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
166‧‧‧框內預測處理單元
200‧‧‧位置
202‧‧‧位置
204‧‧‧位置
206‧‧‧位置
208‧‧‧位置
210‧‧‧位置
212‧‧‧位置
250‧‧‧位置
252‧‧‧位置
254‧‧‧位置
256‧‧‧位置
258‧‧‧位置
260‧‧‧位置
262‧‧‧位置
A0‧‧‧位置
A1‧‧‧位置
B0‧‧‧位置
B1‧‧‧位置
B2‧‧‧位置
S0‧‧‧視圖
S1‧‧‧視圖
S2‧‧‧視圖
S3‧‧‧視圖
S4‧‧‧視圖
S5‧‧‧視圖
S6‧‧‧視圖
S7‧‧‧視圖
T0‧‧‧存取單元
T1‧‧‧存取單元
T2‧‧‧存取單元
T3‧‧‧存取單元
T4‧‧‧存取單元
T5‧‧‧存取單元
T6‧‧‧存取單元
T7‧‧‧存取單元
T8‧‧‧存取單元
T9‧‧‧存取單元
T10‧‧‧存取單元
T11‧‧‧存取單元
圖1為說明可利用本發明中所描述之技術之實例視訊寫碼系統的方塊圖。
圖2為說明相對於當前PU之實例空間相鄰預測單元(PU)之概念圖。
圖3為說明實例多視圖解碼次序之概念圖。
圖4為說明用於多視圖寫碼之實例預測結構之概念圖。
圖5為說明在時間候選者圖像之對應PU中之實例時間鄰居的概念圖。
圖6為說明可實施本發明中所描述之技術之實例視訊編碼器的方塊圖。
圖7為說明可實施本發明中所描述之技術之實例視訊解碼器的方塊圖。
圖8為說明在與寫碼單元(CU)相同之2N×2N PU中之實例空間及時間鄰居的概念圖。
圖9為說明用於基於相鄰區塊之視差向量(NBDV)推導程序中之實例空間及時間相鄰區塊的概念圖，在該NBDV推導程序中，CU之第一PU為該CU之代表性PU。
圖10為說明根據本發明之一或多個技術之視訊寫碼器之實例操作的流程圖。
圖11A為說明根據本發明之一或多個技術之用於執行視圖間運動預測的視訊編碼器之實例操作之流程圖。
圖11B為說明根據本發明之一或多個技術之用於執行視圖間運動預測的視訊解碼器之實例操作之流程圖。
圖12A為說明根據本發明之一或多個技術之用於執行視圖間殘差預測的視訊編碼器之實例操作之流程圖。
圖12B為說明根據本發明之一或多個技術之用於執行視圖間殘差預測的視訊解碼器之實例操作之流程圖。
圖13為說明兩個PU之實例左空間相鄰區塊及上空間相鄰區塊之概念圖。
圖14為說明用於NBDV推導程序中之左、上及左上空間相鄰區塊之概念圖。
圖15為說明根據本發明之一或多個技術之視訊寫碼器之實例操 作的流程圖。
圖16為說明根據本發明之一實例之用以判定當前區塊之視差向量的視訊寫碼器之實例操作之流程圖。
圖17為說明根據本發明之一或多個技術之用以判定當前區塊之視差向量的視訊寫碼器之實例操作之流程圖。
圖18為說明圖17中所示之操作之實例延續的流程圖。
高效率視訊寫碼(HEVC)係新近開發之視訊寫碼標準。3D-HEVC係用於三維(3D)視訊資料之HEVC擴展。3D-HEVC提供相同場景自不同視點之多個視圖。3D-HEVC之標準化努力包括多視圖視訊編碼解碼器基於HEVC之標準化。在3D-HEVC中，啟用基於來自不同視圖之經重新建構之視圖分量(亦即，經重新建構之圖像)的視圖間預測。此外，3D-HEVC實施視圖間運動預測及視圖間殘差預測。
每一視圖之圖像(其表示視訊之相同時間執行個體)包括類似之視訊內容。然而，視圖之視訊內容可相對於彼此而空間地移位。詳言之，視圖之視訊內容可表示不同透視。舉例而言，在第一視圖中之圖像中之視訊區塊可包括類似於在第二視圖中之圖像中之視訊區塊的視訊內容。在此實例中，在第一視圖中之圖像中之視訊區塊的位置與在第二視圖中之圖像中之視訊區塊的位置可不同。舉例而言，在不同視圖中之視訊區塊的位置之間可存在某一位移。
視訊區塊之視差向量提供對此位移之度量。舉例而言，在第一視圖中之圖像之視訊區塊可與一視差向量相關聯，該視差向量指示在第二視圖中之圖像中之對應視訊區塊的位移。
將一種用以推導視訊區塊之視差向量的技術稱作相鄰區塊視差向量(NBDV)推導。在NBDV推導技術中，視訊寫碼器(例如，視訊編碼器或視訊解碼器)評估與當前區塊相鄰之區塊以便判定該等相鄰區 塊中之任一者是否已用一不同視圖中之圖像而加以框間預測。舉例而言，多視圖寫碼提供視圖間預測。在視圖間預測中，在第一視圖中之圖像中之視訊區塊係用在第二、不同視圖中之圖像中之資料(例如，視訊區塊)而加以框間預測。視圖間預測類似於框間預測，其中在框間預測與視圖間預測兩者中，一圖像中之視訊區塊係用另一圖像中之視訊區塊而加以框間預測。然而，在規則框間預測中，圖像係來自相同視圖，而在視圖間預測中，圖像係來自不同視圖。
存在若干形式之視圖間預測，包括視圖間運動補償、視圖間運動預測及視圖間殘差預測。在視圖間運動補償中，視訊寫碼器可判定正加以視圖間預測之區塊的運動向量。為避免混淆，將用於視圖間預測之運動向量稱作視差運動向量，因為此運動向量指代一不同視圖中之圖像。將用於規則框間預測之運動向量稱作時間運動向量，因為此運動向量指代在相同視圖中但在一不同時間執行個體中之圖像。
視差運動向量識別用於當前區塊之視圖間運動補償的區塊。另一方面，視差向量識別在一不同視圖中之圖像中之區塊，該區塊包括與當前區塊之視訊內容類似之視訊內容。可存在視差向量之各種目的，該等目的不同於視差運動向量之目的。然而，視差向量被用於與視差運動向量相同之目的係可為有可能的，在該狀況下視差向量與視差運動向量變得相同。然而，一般而言，視差向量與視差運動向量可為不同向量，且可用於不同目的。
在NBDV推導技術中，視訊寫碼器評估當前區塊之相鄰區塊且判定該等相鄰區塊中之任一者是否已用視差運動向量而加以視圖間預測。若相鄰區塊係用視差運動向量而加以視圖間預測，則視訊寫碼器可將該相鄰區塊之視差運動向量轉換成當前區塊之視差向量。舉例而言，視訊寫碼器可藉由保持視差運動向量之水平分量且將視差運動向量之垂直分量設定至0來將相鄰區塊之視差運動向量轉換成當前區塊 之視差向量。在其他實例中，當將相鄰區塊之視差運動向量轉換至當前區塊之視差向量時，視訊寫碼器可將垂直分量設定至除0之外的值。相鄰區塊可包括在與當前區塊相同之圖像中的區塊(例如，空間相鄰區塊)。此等空間相鄰區塊可用視差運動向量而加以視圖間預測，且將空間相鄰區塊之視差運動向量(其可形成當前區塊之視差向量)稱作空間視差向量(SDV)。在一些實例中，相鄰區塊可包括在一不同於其中駐留有當前區塊之圖像之圖像中的區塊(例如，時間相鄰區塊)。此等時間相鄰區塊可用視差運動向量而加以視圖間預測，且將時間相鄰區塊之視差運動向量(其可形成當前區塊之視差向量)稱作時間視差向量(TDV)。
在一些實例中，作為執行NBDV推導之部分，視訊寫碼器可基於相鄰區塊之隱含視差向量(IDV)來判定當前區塊之視差向量。如上文所指示，當視訊寫碼器執行NBDV推導時，視訊寫碼器檢查相鄰區塊的視差運動向量。當視訊寫碼器檢查相鄰區塊的視差運動向量時，視訊寫碼器亦可判定該相鄰區塊是否具有IDV。若該相鄰區塊具有IDV，則視訊寫碼器可設定該相鄰區塊之IDV旗標以指示該相鄰區塊具有IDV。若在檢查相鄰區塊中之每一者的視差運動向量之後視訊寫碼器判定該等相鄰區塊中沒有一者具有視差運動向量，則視訊寫碼器可使用該等相鄰區塊之IDV旗標來識別一具有IDV之相鄰區塊。視訊寫碼器可接著將IDV轉換成當前區塊之視差向量。相鄰區塊之IDV可為在預測(亦即，寫碼)該相鄰區塊期間針對該相鄰區塊所推導之視差向量。
自針對推導當前區塊之視差向量的以上描述可見，推導當前區塊之視差向量可為計算密集型且可需要至記憶體之多次呼叫以判定先前寫碼之相鄰區塊之視差運動向量及IDV。根據本發明中所描述之一或多個技術，視訊寫碼器可推導一群區塊之視差向量而非以逐區塊為 基礎來推導視差向量，且視訊寫碼器可將所推導之視差向量用作該群區塊內之區塊中之每一者的視差向量。
舉例而言，如上文所描述，可將一寫碼單元(CU)分割成複數個預測單元(PU)。根據本發明中所描述之一或多個技術，視訊寫碼器可推導CU之一代表性PU之視差向量而非推導CU內之每一PU之視差向量。在此實例中，視訊寫碼器可將所推導之視差向量(亦即，該代表性PU之視差向量)指派給CU內之PU中之每一者而非分開地推導CU之每一PU之視差向量。此外，視訊寫碼器可基於所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測。
如上文所描述，視訊寫碼器評估相鄰區塊以判定該等相鄰區塊中之任一者是否用視差運動向量而加以視圖間預測。本發明之一些實例技術限制視訊寫碼器在NBDV推導期間所評估之相鄰區塊之數目。舉例而言，當視訊寫碼器執行視差向量推導程序(例如，NBDV推導)且第一空間相鄰區塊抑或第二空間相鄰區塊具有視差運動向量或IDV時，視訊寫碼器可將該視差運動向量或IDV轉換至當前區塊之視差向量。然而，即使第一空間相鄰區塊或第二空間相鄰區塊兩者都不具有視差運動向量或IDV，視差向量推導程序仍不判定除第一空間相鄰區塊及第二空間相鄰區塊之外的任何空間相鄰區塊是否具有視差運動向量或IDV。因此，不管第一空間相鄰區塊及第二空間相鄰區塊是否具有視差運動向量或IDV，視訊寫碼器均不檢查任何額外之空間相鄰區塊。
此外，本發明之一或多個技術可修改處置IDV之方式。舉例而言，在一些技術中，視訊寫碼器利用IDV旗標來指示相鄰區塊是否具有IDV。可無需儲存IDV旗標。相反地，根據本發明之一或多個技 術，視訊寫碼器可使用出界資訊(例如，非法值)來判定是否存在先前寫碼之相鄰區塊之IDV。舉例而言，取決於先前寫碼之相鄰區塊是否具有此出界資訊，視訊寫碼器可判定存在或不存在該相鄰區塊之IDV。
圖1為說明可利用本發明之技術之實例視訊寫碼系統10的方塊圖。如本文中所使用，術語「視訊寫碼器」一般地指代視訊編碼器與視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可一般地指代視訊編碼或視訊解碼。
如圖1中所示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼視訊資料。因此，可將源器件12稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12所產生之經編碼視訊資料。因此，可將目的地器件14稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。
源器件12及目的地器件14可包含一廣泛範圍之器件，包括桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機上盒、電話手機(諸如，所謂之「智慧型」電話)、電視、相機、顯示器件、數位媒體播放器、視訊遊戲控制台、車載電腦或其類似者。
目的地器件14可經由頻道16而自源器件12接收經編碼視訊資料。頻道16可包含能夠將經編碼視訊資料自源器件12移至目的地器件14的一或多個媒體或器件。在一個實例中，頻道16可包含使得源器件12能夠即時直接將經編碼視訊資料傳輸至目的地器件14的一或多個通信媒體。在此實例中，源器件12可根據通信標準(諸如，無線通信協定)來調變經編碼視訊資料，且可將經調變之視訊資料傳輸至目的地器件14。該一或多個通信媒體可包括無線及/或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成 基於封包之網路(諸如，區域網路、廣域網路或全域網路(例如，網際網路))之部分。一或多個通信媒體可包括路由器、開關、基地台或促進自源器件12至目的地器件14之通信的其他設備。
在另一實例中，頻道16可包括一儲存由源器件12所產生之經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可(例如)經由磁碟存取或卡存取來存取該儲存媒體。該儲存媒體可包括多種本端存取之資料儲存媒體，諸如，藍光光碟、DVD、CD-ROM、快閃記憶體或用於儲存經編碼視訊資料之其他合適之數位儲存媒體。
在另外之實例中，頻道16可包括一儲存由源器件12所產生之經編碼視訊資料的檔案伺服器或另一中間儲存器件。在此實例中，目的地器件14可經由串流或下載來存取被儲存於檔案伺服器或其他中間儲存器件處的經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件14之伺服器類型。實例檔案伺服器包括web伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網路附接儲存(NAS)器件及本端磁碟機。
目的地器件14可經由標準資料連接(諸如，網際網路連接)來存取經編碼視訊資料。資料連接之實例類型可包括適合於存取被儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，數位用戶線(DSL)、纜線數據機等)或兩者之組合。經編碼視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術並不限於無線應用或設定。可將該等技術應用於支援多種多媒體應用(諸如，(例如)經由網際網路之空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸)的視訊寫碼、供儲存於資料儲存媒體上之視訊資料的編碼、被儲存於資料儲存媒體上之視訊資料的解碼，或其他應用。在一些實例中，視訊寫碼系統10可經組態 以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
圖1僅僅為一實例且本發明之技術可應用於未必包括編碼器件與解碼器件之間的任何資料通信的視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，資料(例如，諸如經編碼及/或經解碼視訊資料之視訊資料)自本端記憶體而被擷取、經由網路而被串流或其類似者。視訊編碼器件可編碼資料並將資料儲存至記憶體，及/或視訊解碼器件可自記憶體擷取資料並解碼資料。在許多實例中，編碼及解碼係由彼此不通信而是僅編碼至記憶體之資料及/或擷取及解碼來自記憶體之資料的器件來執行。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。視訊源18可包括：視訊俘獲器件(例如，視訊相機)；含有先前俘獲之視訊資料的視訊封存檔；用以自視訊內容提供者接收視訊資料之視訊饋入介面；及/或用於產生視訊資料之電腦圖形系統；或此等視訊資料源之組合。
視訊編碼器20可編碼來自視訊源18之視訊資料。在一些實例中，源器件12經由輸出介面22而直接將經編碼視訊資料傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可被儲存至儲存媒體或檔案伺服器上以供目的地器件14稍後存取從而進行解碼及/或播放。
在圖1之實例中，目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16來接收經編碼視訊資料。視訊解碼器30可解碼經編碼視訊資料。顯示器件32可顯示經解碼視訊資料。顯示器件32可與目的地器件14整合或可位於目的地器件14外部。顯示器件32可包含諸如以下各者之多種顯示器件：液晶顯示器(LCD)、電漿顯示 器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30各自可經實施為諸如以下各者之多種合適電路中之任一者：一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。若該等技術部分地在軟體中實施，則一器件可將軟體之指令儲存於合適之非暫時性電腦可讀儲存媒體中且可在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。可將前述(包括硬體、軟體、硬體與軟體之組合等)中之任一者視為一或多個處理器。視訊編碼器20及視訊解碼器30中之每一者可被包括於一或多個編碼器或解碼器中，該一或多個編碼器或解碼器中之任一者可經整合為各別器件中之組合式編碼器/解碼器(CODEC)的部分。
本發明可大體指代視訊編碼器20將某些資訊「傳信」至另一器件(諸如，視訊解碼器30)。術語「傳信」可大體指代語法元素及/或用以解碼經壓縮視訊資料之其他資料的傳達。此傳達可即時或接近即時地發生。或者，此傳達可在一時間跨度中發生，諸如可在將經編碼位元串流中之語法元素儲存至電腦可讀儲存媒體(在編碼的時候)時發生，該等語法元素接著可由解碼器件在被儲存至此媒體之後的任何時間擷取。
在一些實例中，視訊編碼器20及視訊解碼器30根據諸如以下各者之視訊壓縮標準來操作：ISO/IEC MPEG-4 Visual及ITU-T H.264(亦已知為ISO/IEC MPEG-4 AVC)(包括該ITU-T H.264之可縮放視訊寫碼(SVC)擴展、多視圖視訊寫碼(MVC)擴展及基於MVC之3DV擴展)。此外，存在用以產生H.264/AVC之三維視訊(3DV)寫碼擴展(即，基於AVC之3DV)之正在進行之努力。H.264之MVC擴展之聯合草案係描述於「Advanced video coding for generic audiovisual services」(ITU-T建議H.264，2010年3月)中。在其他實例中，視訊編碼器20及 視訊解碼器30可根據ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual及ITU-T H.263、ISO/IEC-4 Visual來操作。因此，視訊編碼器20及視訊解碼器30可根據包括以下各者之視訊寫碼標準來操作：ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦已知為ISO/IEC MPEG-4 AVC)(包括該ITU-T H.264之SVC擴展及MVC擴展)。
在其他實例中，視訊編碼器20及視訊解碼器30可根據由ITU-T視訊寫碼專家群(VCEG)及ISO/IEC運動圖像專家群(MPEG)之視訊寫碼聯合協作小組(JCT-VC)開發的高效率視訊寫碼(HEVC)標準來操作。HEVC標準之草案(稱作「HEVC工作草案8」或「HEVC基礎規範」)係描述於Bross等人之「High Efficiency Video Coding(HEVC)text specification draft 8」(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合協作小組(JCT-VC)，第10次會議，瑞士斯德哥爾摩，2012年7月)中。此外，存在用以產生HEVC之可縮放視訊寫碼擴展、多視圖寫碼擴展及3DV擴展之正在進行之努力。可將HEVC之可縮放視訊寫碼擴展稱作SHEVC。視訊編碼器20及視訊解碼器30可根據HEVC標準之此等擴展來操作。
當前，VCEG及MPEG之3D視訊寫碼聯合協作小組(JCT-3C)正開發基於HEVC之3DV標準，對於該3DV標準而言，標準化努力之部分包括基於HEVC之多視圖視訊編碼解碼器(MV-HEVC)之標準化且另一部分係針對基於HEVC之3D視訊寫碼(3D-HEVC)。對於3D-HEVC而言，可包括及支援用於紋理視圖與深度視圖兩者之新寫碼工具(包括在寫碼單元/預測單元層級中之彼等寫碼工具)。可於2013年12月5日自以下連結下載用於3D-HEVC(亦即，3D-HTM版本6.0)之軟體：[3D-HTM]：https：//hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM- 6.0/
一般而言，HEVC之運動補償迴圈與H.264/AVC中之運動補償迴圈相同。舉例而言，當前圖框之重新建構可等於經解量化係數r加上時間預測P：
在以上公式中，P指示針對P圖框之單向預測或針對B圖框之雙向預測。
然而，HEVC中之運動補償單元不同於先前視訊寫碼標準中之運動補償單元。舉例而言，在HEVC中不存在先前視訊寫碼標準中之巨集區塊之概念。相反，巨集區塊被基於一般四分樹方案之高度靈活之階層結構所代替。在此方案內，定義三種類型之區塊(亦即，寫碼單元(CU)、預測單元(PU)及變換單元(TU))。CU係區域分裂之基本單元。CU之概念類似於巨集區塊之概念，但CU並不限制至最大大小且CU允許遞歸分裂成四個相等大小之CU以改良內容自適應性。PU係框間/框內預測之基本單元且PU可含有單一PU內之多個任意形狀之分區以有效地寫碼不規則影像圖案。TU係變換之基本單元。可獨立於CU之PU來定義該CU之TU。然而，TU之大小受限於該TU所屬之CU。將區塊結構以此方式分成三種不同概念可允許每一者根據其作用而被最佳化，從而可導致改良之寫碼效率。
在HEVC及其他視訊寫碼規範中，一視訊序列通常包括一系列圖像。亦可將圖像稱作「圖框」。一圖像可包括三個樣本陣列(表示為SL、SCb及SCr)。SL為明度樣本之二維陣列(亦即，區塊)。SCb為Cb彩度樣本之二維陣列。SCr為Cr彩度樣本之二維陣列。本文中亦可將彩度樣本稱作「色度」樣本。在其他例子中，圖像可為單色型且可僅包括亮度樣本之陣列。
為產生圖像之經編碼表示，視訊編碼器20可產生一組寫碼樹型 單元(CTU)。該等CTU中之每一者可包含亮度樣本之一寫碼樹型區塊(CTB)、色度樣本之兩個對應寫碼樹型區塊及用以寫碼該等寫碼樹型區塊之樣本的語法結構。在單色圖像或具有三個分開之彩色平面的圖像中，CTU可包含單一寫碼樹型區塊及用以寫碼該寫碼樹型區塊之樣本的語法結構。寫碼樹型區塊可為樣本之N×N區塊。亦可將CTU稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準的巨集區塊。然而，CTU未必受限於特定大小且可包括一或多個CU。
一片段可包括整數數目之以光柵掃描次序連續地排序之CTU。經寫碼片段可包含片段標頭及片段資料。一片段之片段標頭可為一包括語法元素之語法結構，該等語法元素提供關於該片段之資訊。片段資料可包括該片段之經寫碼CTU。
本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」來指代一或多個樣本區塊及用以寫碼該一或多個樣本區塊之樣本的語法結構。視訊單元之實例類型可包括CTU、CU、PU、變換單元(TU)、巨集區塊、巨集區塊分區等等。在一些上下文中，可將PU之論述與巨集區塊分區之巨集區塊的論述互換。
為產生經寫碼CTU，視訊編碼器20可遞歸地對CTU之寫碼樹型區塊執行四分樹分割以將該等寫碼樹型區塊劃分成寫碼區塊(因此命名為「寫碼樹型單元」)。寫碼區塊為樣本之N×N區塊。CU可包含一圖像之亮度樣本之一寫碼區塊及色度樣本之兩個對應寫碼區塊以及用以寫碼該等寫碼區塊之樣本的語法結構，該圖像具有一亮度樣本陣列、一Cb樣本陣列及一Cr樣本陣列。在單色圖像或具有三個分開之彩色平面的圖像中，CU可包含單一寫碼區塊及用以寫碼該寫碼區塊之樣本的語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預 測區塊為應用有相同預測之樣本之矩形(亦即，正方形或非正方形)區塊。CU之PU可包含亮度樣本之一預測區塊、色度樣本之兩個對應預測區塊及用以預測該等預測區塊之語法結構。在單色圖像或具有三個分開之彩色平面的圖像中，PU可包含單一預測區塊及用以預測該預測區塊之語法結構。視訊編碼器20可產生用於CU之每一PU之亮度、Cb及Cr預測區塊的預測性亮度、Cb及Cr區塊。因此，在本發明中，可據稱一CU被分割成一或多個PU。出於解釋之容易，本發明可將PU之預測區塊之大小簡單地稱作PU之大小。
視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測來產生PU之預測性區塊，則視訊編碼器20可基於與該PU相關聯之圖像之樣本而產生該PU之預測性區塊。在本發明中，短語「基於」可指示「至少部分地基於」。
若視訊編碼器20使用框間預測來產生PU之預測性區塊，則視訊編碼器20可基於除與該PU相關聯之圖像之外的一或多個圖像之經解碼樣本而產生該PU之預測性區塊。當使用框間預測來產生區塊(例如，PU)之預測性區塊時，本發明可將該區塊稱作「框間寫碼型」或「框間預測型」。框間預測可為單向型(亦即，單向預測)或雙向型(亦即，雙向預測)。為執行單向預測或雙向預測，視訊編碼器20可產生當前圖像之第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。該等參考圖像清單中之每一者可包括一或多個參考圖像。在建構一參考圖像清單(即，RefPicList0及RefPicList1(若可用))之後，可使用參考圖像清單之參考索引來識別被包括於該參考圖像清單中之任何參考圖像。
當使用單向預測時，視訊編碼器20可搜尋RefPicList0及RefPicList1中之任一者或兩者中之參考圖像以判定參考圖像內之參考位置。此外，當使用單向預測時，視訊編碼器20可至少部分地基於對 應於該參考位置之樣本而產生PU之預測性區塊。此外，當使用單向預測時，視訊編碼器20可產生單一運動向量，該運動向量指示PU之預測區塊與該參考位置之間的空間位移。該運動向量可包括一指定PU之預測區塊與參考位置之間的水平位移的水平分量且可包括一指定PU之預測區塊與參考位置之間的垂直位移的垂直分量。
當使用雙向預測來編碼PU時，視訊編碼器20可判定在RefPicList0中之參考圖像中的第一參考位置及在RefPicList1中之參考圖像中的第二參考位置。視訊編碼器20可至少部分地基於對應於該第一參考位置及該第二參考位置之樣本而產生PU之預測性區塊。此外，當使用雙向預測來編碼PU時，視訊編碼器20可產生一指示PU之預測區塊與第一參考位置之間的空間位移的第一運動向量及一指示PU之預測區塊與第二參考位置之間的空間位移的第二運動向量。
若視訊編碼器20使用框間預測來產生PU之預測性區塊，則視訊編碼器20可基於除與該PU相關聯之圖像之外的一或多個圖像之樣本而產生該PU之預測性區塊。舉例而言，視訊編碼器20可對PU執行單向框間預測(亦即，單向預測)或雙向框間預測(亦即，雙向預測)。
在其中視訊編碼器20對PU執行單向預測的例子中，視訊編碼器20可基於PU之運動向量來判定參考圖像中之參考位置。視訊編碼器20可接著判定PU之預測性區塊。在PU之預測性區塊中的每一樣本可與該參考位置相關聯。在一些實例中，當在PU之預測性區塊中的樣本係在具有與PU相同大小且其左上隅角為參考位置的樣本區塊內時，該樣本可與該參考位置相關聯。預測性區塊中之每一樣本可為參考圖像之實際或內插樣本。在其中預測性區塊之亮度樣本係基於參考圖像之內插亮度樣本的例子中，視訊編碼器20可藉由將8分接頭內插濾波器應用於參考圖像之實際亮度樣本而產生內插亮度樣本。在其中預測性區塊之色度樣本係基於參考圖像之內插色度樣本的例子中，視 訊編碼器20可藉由將4分接頭內插濾波器應用於參考圖像之實際色度樣本而產生內插色度樣本。一般而言，濾波器之分接頭之數目指示用以數學地表示濾波器之係數請求之數目。具有較高分接頭數目之濾波器大體比具有較低分接頭數目之濾波器更複雜。
在其中視訊編碼器20對PU執行雙向預測的例子中，PU具有兩個運動向量。視訊編碼器20可基於PU之運動向量來判定兩個參考圖像中之兩個參考位置。視訊編碼器20可接著以上文所描述之方式來判定與該兩個參考位置相關聯之參考區塊。視訊編碼器20可接著判定PU之預測區塊。該預測區塊中之每一樣本可為參考區塊中之對應樣本之加權平均值。樣本之加權可基於參考圖像距含有該PU之圖像的時間距離。
視訊編碼器20可根據各種分割模式而將一CU分割成一或多個PU。舉例而言，若使用框內預測來產生CU之PU之預測性區塊，則該CU可根據PART_2N×2N模式或PART_N×N模式加以分割。在PART_2N×2N模式中，CU僅具有一個PU。在PART_N×N模式中，CU具有四個相等大小之PU，該等PU具有矩形預測區塊。若使用框間預測來產生CU之PU之預測性區塊，則該CU可根據PART_2N×2N模式、PART_N×N模式、PART_2N×N模式、PART_N×2N模式、PART_2N×nU模式、PART_2N×uD模式、PART_nL×2N模式或PART_nR×2N模式加以分割。在PART_2N×N模式及PART_N×2N模式中，CU被分割成兩個相等大小之PU，該等PU具有矩形預測區塊。在PART_2N×nU模式、PART_2N×uD模式、PART_nL×2N模式及PART_nR×2N模式中之每一者中，CU被分割成兩個不相等大小之PU，該等PU具有矩形預測區塊。
在視訊編碼器20產生CU之一或多個PU之預測性亮度、Cb及Cr區塊之後，視訊編碼器20可產生該CU之亮度殘差區塊。該CU之亮度殘 差區塊中之每一樣本指示在該CU之預測性亮度區塊中之一者中的亮度樣本與在該CU之原始亮度寫碼區塊中之對應樣本之間的差。另外，視訊編碼器20可產生CU之Cb殘差區塊。該CU之Cb殘差區塊中之每一樣本可指示在CU之預測性Cb區塊中之一者中的Cb樣本與在該CU之原始Cb寫碼區塊中之對應樣本之間的差。視訊編碼器20亦可產生CU之Cr殘差區塊。該CU之Cr殘差區塊中之每一樣本可指示在該CU之預測性Cr區塊中之一者中的Cr樣本與在該CU之原始Cr寫碼區塊中之對應樣本之間的差。
此外，視訊編碼器20可使用四分樹分割以將CU之亮度、Cb及Cr殘差區塊分解成一或多個亮度、Cb及Cr變換區塊。變換區塊為應用有相同變換之樣本之矩形(例如，正方形或非正方形)區塊。CU之TU可包含亮度樣本之一變換區塊、色度樣本之兩個對應變換區塊及用以變換該等變換區塊樣本之語法結構。因此，CU之每一TU可與一亮度變換區塊、一Cb變換區塊及一Cr變換區塊相關聯。與TU相關聯之亮度變換區塊可為CU之亮度殘差區塊之子區塊。Cb變換區塊可為CU之Cb殘差區塊之子區塊。Cr變換區塊可為CU之Cr殘差區塊之子區塊。在單色圖像或具有三個分開之彩色平面的圖像中，TU可包含單一變換區塊及用以變換該變換區塊之樣本的語法結構。
視訊編碼器20可將一或多個變換應用於TU之亮度變換區塊以產生該TU之亮度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為標量。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊以產生該TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊以產生該TU之Cr係數區塊。
在產生係數區塊(例如，亮度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化該係數區塊。量化大體指代如下之程序：將變換係數量化以可能地減少用以表示變換係數之資料之量，從 而提供另外之壓縮。視訊編碼器20可基於與CU相關聯之量化參數(QP)值來量化與該CU之TU相關聯的係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整被應用於與該CU相關聯之係數區塊之量化之程度。在一些實例中，與CU相關聯之QP值可總體上與當前圖像或片段相關聯。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化之變換係數的語法元素。舉例而言，視訊編碼器20可對指示經量化之變換係數的語法元素執行上下文自適應性二進位算術寫碼(CABAC)。
視訊編碼器20可輸出一包括一位元序列之位元串流，該位元序列形成經寫碼圖像及相關聯之資料的表示。該位元串流可包含一連串網路提取層(NAL)單元。NAL單元為一呈在必要時穿插有仿真防止位元之原始位元組序列有效負載(RBSP)形式的語法結構，該語法結構含有在該NAL單元中之資料之類型及含有彼資料之位元組的指示。NAL單元中之每一者包括NAL單元標頭且囊封RBSP。NAL單元標頭可包括一指示NAL單元型碼之語法元素。由NAL單元之NAL單元標頭所指定的NAL單元型碼指示NAL單元之類型。RBSP可為一含有整數數目個位元組之語法結構，其被囊封於NAL單元內。在一些例子中，RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，不同類型之NAL單元可囊封視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)、經寫碼片段、SEI等等之不同RBSP。可將囊封視訊寫碼資料之RBSP(與參數集及SEI訊息之RBSP相對)的NAL單元稱作視訊寫碼層(VCL)NAL單元。
在HEVC中，SPS可含有應用於經寫碼視訊序列(CVS)之所有片段的資訊。在HEVC中，CVS可自瞬時解碼再新(IDR)圖像或中斷連結存取(BLA)圖像或為位元串流中之第一圖像的清潔隨機存取(CRA)圖像 (包括非為IDR或BLA圖像之所有後續圖像)而開始。亦即，在HEVC中，CVS可包含一連串存取單元，該等存取單元可按解碼次序而由以下各者組成：CRA存取單元，其為位元串流中之第一存取單元；IDR存取單元或BLA存取單元；接著為零或多個非IDR及非BLA存取單元，其包括多達但不包括任何後續IDR或BLA存取單元之所有後續存取單元。
VPS為一包含應用於零或多個完整CVS之語法元素的語法結構。SPS可包括一識別當SPS有效時為有效之VPS的語法元素。因此，VPS之語法元素可比SPS之語法元素更大體適用。PPS為一包含應用於零或多個經寫碼圖像之語法元素的語法結構。PPS可包括一識別當PPS有效時為有效之SPS的語法元素。片段之片段標頭可包括一指示當片段正加以寫碼時為有效之PPS的語法元素。
視訊解碼器30可接收由視訊編碼器20所產生之位元串流。另外，視訊解碼器30可剖析該位元串流以自該位元串流獲得語法元素。視訊解碼器30可至少部分地基於自位元串流獲得之語法元素來重新建構視訊資料之圖像。用以重新建構視訊資料之程序可大體與由視訊編碼器20所執行之程序互反。舉例而言，視訊解碼器30可使用PU之運動向量來判定當前CU之PU之預測性區塊。另外，視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反變換以重新建構與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將當前CU之PU之預測性區塊的樣本添加至當前CU之TU之變換區塊的對應樣本而重新建構當前CU之寫碼區塊。藉由重新建構圖像之每一CU之寫碼區塊，視訊解碼器30可重新建構該圖像。
每一經寫碼圖像具有一參考圖像集，該參考圖像集包括可用於供經寫碼圖像抑或在經寫碼圖像後面(未來)之圖像進行參考的所有圖像。視訊寫碼器可區分哪些圖像可僅被用作未來圖像之參考。參考圖 像清單係基於參考圖像集(「RPS」)中之圖像而建構，該等圖像可用於當前圖像(即「用於當前之RPS」)因此不可用於可僅被用作未來圖像之參考的圖像。
在一些實例中，當視訊編碼器20開始編碼當前圖像時，視訊編碼器20可產生當前圖像之參考圖像之五個子集(亦即，參考圖像子集)。在一些實例中，此等五個參考圖像子集為：RefPicSetStCurrBefore、RefPicSetStCurrAfter、RefPicSetStFoll、RefPicSetLtCurr及RefPicSetLtFoll。本發明可將RefPicSetStCurrBefore、RefPicSetStCurrAfter、RefPicSetStFoll中之參考圖像稱作「短期參考圖像」、「短期圖像」或「STRP」。因此，「短期參考圖像」可為被標記(例如，由於係在RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll中)為被用於短期參考的圖像。本發明可將RefPicSetLtCurr及RefPicSetLtFoll中之參考圖像稱作「長期參考圖像」、「長期圖像」或「LTRP」。視訊編碼器可重產生每一圖像之五個參考圖像子集。
此外，當當前圖像之當前片段為P片段(亦即，其中框內預測及單向框間預測被啟用的片段)時，視訊編碼器20可使用來自當前圖像之RefPicStCurrAfter、RefPicStCurrBefore及RefPicStLtCurr參考圖像子集的參考圖像來產生當前片段之單一參考圖像清單(RefPicList0)。當當前片段為B片段(亦即，其中框內預測、單向框間預測及雙向框間預測被啟用的片段)時，視訊編碼器20可使用來自當前圖像之RefPicStCurrAfter、RefPicStCurrBefore及RefPicStLtCurr參考圖像子集的參考圖像來產生當前片段之兩個參考圖像清單(RefPicList0及RefPicList1)。視訊編碼器20可將視訊解碼器30可用以判定當前圖像之參考圖像子集的語法元素包括於當前圖像之第一片段之片段標頭中。當視訊解碼器30解碼當前圖像之當前片段時，視訊解碼器30可判 定當前圖像之參考圖像子集且可重產生RefPicList0及/或RefPicList1。
如上文所指示，當視訊寫碼器(例如，視訊編碼器20或視訊解碼器30)開始寫碼一圖像之當前片段時，視訊寫碼器可初始化第一參考圖像清單(亦即，RefPicList0)。此外，若當前片段為B片段，則視訊寫碼器可初始化第二參考圖像清單(亦即，RefPicList1)。在一些實例中，參考圖像清單初始化為顯式機制，其基於參考圖像之圖像次序計數(POC)值之次序而將參考圖像記憶體(亦即，經解碼圖像緩衝器)中之參考圖像放置至清單中。POC值為與每一圖像相關聯之變數，其指示按輸出次序之相關聯圖像的位置(相對於在相同經寫碼視訊序列中之其他圖像之輸出次序位置)。
為產生RefPicList0，視訊寫碼器(例如，視訊編碼器或視訊解碼器)可產生RefPicList0之初始、預設版本。在RefPicList0之初始版本中，首先列舉RefPicSetStCurrBefore中之參考圖像，接著為RefPicSetStCurrAfter中之參考圖像，接著為RefPicSetLtCurr中之參考圖像。類似地，為產生RefPicList1，視訊寫碼器可產生RefPicList1之初始版本。在RefPicList1之初始版本中，首先列舉RefPicSetStCurrAfter中之參考圖像，接著為RefPicSetStCurrBefore中之參考圖像，接著為RefPicSetLtCurr中之參考圖像。
在視訊寫碼器已初始化參考圖像清單(例如，RefPicList0或RefPicList1)之後，視訊寫碼器可修改該參考圖像清單中之參考圖像的次序。換言之，視訊寫碼器可執行參考圖像清單修改(RPLM)程序。視訊寫碼器可按任何次序來修改參考圖像之次序，包括一個特定參考圖像可出現在參考圖像清單中之一個以上之位置處。換言之，參考圖像清單再現機制可將在參考圖像列包初始化期間被放置於清單中之圖像之位置修改至任何新位置，或將參考圖像記憶體中之任何參考圖像放置於任何位置中(即使該圖像不屬於經初始化之清單中)。然 而，若圖像之位置超過清單之有效參考圖像之數目，則將該圖像視為最終參考圖像清單之條目。片段標頭可包括一或多個語法元素，該一或多個語法元素指示參考圖像清單中之有效參考圖像的數目。
在一些實例中，在視訊寫碼器已建構最終參考圖像清單(亦即，RefPicList0及RefPicList1)之後，視訊寫碼器建構B片段之組合式清單(例如，RefPicListC)。另外若針對該組合式清單而存在一或多個參考圖像清單修改語法元素，則視訊寫碼器可另外該組合式清單。
在一些實例中，視訊編碼器20可使用合併/跳過模式或進階運動向量預測(AMVP)模式來傳信PU之運動資訊。換言之，在HEVC中，存在用於運動參數之預測的兩個模式，一個模式為合併/跳過模式且另一模式為AMVP模式。運動預測可包含基於一或多個其他區塊之運動向量來判定一區塊(例如，PU)之運動資訊。PU之運動資訊可包括PU之運動向量、PU之參考索引，及一或多個預測方向指示符。
當視訊編碼器20使用合併模式來傳信當前PU之運動資訊時，視訊編碼器20產生合併候選者清單。換言之，視訊編碼器20可執行運動向量預測值清單建構程序。合併候選者清單包括一組合併候選者，該等合併候選者指示與當前PU空間或時間相鄰之PU之運動資訊。亦即，在合併模式中，建構運動參數(例如，參考索引、運動向量等)之候選者清單，其中候選者可來自空間及時間相鄰區塊。
此外，在合併模式中，視訊編碼器20可自合併候選者清單選擇一合併候選者且可將由所選之合併候選者所指示的運動資訊用作當前PU之運動資訊。視訊編碼器20可傳信在所選之合併候選者之合併候選者清單中之位置。舉例而言，視訊編碼器20可藉由傳輸一指示在所選之合併候選者之候選者清單內之位置的索引(亦即，合併候選者索引)來傳信所選之運動向量參數。視訊解碼器30可自位元串流獲得至候選者清單中之索引(亦即，合併候選者索引)。另外，視訊解碼器30 可產生相同之合併候選者清單且可基於合併候選者索引來判定所選之合併候選者。視訊解碼器30可接著使用所選之合併候選者之運動資訊來產生當前PU之預測性區塊。亦即，視訊解碼器30可至少部分地基於候選者清單索引來判定候選者清單中之所選候選者，其中該所選候選者指定當前PU之運動向量。以此方式，在解碼器側處，一旦索引被解碼，則索引點可由當前PU繼承的對應區塊之所有運動參數。
跳過模式類似於合併模式。在跳過模式中，視訊編碼器20及視訊解碼器30以視訊編碼器20及視訊解碼器30在合併模式中使用合併候選者清單相同之方式來產生及使用合併候選者清單。然而，當視訊編碼器20使用跳過模式來傳信當前PU之運動資訊時，視訊編碼器20不傳信當前PU之任何殘差資料。因此，視訊解碼器30可在不使用殘差資料的情況下基於由合併候選者清單中之所選候選者之運動資訊所指示的參考區塊來判定PU之預測區塊。
AMVP模式類似於合併模式係因為視訊編碼器20可產生候選者清單且可自該候選者清單選擇候選者。然而，當視訊編碼器20使用AMVP模式來傳信當前PU之RefPicListX(其中X為0或1)運動資訊時，除傳信當前PU之RefPicListX運動向量預測值(MVP)旗標之外，視訊編碼器20還可傳信當前PU之RefPicListX運動向量差(MVD)及當前PU之RefPicListX參考索引。當前PU之RefPicListX MVP旗標可指示所選AMVP候選者在AMVP候選者清單中之位置。當前PU之RefPicListX MVD可指示當前PU之RefPicListX運動向量與所選AMVP候選者之運動向量之間的差。以此方式，視訊編碼器20可藉由傳信RefPicListX MVP旗標、RefPicListX參考索引值及RefPicListX MVD來傳信當前PU之RefPicListX運動資訊。換言之，位元串流中之表示當前PU之運動向量的資料可包括表示參考索引、至候選者清單之索引及MVD之資料。因此，可藉由傳輸至候選者清單中之索引來傳信所挑選之運動向 量。另外，亦可傳信參考索引值及運動向量差。
此外，當使用AMVP模式來傳信當前PU之運動資訊時，視訊解碼器30可自位元串流獲得當前PU之MVD及MVP旗標。視訊解碼器30可產生相同之AMVP候選者清單且可基於MVP旗標來判定所選之AMVP候選者。換言之，在AMVP中，基於經寫碼參考索引來推導用於每一運動假設之運動向量預測值之候選者清單。如前所述，清單可包括與相同參考索引相關聯之相鄰區塊之運動向量以及一基於在時間參考圖像中之共置型區塊之相鄰區塊的運動參數而推導之時間運動向量預測值。視訊解碼器30可藉由將MVD加至由所選AMVP候選者所指示之運動向量來恢復當前PU之運動向量。亦即，視訊解碼器30可基於由所選AMVP候選者所指示之運動向量及MVD來判定當前PU之運動向量。視訊解碼器30可接著使用經恢復之運動向量或當前PU之運動向量來產生當前PU之預測性區塊。
當視訊寫碼器產生當前PU之AMVP候選者清單時，視訊寫碼器可基於涵蓋與當前PU空間相鄰之位置的PU(亦即，空間相鄰PU)之運動資訊來推導一或多個AMVP候選者及基於與當前PU時間相鄰的PU之運動資訊來推導一或多個AMVP候選者。在本發明中，若與PU(或其他類型之視訊單元)相關聯之預測區塊(或與該視訊單元相關聯之其他類型之樣本區塊)包括一位置，則可據稱該PU「涵蓋」該位置。候選者清單可包括與相同參考索引相關聯之相鄰區塊之運動向量以及一基於在時間參考圖像中之共置型區塊之相鄰區塊的運動參數(亦即，運動資訊)而推導之時間運動向量預測值。
圖2為說明相對於當前PU 40之實例空間相鄰PU的概念圖。在圖2之實例中，空間相鄰PU可為涵蓋經指示為A0、A1、B0、B1及B2之位置的PU。換言之，圖2中描繪了當前PU 40與其空間相鄰PU之間的實例關係。
關於空間相鄰PU，可定義以下符號：-亮度位置(xP,yP)係用以指定相對於當前圖像之左上樣本的當前PU之左上亮度樣本；-變數nPSW及nPSH表示對於亮度而言PU之寬度及高度；-相對於當前圖像之左上樣本的當前PUN之左上亮度樣本為(xN,yN)。
在上文之定義中，將(xN,yN)(其中N由A0、A1、B0、B1或B2來代替)分別定義為(xP-1,yP+nPSH)、(xP-1,yP+nPSH-1)、(xP+nPSW,yP-1)、(xP+nPSW-1,yP-1)或(xP-1,yP-1)。
可將合併候選者清單或AMVP候選者清單中之基於一與當前PU時間相鄰之PU(亦即，與不同於當前PU之時間執行個體相關聯的PU)之運動資訊的候選者稱作TMVP。可使用TMVP來改良HEVC之寫碼效率且不同於其他寫碼工具，TMVP可需要存取經解碼圖像緩衝器中之圖框之運動向量。更具體言之，TMVP可需要存取參考圖像清單中之圖像之運動向量。
為判定TMVP，視訊寫碼器可首先識別一包括與當前PU共置之PU的參考圖像。換言之，視訊寫碼器可識別所謂之「共置型圖像」。若當前圖像之當前片段為B片段(亦即，被允許包括雙向框間預測之PU的片段)，則視訊編碼器20可在片段標頭中傳信一指示共置型圖像是來自RefPicList0還是RefPicList1之語法元素(例如，collocated_from_l0_flag)。換言之，當針對當前片段而啟用TMVP之使用且當前片段為B片段(例如，被允許包括雙向框間預測之PU的片段)時，視訊編碼器20可在片段標頭中傳信一用以指示共置型圖像是在RefPicList0中還是在RefPicList1中的語法元素(例如，collocated_from_l0_flag)。
片段標頭中之語法元素(例如，collocated_ref_idx)可指示在所識 別之參考圖像清單中之共置型圖像。因此，在視訊解碼器30識別了包括共置型區塊之參考圖像清單之後，視訊解碼器30可使用collocated_ref_idx，該collocated_ref_idx可在片段標頭中傳信以識別在所識別之參考圖像清單中之共置型圖像。
視訊寫碼器可藉由檢查共置型圖像來識別共置型PU。TMVP可指示含有共置型PU之CU之右下PU的運動資訊或在含有此PU之CU之中心PU內的右下PU之運動資訊。因此，使用含有此PU之CU之右下PU的運動抑或在含有此PU之CU之中心PU內的右下PU之運動。含有共置型PU之CU之右下PU可為一涵蓋與緊鄰於PU之預測區塊之右下樣本之右下方的位置共置之位置的PU。換言之，TMVP可指示在參考圖像中且涵蓋一與當前PU之右下隅角共置之位置的PU之運動資訊，或TMVP可指示在參考圖像中且涵蓋一與當前PU之中心(亦即，當前PU之預測區塊之中心)共置之位置的PU之運動資訊。
當視訊寫碼器產生一指示時間參考圖像中之TMVP之運動向量的運動向量候選者(例如，在AMVP候選者清單之合併清單中的候選者)時，視訊寫碼器可基於該時間參考圖像之時間位置(由POC值反映)來縮放TMVP之運動向量。換言之，視訊寫碼器可基於當前圖像與參考圖像之間的POC距離來縮放運動向量候選者之運動向量。舉例而言，當視訊寫碼器基於第一圖像與第二圖像之間的POC距離來縮放運動向量時，視訊寫碼器在第一圖像及第二圖像之POC值之間的差係較大時將運動向量之量值增加的量可大於在第一圖像及第二圖像之POC值之間的差係較小時將運動向量之量值增加的量。
在多視圖寫碼中，可存在相同場景來自不同視點之多個視圖。術語「存取單元」用以指代對應於相同時間執行個體之一組圖像。因此，可使視訊資料概念化為隨時間的過去而發生之一系列存取單元。術語「視圖分量」可為單一存取單元中之視圖之經寫碼表示。在本發 明中，「視圖」可指代與相同視圖識別符相關聯之一連串視圖分量。
多視圖寫碼支援視圖間預測。視圖間預測係類似於HEVC中所使用之框間預測且可使用相同之語法元素。然而，當視訊寫碼器對當前視訊單元(諸如，PU)執行視圖間預測時，視訊編碼器20可將一在與當前視訊單元相同之存取單元中但在不同視圖中的圖像用作參考圖像。換言之，在多視圖寫碼中，在被俘獲於相同存取單元(亦即，在相同之時間執行個體內)之不同視圖中的圖像當中執行視圖間預測以移除視圖之間的相關。相比之下，習知框間預測僅將不同存取單元中之圖像用作參考圖像。
在多視圖寫碼中，位元串流可具有複數個層。該等層可對應於不同視圖。若視訊解碼器(例如，視訊解碼器30)可在不參考任何其他視圖中之圖像的情況下解碼與一視圖相關聯之圖像，則可將該視圖稱作「基礎視圖」。若一視圖之解碼係依賴於與一或多個其他視圖相關聯之圖像之解碼，則可將該視圖稱作非基礎視圖。
例如，NAL單元可包括標頭(亦即，NAL單元標頭)及有效負載(例如，RBSP)。NAL單元標頭可包括nuh_reserved_zero_6bits語法元素。具有指定不同值之nuh_reserved_zero_6bits語法元素之NAL單元屬於位元串流之不同「層」。因此，在多視圖寫碼、3DV或SVC中，NAL單元之nuh_reserved_zero_6bits語法元素可指定NAL單元之層識別符(亦即，層ID)。在一些實例中，若NAL單元係關於多視圖寫碼、3DV寫碼或SVC中之基礎層，則該NAL單元之nuh_reserved_zero_6bits語法元素等於0。在位元串流之基礎層中的資料可在不參考位元串流之任何其他層中之資料的情況下加以解碼。若NAL單元非係關於多視圖寫碼、3DV或SVC中之基礎層，則nuh_reserved_zero_6bits語法元素可具有非零值。如上文所指示，在多視圖寫碼及3DV寫碼中，位元串流之不同層可對應於不同視圖。在SVC中，除基礎層之外的層可被稱 作「增強層」且可提供增強自位元串流解碼之視訊資料之視覺品質的資訊。
此外，一層內之一些圖像可在不參考相同層內之其他圖像的情況下加以解碼。因此，囊封一層之某些圖像之資料的NAL單元可在不影響該層中之其他圖像之可解碼性的情況下自位元串流而被移除。移除囊封此等圖像之資料的NAL單元可減小位元串流之圖框速率。本文中可將一層內之圖像(其可在不參考該層內之其他圖像的情況下加以解碼)之子集稱作「子層」或「時間子層」。
NAL單元亦可包括temporal_id語法元素。NAL單元temporal_id語法元素指定該NAL單元之時間識別符。NAL單元之時間識別符識別該NAL單元所相關聯之子層。因此，位元串流之每一子層可與一不同時間識別符相關聯。若第一NAL單元之時間識別符小於第二NAL單元之時間識別符，則由第一NAL單元所囊封之資料可在不參考由第二NAL單元所囊封之資料的情況下加以解碼。
當寫碼非基礎視圖中之一者中的圖像時，若一圖像與一不同於視訊寫碼器當前正寫碼之圖像的視圖相關聯但與和視訊寫碼器當前正寫碼之圖像相同的時間執行個體(亦即，存取單元)相關聯，則視訊寫碼器(諸如，視訊編碼器20或視訊解碼器30)可將該圖像添加至參考圖像清單中。和其他框間預測參考圖像一樣，視訊寫碼器可以與在框間預測參考圖像之情況下相同的方式將視圖間預測參考圖像插入於參考圖像清單之任何位置處。換言之，可將用視圖間預測寫碼之圖像添加至參考圖像清單中以用於達成對其他非基礎視圖之視圖間預測。
在H.264/AVC之MVC擴展中，由視差運動補償(亦即，視圖間運動預測)來支援視圖間預測，該視差運動補償使用H.264/AVC運動補償之語法，但允許將一不同視圖中之圖像用作參考圖像。亦可由H.264/AVC之MVC擴展來支援兩個視圖之寫碼。H.264/AVC之MVC擴 展之優勢中的一個優勢係MVC編碼器可將兩個以上之視圖視為3D視訊輸入且MVC解碼器可解碼此多視圖表示。因此，具有MVC解碼器之任何渲染器可期待具有兩個以上之視圖之3D視訊內容。
在MVC中，在相同存取單元(亦即，具有相同之時間執行個體)中之圖像當中允許視圖間預測。當寫碼非基礎視圖中之圖像時，視訊寫碼器可將視圖間參考圖像(亦即，與一不同於當前圖像之視圖相關聯但與和當前圖像相同之時間執行個體相關聯的圖像)包括於參考圖像清單中。正如任何框間預測參考圖像，可將視圖間參考圖像放置於參考圖像清單之任何位置中。當將視圖間參考圖像用於運動補償時，將對應之運動向量稱作「視差運動向量」。
在多視圖視訊寫碼之上下文中，存在兩種運動向量。一種運動向量係指向時間參考圖像之正常運動向量。可將對應於正常時間運動向量之框間預測類型稱作運動補償預測(MCP)。當將視圖間預測參考圖像用於運動補償時，可將對應之運動向量稱作「視差運動向量」。換言之，視差運動向量指向一不同視圖中之圖像(亦即，視差參考圖像或視圖間參考圖像)。可將對應於視差運動向量之框間預測類型稱作「視差補償預測」或「DCP」。
圖3為說明實例多視圖解碼次序之概念圖。多視圖解碼次序可為位元串流次序。在圖3之實例中，每一正方形對應於一視圖分量。正方形之行對應於存取單元。可將每一存取單元定義為含有一時間執行個體之所有視圖之經寫碼圖像。正方形之列對應於視圖。在圖3之實例中，存取單元被標記為T0、......、T8且將視圖標記為S0、......、S7。由於一存取單元之每一視圖分量係在下一存取單元之任何視圖分量之前加以解碼，所以可將圖3之解碼次序稱作時間優先寫碼。存取單元之解碼次序可不與輸出或顯示次序相同。
多視圖寫碼可支援視圖間預測。視圖間預測係類似於 H.264/AVC、HEVC或其他視訊寫碼規範中所使用之框間預測且可使用相同之語法元素。然而，當視訊寫碼器對當前視訊單元(諸如，巨集區塊或PU)執行視圖間預測時，視訊寫碼器可將一在與當前視訊單元相同之存取單元中但在不同視圖中的圖像用作參考圖像。相比之下，習知框間預測僅將不同存取單元中之圖像用作參考圖像。
圖4為說明用於多視圖寫碼之實例預測結構之概念圖。圖4之多視圖預測結構包括時間及視圖間預測。在圖4之實例中，每一正方形對應於一視圖分量。在圖4之實例中，存取單元被標記為T0、......、T11且將視圖標記為S0、......、S7。被標記為「I」之正方形為框內預測之視圖分量。被標記為「P」之正方形為單向框間預測之視圖分量。被標記為「B」及「b」之正方形為雙向框間預測之視圖分量。被標記為「b」之正方形可將被標記為「B」之正方形用作參考圖像。自第一正方形指向第二正方形之箭頭指示第一正方形作為第二正方形之參考圖像而可用於框間預測中。如由圖4中之垂直箭頭所指示，在相同存取單元之不同視圖中的視圖分量可作為參考圖像而可用。因此，圖4展示一用於多視圖視訊寫碼之典型MVC預測(包括每一視圖內之圖像間預測及視圖間預測)，其中由箭頭指示預測，所指向之物件將指向來自之物件用於預測參考。可將一存取單元之一個視圖分量作為相同存取單元之另一視圖分量之參考圖像的使用稱作視圖間預測。
如上文所提及，HEVC之多視圖擴展(亦即，MV-HEVC)及HEVC之3DV擴展(亦即，3DV-HEVC)係正在開發。亦即，VCEG及MPEG之3D視訊寫碼聯合協作小組(JCT-3C)正開發基於HEVC之3DV標準，對於該3DV標準而言，標準化努力之部分包括基於HEVC之多視圖視訊編碼解碼器之標準化(MV-HEVC)且另一部分係針對基於HEVC之3D視訊寫碼(3D-HEVC)。
Gerhard Tech等人之「3D-HEVC Test Model Description draft 1」「JCT3V-A1005，ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之3D視訊寫碼擴展開發之聯合協作小組，第1次會議：瑞典斯德哥爾摩，2012年7月(下文中為「3D-HEVC測試模型1」)」提供3D-HEVC參考軟體描述以及3D-HEVC之工作草案。3D-HEVC之軟體參考可自https：//hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/trunk獲得。Gerhard Tech等人之「MV-HEVC Working Draft 1」「JCT3V-A1004，ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之3D視訊寫碼擴展開發之聯合協作小組，第1次會議：瑞典斯德哥爾摩，2012年7月16日至20日(下文中為「JCT3V-A1004」)」提供MV-HEVC之工作草案。
HEVC之隨機存取概念被擴展至多視圖擴展及3DV擴展。JCT3V-A1004包括隨機存取點存取單元以及隨機存取視圖分量之詳細定義。舉例而言，JCT3V-A1004將隨機存取點(RAP)視圖分量定義為一僅含有片段且對於其而言每一片段具有在7至12(包括7及12)之範圍中之nal_unit_type的視圖分量。隨機存取點視圖分量並非係自框間預測加以預測。因此，在HEVC之多視圖或3D擴展(亦即，MV-HEVC或3D-HEVC)中，視圖分量是否為隨機存取點係取決於該視圖分量之NAL單元類型。若類型屬於在隨機存取點圖像之HEVC基礎規範中所定義之類型，則當前視圖分量為隨機存取點視圖分量(或出於簡單性，當前視圖之隨機存取點圖像)。隨機存取點(RAP)視圖分量可為P或B圖像。P圖像為其中允許單向預測式框間預測及框內預測但不允許雙向預測式框間預測之圖像。B圖像為其中允許單向預測式框間預測、雙向預測式框間預測及框內預測之圖像。此外，JCT3V-A1004將隨機存取點存取單元定義為其中經寫碼圖像為RAP圖像的存取單元。
在一些實例中，隨機存取功能性僅以在時間維度(因此在一視圖內部)中之某些預測被停用抑或與在HEVC基礎規範中類似地受約束的 方式應用於時間預測。然而，與H.264/MVC中之錨定圖像類似，隨機存取點視圖分量之視圖間預測可仍有可能且為典型的，以改良寫碼效率。
視訊寫碼器可判定區塊(例如，PU、CU等)之視差向量。一般而言，視差向量被用作兩個視圖之間的位移之估計量。視訊寫碼器可使用一區塊之視差向量來定位另一視圖中之參考區塊以用於達成視圖間運動或殘差預測，或視訊寫碼器可將視差向量轉換至視差運動向量以用於達成視圖間運動預測。
當視訊寫碼器執行當前區塊(例如，當前PU、CU等)之視圖間運動預測時，視訊寫碼器可使用當前區塊之視差向量來識別參考視圖中之對應區塊(例如，參考PU)。視訊寫碼器可針對合併模式或AMVP模式而將該對應區塊之運動向量(例如，運動向量、參考索引等)用作候選者清單中之候選者。換言之，當前區塊之對應區塊係由視差向量來識別，且其運動向量可被用作當前區塊之AMVP或合併清單之額外候選者。此外，在一些實例中，視訊寫碼器可針對合併模式或AMVP模式而將當前區塊之視差向量用作候選者清單中之候選者。亦即，視差向量可被轉換至視差運動向量且被添加至AMVP或合併清單中。
此外，視訊寫碼器可使用區塊(例如，PU、CU等)之視差向量來執行視圖間殘差預測。當視訊編碼器20執行視圖間殘差預測時，視訊編碼器20可使用當前區塊之視差向量來識別參考視圖中之對應區塊。視訊編碼器20可接著判定該對應區塊之殘差。視訊編碼器29可接著傳信對應區塊之殘差與當前區塊之殘差之間的差。視訊解碼器30可使用當前區塊之視差向量來識別對應區塊且可判定對應區塊之殘差。視訊寫碼器可接著將所傳信之殘差之樣本添加至對應區塊之殘差之對應樣本及當前區塊之預測性區塊之對應樣本以重新建構當前區塊之樣本。以此方式，若當前區塊為當前CU且若當前CU之對應區塊含有非零殘 差像素，則使用該等區塊之殘差來預測當前CU之殘差。
在一些實例中，視訊寫碼器可使用基於相鄰區塊之視差向量(NBDV)的方法來推導區塊之視差向量。3D-HEVC首先採用在L.Zhang等人之「3D-CE5.h：Disparity vector generation results」(ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之3D視訊寫碼擴展開發之聯合協作小組，第1次會議：瑞典斯德哥爾摩，2012年7月16日至20日，文件JCT3V-A0097(下文中為「JCT3V-A0097」))中所提議之NBDV推導程序。NBDV推導程序已在以後另外得到調適。舉例而言，隱含視差向量(IDV)與簡化之NBDV一起而被包括於Sung等人之「3D-CE5.h：Simplification of disparity vector derivation for HEVC-based 3D video coding」(ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之3D視訊寫碼擴展開發之聯合協作小組，第1次會議：瑞典斯德哥爾摩，2012年7月16日至20日，文件JCT3V-A0126(下文中為「JCT3V-A0126」))中。此外，在Kang等人之「3D-CE5.h related：Improvements for disparity vector derivation」(ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之3D視訊寫碼擴展開發之聯合協作小組，第2次會議：中國上海，2012年10月13日至19日，文件JCT3V-B0047(下文中為「JCT3V-B0047」))中，NBDV推導程序另外藉由移除儲存於經解碼圖像緩衝器中之IDV同時藉由RAP圖像選擇來提供經改良之寫碼增益而得到簡化。
藉由視差運動向量來執行多視圖視訊寫碼中之視差運動補償。由於相鄰區塊(例如，與當前區塊空間或時間相鄰之區塊)在視訊寫碼中共用幾乎相同之運動/視差資訊，所以當前區塊可將相鄰區塊中之運動向量資訊用作優良預測值以改良寫碼增益。遵循此觀念，NBDV推導程序將相鄰視差資訊用於估計不同視圖中之視差向量。具體言之，NBDV推導程序使用來自空間及時間相鄰區塊之視差運動向量來 推導當前區塊之視差向量。
當視訊寫碼器執行NBDV推導程序時，視訊寫碼器可利用兩組相鄰區塊。一組係來自空間相鄰區塊且另一組係來自時間相鄰區塊。視訊寫碼器可按預定義次序來檢查該等空間相鄰區塊及時間相鄰區塊。可藉由當前區塊與候選者區塊之間的相關之優先權來判定預定義次序。一旦在候選者中找到視差運動向量，視訊寫碼器便可將此視差運動向量轉換至視差向量。
在NBDV推導程序之一些版本中，視訊寫碼器將五個空間相鄰區塊用於視差向量推導。舉例而言，視訊寫碼器可檢查以下之空間相鄰區塊：當前區塊之左下空間相鄰區塊、左空間相鄰區塊、右上空間相鄰區塊、上空間相鄰區塊及左上空間相鄰區塊。此外，在NBDV推導程序之一些版本中，用於視差向量推導區塊之五個空間相鄰區塊可分別涵蓋位置A0、A1、B0、B1及B2，如圖2中所指示。在一些實例中，NBDV推導程序中所使用之空間相鄰區塊係與在HEVC中之合併模式中所使用之空間相鄰區塊相同。因此，在一些此等實例中，不需要額外記憶體存取。
此外，如上文所提及，作為判定當前區塊(例如，當前PU)之視差向量之程序的部分，視訊寫碼器可檢查時間相鄰PU。當視訊寫碼器檢查時間相鄰區塊(例如，時間相鄰PU)時，視訊寫碼器可首先執行候選者圖像清單之建構程序。當視訊寫碼器執行候選者圖像清單之建構程序時，視訊寫碼器可將來自當前視圖(亦即，與當前區塊相關聯之視圖)之所有參考圖像視作候選者圖像。此外，當視訊寫碼器執行候選者圖像清單之建構程序時，視訊寫碼器可首先將所謂之「共置型圖像」插入至候選者圖像清單中，接著按參考索引之遞升次序來插入剩餘候選者圖像。亦即，視訊寫碼器可根據剩餘候選者圖像在當前圖像之參考圖像清單(例如，RefPicList0及RefPicList1)中出現的次序而將 剩餘候選者圖像插入至候選者圖像清單中。在含有當前區塊之片段之片段標頭中的一或多個語法元素可指示該共置型圖像。當兩個參考圖像清單(例如，RefPicList0及RefPicList1)中之具有相同參考索引之參考圖像可用於供在NDBV推導程序中使用時，在與共置型圖像相同之參考圖像清單中的參考圖像在候選者圖像清單中領先於另一參考圖像。
在產生候選者圖像清單之後，視訊寫碼器可判定在候選者圖像清單中之候選者圖像內的候選者區域。視訊寫碼器可使用該等候選者區域來判定時間相鄰區塊。如上文所指示，視訊寫碼器可基於時間相鄰區塊之視差運動向量或IDV來推導當前區塊之視差向量。在一些實例中，對於候選者圖像清單中之每一候選者圖像而言，視訊寫碼器可判定三個候選者區域。可如下定義該三個候選者區域：
●CPU：當前PU或當前CU之共置型區域。
●CLCU：涵蓋當前PU之共置型區域的最大寫碼單元(LCU)。
●BR：CPU之右下4×4區塊。
由於16×16區塊中之較小區塊共用相同運動資訊(由於運動補償)，所以視訊寫碼器可僅檢查一個樣本區塊的視差向量。當候選者區域涵蓋一個以上之16×16區塊時，視訊寫碼器可根據光柵掃描次序來檢查該候選者區域中之所有16×16區塊。舉例而言，時間共置型區塊之運動向量被儲存於參考圖像之16×16區塊中，且通常視訊寫碼器存取4×4區塊以找到運動向量。因此，若視訊寫碼器將候選者區塊置放於16×16區塊中，則所有4×4區塊含有一共同運動向量，且視訊寫碼器無需檢查所有4×4區塊以找到一不同運動向量。另一方面，若候選者區域大於16×16，則位於16×16區塊外部之4×4區塊可含有一不同運動向量。
當視訊寫碼器檢查一候選者區域(或在候選者區域內之16×16區 塊)時，視訊寫碼器可判定一涵蓋該候選者區域之PU是否指定視差運動向量。若涵蓋該候選者區域之PU指定視差運動向量，則視訊寫碼器可基於該PU之視差運動向量來判定當前區塊之視差向量。
在一些實例中，作為執行NBDV推導程序之部分，視訊寫碼器可執行基於優先權之視差向量判定。舉例而言，視訊寫碼器可推導視差向量使得一旦視訊寫碼器識別含有視差運動向量之相鄰區塊，視訊寫碼器便將該視差運動向量轉換至當前區塊之視差向量。視訊寫碼器可接著將視差向量用於視圖間運動預測及/或視圖間殘差預測。在一些實例中，基於相鄰區塊與當前區塊之間的相關來定義該等相鄰區塊之檢查次序。舉例而言，視訊寫碼器可首先逐個檢查空間相鄰區塊。一旦視訊寫碼器已識別視差運動向量，視訊寫碼器便傳回該視差運動向量以作為視差向量。在一些實例中，將五個空間相鄰區塊之檢查次序定義為A1、B1、B0、A0及B2。
此外，對於候選者圖像清單中之每一候選者圖像而言，視訊寫碼器可按次序檢查此候選者圖像中之三個候選者區域。將三個區域之檢查次序定義為：對於第一非基礎視圖而言之CPU、CLCU及BR或對於第二非基礎視圖而言之BR、CPU、CLU。在此實例中，與第一非基礎視圖相關聯之圖像之解碼可取決於與基礎視圖相關聯之圖像而非與其他視圖相關聯之圖像之解碼。此外，在此實例中，與第二非基礎視圖相關聯之圖像之解碼可取決於與基礎視圖(及在一些例子中第一非基礎視圖)相關聯之圖像而非與其他視圖(若存在)相關聯之圖像之解碼。出於簡單性，可將空間相鄰區塊中之視差運動向量表示為SDV且可將時間相鄰區塊中之視差運動向量表示為TDV。
當視訊寫碼器檢查區塊(亦即，空間相鄰區塊、候選者圖像之候選者區域，或候選者圖像之候選者區域之16×16區塊)之運動向量時，視訊寫碼器可判定該區塊之運動向量是否為視差運動向量。圖像之區 塊之視差運動向量係一指向在該圖像之視差參考圖像內之位置的運動向量。一給定圖像之視差參考圖像可為與和該給定圖像相同之存取單元相關聯但和一不同於該給定圖像之視圖相關聯的圖像。當視訊寫碼器識別視差運動向量時，視訊寫碼器可終止檢查程序。視訊寫碼器可將所傳回之視差運動向量轉換至視差向量且可將該視差向量用於視圖間運動預測及視圖間殘差預測。舉例而言，視訊寫碼器可將當前區塊之視差向量之水平分量設定成等於視差運動向量之水平分量且可將視差向量之垂直分量設定至0。
當視訊寫碼器檢查空間相鄰PU時，視訊寫碼器可首先檢查該相鄰PU是否具有視差運動向量。若該等空間相鄰PU中沒有一者具有視差運動向量，則視訊寫碼器可判定該等空間相鄰PU中之任一者是否具有IDV。IDV可為空間或時間相鄰PU(例如，使用視圖間運動預測或視圖間殘差預測而加以寫碼之PU)之視差向量。舉例而言，當視訊寫碼器用視圖間運動預測來寫碼一區塊時，視訊寫碼器可需要推導一用於選擇不同視圖中之對應區塊的視差向量。在此實例中，術語「IDV」可指代在視圖間運動預測中所推導之視差向量。即使區塊可用時間運動預測而加以寫碼，視訊寫碼器出於寫碼一或多個以下區塊之目的而仍不丟棄所推導之視差向量。以此方式，可出於視差向量推導之目的而將IDV儲存至該區塊。
在其中作為NBDV推導程序之部分視訊寫碼器檢查IDV的一些實例中，視訊寫碼器可執行以下步驟。若以下步驟中之任一者找到視差向量，則視訊寫碼器可終止推導程序。
●步驟1：按A1、B1、B0、A0及B2之次序檢查五個空間相鄰區塊以找到視差運動向量。一旦找到視差運動向量，視訊寫碼器便可將該視差運動向量轉換至視差向量。若該等空間相鄰區塊含有IDV，則視訊寫碼器將其IDV旗標標記為「IDV已用」且儲存該等IDV旗標之 相關聯之值。
●步驟2：當啟用時間運動向量預測時，以下內容適用：
a)若當前寫碼模式為AMVP，則將目標參考圖像清單中之具有目標參考索引的參考圖像用作共置型圖像。定義共置型圖像中之兩個區塊(亦即，共置型PU之右下區塊(BR)及共置型PU之中心區塊(CB))。在此實例中，視訊寫碼器按以下次序來檢查共置型圖像之區塊：
1)檢查BR以查看BR是否含有視差運動向量。若是，則視訊寫碼器將視差運動向量轉換至視差向量。否則，若BR經寫碼為跳過模式且BR含有IDV(亦即，IDV之旗標等於1)，則視訊寫碼器將BR標記為「IDV已用」且儲存相關聯之IDV。視訊寫碼器可接著執行步驟3。
2)檢查CB以查看CB是否含有視差運動向量。若是，則視訊寫碼器將視差運動向量轉換至視差向量。否則，若BR經寫碼為跳過模式且BR含有IDV(亦即，IDV之旗標等於1)，則視訊寫碼器將BR標記為「IDV已用」且視訊寫碼器儲存相關聯之IDV。視訊寫碼器可接著執行步驟3。
b)若當前寫碼模式為跳過/合併，則視訊寫碼器使用每一參考圖像清單中之兩個共置型參考圖像(若適用)。指示共置型參考圖像之參考索引可等於左相鄰PU之參考索引或0。對於參考圖像清單0及1中之共置型圖像中的每一者而言，視訊寫碼器可按次序執行a)1及a)2中之步驟。
●步驟3：若五個空間相鄰區塊中之一者係使用跳過模式而加以寫碼且該空間相鄰區塊含有IDV(亦即，該空間相鄰區塊具有一標記為「IDV已用」之旗標)，則視訊寫碼器傳回該IDV以作為視差向量。在此實例中，針對IDV之對空間相鄰區塊之檢查次序為A0、A1、B0、B1及B2。
●步驟4：若啟用時間運動向量預測且在共置型圖像中存在被標記為「IDV已用」之一個區塊(亦即，BR或CB)，則視訊寫碼器將與該區塊相關聯之IDV轉換至視差向量。
與存取經解碼圖像緩衝器(DPB)中之IDV相關聯的記憶體頻寬及複雜度要求可為大的。舉例而言，為判定相鄰區塊在NBDV推導程序期間是否具有IDV，視訊寫碼器可需要重新建構該相鄰區塊之AMVP或合併候選者清單且識別該經重新建構之AMVP或合併候選者清單中之視圖間運動向量候選者。相鄰區塊之AMVP或合併候選者清單之重新建構可為相對地計算及頻寬密集型。因此，視訊寫碼器可執行低複雜度之NBDV推導程序。當視訊寫碼器執行低複雜度之NBDV推導程序時，視訊寫碼器考慮較少之區塊候選者。舉例而言，視訊寫碼器可將IDV之資訊儲存於DPB中。在此實例中，IDV之額外資訊可包括所有先前寫碼之圖像之IDV旗標及向量。此外，在低複雜度之NBDV推導程序中，移除DPB中之IDV候選者可減小記憶體頻寬。換言之，視訊寫碼器不將與IDV有關之資訊儲存於DPB中。
在一些低複雜度之NBDV推導程序中，視訊寫碼器檢查候選者圖像之較少候選者區域(較在上文所描述之NBDV推導程序中的情況)。舉例而言，圖5為說明在時間候選者圖像之對應PU中之時間鄰居的概念圖。在圖5之實例中，視訊寫碼器可檢查涵蓋由「位置A」及「位置B」所指示之此等位置的候選者區域。此外，在一些低複雜度之NBDV推導程序中，視訊寫碼器可檢查僅一共置型圖像及一隨機存取圖像之候選者區域。因此，在一些實例中，針對時間區塊檢查而考慮共置型圖像及隨機存取圖像(亦即，如圖5中所示之底下區塊及中心區塊)。
此外，在一些低複雜度之NBDV推導程序中，視訊寫碼器可在片段或圖像層級中執行候選者圖像推導一次。換言之，視訊寫碼器可每 圖像或片段產生供在NBDV推導程序中使用之候選者圖像清單一次。因此，在此等低複雜度之NBDV推導程序中，視訊寫碼器在PU或CU層級處不再調用候選者圖像推導程序。
用於在3D-HEVC中推導視差向量之程序可潛在地具有以下問題。舉例而言，在每一PU中調用NBDV推導程序以用於達成視圖間運動預測，此可顯著地增加計算複雜度。此外，在NBDV推導程序期間所檢查之空間相鄰區塊之數目為潛在地大的，且可無需檢查一些空間相鄰區塊以達成相同或類似之寫碼效率。
本發明之技術可為3D-HEVC中之視差向量推導程序(亦即，NBDV)提供若干改良及簡化。舉例而言，基於CU之視差向量推導可為以下一種方式：針對CU而僅調用視差推導程序一次，且位於該CU內部之所有PU共用相同之所推導之視差向量以用於達成視圖間預測(例如，包括視圖間運動預測及視圖間殘差預測)。基於CU之視差向量推導可導致計算複雜度之減小及並行處理之增強。
舉例而言，視訊編碼器20可產生一包括視訊資料之經寫碼表示的位元串流。作為產生位元串流之部分，視訊編碼器20可執行視差向量推導程序以推導複數個區塊中之代表性區塊的視差向量。在此實例中，視訊資料包括一被分割成該複數個區塊之父代區塊。此外，在此實例中，視訊編碼器20可藉由基於所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊(亦即，父代區塊之兩個或兩個以上區塊)而執行視圖間預測來產生一包括視訊資料之經寫碼表示的位元串流。
在另一實例中，視訊解碼器30可執行視差向量推導程序以推導複數個區塊中之代表性區塊的視差向量。在此實例中，視訊資料包括一被分割成該複數個區塊之父代區塊。此外，在此實例中，視訊解碼 器30可部分地藉由基於所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測來重新建構該複數個區塊(例如，父代區塊)中之該兩個或兩個以上區塊的樣本區塊。
在本發明之另一實例技術中，視訊寫碼器(例如，視訊編碼器20或視訊解碼器30)可執行經修改之NBDV推導程序以推導PU之視差向量。當視訊寫碼器執行經修改之NBDV推導程序時，視訊寫碼器檢查比在3D-HEVC測試模型1中所描述之NBDV推導程序少的空間相鄰區塊以推導SDV及/或IDV。舉例而言，當視訊寫碼器執行經修改之NBDV推導程序時，視訊寫碼器僅檢查左區塊及上區塊(表示為圖2中之A1及B1)。此外，在此實例中，視訊寫碼器可檢查左區塊且接著檢查上區塊。在其他實例中，視訊寫碼器可檢查上區塊且接著檢查左區塊。本發明之經修改之NBDV推導程序可導致相對於在3D-HEVC測試模型1中所描述之NBDV推導程序的最小之寫碼增益改變及減小之複雜度。
舉例而言，視訊編碼器20可執行視差向量推導程序以判定當前區塊之視差向量。作為執行視差向量推導程序之部分，當第一空間相鄰區塊抑或第二空間相鄰區塊具有視差運動向量或IDV時，視訊編碼器20可將該視差運動向量或IDV轉換至當前區塊之視差向量。在此實例中，即使第一空間相鄰區塊或第二空間相鄰區塊兩者都不具有視差運動向量或IDV，視差向量推導程序仍不判定除第一空間相鄰區塊及第二空間相鄰區塊之外的任何空間相鄰區塊是否具有視差運動向量或IDV。在一些實例中，第一空間相鄰區塊係鄰近於當前區塊之頂邊緣(亦即，上相鄰區塊)且第二空間相鄰區塊係鄰近於當前區塊之左邊緣(亦即，左相鄰區塊)。本發明可將對應於一區塊之樣本區塊(例如，CTU之寫碼樹型區塊、CU之寫碼區塊、PU之預測區塊等)的外部邊緣 稱作該區塊之邊緣。此外，在此等實例中，視訊編碼器20可至少部分地基於當前區塊之所推導之視差向量而產生當前區塊之經編碼表示。
在另一實例中，視訊解碼器30可執行視差向量推導程序以判定當前區塊之視差向量。作為執行視差向量推導程序之部分，當第一空間相鄰區塊抑或第二空間相鄰區塊具有視差運動向量或IDV時，視訊解碼器30可將該視差運動向量或IDV轉換至當前區塊之視差向量。即使第一空間相鄰區塊或第二空間相鄰區塊兩者都不具有視差運動向量或IDV，視差向量推導程序仍不判定除第一空間相鄰區塊及第二空間相鄰區塊之外的任何空間相鄰區塊是否具有視差運動向量或IDV。在一些實例中，第一空間相鄰區塊係鄰近於當前區塊之左邊緣(亦即，左相鄰區塊)且第二空間相鄰區塊係鄰近於當前區塊之頂邊緣(亦即，上相鄰區塊)。此外，視訊解碼器30可部分地藉由基於所推導之視差向量而針對當前區塊執行視圖間預測來重新建構當前區塊之樣本區塊。
作為用於在3D-HEVC中推導視差向量之程序的另一實例潛在問題，視訊寫碼器儲存在每一區塊中相關聯之旗標以指示一空間相鄰區塊是否含有IDV。儲存此等旗標可增加系統中之記憶體要求。此外，每一區塊可含有多達兩個IDV(亦即，對應於RefPicList0之IDV及對應於RefPicList1之IDV)。在本發明中所描述之技術中，此等旗標之儲存可非為必要的。
根據本發明之實例技術，以一簡單方式來表示IDV使得除傳信空間相鄰區塊是否含有IDV之外不存在所使用之旗標。此外，針對一區塊而傳信參考索引、參考視圖索引或參考視圖索引之差且非法參考索引(亦即，1)、非法參考視圖索引(例如，與當前視圖相同)及/或參考視圖索引之非法差(例如，0)指示不存在區塊之隱含視差向量。另外，對於一個空間相鄰區塊而言可僅存在一個視差向量。
因此，在一些此等實例中，不傳信旗標來指示一空間相鄰區塊是否含有IDV。舉例而言，視訊編碼器20可不傳信旗標來指示一空間相鄰區塊是否含有IDV。此外，在一些此等實例中，以下各者中之一者指示存在一相鄰區塊之IDV：非法參考索引；非法參考視圖索引；及參考視圖索引之非法差。舉例而言，視訊編碼器20可傳信以下各者中之一者以指示存在相鄰區塊之IDV：非法參考索引；非法參考視圖索引；及參考視圖索引之非法差。
可分開地或結合地使用本發明之實例技術。亦即，可在視差向量推導之完整解決方案中組合本發明之技術態樣中之任一者。
圖6為說明可實施本發明之技術之實例視訊編碼器20之方塊圖。提供圖6係出於解釋之目的且不應將圖6視為限制如廣泛地例示及描述於本發明中之技術。出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖6之實例中，視訊編碼器20包括預測處理單元100、殘差產生單元102、變換處理單元104、量化單元106、反量化單元108、反變換處理單元110、重新建構單元112、濾波單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120包括運動估計單元122及運動補償單元124。在其他實例中，視訊編碼器20可包括較多、較少或不同之功能組件。
視訊編碼器20可接收視訊資料。視訊編碼器20可編碼在視訊資料之圖像之片段中的每一CTU。該等CTU中之每一者可與相等大小之亮度寫碼樹型區塊(CTB)及圖像之對應CTB相關聯。作為編碼CTU之部分，預測處理單元100可執行四分樹分割以將CTU之CTB分割成漸進較小之區塊。該等較小之區塊可為CU之寫碼區塊。舉例而言，預 測處理單元100可將與CTU相關聯之CTB分割成四個相等大小之子區塊、將該等子區塊中之一或多者分割成四個相等大小之子子區塊等等。
視訊編碼器20可編碼一CTU之CU以產生該等CU之經編碼表示(亦即，經寫碼CU)。作為編碼CU之部分，預測處理單元100可在該CU之一或多個PU當中分割與該CU相關聯之寫碼區塊。因此，每一PU可與一亮度預測區塊及對應之色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示，CU之大小可指代CU之亮度寫碼區塊的大小且PU之大小可可指代PU之亮度預測區塊的大小。假定特定CU之大小為2N×2N，視訊編碼器20及視訊解碼器30可支援2N×2N或N×N之PU大小(對於框內預測而言)及2N×2N、2N×N、N×2N、N×N或其類似者之對稱PU大小(對於框間預測而言)。視訊編碼器20及視訊解碼器30亦可支援針對2N×nU、2N×nD、nL×2N及nR×2N之PU大小(對於框間預測而言)的不對稱分割。
框間預測處理單元120可藉由對一CU之每一PU執行框間預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及用於PU之運動資訊。框間預測處理單元120可取決於CU之PU是在I片段、P片段還是B片段中而針對該PU來執行不同操作。在I片段中，所有PU被框內預測。因此，若PU係在I片段中，則框間預測處理單元120不對PU執行框間預測。
若PU係在P片段中，則運動估計單元122可針對PU之參考區域來搜尋參考圖像清單(例如，「RefPicList0」)中之參考圖像。PU之參考區域可為在參考圖像內之含有最密切地對應於PU之預測區塊之樣本的區域。運動估計單元122可產生一參考索引，該參考索引指示在含有PU之參考區域之參考圖像的RefPicList0中的位置。另外，運動估計單元122可產生一運動向量，該運動向量指示PU之預測區塊與和參考 區域相關聯之參考位置之間的空間位移。舉例而言，運動向量可為提供自當前圖像中之座標至參考圖像中之座標的偏移的二維向量。運動估計單元122可輸出參考索引及運動向量以作為PU之運動資訊。運動補償單元124可基於在由PU之運動向量所指示之參考位置處的實際或內插樣本而產生PU之預測性區塊。
若PU係在B片段中，則運動估計單元122可針對該PU來執行單向預測或雙向預測。為針對PU而執行單向預測，運動估計單元122可針對PU之參考區域來搜尋RefPicList0或第二參考圖像清單(「RefPicList1」)之參考圖像。運動估計單元122可輸出以下各者以作為PU之運動資訊：參考索引，其指示在含有參考區域之參考圖像之RefPicList0或RefPicList1中的位置；運動向量，其指示在PU之預測區塊與和參考區域相關聯之參考位置之間的空間位移；及一或多個預測方向指示符，其指示參考圖像是在RefPicList0中還是在RefPicList1中。運動補償單元124可至少部分地基於在由PU之運動向量所指示之參考位置處的實際或內插樣本而產生PU之預測性區塊。
為針對PU而執行雙向框間預測，運動估計單元122可針對PU之參考區域來搜尋RefPicList0中之參考圖像且亦可針對PU之另一參考區域來搜尋RefPicList1中之參考圖像。運動估計單元122可產生參考索引，該等參考索引指示在含有該等參考區域之參考圖像之RefPicList0及RefPicList1中的位置。另外，運動估計單元122可產生運動向量，該等運動向量指示在與該等參考區域相關聯之參考位置與PU之預測區塊之間的空間位移。PU之運動資訊可包括PU之參考索引及運動向量。運動補償單元124可至少部分地基於在由PU之運動向量所指示之參考位置處的實際或內插樣本而產生PU之預測性區塊。
框內預測處理單元126可藉由對PU執行框內預測而產生該PU之預測性資料。PU之預測性資料可包括PU之預測性區塊及各種語法元 素。框內預測處理單元126可對I片段、P片段及B片段中之PU執行框內預測。
為對PU執行框內預測，框內預測處理單元126可使用多種框內預測模式來產生PU之多組預測性區塊。當使用一特定框內預測模式來執行框內預測時，框內預測處理單元126可使用來自相鄰區塊之特定的一組樣本而產生PU之預測性區塊。假定PU、CU及CTU之左-右、頂-底編碼次序，相鄰區塊可位於PU之預測區塊的上面、右上、左上或左邊。框內預測處理單元126可使用各種數目之框內預測模式(例如，33種定向框內預測模式)。在一些實例中，框內預測模式之數目可取決於PU之預測區塊之大小。
預測處理單元100可自藉由框間預測處理單元120針對一CU之PU所產生之預測性資料或藉由框內預測處理單元126針對一CU之PU所產生之預測性資料當中來選擇該等PU之預測性資料。在一些實例中，預測處理單元100基於該等組預測性資料之速率/失真量度來選擇CU之PU之預測性資料。本文中可將所選預測性資料之預測性區塊稱作所選預測性區塊。
殘差產生單元102可基於一CU之亮度、Cb及Cr寫碼區塊及該CU之PU之所選預測性亮度、Cb及Cr區塊而產生該CU之亮度、Cb及Cr殘差區塊。舉例而言，殘差產生單元102可產生CU之殘差區塊使得該等殘差區塊中之每一樣本具有等於在CU之寫碼區塊中之樣本與CU之PU之對應所選預測性區塊中的對應樣本之間的差的值。
變換處理單元104可執行四分樹分割以將一CU之殘差區塊分割成與該CU之TU相關聯的變換區塊。因此，TU可與一亮度變換區塊及兩個對應之色度變換區塊相關聯。CU之TU之亮度及色度變換區塊的大小及位置可基於或可不基於CU之PU之預測區塊的大小及位置。
變換處理單元104可藉由將一或多個變換應用於CU之每一TU的 變換區塊而產生該TU之變換係數區塊。變換處理單元104可將各種變換應用於與TU相關聯之變換區塊。舉例而言，變換處理單元104可將離散餘弦變換(DCT)、定向變換或概念上類似之變換應用於一變換區塊。在一些實例中，變換處理單元104不將變換應用於一變換區塊。在此等實例中，可將變換區塊視作變換係數區塊。
量化單元106可量化係數區塊中之變換係數。量化程序可減少與變換係數中之一些或所有變換係數相關聯之位元深度。舉例而言，可在量化期間將n位元變換係數降值捨位至m位元變換係數，其中n大於m。量化可引入資訊之損失，因此經量化之變換係數可具有比原始變換係數低的精度。
反量化單元108及反變換處理單元110可分別將反量化及反變換應用於係數區塊，以自該係數區塊重新建構殘差區塊。重新建構單元112可將經重新建構之殘差區塊添加至來自藉由預測處理單元100所產生之一或多個預測性區塊的對應樣本以產生與TU相關聯之經重新建構之變換區塊。藉由以此方式重新建構一CU之每一TU的變換區塊，視訊編碼器20可重新建構該CU之寫碼區塊。
濾波單元114可執行一或多個解區塊操作以減少與CU相關聯之寫碼區塊中的成塊性假影。在濾波單元114對經重新建構之寫碼區塊執行一或多個解區塊操作之後，經解碼圖像緩衝器116可儲存該等經重新建構之寫碼區塊。框間預測處理單元120可使用一含有經新構之寫碼區塊的參考圖像來對其他圖像之PU執行框間預測。另外，框內預測處理單元126可使用經解碼圖像緩衝器116中之經重新建構之寫碼區塊來對與CU相同之圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編 碼操作以產生經熵編碼資料。舉例而言，熵編碼單元118可對資料執行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、變長至變長(V2V)寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出一位元串流，該位元串流包括藉由熵編碼單元118所產生之經熵編碼資料。
根據本發明之一或多個技術，一父代區塊被分割成複數個區塊且執行視差向量推導程序以推導該複數個區塊中之代表性區塊的視差向量。視訊編碼器20可部分地藉由基於所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測(例如，視圖間運動預測及/或視圖間殘差預測)來產生一包括視訊資料之經寫碼表示的位元串流。此外，在本發明之一些實例技術中，視訊編碼器20可執行視差向量推導程序以判定當前區塊之視差向量。作為執行視差向量推導程序之部分，當第一空間相鄰區塊抑或第二空間相鄰區塊具有視差運動向量或隱含視差向量時，視訊編碼器20可將該視差運動向量或隱含視差向量轉換至當前區塊之視差向量。即使第一空間相鄰區塊或第二空間相鄰區塊兩者都不具有視差運動向量或隱含視差向量，視差向量推導程序仍不判定除第一空間相鄰區塊及第二空間相鄰區塊之外的任何空間相鄰區塊是否具有視差運動向量或隱含視差向量。
圖7為說明經組態以實施本發明之技術之實例視訊解碼器30之方塊圖。提供圖7係出於解釋之目的且圖7非為對如廣泛地例示及描述於本發明中之技術的限制。出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖7之實例中，視訊解碼器30包括熵解碼單元150、預測處理單元152、反量化單元154、反變換處理單元156、重新建構單元158、濾波單元160及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及框內預測處理單元166。在其他實例中，視訊解碼器30可包括較多、較少或不同之功能組件。
經寫碼圖像緩衝器(CPB)151可接收及儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自CPB 151接收NAL單元且剖析該等NAL單元以自位元串流獲得語法元素。熵解碼單元150可熵解碼NAL單元中之經熵編碼語法元素。預測處理單元152、反量化單元154、反變換處理單元156、重新建構單元158及濾波單元160可基於自位元串流所提取之語法元素而產生經解碼視訊資料。
位元串流之NAL單元可包括經寫碼片段NAL單元。作為解碼位元串流之部分，熵解碼單元150可提取及熵解碼來自經寫碼片段NAL單元之語法元素。該等經寫碼片段中之每一者可包括片段標頭及片段資料。片段標頭可含有關於片段之語法元素。
除解碼來自位元串流之語法元素之外，視訊解碼器30還可對CU執行解碼操作。藉由對CU執行解碼操作，視訊解碼器30可重新建構CU之寫碼區塊。
作為對CU執行解碼操作之部分，反量化單元154可反量化(亦即，解量化)與CU之TU相關聯的係數區塊。反量化單元154可使用與TU之CU相關聯的QP值來判定量化之程度及同樣地供反量化單元154應用之反量化的程度。亦即，可藉由調整在量化變換係數時所使用之QP之值來控制壓縮比率(亦即，用以表示原始序列及被壓縮序列之位元之數目的比率)。壓縮比率亦可取決於所使用之熵寫碼方法。
在反量化單元154反量化一係數區塊之後，反變換處理單元156可將一或多個反變換應用於該係數區塊以便產生與TU相關聯之殘差 區塊。舉例而言，反變換處理單元156可將反DCT、反整數變換、反卡忽南-拉維變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。
若PU係使用框內預測而加以編碼，則框內預測處理單元166可執行框內預測以產生PU之預測性區塊。框內預測處理單元166可使用一框內預測模式以基於空間相鄰PU之預測區塊而產生PU之預測性亮度、Cb及Cr區塊。框內預測處理單元166可基於自位元串流所解碼之一或多個語法元素來判定用於PU之框內預測模式。
預測處理單元152可基於自位元串流所提取之語法元素來建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外，若PU係使用框間預測而加以編碼，則熵解碼單元150可獲得該PU之運動資訊。運動補償單元164可基於PU之運動資訊來判定PU之一或多個參考區域。運動補償單元164可基於在PU之一或多個參考區塊處之樣本而產生PU之預測性亮度、Cb及Cr區塊。
重新建構單元158可在適用時使用來自與CU之TU相關聯之亮度、Cb及Cr變換區塊及CU之PU之預測性亮度、Cb及Cr區塊的殘差值(亦即，框內預測資料抑或框間預測資料)，以重新建構CU之亮度、Cb及Cr寫碼區塊。舉例而言，重新建構單元158可將亮度、Cb及Cr變換區塊之樣本添加至預測性亮度、Cb及Cr區塊之對應樣本以重新建構CU之亮度、Cb及Cr寫碼區塊。
濾波單元160可執行解區塊操作以減少與CU之亮度、Cb及Cr寫碼區塊相關聯的成塊性假影。視訊解碼器30可將CU之亮度、Cb及Cr寫碼區塊儲存於經解碼圖像緩衝器162中。經解碼圖像緩衝器162可提供用於後續之運動補償、框內預測及在顯示器件(諸如，圖1之顯示器件32)上呈現的參考圖像。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器162中之亮度、Cb及Cr區塊而對其他CU之PU執行框內預測或 框間預測操作。以此方式，視訊解碼器30可：自位元串流提取顯著亮度係數區塊之變換係數級別；反量化該等變換係數級別；將變換應用於該等變換係數級別以產生一變換區塊；至少部分地基於該變換區塊而產生一寫碼區塊；及輸出該寫碼區塊以進行顯示。
根據本發明之一或多個技術，可將一父代區塊(例如，CTU、CU等)分割成複數個區塊，且執行視差向量推導程序以推導該複數個區塊中之代表性區塊的視差向量。視訊解碼器30可部分地藉由基於所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測來重新建構該複數個區塊中之該兩個或兩個以上區塊的樣本區塊。此外，在一些實例中，視訊解碼器30可執行視差向量推導程序以判定當前區塊之視差向量。作為執行視差向量推導程序之部分，當第一空間相鄰區塊抑或第二空間相鄰區塊具有視差運動向量或IDV時，視訊解碼器30可將該視差運動向量或IDV轉換至當前區塊之視差向量。即使第一空間相鄰區塊或第二空間相鄰區塊兩者都不具有視差運動向量或IDV，視差向量推導程序仍不判定除第一空間相鄰區塊及第二空間相鄰區塊之外的任何空間相鄰區塊是否具有視差運動向量或IDV。
如上文所描述，視訊寫碼器可執行基於CU之NBDV推導程序以推導CU之每一PU之視差向量。當視訊寫碼器執行基於CU之NBDV推導程序以推導CU之每一PU之視差向量時，視訊寫碼器針對CU而執行NBDV推導程序一次且視訊寫碼器將所推導之視差向向量指派給CU之所有PU。換言之，可以所有PU及CU自身共用基於NBDV推導程序而被推導一次之相同視差向量(例如，如3D-HEVC中所推導)的方式來完成基於CU之NBDV推導程序。NBDV推導程序適用於一代表性區塊(例如，PU或CU)。舉例而言，可將一CU分割成複數個PU且視訊寫碼 器可執行視差向量推導程序以推導該複數個PU(例如，在該CU中)中之代表性PU的視差向量。
此外，可將基於CU之NBDV推導程序擴展至基於LCU之NBDV推導程序(以作為直接擴展)或任何區塊大小之NBDV推導程序。舉例而言，可將一LCU分割成複數個CU且視訊寫碼器可執行視差向量推導程序以推導該複數個CU中之代表性CU的視差向量。
如上文所描述，當執行NBDV推導程序時，視訊寫碼器可檢查五個空間相鄰區塊。可藉由針對整個CU而總是僅考慮一個代表性PU來將該五個空間相鄰區塊定位於NBDV中。
在本發明中，可將複數個PU中之代表性PU稱為NBDV處理單元(NPU)。在其他實例中，視訊寫碼器可以各種方式設定NPU。舉例而言，NPU可為當前CU。在另一實例中，NPU可為當前CU中之第一PU。在此實例中，將第一PU定位為涵蓋CU之左上像素的PU。
在另一實例中，作為代表性區塊，視訊寫碼器可將涵蓋CU之右下像素的PU選為代表性PU。換言之，視訊寫碼器可將涵蓋CU之右下像素的PU選為NPU。在另一實例中，作為代表性區塊，視訊寫碼器可將涵蓋CU之右上像素的PU選為代表性PU。換言之，作為代表性區塊，視訊寫碼器可將涵蓋CU之右上像素的PU選為NPU。在再一實例中，視訊寫碼器可將涵蓋CU之左下像素的PU選為代表性PU。換言之，視訊寫碼器可將涵蓋CU之左下像素的PU選為NPU。在本發明中，出於解釋之容易性，CU之右下像素、右上像素或左下像素可分別為該CU之寫碼區塊之右下像素、右上像素或左下像素。
圖8為說明2N×2N PU(其與CU相同)中之實例空間及時間鄰居之概念圖。在圖8之實例中，視訊寫碼器可執行NBDV推導程序，在該NBDV推導程序中，視訊寫碼器檢查涵蓋位置200、202、204、206及208之區塊的視差運動向量及IDV。此外，在圖8之實例中，當視訊寫 碼器執行NBDV推導程序時，視訊寫碼器可檢查位於候選者參考圖像中但不與位置210及212共置之區塊。
圖9為說明用於NBDV推導程序中之實例空間及時間相鄰區塊的概念圖，其中CU之第一PU為該CU之代表性PU。在圖9之實例中，該代表性區塊為位於CU之左邊的N×2N PU。換言之，圖9為其中PU具有N×2N形狀之實例。在當前CU(例如，N×2N)之給定分割資訊的情況下，可用第一PU(例如，左PU)之區塊位置來決定該等區塊位置。圖9為可如何基於第一PU之形狀來決定區塊位置(亦即，由相鄰區塊所涵蓋之位置)的實例。
詳言之，在圖9之實例中，視訊寫碼器可執行NBDV推導程序，在該NBDV推導程序中，視訊寫碼器檢查涵蓋位置250、252、254、256及258之區塊的推導運動向量及IDV。此外，在圖9之實例中，當視訊寫碼器執行NBDV推導程序時，視訊寫碼器可檢查位於候選者參考圖像中但不與位置260及262共置之區塊。如可在圖8及圖9之實例中所見，對於一CU之PU而言，由用於NBDV推導程序中之相鄰區塊所涵蓋的位置可取決於該CU如何被分割成PU及該等PU中之哪一者為代表性區塊而不同。因此，視訊寫碼器可基於第一PU之形狀來判定複數個區塊位置，其中該複數個區塊位置中之每一各別區塊位置由複數個相鄰區塊中之各別相鄰區塊所涵蓋。此外，視訊寫碼器可檢查該等相鄰區塊中之一或多者的空間視差運動向量、隱含視差向量或時間視差運動向量。
圖10為說明根據本發明之一或多個技術之視訊寫碼器之實例操作的流程圖。如圖10之實例中所說明，視訊寫碼器(例如，視訊編碼器20或視訊解碼器30)可執行視差向量推導程序以推導複數個區塊中之代表性區塊的視差向量(300)。在圖10之實例中，視訊資料可包括一被分割成該複數個區塊之父代區塊。舉例而言，父代區塊可為CU 且該複數個區塊中之每一區塊可為該CU之PU。在此實例中，代表性區塊可為CU之第一PU。在另一實例中，父代區塊可為LCU，且該複數個區塊中之每一區塊可為CU，且代表性區塊可為該LCU之CU中之一者。
此外，視訊寫碼器可基於所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測(302)。在其中視訊寫碼器為視訊解碼器的一些實例中，視訊解碼器可部分地藉由基於所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測來重新建構該複數個區塊中之該兩個或兩個以上區塊的樣本區塊。類似地，在其中視訊寫碼器為視訊編碼器的一些實例中，視訊編碼器可部分地藉由基於所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測來產生一包括視訊資料之經寫碼表示的位元串流。當視訊寫碼器針對兩個或兩個以上區塊而執行視圖間預測時，視訊寫碼器可基於所推導之視差向量而針對該兩個或兩個以上區塊而執行視圖間運動預測及視圖間殘差預測中之一或多者。
圖11A為說明根據本發明之一或多個技術之用於執行視圖間運動預測的視訊編碼器之實例操作350之流程圖。如圖11A之實例中所說明，視訊編碼器(例如，視訊編碼器20)可判定當前CU之分割模式(352)。根據本發明之一或多個技術，視訊編碼器可執行視差向量推導程序以判定當前CU之代表性PU的視差向量(354)。在其中代表性區塊為CU的一些實例中，視訊編碼器可至少部分地藉由判定複數個相鄰區塊來執行視差向量推導程序，其中該複數個相鄰區塊包括鄰近於 該CU之空間相鄰區塊、一涵蓋與該CU之中心共置之位置的時間相鄰區塊及一涵蓋緊鄰於該CU之右下方之位置的時間相鄰區塊。此外，在此等實例中，視訊編碼器可檢查該等相鄰區塊中之一或多者的空間視差運動向量、隱含視差向量或時間視差運動向量。
接下來，視訊編碼器可基於代表性PU之視差向量來判定當前PU之視圖間預測運動向量候選者(IPMVC)(356)。IPMVC為指示參考圖像中與一不同於當前圖像之視圖相關聯之位置的運動向量候選者。當前PU為當前CU之PU中之一者。視訊編碼器可接著將IPMVC包括於當前PU之候選者清單(例如，合併候選者清單或AMVP候選者清單)中(358)。隨後，視訊編碼器可自該候選清單選擇一候選者(360)。在一些例子中，所選候選者為IPMVC。視訊編碼器可接著將指示所選候選者之索引的資料包括於位元串流中(362)。舉例而言，若候選者清單為合併候選者清單，則視訊編碼器可將指示merge_idx語法元素之資料包括於位元串流中。在另一實例中，候選者清單為AMVP候選者清單且視訊編碼器可將指示mvp_l0_flag語法元素或mvp_l1_flag語法元素之資料包括於位元串流中。在此實例中，視訊編碼器亦可包括指示當前PU之參考索引(例如，ref_idxl0語法元素或ref_idxl1語法元素)的資料及指示當前PU之運動向量差(例如，mvd_coding語法結構)的資料。
視訊編碼器可接著判定在當前CU中是否存在任何剩餘之PU(364)。若在當前CU中存在一或多個剩餘之PU(364之「是」)，則視訊編碼器可在將剩餘PU中之一者作為當前PU的情況下重複動作356-364。另一方面，若在當前CU中不存在剩餘之PU(364之「否」)，則操作350結束且視訊編碼器可執行其他編碼動作。
圖11B為說明根據本發明之一或多個技術之用於執行視圖間運動預測的視訊解碼器之實例操作380之流程圖。如圖11B之實例中所說 明，視訊解碼器(例如，視訊解碼器30)可判定當前CU之分割模式(382)。在一些實例中，視訊解碼器可基於當前CU之part_mode語法元素來判定當前CU之分割模式。
根據本發明之一或多個技術，視訊解碼器可執行視差向量推導程序以判定當前CU之代表性PU的視差向量(384)。舉例而言，視訊解碼器可執行視差向量推導程序以判定當前CU之第一PU的視差向量。在其中代表性區塊為CU的一些實例中，視訊解碼器可至少部分地藉由判定複數個相鄰區塊來執行視差向量推導程序，其中該複數個相鄰區塊包括鄰近於該CU之空間相鄰區塊、一涵蓋與該CU之中心共置之位置的時間相鄰區塊及一涵蓋緊鄰於該CU之右下方之位置的時間相鄰區塊。此外，在此等實例中，視訊解碼器可檢查該等相鄰區塊中之一或多者的空間視差運動向量、IDV或時間視差運動向量。
接下來，視訊解碼器可基於代表性PU之視差向量來判定當前PU之IPMVC(386)。當前PU為當前CU之PU中之一者。視訊解碼器可接著將IPMVC包括於當前PU之候選者清單(例如，合併候選者清單或AMVP候選者清單)中(388)。隨後，視訊解碼器可基於位元串流中之資料來判定候選者清單中之所選候選者(390)。舉例而言，若候選者清單為合併候選者清單，則視訊解碼器可基於自位元串流所獲得之merge_idx語法元素來判定所選候選者。在另一實例中，若候選者清單為AMVP候選者清單，則視訊解碼器可基於自位元串流所獲得之mvp_l0_flag語法元素或mvp_l1_flag語法元素來判定所選候選者。在一些例子中，所選候選者為IPMVC。視訊解碼器可接著基於所選候選者來判定當前PU之運動向量(392)。
視訊解碼器可接著判定在當前CU中是否存在任何剩餘之PU(394)。若在當前CU中存在一或多個剩餘之PU(394之「是」)，則視訊解碼器可在將剩餘PU中之一者作為當前PU的情況下重複動作386- 394。另一方面，若在當前CU中不存在剩餘之PU(394之「否」)，則操作380結束且視訊解碼器可執行其他解碼動作。
圖12A為說明根據本發明之一或多個技術之用於執行視圖間殘差預測的視訊編碼器之實例操作400之流程圖。如圖12A之實例中所說明，視訊編碼器(例如，視訊編碼器20)可判定父代區塊之代表性區塊的視差向量(402)。在一些實例中，父代區塊被分割成複數個區塊(包括父代區塊之代表性區塊)。舉例而言，該代表性區塊可為CU且該父代區塊可為CTU。在其他例子中，代表性區塊可為PU且父代區塊可為CU。在其他實例中，父代區塊未被分割成子區塊且父代區塊之代表性區塊為父代區塊自身。舉例而言，代表性區塊及父代區塊可為相同之PU、CU、CTU等。
此外，在圖12A之實例中，視訊編碼器可基於代表性區塊之視差向量來判定當前區塊之視差參考區塊(404)。如上文所指示，父代區塊可被分割成一或多個子區塊。當前區塊可為該等子區塊中之一者。此外，當前區塊之視差參考區塊可包含基於視差參考圖像中之樣本的樣本區塊。舉例而言，視差參考區塊可包括視差參考圖像之樣本。視差參考圖像與和當前區塊相同之時間執行個體相關聯但與一不同於當前區塊之視圖相關聯。
視訊編碼器可判定視差參考區塊之殘差資料(406)。視差參考區塊之殘差資料可包括指示在視差參考區塊之樣本與視差參考區塊之一或多個預測性區塊之對應樣本之間的差的樣本。視訊編碼器可接著判定當前區塊之殘差資料(408)。當前區塊之殘差資料可包括指示在以下各者之間的差的樣本：當前區塊之原始樣本區塊中的對應樣本、當前區塊之視差參考區塊之殘差資料及一或多個預測性區塊。隨後，視訊編碼器可判定在父代區塊中是否存在任何剩餘之子區塊(410)。若在父代區塊中存在一或多個剩餘之子區塊(410之「是」)，則視訊編 碼器可在將剩餘子區塊中之一者作為當前區塊的情況下重複動作404-410。以此方式，視訊編碼器可使用代表性區塊之視差向量來判定父代區塊之子區塊中之每一者的視差參考區塊。
另一方面，若在父代區塊中不存在剩餘之子區塊(410之「否」)，則視訊編碼器可將表示父代區塊之殘差資料的資料包括於位元串流中(412)。舉例而言，若父代區塊為CTU且子區塊中之每一者為CU，則表示父代區塊之殘差資料的資料可包含指示該CTU之CU中之每一者之殘差資料的經變換及經量化版本的資料。在另一實例中，若父代區塊為CU且子區塊中之每一者為PU，則表示CU之殘差資料的資料可包括指示該CU之PU中之每一者之殘差資料的經變換及經量化版本的資料。
圖12B為說明根據本發明之一或多個技術之用於執行視圖間殘差預測的視訊解碼器之實例操作450之流程圖。如圖12B之實例中所說明，視訊解碼器(例如，視訊解碼器30)可判定父代區塊之代表性區塊的視差向量(452)。在一些實例中，父代區塊被分割成複數個區塊(包括父代區塊之代表性區塊)。舉例而言，該代表性區塊可為CU且該父代區塊可為CTU。在其他例子中，代表性區塊可為PU且父代區塊可為CU。在其他實例中，父代區塊未被分割成子區塊且父代區塊之代表性區塊為父代區塊自身。舉例而言，代表性區塊及父代區塊可為相同之PU、CU、CTU等。
此外，在圖12B之實例中，視訊解碼器可基於代表性區塊之視差向量來判定當前區塊之視差參考區塊(454)。如上文所指示，父代區塊可被分割成一或多個子區塊。當前區塊可為該等子區塊中之一者。此外，當前區塊之視差參考區塊可包含基於視差參考圖像中之樣本的樣本區塊。舉例而言，視差參考區塊可包括視差參考圖像之樣本。視差參考圖像與和當前區塊相同之時間執行個體相關聯但與一不同於當 前區塊之視圖相關聯。
視訊解碼器可判定視差參考區塊之殘差資料(456)。視差參考區塊之殘差資料可包括指示在視差參考區塊之樣本與視差參考區塊之一或多個預測性區塊之對應樣本之間的差的樣本。隨後，視訊解碼器可判定在父代區塊中是否存在任何剩餘之子區塊(458)。若在父代區塊中存在一或多個剩餘之子區塊(458之「是」)，則視訊解碼器可在將剩餘子區塊中之一者作為當前區塊的情況下重複動作454-458。以此方式，視訊解碼器可使用代表性區塊之視差向量來判定父代區塊之子區塊中之每一者的視差參考區塊。
另一方面，若在父代區塊中不存在剩餘之子區塊(458之「否」)，則視訊解碼器可判定父代區塊之樣本區塊(例如，寫碼樹型區塊、寫碼區塊等)(460)。父代區塊之樣本區塊可包括為以下各者之和的樣本：在父代區塊之一或多個子區塊之視差參考區塊之殘差資料中的對應樣本、一或多個預測性區塊及在位元串流中所傳信之殘差資料。
如上文所描述，根據本發明之技術，視訊寫碼器可執行一經修改之NBDV推導程序，該經修改之NBDV推導程序使用比3D-HEVC測試模型1中所描述之NBDV推導程序少的空間相鄰區塊。在一個實例中，當視訊寫碼器執行經修改之NBDV推導程序時，視訊寫碼器可僅考慮左空間相鄰區塊及上空間相鄰區塊(亦即，圖2中之表示為A1及B1之區塊)。圖13為說明兩個PU之實例左空間相鄰區塊及上空間相鄰區塊的概念圖。詳言之，圖13展示N×2N PU及2N×N PU之左空間相鄰區塊及上空間相鄰區塊。如圖13之實例中所示，左空間相鄰區塊係鄰近於當前區塊(例如，N×2N PU或2N×N PU)之左邊緣且上空間相鄰區塊係鄰近於當前區塊(例如，N×2N PU或2N×N PU)之頂邊緣。
然而，代替總是考慮左4×4空間相鄰區塊及上4×4空間相鄰區塊 的做法係，可存在若干替代例使得待檢查之區塊之數目變得較小。舉例而言，在一個解決方案中，視訊寫碼器檢查三個空間相鄰區塊。舉例而言，如圖14中所示，視訊寫碼器僅檢查上空間相鄰區塊、左空間相鄰區塊、及左上空間相鄰區塊。亦即，圖14為說明用於NBDV推導程序中之左空間相鄰區塊、上空間相鄰區塊及左上空間相鄰區塊之概念圖。在此實例中，視訊寫碼器可按上空間相鄰區塊、左空間相鄰區塊及左上空間相鄰區塊之次序來檢查上空間相鄰區塊、左空間相鄰區塊及左上空間相鄰區塊。在其他實例中，視訊寫碼器可按任何其他次序來檢查上空間相鄰區塊、左空間相鄰區塊及左上空間相鄰區塊。
在其他實例中，視訊寫碼器可在NBDV推導程序中檢查該等空間相鄰區塊中之任一者。換言之，可在圖2中所示之五個空間相鄰區塊A0、A1、B0、B1及B2當中抽取任何其他空間相鄰區塊。在一些實例中，在抽取之後待檢查之區塊之總數可大於零且小於五。此外，在一些實例中，視訊寫碼器可檢查五個空間相鄰區塊之子集的視差運動向量，但可檢查所有五個空間相鄰區塊的IDV。換言之，在此實例中，針對區塊而可應用或可不應用縮減，其中將搜尋IDV。此外，在一些實例中，空間相鄰區塊之檢查次序可加以重排序。
可將空間相鄰區塊之縮減與在本發明中之別處所描述之基於CU之NBDV推導程序一起組合。舉例而言，在圖13之實例中，NPU為涵蓋左上像素之PU且NPU之空間相鄰區塊僅為NPU之上空間相鄰區塊及左空間相鄰區塊。在另一實例中，NPU為CU且空間相鄰區塊為CU之上空間相鄰區塊、左空間相鄰區塊及左上空間相鄰區塊，如圖14中所示。
圖15為說明根據本發明之一或多個技術之視訊寫碼器之實例操作600的流程圖。在圖15之實例中，視訊寫碼器(例如，視訊編碼器20或視訊解碼器30)執行視差向量推導程序以判定當前區塊之視差向量 (602)。根據本發明之一或多個技術，作為執行視差向量推導程序之部分，當第一空間相鄰區塊抑或第二空間相鄰區塊具有視差運動向量或IDV時，視訊寫碼器可將該視差運動向量或IDV轉換至當前區塊之視差向量。在圖15之實例中，即使第一空間相鄰區塊或第二空間相鄰區塊兩者都不具有視差運動向量或IDV，視差向量推導程序仍不判定除第一空間相鄰區塊及第二空間相鄰區塊之外的任何空間相鄰區塊是否具有視差運動向量或IDV。在一些實例中，第一空間相鄰區塊係鄰近於當前區塊之頂邊緣且第二空間相鄰區塊係鄰近於當前區塊之左邊緣。在一些實例中，視訊寫碼器可首先檢查第一空間相鄰區塊的視差運動向量(或IDV)且接著可檢查第二空間相鄰區塊的視差運動向量(或IDV)。在其他實例中，視訊寫碼器可首先檢查第二空間相鄰區塊的視差運動向量(或IDV)且接著可檢查第一空間相鄰區塊的視差運動向量(或IDV)。
此外，在圖15之實例中，視訊寫碼器可基於所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測(604)。在其中視訊寫碼器包含視訊解碼器的一些實例中，視訊解碼器部分地藉由基於所推導之視差向量而針對當前區塊執行視圖間預測來重新建構當前區塊之樣本區塊。在其中視訊寫碼器包含視訊編碼器的一些實例中，視訊編碼器部分地基於當前區塊之所推導之視差向量而產生當前區塊之經編碼表示。
圖16為說明根據本發明之一實例之用以判定當前區塊之視差向量的視訊寫碼器之實例操作620之流程圖。在圖16之實例中，當判定當前區塊之視差向量時，視訊寫碼器使用多達兩個之空間相鄰區塊。具體言之，在圖16之實例中，視訊寫碼器可判定第一空間相鄰區塊是否具有視差運動向量(622)。在一些實例中，第一空間相鄰區塊係鄰 近於當前區塊之左邊緣。在其他實例中，第一空間相鄰區塊係鄰近於當前區塊之頂邊緣。回應於判定第一空間相鄰區塊具有視差運動向量(622之「是」)，視訊寫碼器可將第一空間相鄰區塊之視差運動向量轉換成當前區塊之視差向量(624)。
另一方面，回應於判定第一空間相鄰區塊不具有視差運動向量(622之「否」)，視訊寫碼器可判定第二空間相鄰區塊是否具有視差運動向量(626)。在一些實例中，第二空間相鄰區塊係鄰近於當前區塊之左邊緣。在其他實例中，第二空間相鄰區塊係鄰近於當前區塊之頂邊緣。回應於判定第二空間相鄰區塊具有視差運動向量(626之「是」)，視訊寫碼器可將第二空間相鄰區塊之視差運動向量轉換成當前區塊之視差向量(628)。否則，回應於判定第二空間相鄰區塊不具有視差運動向量(626之「否」)，視訊寫碼器可指示當前區塊之視差向量不可用(630)。
如上文所描述，在雙向預測式框間預測中，可存在多達兩個之參考圖像清單(亦即，RefPicList0及RefPicList1)。此外，雙向預測式區塊(例如，PU)含有兩個運動向量。當該區塊之兩個運動向量(亦即，分別對應於RefPicList0及RefPicList1之運動向量)為視差運動向量時，對應於RefPicList1之運動向量可為冗餘的。
在3D-HEVC測試模型1中，視訊寫碼器判定一相鄰區塊是否使用RefPicList0中之參考圖像。舉例而言，視訊寫碼器可檢查PredFlagL0[xN][yN]是否等於1，其中(xN,yN)為由相鄰區塊所涵蓋之位置且PredFlagL0為指示涵蓋特定座標之區塊是否利用RefPicList0中之參考圖像的值陣列。
此外，如3D-HEVC測試模型1中所描述，若相鄰區塊使用RefPicList0中之參考圖像，則視訊寫碼器可判定相鄰區塊之RefPicList0參考索引是否指示RefPicList0中之視圖間參考圖像，其中 該視圖間參考圖像具有等於特定參考視圖索引之視圖次序索引。舉例而言，視訊寫碼器可判定RefPicList0[RefIdxL0[xN][yN]]是否為視圖間參考圖像(其中ViewOrderIndex等於refViewIdx)，其中RefIdxLx0[xN][yN]為相鄰區塊之RefPicList0參考索引且refViewIdx為特定視圖索引。若如此，則視訊寫碼器可將視差向量設定成等於相鄰區塊之RefPicList0運動向量。否則，若相鄰區塊之預測模式為跳過模式且相鄰區塊具有一指示相鄰區塊具有視圖間運動向量之視圖間預測運動向量旗標(例如，當相鄰區塊具有IDV時可發生該狀況)，則視訊寫碼器可將變數(例如，ivpMVDispN0)設定至相鄰區塊之視差向量(例如，IvpMvDispL0[xN,yN])。視訊寫碼器可接著針對RefPicList1而重複此程序。視圖次序索引可為一指示存取單元中之視圖分量之解碼次序的值(亦即，索引)。
因此，如在JCT3V-A1005之部分G.8.5.2.1.13中所描述：對於自0至1之每一X而言，若availableN等於1且PredFlagLX[xN][yN]等於1，則以下內容適用：
a.若RefPicListX[RefIdxLX[xN][yN]]為視圖間參考圖像(其中ViewOrderIndex等於refViewIdx)，則以下內容適用：mvDisp=mvLXN[xN][yN] availableDV=1
b.否則，若PredMode[xN][yN]等於MODE_SKIP且IvpMvFlagLX[xN,yN]等於1，則以下內容適用：ivpMvDispNX=IvpMvDispLX[xN,yN] availableFlagIvpMvNX=1
根據本發明之一些技術，視訊寫碼器可執行一修剪程序，在該修剪程序中，視訊寫碼器不檢查如3D-HEVC測試模型1中所描述之RefPicList0與RefPicList1兩者。相反，視訊寫碼器可僅檢查該等參考 圖像清單中之一者。舉例而言，視訊寫碼器可僅檢查RefPicList0。在其他實例中，視訊寫碼器可僅檢查RefPicList1。因此，在此修剪程序中，對於空間或時間相鄰區塊而言，為自此區塊推導視差運動向量而非檢查對應於RefPicList0與RefPicList1兩者之運動向量，視訊寫碼器僅檢查對應於RefPicList0(RefPicList1)之運動向量。
舉例而言，當視訊寫碼器執行視差向量推導程序時，視訊寫碼器可針對相鄰區塊而僅檢查該相鄰區塊之對應於第一參考圖像清單(例如，RefPicList0或RefPicList1)的運動向量是否為視差運動向量，而不管該相鄰區塊是否具有對應於第二參考圖像清單(例如，RefPicList0或RefPicList1)的運動向量。此外，在此實例中，當該相鄰區塊之對應於第一參考圖像清單的運動向量為視差運動向量時，視訊寫碼器可將該視差運動向量轉換至代表性區塊之視差向量。
圖17為說明根據本發明之一或多個技術之用以判定當前區塊之視差向量的視訊寫碼器之實例操作650之流程圖。在一些實例(諸如圖16及圖17之實例)中，可以簡單方式來表示IDV，使得不使用旗標來傳信相鄰區塊是否含有IDV。相反，在此等實例中，視訊寫碼器可設定相鄰區塊之一或多個現有變數(例如，參考索引、參考視圖索引等)以指示該相鄰區塊含有IDV。
如圖17之實例中所示，視訊寫碼器(例如，視訊編碼器20或視訊解碼器30)可判定當前空間相鄰區塊是否具有視差運動向量(652)。回應於判定當前空間相鄰區塊具有視差運動向量(652之「是」)，視訊寫碼器可將該當前空間相鄰區塊之視差運動向量轉換至當前區塊之視差向量(654)。在將視差運動向量轉換至視差向量之後，操作650結束。
另一方面，回應於判定當前空間相鄰區塊不具有視差運動向量(652之「否」)，視訊寫碼器可判定是否存在任何剩餘之空間相鄰區 塊(660)。回應於判定存在一或多個空間相鄰區塊(660之「是」)，視訊寫碼器可關於該等空間相鄰區塊中之另一者而重複動作652-656。以此方式，視訊寫碼器可執行動作652-656直至視訊寫碼器具有所有空間相鄰區塊抑或已識別空間運動向量。視訊寫碼器可按A1、B1、B0、A0及B2之次序來檢查該等空間相鄰區塊。
回應於判定不存在剩餘之空間相鄰區塊(656之「否」)，視訊寫碼器可判定是否啟用時間運動向量預測(658)。若視訊寫碼器判定時間運動向量預測被啟用(658之「是」)，則視訊寫碼器可執行操作650之展示於圖18中之部分(圖17中指示為「A」)。在執行操作650之展示於圖18中之部分之後或在判定時間運動向量預測未被啟用(658之「否」)之後，視訊寫碼器可檢查IDV之空間相鄰區塊。視訊寫碼器可按A0、A1、B0、B1及B2之次序來檢查該等空間相鄰區塊。因此，在圖17之實例中，視訊寫碼器可判定當前空間相鄰區塊是否以跳過模式而加以寫碼且是否具有一設定至非法值之特定變數(660)。若當前空間相鄰區塊之特定變數被設定至非法值，則當前空間相鄰區塊具有IDV。舉例而言，在判定當前區塊之視差向量之前，視訊寫碼器業已寫碼當前空間相鄰區塊。作為寫碼當前空間相鄰區塊之部分，視訊寫碼器可執行運動預測程序(例如，合併模式程序或AMVP程序)以判定當前空間相鄰區塊之運動資訊。在3D-HEVC工作草案1中，當視訊寫碼器執行運動預測程序時，視訊寫碼器設定一視圖間預測運動向量旗標(例如，IvpMvFlagLX)以指示當前空間相鄰區塊是否具有IDV。然而，根據本發明之一或多個技術，視訊寫碼器可將當前空間相鄰區塊之特定變數設定至非法值以便指示當前空間相鄰區塊具有IDV。如上文所指示，特定變數可為參考索引、參考視圖索引及其他變數。在視訊寫碼器已判定當前空間相鄰區塊之運動資訊之後，視訊寫碼器可不再次需要該特定變數。因此，可重新使用該特定變數來指示當前空間 相鄰區塊是否具有IDV。
回應於判定當前空間相鄰區塊係以跳過模式而加以寫碼且具有設定至非法值之特定變數(660之「是」)，視訊寫碼器可將當前空間相鄰區塊之IDV轉換至當前區塊之視差向量(662)。在將當前空間相鄰區塊之IDV轉換至當前區塊之視差向量之後，操作650結束。
另一方面，回應於判定當前空間相鄰區塊未以跳過模式而加以寫碼或當前空間相鄰區塊之特定變數未被設定至非法值(660之「否」)，視訊寫碼器可判定是否存在任何剩餘之空間相鄰區塊(664)。回應於判定存在一或多個剩餘之空間相鄰區塊(664之「是」)，視訊寫碼器可在該等剩餘之空間相鄰區塊中之一者作為當前空間相鄰區塊的情況下重複動作660-664。
回應於判定不存在剩餘之空間相鄰區塊(664之「否」)，視訊寫碼器可指示當前區塊之視差向量不可用(666)。操作650可接著結束。
圖18為說明圖17中所示之操作650之實例延續的流程圖。如圖18之實例中所示，視訊寫碼器可判定當前區塊之寫碼模式是否為AMVP(690)。回應於判定寫碼模式為AMVP(690之「是」)，視訊寫碼器可定義共置型圖像中之BR及CB區域(692)。接下來，視訊寫碼器可判定一涵蓋BR區域之區塊(例如，PU)是否具有視差運動向量(694)。回應於判定涵蓋該BR區域之區塊具有視差運動向量(694之「是」)，視訊寫碼器可將涵蓋該BR區域之區塊的視差運動向量轉換至當前區塊之視差向量(696)。視訊寫碼器可接著結束操作650之視差向量推導程序。
另一方面，回應於判定涵蓋該BR區域之區塊不具有視差運動向量(694之「否」)，視訊寫碼器可判定一涵蓋CB區域之區塊是否具有視差運動向量(698)。回應於判定涵蓋該CB區域之區塊具有視差運動向量(698之「是」)，視訊寫碼器可將涵蓋該CB區域之區塊的視差運 動向量轉換至當前區塊之視差向量(700)。視訊寫碼器可接著結束操作650之視差向量推導程序。然而，若涵蓋CB區域之區塊不具有視差運動向量(698之「否」)，則視訊寫碼器可執行圖17中所示之操作650之在被標記為「B」圓圈後面的部分。
回應於判定寫碼模式非為AMVP(690之「否」)，視訊寫碼器可定義在候選者圖像清單中之當前共置型圖像中之BR及CB區域(702)。接下來，視訊寫碼器可判定一涵蓋當前候選者圖像之BR區域的區塊(例如，PU)是否具有視差運動向量(704)。回應於判定涵蓋當前候選者圖像之BR區域的區塊具有視差運動向量(704之「是」)，視訊寫碼器可將涵蓋當前候選者圖像之BR區域之區塊的視差運動向量轉換至當前區塊之視差向量(706)。視訊寫碼器可接著結束操作650之視差向量推導程序。
另一方面，回應於判定涵蓋當前候選者圖像之BR區域的區塊不具有視差運動向量(704之「否」)，視訊寫碼器可判定一涵蓋當前候選者圖像之CB區域的區塊是否具有視差運動向量(708)。回應於判定涵蓋當前候選者圖像之CB區域的區塊具有視差運動向量(708之「是」)，視訊寫碼器可將涵蓋當前候選者圖像之CB區域之區塊的視差運動向量轉換至當前區塊之視差向量(710)。視訊寫碼器可接著結束操作650之視差向量推導程序。
然而，回應於判定涵蓋當前候選者圖像之CB區域的區塊不具有視差運動向量(708之「否」)，視訊寫碼器可判定在候選者圖像清單中是否存在任何剩餘之候選者圖像(712)。回應於判定在候選者圖像清單中存在一或多個剩餘之候選者圖像(712之「是」)，視訊寫碼器可在該等候選者圖像中之另一者作為當前候選者圖像的情況下執行動作702-712。另一方面，回應於判定在候選者圖像清單中不存在剩餘之候選者圖像(712之「否」)，視訊寫碼器可執行圖17中所示之操作 650之在被標記為「B」圓圈後面的部分。
實例1. 一種寫碼視訊資料之方法，該方法包含：判定視訊資料之一寫碼單元(CU)之一視差向量，該CU包括一或多個預測單元(PU)，其中該視差向量係為該CU之該一或多個PU中之每一者所共有；及基於該所判定之視差向量而針對該CU來執行視圖間運動預測及視圖間殘差預測中之一或多者。
實例2. 如實例1之方法，該方法進一步包含將該視差向量採用作為一視差運動向量，其中基於該所判定之視差向量而針對該CU來執行該視圖間運動預測及該視圖間殘差預測中之該一或多者包含使用該視差運動向量而針對該CU來執行該視圖間運動預測及該視圖間殘差預測中之一或多者。
實例3. 如實例1之方法，其中判定該CU之該視差向量包含基於與視訊資料之一參考區塊相關聯的一視差運動向量(DMV)及一隱含視差向量(IDV)中之一者來判定該視差向量。
實例4. 如實例3之方法，其中該參考區塊包含以下各者中之一者：一與該CU相關聯之空間相鄰區塊；及一與該CU相關聯之時間相鄰區塊。
實例5. 如實例4之方法，其中該CU包含一視訊資料圖框之複數個CU中的一者，且其中該空間相鄰區塊包含一視訊資料區塊，該視訊資料區塊被包括於該複數個CU中除該CU之外的另一CU內且在該圖框內位於鄰近於該CU處。
實例6. 如實例4之方法，其中該CU包含視訊資料之一第一圖框之第一複數個CU中的一者，且其中該時間相鄰區塊包含一視訊資料區塊，該視訊資料區塊被包括於視訊資料之一第二圖框內，其中該第一圖框係不同於該第二圖框。
實例7. 如實例6之方法，其中被包括於該第二圖框內之該區塊 包含以下各者中之一者：一被包括於該第二圖框之第二複數個CU中之一CU內的視訊資料區塊，其中該第二圖框之該第二複數個CU中之該CU係與該第一圖框之該第一複數個CU中之該CU共置；及一位於鄰近於該第二圖框之該第二複數個CU中之該CU處的視訊資料區塊。
實例8. 如實例3之方法，其中該CU包含一視訊資料圖框之複數個CU中之一者，且其中該參考區塊包含以下各者中之一者：一被包括於該複數個CU中除該CU之外的一第一CU內之第一相鄰PU，其在該圖框內位於鄰近於該CU之一左下隅角處；一被包括於該複數個CU中除該CU之外的一第二CU內之第二相鄰PU，其在該圖框內位於該CU之正左方；一被包括於該複數個CU中除該CU之外的一第三CU內之第三相鄰PU，其在該圖框內位於鄰近於該CU之一左上隅角處；一被包括於該複數個CU中除該CU之外的一第四CU內之第四相鄰PU，其在該圖框內位於該CU之正上方；及一被包括於該複數個CU中除該CU之外的一第五CU內之第五相鄰PU，其在該圖框內位於鄰近於該CU之一右上隅角處。
實例9. 如實例8之方法，其中該參考區塊包含該第一相鄰PU、該第二相鄰PU、該第三相鄰PU、該第四相鄰PU及該第五相鄰PU之一子集中之一者。
實例10. 如實例3之方法，其中該參考區塊包含以下各者中之一者：視訊資料之一第二圖框之一第一區域，其被包括於該第二圖框之一與該CU共置之部分內；該第二圖框之一第二區域，其被包括於該第二圖框之一與該CU之一PU共置之部分內；該第二圖框之一第三區域，其對應於該第二圖框之一最大CU(LCU)且包括該第一區域及該第二區域中之一者或兩者；及該第二圖框之一第四區域，其位於鄰近於該第一區域及該第二區域中之一或多者之一右下隅角處。
實例11. 如實例3之方法，其中該參考區塊包含該CU之除該CU 之外的一空間相鄰CU及一時間相鄰CU中之一者的一PU。
實例12. 如實例3之方法，其中該參考區塊係基於該CU之該複數個PU中之一代表性PU而加以判定。
實例13. 如實例3之方法，其中該視差運動向量係藉由根據一預定次序判定與該CU相關聯之一或多個參考區塊中之每一者的一視差運動向量及一隱含視差向量中之一者而加以判定。
實例14. 如實例13之方法，其中該預定次序係基於該CU與該一或多個參考區塊中之每一者之間的相關之一量而加以定義。
實例15. 如實例1之方法，其進一步包含：藉由傳信以下各者中之一者來指示是否存在一與該CU相關聯之參考區塊的一隱含視差向量(IDV)：一參考索引；一參考視圖索引；一參考視圖索引之一差；一非法參考索引；一非法參考視圖索引；及一非法參考視圖索引之一差。
實例16. 如實例15之方法，其進一步包含避免使用一單一位元旗標來指示是否存在該參考區塊之該IDV。
實例17. 如實例1至16之任一組合之方法。
實例18. 如實例1至16中之任一者或其組合之方法，其中該方法係藉由一編碼器而加以執行。
實例19. 如實例1至16中之任一者或其組合之方法，其中該方法係藉由一解碼器而加以執行。
實例20. 一種系統，其經組態以執行如實例1至16中之任一者或其組合之方法。
實例21. 一種非暫時性電腦可讀儲存媒體，其包含指令，該等指令在執行時使一或多個處理器執行如實例1至16中之任一者或其組合之方法。
實例22. 一種視訊編碼器件，其經組態以執行如實例1至16中之 任一者或其組合之方法。
實例23. 一種視訊解碼器件，其經組態以執行如實例1至16中之任一者或其組合之方法。
實例24. 一種用於寫碼視訊資料之器件，其包含：用於判定視訊資料之一寫碼單元(CU)之一視差向量的構件，該CU包括一或多個預測單元(PU)，其中該視差向量係為該CU之該一或多個PU中之每一者所共有；及用於基於該所判定之視差向量而針對該CU來執行視圖間運動預測及視圖間殘差預測中之一或多者的構件。
實例25. 如實例24之器件，其進一步包含用於將該視差向量採用作為一視差運動向量的構件，其中該用於基於該所判定之視差向量而針對該CU來執行該視圖間運動預測及該視圖間殘差預測中之該一或多者的構件包含用於使用該視差運動向量而針對該CU來執行該視圖間運動預測及該視圖間殘差預測中之一或多者的構件。
實例26. 如實例24之器件，其中該用於判定該CU之該視差向量的構件包含用於基於與視訊資料之一參考區塊相關聯的一視差運動向量(DMV)及一隱含視差向量(IDV)中之一者來判定該視差向量的構件。
實例27. 如實例26之器件，其中該參考區塊包含以下各者中之一者：一與該CU相關聯之空間相鄰區塊；及一與該CU相關聯之時間相鄰區塊。
實例28. 如實例27之器件，其中該CU包含一視訊資料圖框之複數個CU中的一者，且其中該空間相鄰區塊包含一視訊資料區塊，該視訊資料區塊被包括於該複數個CU中除該CU之外的另一CU內且在該圖框內位於鄰近於該CU處。
實例29. 如實例27之器件，其中該CU包含視訊資料之一第一圖框之第一複數個CU中的一者，且其中該時間相鄰區塊包含一視訊資 料區塊，該視訊資料區塊被包括於視訊資料之一第二圖框內，其中該第一圖框係不同於該第二圖框。
實例30. 如實例29之器件，其中被包括於該第二圖框內之該區塊包含以下各者中之一者：一被包括於該第二圖框之第二複數個CU中之一CU內的視訊資料區塊，其中該第二圖框之該第二複數個CU中之該CU係與該第一圖框之該第一複數個CU中之該CU共置；及一位於鄰近於該第二圖框之該第二複數個CU中之該CU處的視訊資料區塊。
實例31. 如實例26之器件，其中該CU包含一視訊資料圖框之複數個CU中之一者，且其中該參考區塊包含以下各者中之一者：一被包括於該複數個CU中除該CU之外的一第一CU內之第一相鄰PU，其在該圖框內位於鄰近於該CU之一左下隅角處；一被包括於該複數個CU中除該CU之外的一第二CU內之第二相鄰PU，其在該圖框內位於該CU之正左方；一被包括於該複數個CU中除該CU之外的一第三CU內之第三相鄰PU，其在該圖框內位於該CU之一左上隅角處；一被包括於該複數個CU中除該CU之外的一第四CU內之第四相鄰PU，其在該圖框內位於該CU之正上方；及一被包括於該複數個CU中除該CU之外的一第五CU內之第五相鄰PU，其在該圖框內位於鄰近於該CU之一右上隅角處。
實例32. 如實例31之器件，其中該參考區塊包含該第一相鄰PU、該第二相鄰PU、該第三相鄰PU、該第四相鄰PU及該第五相鄰PU之一子集中之一者。
實例33. 如實例26之器件，其中該參考區塊包含以下各者中之一者：視訊資料之一第二圖框之一第一區域，其被包括於該第二圖框之一與該CU共置之部分內；該第二圖框之一第二區域，其被包括於該第二圖框之一與該CU之一PU共置之部分內；該第二圖框之一第三區域，其對應於該第二圖框之一最大CU(LCU)且包括該第一區域及該 第二區域中之一者或兩者；及該第二圖框之一第四區域，其位於鄰近於該第一區域及該第二區域中之一或多者之一右下隅角處。
實例34. 如實例26之器件，其中該參考區塊包含該CU之除該CU之外的一空間相鄰CU及一時間相鄰CU中之一者的一PU。
實例35. 如實例26之器件，其中該參考區塊係基於該CU之該複數個PU中之一代表性PU而加以判定。
實例36. 如實例26之器件，如實例26之器件，其中該用於判定該視差運動向量的構件包含用於根據一預定次序來判定與該CU相關聯之一或多個參考區塊中之每一者之一視差運動向量及一隱含視差向量中的一者的構件。
實例37. 如實例36之器件，其中該預定次序係基於該CU與該一或多個參考區塊中之每一者之間的相關之一量而加以定義。
實例38. 如實例24之器件，其進一步包含：用於藉由傳信以下各者中之一者來指示是否存在一與該CU相關聯之參考區塊之一隱含視差向量(IDV)的構件：一參考索引；一參考視圖索引；一參考視圖索引之一差；一非法參考索引；一非法參考視圖索引；及一非法參考視圖索引之一差。
實例39. 如實例38之器件，其進一步包含用於避免使用一單一位元旗標來指示是否存在該參考區塊之該IDV的構件。
實例40. 本發明中所描述之任何器件或方法。
可將以上實例中之任一者之任何細節與其他實例組合而與本發明一致。在一或多個實例中，可在硬體、軟體、韌體或其任何組合中實施所描述之功能。若實施於軟體中，則該等功能可作為一或多個指令或碼而儲存於電腦可讀媒體上或經由電腦可讀媒體來傳輸及由基於硬體之處理單元執行。電腦可讀媒體可包括：電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體；或通信媒體，其包括促進電腦 程式自一處至另一處之轉移(例如，根據通信協定)的任何媒體。以此方式，電腦可讀媒體大體可對應於(1)非暫時性之有形電腦可讀儲存媒體；或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術之指令、碼及/或資料結構的任何可用媒體。電腦程式產品可電腦可讀媒體。
藉由實例且非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以以指令或資料結構之形式來儲存所要程式碼且可由電腦存取的任何其他媒體。又，將任何連接恰當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則將同軸電纜、光纜、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為係針對非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)，或其他等效之整合或離散邏輯電路。因此，如本文中所使用，術語「處理器」可指代上述結構或適合於實施本文中所描述之技術之任何其他結構中的任一者。另外，在一些態樣中，可將本文中所描述之功能性提供於經組態用於編碼及解碼之專用軟體模組或硬 體模組內或併入於組合式codec中。又，可將該等技術充分地實施於一或多個電路或邏輯元件中。
可將本發明之技術實施於廣泛多種器件或裝置中，該等器件或裝置包括無線手機、一積體電路(IC)或一組IC(例如，晶片組)。本發明中描述了各種組件、模組或單元以強調經組態以執行所揭示之技術之器件的功能態樣，但各種組件、模組或單元未必需要藉由不同硬體單元來實現。相反，如上文所描述，各種單元可經組合於編碼解碼器硬體單元中或藉由互操作之硬體單元之集合結合合適之軟體及/或韌體來提供，該等硬體單元包括如上文所描述之一或多個處理器。
已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。

Claims (46)

  1. 一種用於解碼視訊資料之方法，該方法包含：執行一視差向量推導程序以推導複數個區塊中之一代表性區塊的一視差向量，其中該視訊資料包括一被分割成該複數個區塊之父代區塊；及部分地藉由基於該所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測來重新建構該複數個區塊中之該兩個或兩個以上區塊的樣本區塊。
  2. 如請求項1之方法，其中該代表性區塊為一寫碼單元(CU)。
  3. 如請求項2之方法，其中執行該視差向量推導程序包含：判定複數個相鄰區塊，其中該複數個相鄰區塊包括鄰近於該CU之空間相鄰區塊、一涵蓋一與該CU之一中心共置之位置的時間相鄰區塊，及一涵蓋一與一緊鄰於該CU之右下方之位置共置之位置的時間相鄰區塊；及檢查該等相鄰區塊中之一或多者的一空間視差運動向量、一隱含視差向量或一時間視差運動向量。
  4. 如請求項1之方法，其中該父代區塊為一CU，且該複數個該等區塊中之每一區塊為該CU之一預測單元(PU)。
  5. 如請求項4之方法，其中該代表性區塊為該CU之該第一PU。
  6. 如請求項5之方法，其中執行該視差向量推導程序包含：基於該第一PU之一形狀來判定複數個區塊位置，其中該複數個區塊位置中之每一各別區塊位置由複數個相鄰區塊中之一各別相鄰區塊所涵蓋；及 檢查該等相鄰區塊中之一或多者的一空間視差運動向量、一隱含視差向量或一時間視差運動向量。
  7. 如請求項4之方法，其中該代表性區塊為一涵蓋該CU之一右下像素之PU。
  8. 如請求項4之方法，其中該代表性區塊為一涵蓋該CU之一右上像素之PU。
  9. 如請求項4之方法，其中該代表性區塊為一涵蓋該CU之一左下像素之PU。
  10. 如請求項1之方法，其中該父代區塊為一最大寫碼單元(LCU)。
  11. 如請求項1之方法，其中針對該兩個或兩個以上區塊而執行視圖間預測包含基於該所推導之視差向量而針對該兩個或兩個以上區塊執行視圖間運動預測及視圖間殘差預測中之一或多者。
  12. 如請求項1之方法，其中不傳信旗標來指示一空間相鄰區塊是否含有一隱含視差向量(IDV)。
  13. 如請求項1之方法，其中以下各者中之一者指示存在一相鄰區塊之一隱含視差向量(IDV)：一非法參考索引；一非法參考視圖索引；及參考視圖索引之一非法差。
  14. 如請求項1之方法，其中執行該視差向量推導程序包含：對於一相鄰區塊而言，僅檢查該相鄰區塊之對應於一第一參考圖像清單的一運動向量是否為一視差運動向量，而不管該相鄰區塊是否具有對應於一第二參考圖像清單的一運動向量；及當該相鄰區塊之對應於該第一參考圖像清單的該運動向量 為一視差運動向量時，將該視差運動向量轉換至該代表性區塊之該視差向量。
  15. 一種編碼視訊資料之方法，該方法包含：執行一視差向量推導程序以推導複數個區塊中之一代表性區塊的一視差向量，其中該視訊資料包括一被分割成該複數個區塊之父代區塊；及部分地藉由基於該所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測來產生一包括該視訊資料之一經寫碼表示的位元串流。
  16. 如請求項15之方法，其中該代表性區塊為一寫碼單元(CU)。
  17. 如請求項16之方法，其中執行該視差向量推導程序包含：判定複數個相鄰區塊，其中該複數個相鄰區塊包括鄰近於該CU之空間相鄰區塊、一涵蓋一與該CU之一中心共置之位置的時間相鄰區塊，及一涵蓋一與一緊鄰於該CU之右下方之位置共置之位置的時間相鄰區塊；及檢查該等相鄰區塊中之一或多者的一空間視差運動向量、一隱含視差向量或一時間視差運動向量。
  18. 如請求項15之方法，其中該父代區塊為一CU，且該複數個該等區塊中之每一區塊為該CU之一預測單元(PU)。
  19. 如請求項18之方法，其中該代表性區塊為該CU之該第一PU。
  20. 如請求項19之方法，其中執行該視差向量推導程序包含：基於該第一PU之一形狀來判定複數個區塊位置，其中該複數個區塊位置中之每一各別區塊位置由複數個相鄰區塊中之一各別相鄰區塊所涵蓋；及檢查該等相鄰區塊中之一或多者的一空間視差運動向量、一 隱含視差向量或一時間視差運動向量。
  21. 如請求項18之方法，其中該代表性區塊為一涵蓋該CU之一右下像素之PU。
  22. 如請求項18之方法，其中該代表性區塊為一涵蓋該CU之一右上像素之PU。
  23. 如請求項18之方法，其中該代表性區塊為一涵蓋該CU之一左下像素之PU。
  24. 如請求項18之方法，其中該父代區塊為一最大寫碼單元(LCU)。
  25. 如請求項15之方法，其中針對該兩個或兩個以上區塊而執行視圖間預測包含基於該所推導之視差向量而針對該兩個或兩個以上區塊執行視圖間運動預測及視圖間殘差預測中之一或多者。
  26. 如請求項15之方法，其進一步包含不傳信旗標來指示一空間相鄰區塊是否含有一隱含視差向量(IDV)。
  27. 如請求項15之方法，其進一步包含傳信以下各者中之一者以指示存在一相鄰區塊之一隱含視差向量(IDV)：一非法參考索引；一非法參考視圖索引；及參考視圖索引之一非法差。
  28. 如請求項15之方法，其中執行該視差向量推導程序包含：對於一相鄰區塊而言，僅檢查該相鄰區塊之對應於一第一參考圖像清單的一運動向量是否為一視差運動向量，而不管該相鄰區塊是否具有對應於一第二參考圖像清單的一運動向量；及當該相鄰區塊之對應於該第一參考圖像清單的該運動向量為一視差運動向量時，將該視差運動向量轉換至該代表性區 塊之該視差向量。
  29. 一種器件，其包含：一記憶體，其經組態以儲存視訊資料；及一或多個處理器，其經組態以：執行一視差向量推導程序以推導複數個區塊中之一代表性區塊的一視差向量，其中該視訊資料包括一被分割成該複數個區塊之父代區塊；及基於該所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測。
  30. 如請求項29之器件，其中該代表性區塊為一寫碼單元(CU)。
  31. 如請求項30之器件，其中該一或多個處理器經組態使得作為執行該視差向量推導程序之部分，該一或多個處理器：判定複數個相鄰區塊，其中該複數個相鄰區塊包括鄰近於該CU之空間相鄰區塊、一涵蓋一與該CU之一中心共置之位置的時間相鄰區塊，及一涵蓋一與一緊鄰於該CU之右下方之位置共置之位置的時間相鄰區塊；及檢查該等相鄰區塊中之一或多者的一空間視差運動向量、一隱含視差向量或一時間視差運動向量。
  32. 如請求項29之器件，其中該父代區塊為一CU，且該複數個該等區塊中之每一區塊為該CU之一預測單元(PU)。
  33. 如請求項32之器件，其中該代表性區塊為該CU之該第一PU。
  34. 如請求項33之器件，其中該一或多個處理器經組態使得作為執行該視差向量推導程序之部分，該一或多個處理器：基於該第一PU之一形狀來判定複數個區塊位置，其中該複數個區塊位置中之每一各別區塊位置由複數個相鄰區塊中之一各 別相鄰區塊所涵蓋；及檢查該等相鄰區塊中之一或多者的一空間視差運動向量、一隱含視差向量或一時間視差運動向量。
  35. 如請求項32之器件，其中該代表性區塊為一涵蓋該CU之一右下像素之PU。
  36. 如請求項32之器件，其中該代表性區塊為一涵蓋該CU之一右上像素之PU。
  37. 如請求項32之器件，其中該代表性區塊為一涵蓋該CU之一左下像素之PU。
  38. 如請求項29之器件，其中該父代區塊為一最大寫碼單元(LCU)。
  39. 如請求項29之器件，其中該一或多個處理器經組態以基於該所推導之視差向量而針對該兩個或兩個以上區塊執行視圖間運動預測及視圖間殘差預測中之一或多者。
  40. 如請求項29之器件，其中該一或多個處理器經組態以部分地藉由基於該所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測來重新建構該複數個區塊中之該兩個或兩個以上區塊的樣本區塊。
  41. 如請求項29之器件，其中該一或多個處理器經組態以部分地藉由基於該所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之該兩個或兩個以上區塊而執行視圖間預測來產生一包括該視訊資料之一經寫碼表示的位元串流。
  42. 如請求項29之器件，其中不傳信旗標來指示一空間相鄰區塊是否含有一隱含視差向量(IDV)。
  43. 如請求項29之器件，其中以下各者中之一者指示存在一相鄰區 塊之一隱含視差向量(IDV)：一非法參考索引；一非法參考視圖索引；及參考視圖索引之一非法差。
  44. 如請求項29之器件，其中作為執行該視差向量推導程序之部分，該一或多個處理器：對於一相鄰區塊而言，僅檢查該相鄰區塊之對應於一第一參考圖像清單的一運動向量是否為一視差運動向量，而不管該相鄰區塊是否具有對應於一第二參考圖像清單的一運動向量；及當該相鄰區塊之對應於該第一參考圖像清單的該運動向量為一視差運動向量時，將該視差運動向量轉換至該代表性區塊之該視差向量。
  45. 一種器件，其包含：用於執行一視差向量推導程序以推導複數個區塊中之一代表性區塊的一視差向量的構件，其中視訊資料包括一被分割成該複數個區塊之父代區塊；及用於基於該所推導之視差向量且在不分開地推導該複數個區塊中除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測的構件。
  46. 一種非暫時性電腦可讀資料儲存媒體，其具有儲存於其上之指令，該等指令在執行時使一器件：執行一視差向量推導程序以推導複數個區塊中之一代表性區塊的一視差向量，其中視訊資料包括一被分割成該複數個區塊之父代區塊；及基於該所推導之視差向量且在不分開地推導該複數個區塊中 除該代表性區塊之外的任何區塊之視差向量的情況下針對該複數個區塊中之兩個或兩個以上區塊而執行視圖間預測。
TW102146296A 2012-12-14 2013-12-13 視差向量推導 TWI530165B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261737639P 2012-12-14 2012-12-14
US14/104,053 US9544566B2 (en) 2012-12-14 2013-12-12 Disparity vector derivation

Publications (2)

Publication Number Publication Date
TW201433149A TW201433149A (zh) 2014-08-16
TWI530165B true TWI530165B (zh) 2016-04-11

Family

ID=50930405

Family Applications (2)

Application Number Title Priority Date Filing Date
TW102146296A TWI530165B (zh) 2012-12-14 2013-12-13 視差向量推導
TW102146297A TWI539796B (zh) 2012-12-14 2013-12-13 視差向量推導

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW102146297A TWI539796B (zh) 2012-12-14 2013-12-13 視差向量推導

Country Status (7)

Country Link
US (2) US9350970B2 (zh)
EP (2) EP2932723A1 (zh)
JP (2) JP6193397B2 (zh)
KR (3) KR20200136512A (zh)
CN (2) CN104904218B (zh)
TW (2) TWI530165B (zh)
WO (2) WO2014093801A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6080375B2 (ja) * 2011-11-07 2017-02-15 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US20150085932A1 (en) * 2012-04-24 2015-03-26 Mediatek Inc. Method and apparatus of motion vector derivation for 3d video coding
CN102883163B (zh) * 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
US9350970B2 (en) 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
CN104919799A (zh) * 2013-01-07 2015-09-16 联发科技股份有限公司 用于三维视频编解码的从深度到视差矢量转换的方法和装置
FR3002716A1 (fr) * 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation
WO2014166063A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Default vector for disparity vector derivation for 3d video coding
EP2838268B1 (en) * 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
EP3059966B1 (en) * 2013-10-18 2021-01-13 LG Electronics Inc. Video decoding apparatus and method for decoding multi-view video
CN104079944B (zh) * 2014-06-30 2017-12-01 华为技术有限公司 视频编码的运动矢量列表构建方法和系统
CN105872539B (zh) * 2015-02-08 2020-01-14 同济大学 图像编码方法和装置及图像解码方法和装置
US11330284B2 (en) 2015-03-27 2022-05-10 Qualcomm Incorporated Deriving motion information for sub-blocks in video coding
CN106803963B (zh) * 2017-02-17 2019-07-02 北京大学 一种局部视差矢量的导出方法
US10587885B2 (en) * 2018-06-04 2020-03-10 Tencent America LLC Method and apparatus for merge mode with additional middle candidates in video coding
EP3791585A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Partial/full pruning when adding a hmvp candidate to merge/amvp
WO2020003284A1 (en) * 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and amvp
KR20210025537A (ko) 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념
CN110662053B (zh) 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 使用查找表的视频处理方法、装置和存储介质
TWI719523B (zh) 2018-06-29 2021-02-21 大陸商北京字節跳動網絡技術有限公司 哪個查找表需要更新或不更新
JP7328330B2 (ja) 2018-06-29 2023-08-16 北京字節跳動網絡技術有限公司 Ｌｕｔにおける動き候補のチェック順序
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Ｌｕｔ更新条件
SG11202012293RA (en) 2018-06-29 2021-01-28 Beijing Bytedance Network Technology Co Ltd Update of look up table: fifo, constrained fifo
CN110677669B (zh) 2018-07-02 2021-12-07 北京字节跳动网络技术有限公司 具有lic的lut
TWI820196B (zh) 2018-08-28 2023-11-01 大陸商北京字節跳動網絡技術有限公司 用擴展四叉樹進行分割時的上下文編解碼
WO2020053800A1 (en) 2018-09-12 2020-03-19 Beijing Bytedance Network Technology Co., Ltd. How many hmvp candidates to be checked
IL280611B1 (en) * 2018-09-17 2024-04-01 Samsung Electronics Co Ltd A method for encoding and decoding traffic information and a device for encoding and decoding traffic information
WO2020058893A1 (en) 2018-09-19 2020-03-26 Beijing Bytedance Network Technology Co., Ltd. History based motion vector predictor for intra block copy
KR102648159B1 (ko) 2019-01-10 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
US11284093B2 (en) * 2019-05-09 2022-03-22 Qualcomm Incorporated Affine linear weighted intra prediction in video coding
GB202005538D0 (en) * 2020-04-16 2020-06-03 Five Ai Ltd Stereo depth estimation

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3085110B2 (ja) 1994-11-14 2000-09-04 豊和工業株式会社 精紡機のドラフト装置
TW262619B (en) 1995-06-06 1995-11-11 United Microelectronics Corp Shrinking device for code table of variable length decoder
JP3435966B2 (ja) 1996-03-13 2003-08-11 株式会社日立製作所 強誘電体素子とその製造方法
US5734676A (en) 1996-05-24 1998-03-31 International Business Machines Corporation Apparatus, method and article of manufacture for carrier frequency compensation in a FM radio receiver
US20020131500A1 (en) * 2001-02-01 2002-09-19 Gandhi Bhavan R. Method for determining a motion vector for a video signal
US6859494B2 (en) * 2001-07-27 2005-02-22 General Instrument Corporation Methods and apparatus for sub-pixel motion estimation
KR20040050906A (ko) * 2001-10-08 2004-06-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 모션 추정을 위한 장치 및 방법
CN1575479A (zh) * 2001-10-25 2005-02-02 皇家飞利浦电子股份有限公司 用于运动估算的单元和方法以及设有这种运动估算单元的图像处理设备
TWI259378B (en) 2004-02-26 2006-08-01 Cablesoft Tech Inc An automatic addressing control method for MSO CATV system
US9088802B2 (en) * 2005-01-07 2015-07-21 Nippon Telegraph And Telephone Corporation Video encoding method and apparatus, video decoding method and apparatus, programs therefor, and storage media for storing the programs
CN1993733B (zh) 2005-04-19 2010-12-08 杜比国际公司 空间音频参数量化器、去量化器及参数量化、去量化方法
KR101227601B1 (ko) * 2005-09-22 2013-01-29 삼성전자주식회사 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
MX2008003375A (es) * 2005-09-22 2008-03-27 Samsung Electronics Co Ltd Metodo para calcular vector de disparidad y metodo y aparato para codificar y descodificar pelicula de vision multiple utilizando el metodo de calculo de vector de disparidad.
TWI344792B (en) * 2006-07-12 2011-07-01 Lg Electronics Inc A method and apparatus for processing a signal
US7860147B2 (en) 2006-08-16 2010-12-28 Harris Corporation Method of communicating and associated transmitter using coded orthogonal frequency division multiplexing (COFDM)
BRPI0716814A2 (pt) 2006-09-20 2013-11-05 Nippon Telegraph & Telephone Método de codificação de imagem, e método de decodificação, aparelhos para isso, aparelho de decodificação de imagem, programas para isso, e mídias de armazenamento para armazenar os programas
CN101518090B (zh) 2006-09-20 2011-11-16 日本电信电话株式会社 图像编码方法及解码方法、图像编码装置及解码装置
JP4999859B2 (ja) 2006-10-30 2012-08-15 日本電信電話株式会社 予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
KR101059178B1 (ko) 2006-12-28 2011-08-25 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 복호방법, 그들의 장치, 그들의 프로그램을 기록한 기억매체
CN101690220B (zh) * 2007-04-25 2013-09-25 Lg电子株式会社 用于解码/编码视频信号的方法和装置
US10298952B2 (en) * 2007-08-06 2019-05-21 Interdigital Madison Patent Holdings Methods and apparatus for motion skip move with multiple inter-view reference pictures
EP2177036A2 (en) 2007-08-15 2010-04-21 Thomson Licensing Methods and apparatus for motion skip mode in multi-view coded video using regional disparity vectors
EP2061248A1 (en) * 2007-11-13 2009-05-20 IBBT vzw Motion estimation and compensation process and device
US8090014B2 (en) * 2008-10-06 2012-01-03 Hewlett-Packard Development Company, L.P. Managing multiview streaming video data composed of frames
EP2398241A1 (en) * 2009-02-12 2011-12-21 Nippon Telegraph And Telephone Corporation Multi-view image encoding method, multi-view image decoding method, multi-view image encoding device, multi-view image decoding device, multi-view image encoding program, and multi-view image decoding program
US9986220B2 (en) * 2010-07-12 2018-05-29 Koninklijke Philips N.V. Auxiliary data in 3D video broadcast
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US20120183078A1 (en) * 2011-01-14 2012-07-19 Samsung Electronics Co., Ltd. Filter adaptation with directional features for video/image coding
CN103477637B (zh) * 2011-02-10 2017-04-26 太阳专利托管公司 动态图像编码方法、动态图像编码装置
US10171813B2 (en) 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
EP2721825A4 (en) 2011-06-15 2014-12-24 Mediatek Inc METHOD AND DEVICE FOR MOTION AND DISPARITY VECTOR PREDICTION AND COMPENSATION IN 3D VIDEO CODING
US20130229485A1 (en) * 2011-08-30 2013-09-05 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
AU2012323631B2 (en) 2011-10-11 2015-09-17 Mediatek Inc. Method and apparatus of motion and disparity vector derivation for 3D video coding and HEVC
US9350970B2 (en) 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation

Also Published As

Publication number Publication date
KR101749437B1 (ko) 2017-06-20
JP2016504864A (ja) 2016-02-12
JP6293782B2 (ja) 2018-03-14
KR20150097590A (ko) 2015-08-26
KR20200136512A (ko) 2020-12-07
US20140169474A1 (en) 2014-06-19
EP2932723A1 (en) 2015-10-21
EP2932722A1 (en) 2015-10-21
CN104904218B (zh) 2018-04-27
JP2016500497A (ja) 2016-01-12
TW201440504A (zh) 2014-10-16
WO2014093801A1 (en) 2014-06-19
WO2014093805A1 (en) 2014-06-19
US9544566B2 (en) 2017-01-10
KR20150097591A (ko) 2015-08-26
KR102329912B1 (ko) 2021-11-22
CN104871543A (zh) 2015-08-26
JP6193397B2 (ja) 2017-09-06
US20140168363A1 (en) 2014-06-19
TWI539796B (zh) 2016-06-21
US9350970B2 (en) 2016-05-24
CN104871543B (zh) 2018-12-18
CN104904218A (zh) 2015-09-09
TW201433149A (zh) 2014-08-16

Similar Documents

Publication Publication Date Title
TWI530165B (zh) 視差向量推導
US9615090B2 (en) Parsing syntax elements in three-dimensional video coding
JP6522629B2 (ja) ３ｄビデオコード化のためのブロックベースの高度残差予測
JP6339116B2 (ja) マルチビュー又は３次元ビデオコード化におけるビュー間残差予測
US9924191B2 (en) Filters for advanced residual prediction in video coding
TWI526027B (zh) 視訊寫碼中之運動向量預測
TWI539791B (zh) 三維視頻寫碼中導出之視差向量
TWI551121B (zh) 視訊寫碼中之視差向量改進
JP5992640B2 (ja) ビデオコード化における参照ピクチャリストのためのビュー間予測の無効化
JP6370891B2 (ja) 深さブロックの視差に基づく高度な深さインターコーディング
WO2015042399A1 (en) Combined bi-predictive merging candidates for 3d video coding
JP2016526348A5 (zh)