TW201436540A - 針對三維（３ｄ）視訊之基於鄰近區塊的差異向量之約束 - Google Patents

針對三維（３ｄ）視訊之基於鄰近區塊的差異向量之約束 Download PDF

Info

Publication number
TW201436540A
TW201436540A TW102147651A TW102147651A TW201436540A TW 201436540 A TW201436540 A TW 201436540A TW 102147651 A TW102147651 A TW 102147651A TW 102147651 A TW102147651 A TW 102147651A TW 201436540 A TW201436540 A TW 201436540A
Authority
TW
Taiwan
Prior art keywords
block
candidate reference
reference image
video
image
Prior art date
Application number
TW102147651A
Other languages
English (en)
Other versions
TWI536812B (zh
Inventor
Li Zhang
Ying Chen
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201436540A publication Critical patent/TW201436540A/zh
Application granted granted Critical
Publication of TWI536812B publication Critical patent/TWI536812B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明描述一種用於判定候選參考圖像中之區塊是否可用的技術。視訊寫碼器可判定該候選參考圖像中之同置型最大寫碼單元(CLCU)之位置，其中該CLCU係與當前圖像中之LCU同置，且該LCU包括待框間預測之當前區塊。該視訊寫碼器可基於該候選參考圖像中之區塊相對於該CLCU之位置的位置來判定該候選參考圖像中之該區塊是否可用。若該候選參考圖像中之該區塊不可用，則該視訊寫碼器可自一不同於經判定為不可用之該區塊的區塊來導出當前區塊之差異向量。

Description

針對三維(3D)視訊之基於鄰近區塊的差異向量之約束
本申請案主張2012年12月21日申請之美國臨時申請案61/745,450的權利，該案之全部內容以引用之方式併入本文中。
本發明係關於視訊寫碼，且更特定言之係關於一種用於寫碼多視圖及三維(3D)視訊資料之技術。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板型電腦、電子書閱讀器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主機、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電傳會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4部分10進階視訊寫碼(AVC)所定義之標準、目前正在最終制訂階段之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以減 少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼而言，可將一視訊圖塊(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊，該等視訊區塊亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。使用相對於在相同圖像中之鄰近區塊中之參考樣本的空間預測來編碼圖像之框內寫碼(I)圖塊中的視訊區塊。圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用相對於在相同圖像中之鄰近區塊中之參考樣本的空間預測或相對於在其他參考圖像中之參考樣本的時間預測。可將圖像稱作圖框，且可將參考圖像稱作參考圖框。
空間預測或時間預測導致寫碼用於區塊之預測性區塊。殘差資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘差資料來編碼框間寫碼區塊。根據框內寫碼模式及殘差資料來編碼框內寫碼區塊。為進行另外之壓縮，可將殘差資料自像素域變換至變換域，從而產生殘差變換係數，可接著量化該等殘差變換係數。可掃描最初配置成二維陣列之經量化之變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
可藉由編碼若干視圖(例如，來自多個透視圖)來產生多視圖寫碼位元串流。已開發了使用多視圖寫碼態樣之一些三維(3D)視訊標準。 舉例而言，不同視圖可傳輸左眼視圖及右眼視圖以支援3D視訊。替代地，一些3D視訊寫碼程序可應用所謂之多視圖加深度寫碼。在多視圖加深度寫碼中，3D視訊位元串流可不僅含有紋理視圖分量而且含有深度視圖分量。舉例而言，每一視圖可包含一個紋理視圖分量及一個深度視圖分量。
本發明描述關於多視圖視訊寫碼之技術，且更特定言之，本發明描述若干技術，其中視訊寫碼器(例如，視訊編碼器或視訊解碼器) 判定在當前視圖之當前圖像內的當前區塊之差異向量。在一些實例中，視訊寫碼器可基於另一區塊之差異運動向量來判定當前區塊之差異向量，該另一區塊包括在一與包括當前區塊之圖像不同之圖像中的區塊。
本發明中所描述之實例技術中之一或多者係針對判定一區塊是否可用於判定當前區塊之差異向量的目的。舉例而言，該等技術可判定在一不同於當前圖像之圖像中之同置型最大寫碼單元(CLCU)之位置。該等技術可基於在不同於當前圖像之圖像中之區塊相對於CLCU之位置的位置來判定在不同於當前圖像之圖像中之該區塊是否可用。
在一個實例中，本發明描述一種用於解碼視訊資料之方法。該方法包括判定候選參考圖像中之同置型最大寫碼單元(CLCU)的位置。CLCU係與一覆蓋視訊資料之當前圖像中之當前區塊的最大寫碼單元(LCU)同置。該方法亦包括基於候選參考圖像中之區塊相對於候選參考圖像內之CLCU之位置的位置來判定候選參考圖像中之該區塊是否可用。在該方法中，若候選參考圖像中之區塊可用，則判定候選參考圖像中之該區塊是否藉由差異運動向量加以框間預測。差異運動向量參考用以對候選參考圖像中之區塊進行框間預測之參考圖像且係在一不同於包括候選參考圖像之視圖的視圖中。在該方法中，若候選參考圖像中之區塊係藉由差異運動向量加以框間預測，則自差異運動向量導出當前區塊之差異向量。該方法另外包括部分地基於差異向量來對當前區塊進行框間預測解碼。
在一個實例中，本發明描述一種用於編碼視訊資料之方法。該方法包括判定候選參考圖像中之同置型最大寫碼單元(CLCU)之位置。CLCU係與一覆蓋視訊資料之當前圖像中之當前區塊的最大寫碼單元(LCU)同置。該方法亦包括基於候選參考圖像中之區塊相對於候選參考圖像內之CLCU之位置的位置來判定候選參考圖像中之該區塊 是否可用。在該方法中，若候選參考圖像中之區塊可用，則判定候選參考圖像中之該區塊是否藉由差異運動向量加以框間預測。差異運動向量參考用以對候選參考圖像中之區塊進行框間預測的參考圖像且係在一不同於包括候選參考圖像之視圖的視圖中。在該方法中，若候選參考圖像中之區塊係藉由差異運動向量加以框間預測，則自差異運動向量導出當前區塊之差異向量。該方法另外包括部分地基於差異向量來對當前區塊進行框間預測編碼。
在一個實例中，本發明描述一包括視訊寫碼器之器件。視訊寫碼器經組態以判定候選參考圖像中之同置型最大寫碼單元(CLCU)之位置。CLCU係與一覆蓋當前圖像中之當前區塊的最大寫碼單元(LCU)同置。視訊寫碼器亦經組態以基於候選參考圖像中之區塊相對於候選參考圖像內之CLCU之位置的位置來判定候選參考圖像中之該區塊是否可用。若候選參考圖像中之區塊可用，則視訊寫碼器經組態以判定候選參考圖像中之該區塊是否藉由差異運動向量加以框間預測。差異運動向量參考用以對候選參考圖像中之區塊進行框間預測的參考圖像且係在一不同於包括候選參考圖像之視圖的視圖中。若候選參考圖像中之區塊係藉由差異運動向量加以框間預測，則視訊寫碼器經組態以自差異運動向量導出當前區塊之差異向量。視訊寫碼器亦經組態以部分地基於差異向量來對當前區塊進行框間預測寫碼。
在一個實例中，本發明描述一用於寫碼視訊資料之器件。該器件包括用於判定候選參考圖像中之同置型最大寫碼單元(CLCU)之位置的構件。CLCU係與一覆蓋視訊資料之當前圖像中之當前區塊的最大寫碼單元(LCU)同置。該器件亦包括用於基於候選參考圖像中之區塊相對於候選參考圖像內之CLCU之位置的位置來判定候選參考圖像中之該區塊是否可用的構件。該器件包括用於在候選參考圖像中之區塊可用的情況下判定候選參考圖像中之該區塊是否藉由差異運動向量 加以框間預測的構件。差異運動向量參考用以對候選參考圖像中之區塊進行框間預測的參考圖像且係在一不同於包括候選參考圖像之視圖的視圖中。該器件包括：用於在候選參考圖像中之區塊係藉由差異運動向量加以框間預測的情況下自差異運動向量導出當前區塊之差異向量的構件；及部分地基於差異向量來對當前區塊進行框間預測寫碼的構件。
在一個實例中，本發明描述一電腦可讀儲存媒體，該電腦可讀儲存媒體具有儲存於其上之指令，該等指令在由一用於寫碼視訊資料之器件的一或多個處理器執行時使該一或多個處理器判定候選參考圖像中之同置型最大寫碼單元(CLCU)之位置。CLCU係與一覆蓋視訊資料之當前圖像中之當前區塊的最大寫碼單元(LCU)同置。該等指令亦使該一或多個處理器基於候選參考圖像中之區塊相對於候選參考圖像內之CLCU之位置的位置來判定候選參考圖像中之該區塊是否可用。 該等指令亦使該一或多個處理器在候選參考圖像中之區塊可用的情況下判定候選參考圖像中之該區塊是否藉由差異運動向量加以框間預測。差異運動向量參考用以對候選參考圖像中之區塊進行框間預測的參考圖像且係在一不同於包括候選參考圖像之視圖的視圖中。該等指令另外使該一或多個處理器：在候選參考圖像中之區塊係藉由差異運動向量加以框間預測的情況下自差異運動向量導出當前區塊之差異向量；及部分地基於差異向量來對當前區塊進行框間預測寫碼。
一或多個實例之細節闡述於隨附圖式及以下描述中。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專利範圍顯而易見。
10‧‧‧系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
33‧‧‧儲存器件
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧運動及差異估計單元
44‧‧‧運動及差異補償單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動及差異補償單元
84‧‧‧框內預測處理單元
86‧‧‧反量化單元
88‧‧‧反變換處理單元
90‧‧‧求和器
92‧‧‧參考圖像記憶體
402‧‧‧空間鄰近區塊
403‧‧‧空間鄰近區塊
404‧‧‧空間鄰近區塊
405‧‧‧空間鄰近區塊
406‧‧‧空間鄰近區塊
500‧‧‧同置型區域
600‧‧‧當前圖像
602‧‧‧最大寫碼單元(LCU)
604‧‧‧當前區塊
606‧‧‧候選參考圖像
608‧‧‧同置型最大寫碼單元(CLCU)
610‧‧‧同置型區域
612‧‧‧區塊
614‧‧‧右下區塊
700‧‧‧當前圖像
702‧‧‧最大寫碼單元(LCU)
704‧‧‧當前區塊
706‧‧‧候選參考圖像
708‧‧‧同置型最大寫碼單元(CLCU)
710‧‧‧同置型區域
712‧‧‧CR區塊
714‧‧‧BR區塊
S0-S7‧‧‧視圖
T0-T11‧‧‧時間位置
圖1為說明可利用本發明中所描述之技術之實例視訊編碼及解碼系統的方塊圖。
圖2為根據本發明中所描述之一或多個實例之說明實例編碼或解碼次序的迴路圖。
圖3為說明實例預測型樣之概念圖。
圖4為說明一當前區塊及五個空間鄰近區塊之概念圖。
圖5為說明候選參考圖像中之同置型區域的概念圖。
圖6為說明一區塊相對於同置型最大寫碼單元(CLCU)之一個實例位置的概念圖。
圖7為說明一區塊相對於CLCU之另一實例位置的概念圖。
圖8為說明可實施本發明中所描述之技術之實例視訊編碼器的方塊圖。
圖9為說明可實施本發明中所描述之技術之實例視訊解碼器的方塊圖。
圖10為說明根據本發明中所描述之一或多個實例技術之實例操作的流程圖。
本發明中所描述之一或多個實例技術係關於差異向量導出，且大體提供可在各種視訊寫碼標準中加以利用之低複雜度差異向量導出方案。然而，該等技術不應被視為限於視訊寫碼標準，而是可適用於基於非標準之視訊寫碼。
在多視圖視訊中，存在多個視圖，每一視圖包括複數個圖像。每一視圖之表示視訊之相同時間執行個體的圖像包括類似之視訊內容。然而，視圖之視訊內容可相對於彼此而空間地移位。詳言之，視圖之視訊內容可表示不同透視圖。舉例而言，第一視圖中之圖像中的視訊區塊可包括類似於第二視圖中之圖像中之視訊區塊的視訊內容。在此實例中，第一視圖中之圖像中之視訊區塊的位置與第二視圖中之圖像中之視訊區塊的位置可不同。舉例而言，在不同視圖中之視訊區 塊的位置之間可存在某一移位。
舉例而言，在圖像內之區塊之間可存在水平差異。例如，第一視圖之第一圖像中的區塊可相對於第二視圖之第一圖像中之區塊的位置而被水平地移位。在一些實例中，在圖像內之區塊之間可存在水平差異與垂直差異兩者。
圖像中之區塊中的每一者可與一差異向量相關聯。該差異向量提供一區塊相對於另一視圖中之圖像之移位的度量。在先前實例中，第二視圖之第一圖像中之區塊的差異向量可提供第一視圖之第一圖像中的區塊被定位於何處的度量。換言之，可將第二視圖之第一圖像中之區塊的差異向量視為參考第一視圖之第一圖像中的區塊。
視訊編碼器及視訊解碼器可為了各種目的而利用區塊之差異向量。作為一個實例，視訊編碼器及視訊解碼器可利用當前區塊之差異向量所參考的區塊之運動資訊來判定當前區塊之運動資訊。作為另一實例，可將差異向量用於殘差預測。作為又一實例，可使用差異向量來導出另一視圖之圖像。
可存在用於判定當前區塊之差異向量的各種技術。在基於鄰近區塊之差異向量(NBDV)導出技術中，已提議用於利用鄰近區塊之向量來導出當前區塊之差異向量的一些技術。舉例而言，視訊編碼器及視訊解碼器可判定一鄰近於當前區塊之區塊是否藉由差異運動向量加以框間預測。區塊之差異運動向量係一參考在一不同於包括該區塊之視圖之視圖中之圖像中的預測子區塊的向量。不應混淆差異運動向量及差異向量。區塊之差異運動向量參考一預測子區塊，該預測子區塊之像素值被用以判定相對於該區塊之像素值的殘差以用於達成框間預測之目的。針對上文所描述之實例而利用差異向量。在一些狀況下，差異運動向量及差異向量有可能相同；然而，此並非為要求。
視訊編碼器及視訊解碼器可經組態以判定一鄰近於當前區塊之 區塊是否藉由差異運動向量加以框間預測。若鄰近於當前區塊之區塊係藉由差異運動向量加以框間預測，則視訊編碼器及視訊解碼器可基於差異運動向量來導出當前區塊之差異向量(例如，將當前區塊之差異向量設定為等於差異運動向量)。可存在兩種類型之鄰近區塊：空間鄰近區塊及時間鄰近區塊。將自空間鄰近區塊之差異運動向量所導出的差異向量稱作空間差異向量(SDV)。將自時間鄰近區塊之差異運動向量所導出的差異向量稱作時間差異向量(TDV)。
在一些實例中，除判定鄰近區塊是否藉由差異運動向量加以框間預測之外，視訊編碼器及視訊解碼器還可判定是否導出鄰近區塊之差異向量。若導出了鄰近區塊之差異向量，則視訊編碼器及視訊解碼器可自鄰近區塊之所導出之差異向量來導出當前區塊之差異向量。將自鄰近區塊之差異向量所導出的當前區塊之差異向量稱作隱含差異向量(IDV)。
本發明中所描述之實例技術包括判定一區塊是否可用於判定當前區塊之差異向量的目的。詳言之，該等技術包括以下實例：判定在一不同於包括當前區塊之圖像之圖像中的區塊是否可用於判定當前區塊之差異向量之目的。若該區塊可用且該區塊係藉由差異運動向量加以框間預測，則視訊編碼器及視訊解碼器可自差異運動向量來導出差異向量。若該區塊不可用，則視訊編碼器及視訊解碼器可在不存取該區塊的情況下導出當前區塊之差異向量。
在該等技術中，將不同於包括當前區塊之當前圖像的圖像稱作候選參考圖像。候選參考圖像包括一與當前圖像中之當前區塊同置之同置型區塊。例如，當前圖像中之當前區塊及候選參考圖像中之同置型區塊涵蓋各別圖像中之相同區。
為了自鄰近區塊判定當前區塊之差異向量，視訊編碼器及視訊解碼器可判定一位於候選參考圖像中之同置型區塊右下方的區塊是否 藉由差異運動向量加以框間預測。在此實例中，位於候選參考圖像中之同置型區塊右下方的區塊係時間鄰近區塊之一個實例。若此時間鄰近區塊係藉由差異運動向量加以框間預測，則在一些狀況下，視訊編碼器及視訊解碼器可基於差異運動向量來導出當前區塊之差異向量。
然而，存取位於候選參考圖像中之同置型區塊右下方之區塊的運動資訊可增加處理複雜度(例如，需要識別同置型區塊，接著識別在同置型區塊右下方的區塊，且接著判定其運動資訊)。此外，位於候選參考圖像中之同置型區塊右下方之區塊的運動資訊可被儲存於記憶體中之不同掃描線中，從而需要額外記憶體呼叫以擷取該運動資訊。
為了簡短之目的，將位於候選參考圖像中之同置型區塊右下方的區塊稱作右下區塊或時間鄰近區塊。本發明中所描述之實例描述一用於判定右下區塊可用抑或不可用於判定當前區塊之差異向量的機制。若可用，則直到那時視訊編碼器或視訊解碼器才可判定右下區塊是否藉由差異運動向量加以框間預測，且若右下區塊係藉由差異運動向量加以框間預測，則在一些狀況下基於差異運動向量來判定當前區塊之差異向量。
最大寫碼單元(LCU)可涵蓋當前圖像中之當前區塊(例如，LCU包括當前圖像中之一或多個區塊且LCU中之該等區塊中的一者為當前區塊)。在候選參考圖像中可存在一同置型LCU(稱作CLCU)。CLCU可包括與當前圖像同置之同置型區塊。在本發明中所描述之實例中，視訊編碼器及視訊解碼器可基於CLCU之位置來判定右下區塊可用抑或不可用。
作為一個實例，若右下區塊係在CLCU之底邊界外部，則視訊編碼器及視訊解碼器可判定該區塊不可用。作為另一實例，若右下區塊係在CLCU之底邊界外部或在候選參考圖像之右邊界外部，則視訊編 碼器及視訊解碼器可判定該區塊不可用。
作為另一實例，若右下區塊係在CLCU之頂邊界或底邊界外部但係在CLCU之左邊界或右邊界內部，則視訊編碼器及視訊解碼器可判定右下區塊不可用。反過來的情況亦可為另一實例。例如，若右下區塊係在CLCU之右邊界或左邊界外部但係在CLCU之頂邊界或底邊界內部，則視訊編碼器及視訊解碼器可判定右下區塊不可用。
在一些實例中，僅將在CLCU內之右下區塊視為可用。在一些實例中，僅將與CLCU一起或在CLCU右邊之右下區塊視為可用。
應理解，在判定右下區塊可用於抑或不可用於導出當前區塊之差異向量之目的的過程中，以上實例之任何組合可為有可能的。若右下區塊經判定為不可用，則視訊編碼器及視訊解碼器可不存取經判定為不可用於導出當前區塊之差異向量的右下區塊之運動資訊。在一些實例中，若右下區塊經判定為不可用，則視訊編碼器及視訊解碼器可用候選參考圖像中之可用區塊來代替右下區塊。換言之，當一時間鄰近區塊不可用時，視訊編碼器及視訊解碼器可藉由另一可用之時間鄰近區塊來代替該時間鄰近區塊。
圖1為根據本發明中所描述之一或多個實例之說明實例視訊編碼及解碼系統的方塊圖。舉例而言，系統10包括源器件12及目的地器件14。源器件12及目的地器件14經組態以實施多視圖視訊寫碼，其中源器件12及目的地器件14各自寫碼不同視圖之圖像。
系統10可根據不同視訊寫碼標準、專有標準或多視圖寫碼之任何其他方式來操作。舉例而言，視訊編碼器20及視訊解碼器30可根據視訊壓縮標準來操作，諸如包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦已知為ISO/IEC MPEG-4 AVC)(包括該ITU-T H.264之可縮放視訊寫碼(SVC)及多視圖視訊寫碼 (MVC)擴展)。MVC擴展之新近、可公開獲得之聯合草案係描述於「Advanced video coding for generic audiovisual services」(ITU-T推薦H.264，2010年3月)中。MVC擴展之更新近、可公開獲得之聯合草案係描述於「Advanced video coding for generic audiovisual services」(ITU-T推薦H.264，2011年6月)中。MVC擴展之當前聯合草案已於2012年1月通過。
另外，存在一新的視訊寫碼標準(即，目前由ITU-T視訊寫碼專家群(VCEG)及ISO/IEC運動圖像專家群(MPEG)之視訊寫碼聯合協作小組(JCT-VC)開發的高效率視訊寫碼(HEVC)標準)。HEVC之最新工作草案(WD)(且在下文中被稱作HEVC WD9(SoDIS))可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v13.zip獲得。HEVC標準之另一新近草案(被稱作「HEVC工作草案10」或「WD10」)係描述於Bross等人之「High efficiency video coding(HEVC)text specification draft 10(for FDIS & Last Call)」的文件JCTVC-L1003v34(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合協作小組(JCT-VC)，第12次會議：瑞士日內瓦，2013年1月14日至23日)中，其可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip下載。HEVC標準之又一草案在本文中被稱作「WD10修訂」，其係描述於Bross等人之「Editors' proposed corrections to HEVC version 1」(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合協作小組(JCT-VC)，第13次會議，韓國仁川，2013年4月)中，其可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M0432-v3.zip獲得。
為了描述之目的，在HEVC或H.264標準及此等標準之擴展的內容脈絡中描述視訊編碼器20及視訊解碼器30。然而，本發明之技術並 不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。專有寫碼技術(諸如被稱作On2 VP6/VP7/VP8之彼等技術)亦可實施本文中所描述之技術中之一或多者。
本發明之技術潛在地適用於若干多視圖寫碼及/或3D視訊寫碼標準(包括基於HEVC之3D視訊(基於HEVC之3DV))。舉例而言，VCEG及MPEG之3D視訊寫碼聯合協作小組(JCT-3V)正開發基於HEVC之3DV標準，對於該標準而言，標準化努力之一部分包括基於HEVC之多視圖視訊編碼解碼器之標準化(MV-HEVC)且另一部分用於基於HEVC之3D視訊寫碼(3D-HEVC)。對於MV-HEVC而言，可僅存在高階語法(HLS)改變，使得無需重新設計HEVC中之寫碼單元(CU)或預測單元(PU)層級中的模組。此可允許將經組態用於HEVC之模組重新用於MV-HEVC。對於3D-HEVC而言，可包括且支援用於紋理視圖與深度視圖兩者之新寫碼工具，包括寫碼單元(CU)/預測單元(PU)層級中之彼等寫碼工具。
可獲得如下的參考軟體描述以及3D-HEVC之工作草案：Gerhard Tech、Krzysztof Wegner、Ying Chen、Sehoon Yea之「3D-HEVC Test Model Description draft 1」，JCT3V-A1005，ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之3D視訊寫碼擴展開發之聯合協作小組，第1次會議：瑞典斯德哥爾摩，2012年7月16日至20日。參考軟體(即，3D-HTM版本5.0.1)可自https：//hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/trunk/tags/HTM-5.0.1獲得。基於3D-HTM之MV-HEVC參考軟體可自https：//hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-5.1/獲得。軟體描述及3D-HEVC之工作草案可自http：//phenix.it-sudparis.eu/jct2/doc_end_user/current_document.php？id=460獲得。所有此等標準文件以全文引用之方式併入本文中。
本發明之技術亦可適用於H.264/3D-AVC及H.264/MVC+D視訊寫碼標準或其擴展以及其他寫碼標準。舉例而言，多視圖視訊寫碼之首字母縮略詞MVC係指為H.264/AVC之擴展的視訊寫碼標準。可時常參考或使用特定多視圖寫碼或3D視訊寫碼標準之術語來描述本發明之技術；然而，不應將此描述解釋為意謂所描述之技術僅限於彼特定標準。
如圖1中所示，系統10包括源器件12，該源器件12產生待由目的地器件14在稍遲之時間解碼之經編碼視訊資料。源器件12及目的地器件14包含廣泛範圍之器件中之任一者，該等器件包括諸如所謂之「智慧型」電話之無線手機、所謂之「智慧型」板或經配備以用於無線通信之其他此等無線器件。源器件12及目的地器件14之額外實例包括(但不限於)數位電視、數位直播系統中之器件、無線廣播系統中之器件、個人數位助理(PDA)、膝上型電腦、桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主機、蜂巢式無線電電話、衛星無線電電話、視訊電傳會議器件及視訊串流器件，或其類似者。
目的地器件14可經由鏈路16來接收待解碼之經編碼視訊資料。 鏈路16包含能夠將經編碼視訊資料自源器件12移至目的地器件14之任何類型之媒體或器件。在一個實例中，鏈路16包含一用以使源器件12能夠即時直接將經編碼視訊資料傳輸至目的地器件14的通信媒體。經編碼視訊資料可根據通信標準(諸如，無線通信協定)加以調變，且被傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)之部分。通信媒體可包括路由器、交換器、基地台或可有用於促進自源器件12至目的地器件14之通信的任何其他設備。
在一些實例中，經編碼資料自輸出介面22而被輸出至儲存器件33。類似地，經編碼資料係由輸入介面28自儲存器件33存取。儲存器件33之實例包括多種分散式或本端存取之資料儲存媒體中的任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適之數位儲存媒體。在另外之實例中，儲存器件33對應於保持由源器件12產生之經編碼視訊的檔案伺服器或另一中間儲存器件。在此等實例中，目的地器件14經由串流或下載而自儲存器件33存取所儲存之視訊資料。 檔案伺服器為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之任何類型的伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14經由任何標準資料連接(包括網際網路連接)來存取經編碼視訊資料。此可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)，或兩者之組合。經編碼視訊資料自儲存器件33之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術未必限於無線應用或設定。可將該等技術應用於支援多種多媒體應用中之任一者之視訊寫碼，該等應用諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、供儲存於資料儲存媒體上之數位視訊之編碼、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，系統10經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些狀況下，輸出介面22包括調變器/解調變器(數據機)及/或傳輸器。在源器件12中，視訊源18包括諸如以下各者之源中的一 或多者：視訊俘獲器件(例如，視訊攝影機)、含有先前俘獲之視訊的視訊存檔、用以自視訊內容提供者接收視訊之視訊饋入介面及/或用於產生電腦圖形資料以作為源視訊之電腦圖形系統、此等源之組合，或任一其他源。作為一個實例，若視訊源24為視訊攝影機，則源器件12及目的地器件14可形成所謂之攝影機電話或視訊電話。然而，本發明中所描述之技術一般而言適用於視訊寫碼，且可被應用於無線及/或有線應用。
視訊編碼器20編碼經俘獲、經預先俘獲或經電腦產生之視訊。 源器件12之輸出介面22經組態以將經編碼視訊資料傳輸至目的地器件14。經編碼視訊資料亦可(或替代地)被儲存至儲存器件33上以供目的地器件14或其他器件稍後存取從而進行解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。 在一些狀況下，輸入介面28包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16或自儲存器件33接收經編碼視訊資料。經由鏈路16所傳達或被提供於儲存器件33上之經編碼視訊資料包括由視訊編碼器20產生以供視訊解碼器(諸如，視訊解碼器30)在解碼視訊資料時使用的多種語法元素。可將此等語法元素與在通信媒體上傳輸、儲存於儲存媒體上或儲存於檔案伺服器處之經編碼視訊資料包括在一起。
顯示器件32可與目的地器件14整合或位於目的地器件14外部。 在一些實例中，目的地器件14包括一整合之顯示器件且亦經組態以與外部顯示器件建立介面連接。在其他實例中，目的地器件14為顯示器件。一般而言，顯示器件32向使用者顯示經解碼視訊資料，且包含諸如以下各者之多種顯示器件中的任一者：液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30各自可經實施為諸如以下各者之 多種合適之編碼器電路中的任一者：一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、積體電路(IC)、軟體、硬體、韌體或其任何組合。在一些實例中，視訊編碼器20及視訊解碼器30可為無線手機器件之部分。當該等技術部分地以軟體實施時，一器件可將軟體之指令儲存於合適之非暫時性電腦可讀媒體中且在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可被包括於一或多個編碼器或解碼器中，該一或多個編碼器或解碼器中之任一者可經整合為各別器件中之組合式編碼器/解碼器(CODEC)的部分。視訊編碼器20經組態以編碼視訊資料，且視訊解碼器30經組態以根據本發明中所描述之技術來解碼視訊資料。
雖然圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30各自與音訊編碼器及解碼器整合，且包括適當之MUX-DEMUX單元或其他硬體及軟體，以處置共同之資料串流或分開之資料串流中之音訊與視訊兩者的編碼。若適用，在一些實例中，MUX-DEMUX單元遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
圖2為根據本發明中所描述之一或多個實例之說明實例編碼或解碼次序的迴路圖。舉例而言，將圖2中所說明之解碼次序配置稱作時間優先寫碼。應理解，圖2中所說明之解碼次序可不與輸出或顯示次序相同。
在圖2中，S0-S7各自係指多視圖視訊之不同視圖。T0-T8各自表示一個輸出時間執行個體。存取單元可包括一個輸出時間執行個體之所有視圖之經寫碼圖像。舉例而言，第一存取單元包括時間執行個體T0之所有視圖S0-S7(亦即，圖像0-7)，第二存取單元包括時間執行個體T1之所有視圖S0-S7(亦即，圖像8-15)，等等。在此實例中，圖像 0-7係處於相同之時間執行個體(亦即，時間執行個體T0)，圖像8-15係處於相同之時間執行個體(亦即，時間執行個體T1)。具有相同之時間執行個體的圖像大體被同時顯示，且正是在相同之時間執行個體之圖像內之物件之間的水平差異及可能地某一垂直差異導致了檢視者察覺到涵蓋3D體積之影像。
在圖2中，該等視圖中之每一者包括若干組圖像。舉例而言，視圖S0包括一組圖像0、8、16、24、32、40、48、56及64，視圖S1包括一組圖像1、9、17、25、33、41、49、57及65，等等。每一組包括兩個圖像：一個圖像被稱作紋理視圖分量，且另一圖像被稱作深度視圖分量。可將視圖之一組圖像內的紋理視圖分量及深度視圖分量視為彼此對應。舉例而言，可將視圖之一組圖像內的紋理視圖分量視為對應於視圖之該組圖像內的深度視圖分量，且反之亦然(亦即，深度視圖分量對應於該組中之其紋理視圖分量，且反之亦然)。如本發明中所使用，可將對應之紋理視圖分量及深度視圖分量視為單一存取單元之相同視圖的部分。
紋理視圖分量包括所顯示之實際影像內容。舉例而言，紋理視圖分量可包括明度(Y)分量及色度(Cb及Cr)分量。深度視圖分量可指示其對應之紋理視圖分量中之像素的相對深度。作為一個實例，深度視圖分量可類似於僅包括明度值之灰階影像。換言之，深度視圖分量可不傳遞任何影像內容，而是提供紋理視圖分量中之像素之相對深度的度量。
舉例而言，對應於深度視圖分量中之純白像素的像素值可指示其在對應之紋理視圖分量中之一或多個對應像素在檢視者看來更近，且對應於深度視圖分量中之純黑像素的像素值可指示其在對應之紋理視圖分量中之一或多個對應像素在檢視者看來更遠。對應於在黑與白之間之各種灰度色調的像素值指示不同深度級別。例如，與深度視圖 分量中之稍灰像素相比，深度視圖分量中之極灰像素指示其在紋理視圖分量中之對應像素更遠。由於僅需要類似於灰階之一個像素值來識別像素之深度，所以深度視圖分量可僅包括一個像素值。因此，不需要與色度分量相似之值。
僅使用明度值(例如，強度值)來識別深度的深度視圖分量係為了說明目的而提供且不應被視為具有限制性。在其他實例中，可利用任何技術來指示紋理視圖分量中之像素的相對深度。
根據多視圖視訊寫碼，紋理視圖分量係自相同視圖中之紋理視圖分量或自一或多個不同視圖中之紋理視圖分量加以框間預測。可將紋理視圖分量寫碼於視訊資料區塊中，該等視訊資料區塊被稱作「視訊區塊」且在H.264內容脈絡中通常稱為「巨集區塊」。其他視訊寫碼標準(諸如，HEVC標準)可將視訊區塊稱作樹型區塊或寫碼單元(CU)。
任何類似之時間執行個體之圖像可包括類似之內容。然而，類似之時間執行個體中之不同圖像的視訊內容可在水平方向上相對於彼此而稍移位。舉例而言，若區塊位於視圖S0之圖像0中的(x,y)處，則位於視圖S1之圖像1中之(x+x',y)處的區塊包括與位於視圖S0之圖像0中之(x,y)處的區塊類似之視訊內容。在此實例中，將位於視圖S0之圖像0中之(x,y)處的區塊及位於視圖S1之圖像1中之(x+x',y)處的區塊視為對應區塊。在一些實例中，位於視圖S1之圖像1中之(x+x',y)處的區塊之差異向量參考其對應區塊之位置。舉例而言，位於(x+x',y)處之區塊的差異向量為(-x',0)。
在一些實例中，視訊編碼器20或視訊解碼器30可利用第一視圖之圖像中之區塊的差異向量來識別第二視圖之圖像中之對應區塊。舉例而言，視訊編碼器20及視訊解碼器30可在執行視圖間運動預測或視圖間殘差預測時利用差異向量。舉例而言，視訊編碼器20及視訊解碼 器30可藉由使用由當前區塊之差異向量所判定的在參考視圖中之參考圖像之參考區塊的資訊來執行視圖間運動預測。
圖3為說明實例預測型樣之概念圖。在圖3之實例中，說明了八個視圖(具有視圖ID「S0」至「S7」)，且說明了每一視圖之十二個時間位置(「T0」至「T11」)。亦即，圖3中之每一列對應於一視圖，而每一行指示時間位置。在圖3之實例中，使用大寫字母「B」及小寫字母「b」來指示圖像之間的不同階層關係而非不同寫碼方法。一般而言，大寫字母「B」圖像在預測階層中相對高於小寫字母「b」圖框。
在圖3中，由箭頭指示運動向量，其中所指向之圖像將指向來自之圖像用作預測參考。在多視圖寫碼中，第一視圖中之圖像之區塊可藉由另一、第二視圖中之圖像之區塊加以框間預測。將此框間預測稱作視圖間預測，且將參考另一視圖中之圖像的運動向量稱作差異運動向量。例如，在一些實例(諸如MVC)中，藉由差異運動補償(其可使用H.264/AVC運動補償之語法)來支援視圖間預測，但視圖間預測允許將不同視圖中之圖像用作參考圖像。
不應混淆術語「參考圖像」及「候選參考圖像」。術語「參考圖像」本身係指一包括預測子區塊之圖像，且視訊編碼器20及視訊解碼器30利用預測子區塊與當前區塊之間的殘差資料來對當前區塊進行框間預測。如本發明中所使用，術語「候選參考圖像」係指一不同於當前圖像且包括一區塊之圖像，該區塊之差異運動向量被用以導出當前區塊之差異向量。視訊編碼器20及視訊解碼器30可不判定候選參考圖像中之此區塊與當前區塊之間的殘差資料。相反，視訊編碼器20及視訊解碼器30可利用候選參考圖像中之此區塊的運動向量(亦即，差異運動向量)來導出當前區塊之差異向量。
在圖3中，可將視圖S0視為基礎視圖，且可將視圖S1-S7視為相 依視圖。基礎視圖包括不被視圖間預測之圖像。基礎視圖中之圖像可相對於相同視圖中之其他圖像加以框間預測。例如，視圖S0中沒有一個圖像可相對於視圖S1-S7中之任一者中的圖像加以框間預測，但視圖S0中之一些圖像可相對於視圖S0中之其他圖像加以框間預測。
相依視圖包括被視圖間預測之圖像。舉例而言，視圖S1-S7中之每一者包括相對於另一視圖中之圖像加以框間預測的至少一個圖像。相依視圖中之圖像可相對於基礎視圖中之圖像加以框間預測，或可相對於其他相依視圖中之圖像加以框間預測。
包括一基礎視圖與一或多個相依視圖兩者之視訊串流可能可由不同類型之視訊解碼器來解碼。舉例而言，一種基本類型之視訊解碼器可經組態以僅解碼基礎視圖。另外，另一類型之視訊解碼器可經組態以解碼視圖S0-S7中之每一者。可將經組態以解碼基礎視圖與相依視圖兩者之解碼器稱作支援多視圖寫碼之解碼器。
圖3中之圖像被指示於圖3中之每一列與每一行的相交處。具有多視圖寫碼擴展之H.264/AVC標準可使用術語圖框來表示視訊之一部分，而HEVC標準可使用術語圖像來表示視訊之一部分。本發明可互換地使用術語圖像及圖框。
使用包括字母之陰影區塊來說明圖3中之圖像，該字母表示對應圖像被框內寫碼(亦即，I圖像)、在一個方向上被框間寫碼(亦即，作為P圖像)抑或在多個方向上被框間寫碼(亦即，作為B圖像)。一般而言，由箭頭來指示預測，其中所指向之圖像將指向來自之圖像用於預測參考。舉例而言，時間位置T0處之視圖S2的P圖像係自時間位置T0處之視圖S0的I圖像加以預測。
與單視圖視訊寫碼一樣，多視圖視訊寫碼視訊序列之圖像可相對於不同時間位置處之圖像加以預測性地編碼。舉例而言，時間位置T1處之視圖S0的B圖像具有自時間位置T0處之視圖S0的I圖像指向其 的箭頭，其指示b圖像係自I圖像加以預測。然而，另外，在多視圖視訊編碼之內容脈絡中，圖像可被視圖間預測。亦即，視圖分量(例如，紋理視圖分量)可使用其他視圖中之視圖分量以供參考。在多視圖寫碼中，舉例而言，實現視圖間預測，就如同另一視圖中之視圖分量為框間預測參考一般。在序列參數集(SPS)MVC擴展中發信潛在之視圖間參考且可藉由參考圖像清單建構程序來修改該等潛在之視圖間參考，該參考圖像清單建構程序允許實現框間預測或視圖間預測參考之靈活排序。
以此方式，視訊編碼器20可能夠將多個視圖接收作為3D視訊輸入且將多個視圖編碼至一經寫碼位元串流中。視訊解碼器30可經組態以解碼此多視圖表示，使得具有視訊解碼器30之目的地器件14可預期具有一或多個視圖之3D視訊內容。
圖3提供視圖間預測之各種實例。在圖3之實例中，視圖S1之圖像經說明為係自視圖S1之不同時間位置處的圖像加以預測以及自相同時間位置處之視圖S0及S2的圖像加以視圖間預測。舉例而言，時間位置T1處之視圖S1的B圖像係自時間位置T0及T2處之視圖S1之B圖像以及時間位置T1處之視圖S0及S2之B圖像中的每一者加以預測。
圖3亦使用不同陰影級別來說明預測階層中之變化，其中較大量之陰影(亦即，相對較暗)圖框在預測階層中高於具有較少陰影(亦即，相對較亮)之彼等圖框。舉例而言，用全陰影來說明圖3中之所有I圖像，而P圖像具有稍微較亮之陰影，且B圖像(及小寫字母b圖像)相對於彼此而具有各種陰影級別，但總是比P圖像及I圖像之陰影更亮。
一般而言，預測階層可與視圖次序索引相關，因為應在解碼在階層中相對較低之圖像之前解碼在預測階層中相對較高之圖像。可在解碼在階層中相對較低之圖像期間將在階層中相對較高之彼等圖像用作參考圖像。視圖次序索引係指示存取單元中之視圖分量之解碼次序 的索引。視圖次序索引隱含於序列參數集(SPS)MVC擴展中，如在H.264/AVC之附件H(MVC修正)中所指定。在SPS中，對於每一索引i而言，發信對應之view_id。視圖分量之解碼應遵循視圖次序索引之遞升次序。若呈現所有視圖，則視圖次序索引係按自0至num_views_minus_1之連續次序。
以此方式，被用作參考圖像之圖像得以在取決於該等參考圖像之圖像之前解碼。視圖次序索引係指示存取單元中之視圖分量之解碼次序的索引。對於每一視圖次序索引i而言，發信對應之view_id。視圖分量之解碼遵循視圖次序索引之遞升次序。若呈現所有視圖，則該組視圖次序索引可包含一自零至小於視圖之全部數目之數目的連續有序集。
對於處於階層之相等層級的某些圖像而言，解碼次序可相對於彼此而無關緊要。舉例而言，時間位置T0處之視圖S0的I圖像可被用作時間位置T0處之視圖S2之P圖像的參考圖像，時間位置T0處之視圖S2的P圖像又可被用作時間位置T0處之視圖S4之P圖像的參考圖像。 因此，時間位置T0處之視圖S0的I圖像應在時間位置T0處之視圖S2的P圖像之前加以解碼，時間位置T0處之視圖S2的P圖像又應在時間位置T0處之視圖S4的P圖像之前加以解碼。然而，在視圖S1與S3之間，解碼次序無關緊要，因為對於預測而言視圖S1及S3並不依賴彼此。實情為，視圖S1及S3係僅自在預測階層中較高之其他視圖加以預測。此外，只要在視圖S0及S2之後解碼視圖S1，便可在視圖S4之前解碼視圖S1。
以此方式，可使用階層排序來描述視圖S0至S7。在本發明中，記法「SA>SB」意謂應在視圖SB之前解碼視圖SA。在圖2之實例中，使用此記法S0>S2>S4>S6>S7。又，關於圖2之實例，S0>S1、S2>S1、S2>S3、S4>S3、S4>S5且S6>S5。視圖的不違犯 此階層排序之任何解碼次序係可能的。因此，許多不同解碼次序係可能的，其具有基於階層排序之限制。
在一些實例中，可將圖3視作說明紋理視圖分量。在此等實例中，為了實施視圖間預測(例如，視圖間運動預測或視圖間殘差預測)，視訊編碼器20或視訊解碼器30可在一些狀況下使用差異向量來定位對應區塊且將該對應區塊之運動向量用作待框間預測之當前區塊之運動向量預測子以用於達成視圖間運動預測或視圖間殘差預測。本發明中所描述之技術在未必需要導出深度視圖分量的情況下且在未必依賴全域差異向量的情況下判定當前區塊之差異向量。
視訊序列通常包括來自視圖(例如，圖2及圖3中所說明之視圖)之一系列視訊圖像。圖像群組(GOP)大體包含一系列一或多個視訊圖像。GOP可在GOP之標頭中、GOP之一或多個圖像之標頭中或在別處包括描述被包括於GOP中之圖像之數目的語法資料。每一圖像可包括描述各別圖像之編碼模式的圖像語法資料。視訊編碼器20通常對個別視訊圖像內之視訊區塊進行操作以便編碼視訊資料。視訊區塊可對應於巨集區塊、巨集區塊之分割區及可能地分割區之子區塊(如H.264/MVC標準中所定義)或最大寫碼單元(LCU)、寫碼單元(CU)、預測單元(PU)或變換單元(TU)(如HEVC標準中所定義)。視訊區塊可具有固定或不定之大小，且可根據指定之寫碼標準而在大小方面不同。每一視訊圖像可包括複數個圖塊。每一圖塊可包括複數個區塊。
作為一實例，ITU-T H.264標準支援以各種區塊大小(諸如明度分量之16乘16、8乘8或4乘4，及色度分量之8×8)進行之框內預測以及以各種區塊大小(諸如，明度分量之16×16、16×8、8×16、8×8、8×4、4×8及4×4，及色度分量之對應經縮放大小)進行之框間預測。在本發明中，「N×N」與「N乘N」可互換地使用以指在垂直尺寸與水平尺寸方面的區塊之像素尺寸(例如，16×16像素或16乘16像素)。一般而 言，16×16區塊在垂直方向上將具有16個像素(y=16)且在水平方向上將具有16個像素(x=16)。同樣地，N×N區塊大體在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。可以列及行來配置區塊中之像素。此外，區塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。
當區塊經框內模式編碼(例如，框內預測)時，該區塊可包括描述用於該區塊之框內預測模式的資料。作為另一實例，當區塊經框間模式編碼(例如，框間預測)時，該區塊可包括定義該區塊之運動向量的資訊。此運動向量參考相同視圖中之參考圖像，或參考另一視圖中之參考圖像。定義區塊之運動向量的資料描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)。另外，當進行框間預測時，區塊可包括參考索引資訊(諸如，運動向量所指向之參考圖像)及/或運動向量之參考圖像清單(例如，RefPicList0或RefPicList1)。
JCT-VC正致力於完善HEVC標準。HEVC標準化努力係基於視訊寫碼器件之演進模型，其被稱作HEVC測試模型(HM)。HM根據(例如，ITU-T H.264/AVC)來假設視訊寫碼器件相對於現有器件的若干額外能力。舉例而言，H.264提供九個框內預測編碼模式，而HM可提供多達三十三個定向/角度框內預測編碼模式加DC及平面模式。
HM之工作模型描述視訊圖像可被劃分成包括明度樣本與色度樣本兩者之樹型區塊或最大寫碼單元(LCU)之序列。樹型區塊具有與H.264標準之巨集區塊類似之目的。圖塊包括按寫碼次序之諸多連續樹型區塊。可將視訊圖像分割成一或多個圖塊。每一樹型區塊可根據四分樹而分裂成寫碼單元(CU)。舉例而言，樹型區塊(作為四分樹之根節點)可分裂成四個子節點，且每一子節點可又為父節點且分裂成 另外四個子節點。最後未分裂之子節點(作為四分樹之葉節點)包含一寫碼節點(亦即，經寫碼視訊區塊)。與經寫碼位元串流相關聯之語法資料可定義樹型區塊可被分裂之最大次數，且亦可定義寫碼節點之最小大小。在一些實例中，將樹型區塊稱作LCU。
CU包括一寫碼節點及與該寫碼節點相關聯之一或多個預測單元(PU)及一或多個變換單元(TU)。CU之大小對應於寫碼區塊之大小且形狀可為正方形。在一些實例中，CU之大小的範圍為8×8像素直至具有最大值64×64像素或更大之樹型區塊之大小。在一些實例中，每一CU含有一或多個PU及一或多個TU。與CU相關聯之語法資料描述(例如)CU分割成一或多個PU。分割模式在CU被跳過抑或經直接模式編碼、經框內預測模式編碼或經框間預測模式編碼之間不同。在一些實例中，可將PU分割成非正方形形狀。與CU相關聯之語法資料亦描述(例如)CU根據四分樹而分割成一或多個TU。與TU相關聯之變換區塊的形狀可為正方形或非正方形。
HEVC標準允許根據TU之變換，該變換對於不同CU而言可不同。通常基於針對經分割LCU所定義之給定CU內之PU的大小來設定TU之大小，雖然並非總是如此狀況。TU通常為與PU相同的大小或小於PU。在一些實例中，使用稱為「殘差四分樹」(RQT)之四分樹結構而將對應於CU之殘差樣本再分為較小之單元。可將RQT之葉節點稱作TU。在一些實例中，與TU相關聯之像素差值經變換以產生變換係數，變換係數被量化。
PU包括與預測程序相關之資料。舉例而言，當PU經框內模式編碼時，該PU包括描述該PU之框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，該PU可包括定義該PU之運動向量的資料。定義PU之運動向量的資料描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之 一像素精度)、運動向量所指向之參考圖像，及/或運動向量之參考圖像清單(例如，清單0或清單1)。
TU係用於變換及量化程序。具有一或多個PU之給定CU亦可包括一或多個變換單元(TU)。在PU之預測之後，視訊編碼器20可計算對應於PU之殘差值。該等殘差值包含像素差值，該等像素差值可使用TU而被變換成變換係數、加以量化及加以掃描以產生供熵寫碼之經串列化之變換係數。本發明通常使用術語「視訊區塊」來指CU之寫碼節點。在一些特定狀況下，本發明亦可使用術語「視訊區塊」來指樹型區塊(亦即，LCU)或包括一寫碼節點及若干PU及TU的CU。
作為一實例，HM支援以各種PU大小進行之預測。假定特定CU之大小為2N×2N，HM支援以2N×2N或N×N之PU大小進行的框內預測及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行的框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行之框間預測的不對稱分割。在不對稱分割中，CU之一個方向未加以分割，而另一方向則分割成25%及75%。對應於25%分割區之CU部分由「n」繼之以「上」、「下」、「左」或「右」之指示來指示。因此，舉例而言，「2N×nU」係指以頂部2N×0.5N PU及底部2N×1.5N PU的方式加以水平地分割之2N×2N CU。
在H.264標準抑或HEVC標準中，在框內預測寫碼或框間預測寫碼之後，視訊編碼器20針對HEVC中之CU的TU或針對H.264中之巨集區塊來計算殘差資料。PU包含空間域(亦稱作像素域)中之像素資料且TU包含在將變換(例如，離散餘弦變換(DCT)、整數變換、小波變換或概念上類似之變換)應用於殘差視訊資料之後在變換域中之係數。殘差資料可對應於在未經編碼圖像之像素與對應於HEVC中之PU的預測值或H.264中之巨集區塊的預測值之間的像素差。
在一些實例中，在進行任何變換以產生變換係數之後，視訊編 碼器20執行變換係數之量化。量化大體指以下之程序：將變換係數量化以可能地減少用以表示該等係數之資料的量，從而提供另外之壓縮。該量化程序減少與該等係數中之一些或所有相關聯的位元深度。舉例而言，在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在一些實例中，視訊編碼器20利用預定義掃描次序來掃描經量化之變換係數以產生可加以熵編碼之經串列化向量。在其他實例中，視訊編碼器26執行自適應性掃描。在掃描經量化之變換係數以形成一維向量之後，在一些實例中，視訊編碼器20根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法(作為少數實例)來熵編碼表示經量化之變換係數的語法元素。視訊編碼器20亦熵編碼與經編碼視訊資料相關聯之語法元素以供視訊解碼器30在解碼視訊資料時使用。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸之符號。該上下文可與(例如)符號之鄰近值是否為非零相關。為了執行CAVLC，視訊編碼器20可針對待傳輸之符號來選擇一可變長度碼。可建構VLC中之碼字使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，相對於(例如)針對待傳輸之每一符號而使用等長度碼字，使用VLC可達成位元節省。機率判定可基於指派給符號之上下文而進行。
如上文所描述，視訊編碼器20及視訊解碼器30可參考第二視圖之參考圖像內的預測子區塊來對第一視圖之當前圖像內的當前區塊進行框間預測。將此框間預測稱作視圖間預測。當前圖像及參考圖像之時間執行個體在各別視圖中可相同。在此實例中，視訊編碼器20或視訊解碼器30跨越相同之存取單元中的圖像而執行視圖間預測，其中相 同之存取單元中的圖像係在相同之時間執行個體處。
為了對當前區塊執行框間預測(包括視圖間預測)，視訊編碼器20或視訊解碼器30建構識別可用於框間預測之參考圖像的參考圖像清單，該等參考圖像包括可用於視圖間預測之圖像。框間預測(或框間預測編碼或解碼)係指相對於參考圖像中之預測子區塊來預測當前圖像中之當前區塊。視圖間預測係框間預測之子集，此係因為在視圖間預測中，參考圖像係在一與當前圖像之視圖不同的視圖中。因此，對於視圖間預測而言，視訊編碼器20及視訊解碼器30將另一個視圖中之參考圖像加到所建構之參考圖像清單中之一者或兩者中。可在該等所建構之參考圖像清單內的任何位置處識別該另一個視圖中之參考圖像。
舉例而言，對於雙向預測型圖像(B圖像)而言，視訊編碼器20及視訊解碼器30可建構RefPicList0及RefPicList1。RefPicList0及RefPicList1之建構可包括兩個步驟：初始化步驟及重排序(修改)步驟。在初始化步驟中，視訊編碼器20及視訊解碼器30基於參考圖像之圖像次序計數(POC)值的次序而將參考圖像記憶體(亦稱作經解碼圖像緩衝器(DPB))中之圖像包括至RefPicList0及RefPicList1中之一者或兩者中。圖像之POC值指示該圖像之顯示或輸出次序。
在修改步驟中，視訊編碼器20及視訊解碼器30可將初始清單中之圖像之位置修改至該清單中之另一位置，或將當前不在該(等)參考圖像清單中之圖像包括至該(等)清單中。在一些狀況下，若修改步驟指示應將圖像移動超出清單中之最後輸入項，則自該(等)清單移除該圖像。可將清單中之輸入項之數目稱作清單中之作用中參考圖像之數目。視訊編碼器20可在經寫碼位元串流中發信在圖塊標頭中的清單中之作用中參考圖像之數目，且視訊解碼器30可自經寫碼位元串流接收在圖塊標頭中的清單中之作用中參考圖像之數目。
視訊編碼器20可在經寫碼位元串流中發信關於RefPicList0及RefPicList1中之一者或兩者的索引，且視訊解碼器30可自經寫碼位元串流接收該索引。視訊編碼器20可已使用由關於RefPicList0及RefPicList1之(一或若干)索引識別的(一或若干)圖像以用於對當前圖像進行框間預測編碼，且視訊解碼器30可使用該或該等圖像以用於對當前圖像進行框間預測解碼。
如本發明中所使用，當視訊編碼器20正對區塊執行框間預測(例如，進行框間預測)時，可將視訊編碼器20視為對區塊進行框間預測編碼。當視訊解碼器30正對區塊執行框間預測(例如，進行框間預測)時，可將視訊解碼器30視為對區塊進行框間預測解碼。
在框間預測中，當前區塊之運動向量識別待用作對當前區塊進行框間預測之參考區塊的區塊之位置，且關於所建構之參考圖像清單中之一者或兩者的參考索引識別包括待用作對當前區塊進行框間預測之參考區塊之區塊的參考圖像。在多視圖寫碼中，存在至少兩種類型之運動向量。時間運動向量參考時間參考圖像，其中時間參考圖像係一與包括待加以預測之區塊之圖像在相同之視圖內的圖像，且其中時間參考圖像比包括待加以預測之區塊的圖像更早或更晚地顯示。差異運動向量參考在一視圖中的參考圖像，該視圖不同於包括待加以預測之區塊的圖像所在之視圖。當視訊編碼器20或視訊解碼器30利用時間運動向量時，將視訊編碼器20及視訊解碼器30視為實施運動補償型預測(MCP)。當視訊編碼器20或視訊解碼器30利用差異運動向量時，將視訊編碼器20及視訊解碼器30視為實施差異補償型預測(DCP)或視圖間預測。
本發明描述用於基於空間及/或時間鄰近區塊之運動資訊(例如，差異運動向量)且在一些狀況下基於鄰近區塊之所導出之差異向量來判定當前區塊之差異向量的技術。換言之，可藉由分析用DCP寫碼之 一或多個空間及/或時間鄰近區塊的運動向量且在一些實例中根據鄰近區塊之所導出之差異向量來判定當前區塊之差異向量。可藉由視訊編碼器20及視訊解碼器30中之一者或兩者來實施本發明之技術。可(例如)結合基於HEVC之多視圖視訊寫碼及/或基於HEVC之3D視訊寫碼或H.264/AVC或H.264/MVC來使用此等技術。
如上文所描述，不應混淆差異運動向量及差異向量。視訊編碼器20及視訊解碼器30使用差異運動向量來識別在與以下視圖不同之視圖中的圖像之視訊區塊：該視圖包括具有待加以預測之區塊的圖像，且使用所識別之視訊區塊之像素值來對該區塊進行框間預測。視訊編碼器20及視訊解碼器30未必需要使用由差異向量所參考之區塊之像素值來對另一視訊區塊進行框間預測；相反，差異向量提供另一視圖中之視訊區塊之移位的度量。
鄰近區塊之實例包括空間鄰近區塊(例如，鄰近於當前視訊區塊且係與當前視訊區塊在相同之圖像中的區塊)或時間鄰近區塊(例如，鄰近於當前區塊或與當前區塊同置但係與當前視訊區塊在不同之圖像中的區塊)。將包括時間鄰近區塊之圖像稱作候選參考圖像(或候選圖像)。
可存在多達兩個候選參考圖像。第一候選參考圖像可為視訊編碼器20在視訊解碼器30接收到之經寫碼位元串流中所識別的圖像。舉例而言，第一候選者可為在運動預測程序中所使用之同置型參考圖像。可藉由圖塊標頭中之‘collocated_from_10_flag’及‘collocated_ref_idx’之值來識別同置型參考圖像。collocated_from_10_flag語法元素可識別包括第一候選參考圖像之參考圖像清單(例如，值1識別RefPicList0且值0識別RefPicList1，或反之亦然)。collocated_ref_idx語法元素可指示關於所識別之參考圖像清單的索引。
第二候選參考圖像可為視訊編碼器20及視訊解碼器30使用隱含之技術來識別的圖像。舉例而言，視訊編碼器20及視訊解碼器30可將第二候選參考圖像識別為隨機存取圖像(若存在隨機存取圖像)。若隨機存取圖像不存在，則視訊編碼器20及視訊解碼器30可識別按輸出或顯示次序而最接近當前圖像(亦即，如藉由POC值所判定)且具有最小時間識別值(temporalID)的參考圖像。如下文予以更詳細描述，此等候選參考圖像(亦即，第一候選參考圖像及第二候選參考圖像)包括時間鄰近區塊，視訊編碼器20及視訊解碼器30評估該等時間鄰近區塊以判定該等時間鄰近區塊是否藉由差異運動向量加以框間預測。
若此等空間鄰近區塊或時間鄰近區塊中之任一者係藉由差異運動向量加以框間預測，則視訊編碼器20及視訊解碼器30可將該等鄰近區塊中之一者的差異運動向量設定為當前區塊之差異向量。換言之，視訊編碼器20及視訊解碼器30將該等鄰近區塊中之一者之差異運動向量採用作為當前區塊之差異向量。以此方式，視訊編碼器20及視訊解碼器30可基於藉由差異運動向量加以框間預測之鄰近區塊的運動向量資訊來判定當前區塊之差異向量。
若空間鄰近區塊之差異運動向量被設定為當前區塊之差異向量，則將差異向量稱作空間差異向量(SDV)。若時間鄰近區塊之差異運動向量被設定為當前區塊之差異向量，則將差異向量稱作時間差異向量(TDV)。
在一些實例中，擴展用於使用鄰近區塊來判定差異向量之技術以包括隱含差異向量(IDV)。IDV為鄰近區塊之差異向量(視訊編碼器20及視訊解碼器30自該鄰近區塊之鄰近區塊的差異運動向量來判定該差異向量)。舉例而言，在寫碼程序(例如，編碼或解碼)期間，即使鄰近區塊(例如，空間或時間鄰近區塊)之差異向量隨後未被用以對鄰近區塊進行框間預測，視訊編碼器20或視訊解碼器30仍可已判定該鄰近 區塊之差異向量。鄰近區塊之此差異向量可潛在地為當前區塊之差異向量。舉例而言，視訊編碼器20及視訊解碼器30可將鄰近區塊之所導出之差異向量採用作為當前區塊之差異向量。若鄰近區塊之所導出之差異向量被設定為當前區塊之差異向量，則將該差異向量稱作IDV。
以此方式，視訊編碼器20及視訊解碼器30可基於空間鄰近區塊之差異運動向量、時間鄰近區塊之差異運動向量或空間鄰近區塊或時間鄰近區塊之所導出之差異向量來判定當前區塊之差異向量。以此方式判定當前區塊之差異向量可促進寫碼效率，因為視訊編碼器20及視訊解碼器30無需首先建構深度視圖分量以判定深度且接著利用深度資訊來判定當前區塊之差異向量。
例如，對於多視圖視訊序列而言，不同視圖表示相同真實世界場景之不同投影，該等投影由多個攝影機同步俘獲。真實世界場景中之物件的移動根據場景幾何形狀而被投影至所有視圖中。可藉由深度資料或差異向量來適當地表示場景之幾何形狀。在多視圖視訊寫碼中，利用差異運動補償，其中可依據速率-失真而選擇差異運動向量作為最終運動向量。另外，鄰近區塊可在視訊寫碼中共用幾乎相同之運動資訊。此外，在當前區塊之運動與參考圖像中之時間區塊的運動之間可存在高相關性。因此，若空間/時間鄰近區塊利用視圖間預測，則可將其差異運動向量視作當前區塊之優良差異向量預測子。
視訊編碼器20及視訊解碼器30可定義若干空間及時間鄰近區塊。視訊編碼器20及視訊解碼器30可基於空間及時間鄰近區塊之運動資訊與當前區塊之運動資訊之間的相關之優先權而按預定義次序來檢查該等空間及時間鄰近區塊。一旦識別了差異運動向量(亦即，運動向量指向另一視圖中之視圖間參考圖像)，視訊編碼器20及視訊解碼器30便可將差異運動向量轉換至差異向量。在一些實例中，本發明中所描述之技術可依賴於攝影機參數。
視訊編碼器20及視訊解碼器30可為了各種目的而利用當前區塊之所判定之差異向量。作為一個實例，視訊編碼器20及視訊解碼器30可利用差異向量來識別該差異向量所參考之區塊，且識別該差異向量所參考之區塊之運動向量。視訊編碼器20及視訊解碼器30可利用差異向量所參考之區塊之運動向量以用於預測當前區塊之運動向量(作為視圖間運動預測之部分)。下文更詳細地描述視圖間運動預測之概念。作為另一實例，視訊編碼器20及視訊解碼器30可利用由差異向量所參考之區塊之殘差像素值以用於對當前區塊之殘差值進行框間預測(作為視圖間殘差預測之部分)。亦可利用差異向量以用於其他寫碼工具。
在一些實例中，若鄰近區塊(例如，空間或時間鄰近區塊)皆並非藉由差異運動向量加以框間預測且不存在鄰近區塊之IDV，則視訊編碼器20及視訊解碼器30可利用零差異向量以用於視圖間運動預測。在未發現差異運動向量及IDV的情況下，視訊編碼器20及視訊解碼器30可停用針對區塊之視圖間殘差預測。
為了判定應將哪一差異運動向量設定為當前區塊之差異向量，視訊編碼器20及視訊解碼器30可按某一次序來評估差異運動向量。例如，視訊編碼器20及視訊解碼器30可首先判定空間鄰近區塊中之任一者是否藉由差異運動向量加以框間預測，且若如此，則將空間鄰近區塊之差異運動向量設定為當前區塊之差異向量並結束判定當前區塊之差異向量的程序。若空間鄰近區塊皆並非藉由差異運動向量加以框間預測，則視訊編碼器20及視訊解碼器30可判定一或多個候選參考圖像中之時間鄰近區塊是否藉由差異運動向量加以框間預測，且若如此，則將時間鄰近區塊之差異運動向量設定為當前區塊之差異向量並結束判定當前區塊之差異向量的程序。若時間鄰近區塊皆並非藉由差異運動向量加以框間預測，則視訊編碼器20及視訊解碼器30可判定鄰近區 塊中之一者之所導出之差異向量(亦即，IDV)是否存在，且將彼所導出之差異向量設定為當前區塊之差異向量。在一些實例中，評估空間鄰近區塊、時間鄰近區塊及所導出之差異向量的次序可不同。
圖4為說明一當前區塊及五個空間鄰近區塊之概念圖。舉例而言，圖4說明一當前區塊401及五個空間鄰近區塊(402、403、404、405及406)。在圖4中，明度位置(xP,yP)指定相對於包括區塊401之當前圖像之左上樣本的區塊401之左上明度樣本。因此，相對於當前圖像之左上樣本的當前區塊之左上明度樣本(在此實例中被稱作PU「N」)為(xN,yN)。變數nPSW及nPSH表示針對明度之區塊601之寬度及高度。在此實例中，將(xN,yN)(其中N被406、405、404、403及402代替以識別區塊402-406中之一者)分別定義為(xP-1,yP+nPSH)、(xP-1,yP+nPSH-1)、(xP+nPSW,yP-1)、(xP+nPSW-1,yP-1)或(xP-1,yP-1)。以此方式，視訊解碼器30判定空間鄰近區塊之位置。
根據本發明之技術，可評估此等空間鄰近區塊(例如，區塊402-406)之運動資訊以作為判定區塊401之差異向量的部分。舉例而言，視訊編碼器20及視訊解碼器30可按特定次序來評估空間鄰近區塊402-406，且只要視訊編碼器20及視訊解碼器30判定空間鄰近區塊係藉由差異運動向量加以框間預測，視訊編碼器20及視訊解碼器30便可停止對任何剩餘鄰近區塊之評估且自差異運動向量導出差異向量。在一些實例中，視訊編碼器20及視訊解碼器30評估空間鄰近區塊的次序為：405、403、402、406及404。在圖8-3中，在HEVC標準中，將區塊405稱作A1，將區塊403稱作B1，將區塊402稱作B0，將區塊406稱作A0，且將區塊404稱作B2。然而，視訊編碼器20及視訊解碼器30評估空間鄰近區塊之此次序係為了說明之目的而提供且不應被視為具有限制性。
如上文所描述，為了達成差異向量導出，視訊編碼器20及視訊解碼器30可判定空間鄰近區塊(諸如圖4中所說明之空間鄰近區塊)是否藉由差異運動向量加以框間預測，且若無空間鄰近區塊係藉由差異運動向量加以框間預測，則視訊編碼器20及視訊解碼器30可判定候選參考圖像中之區塊是否藉由差異運動向量加以框間預測。
候選參考圖像之實例包括圖塊標頭中所識別之同置型圖像或隨機存取圖像或參考圖像中之相對於當前圖像具有POC值之最小差且具有最小時間識別值的一者。視訊編碼器20及視訊解碼器30可按一給定次序來評估候選圖像內之兩個候選區塊，且只要視訊編碼器20及視訊解碼器30判定候選區塊係藉由差異運動向量加以框間預測，視訊編碼器20及視訊解碼器30便可利用彼差異運動向量來導出當前區塊之差異向量。在一些實例中，視訊編碼器20及視訊解碼器30可以隨機存取圖像開始、接著為同置型圖像；然而，本發明中所描述之技術並非如此受限。
圖5為說明候選參考圖像中之同置型區域的概念圖。舉例而言，圖5說明一候選參考圖像之實例，視訊編碼器20及視訊解碼器30評估該候選參考圖像以判定該候選參考圖像內之區塊是否藉由差異運動向量加以框間預測。在一些實例中，視訊編碼器20及視訊解碼器30可判定將評估候選參考圖像內之哪些區塊。舉例而言，視訊編碼器20及視訊解碼器30所評估的候選參考圖像內之區塊可基於一同置型區域。
當前圖像中之當前區塊可涵蓋當前圖像內之某一區域。同置型區域係指與當前區塊在當前圖像中所涵蓋的區域相同的在候選參考圖像中之區域。換言之，同置型區域及當前區塊涵蓋各別圖像內之相同相對區。又換言之，候選參考圖像中之同置型區域的位置可與當前區塊在當前圖像中所涵蓋之區域的位置相同。
圖5說明同置型區域500，其為涵蓋候選參考圖像中之16×16像素 的區域。在一些實例中，視訊編碼器20及視訊解碼器30可評估同置型區域500內之右中心(CR)區塊(在圖5中由位置A予以說明)，以判定該CR區塊是否藉由差異運動向量加以框間預測。CR區塊為其左上隅角係在同置型區域之中心處且朝同置型區域之中心的右下方延伸(如在圖5中由位置A處之區塊所說明)的區塊。在此實例中，CR區塊為4×4。
在評估CR區塊之後，若視訊編碼器20及視訊解碼器30判定CR區塊未藉由差異運動向量加以框間預測，則視訊編碼器20及視訊解碼器30可評估候選參考圖像內之另一區塊。舉例而言，視訊編碼器20及視訊解碼器30可評估同置型區域500之右下(BR)區塊(在圖5中由位置B予以說明)。BR區塊為其左上隅角係在同置型區域之右下隅角且自同置型區域之右邊延伸得更遠及自同置型區域之底部延伸得更遠的區塊。
因此，視訊編碼器20及視訊解碼器30可評估在兩個候選參考圖像中之每一者內的兩個區塊以判定此等候選參考圖像內之區塊是否藉由差異運動向量加以框間預測。只要視訊編碼器20及視訊解碼器30判定候選參考圖像中之區塊係藉由差異運動向量加以框間預測，視訊編碼器20及視訊解碼器30便可停止對區塊之評估且基於差異運動向量來導出當前區塊之差異向量。
如上文所描述，視訊編碼器20及視訊解碼器30所評估之第一候選參考圖像可為同置型圖像。視訊編碼器20及視訊解碼器30所評估之第二候選參考圖像可為隨機存取圖像或參考圖像中之相對於當前圖像具有POC值之最小差且具有最小時間識別值的一者。在一些實例中，視訊編碼器20及視訊解碼器30可首先評估第一候選參考圖像中之CR區塊，且若CR區塊未藉由差異運動向量加以框間預測，則視訊編碼器20及視訊解碼器30可接下來評估第一候選參考圖像中之BR區塊。
若第一候選參考圖像中之BR區塊未藉由差異運動向量加以框間 預測，則視訊編碼器20及視訊解碼器30可評估第二候選參考圖像中之BR區塊。若第二候選參考圖像中之BR區塊未藉由差異運動向量加以框間預測，則視訊編碼器20及視訊解碼器30可接下來評估第二候選參考圖像中之CR區塊。
若兩個候選參考圖像中之區塊皆未藉由差異運動向量加以框間預測，則視訊編碼器20及視訊解碼器30可評估IDV。舉例而言，視訊編碼器20及視訊解碼器30可按以下次序來評估空間鄰近區塊(諸如圖4中所說明之空間鄰近區塊)：區塊406、區塊405、區塊402、區塊403及區塊404。若視訊編碼器20及視訊解碼器30已導出此等區塊中之任一者的差異向量且此等區塊係在跳過/合併模式中加以框間預測，則視訊編碼器20及視訊解碼器30可自此等空間鄰近區塊中之一者之所導出之差異向量來導出當前區塊之差異向量。
在以上實例中，視訊編碼器20及視訊解碼器30可評估候選參考圖像之BR區塊(例如，作為所評估之第一區塊或若CR區塊未藉由差異運動向量加以框間預測)。然而，在某些情況下，評估候選參考圖像中之BR區塊可存在一些缺點。例如，在某些情況下，在評估BR區塊時可存在複雜度之增加及記憶體頻寬效率之減小。
又，CR區塊及BR區塊(其為視訊編碼器20及視訊解碼器30所評估之區塊)係僅為了說明之目的而提供且不應被視為具有限制性。一般而言，有可能利用候選參考圖像內之任何區塊作為以下區塊：視訊編碼器20及視訊解碼器30評估該區塊之運動資訊以判定該區塊是否藉由差異運動向量加以框間預測。如予以更詳細描述，一般而言，對於候選參考圖像內之某些區塊而言，在判定區塊是否藉由差異運動向量加以框間預測時可存在複雜度之增加及記憶體頻寬效率之減小。
使視訊編碼器20及視訊解碼器30評估候選參考圖像中之區塊的運動資訊(例如，判定候選參考圖像中之區塊是否藉由差異運動向量 加以框間預測)意謂著視訊編碼器20及視訊解碼器30先前編碼或解碼候選參考圖像。另外，視訊編碼器20及視訊解碼器30將候選參考圖像內之區塊的運動資訊儲存於記憶體(諸如經解碼圖像緩衝器(DPB)或某一其他記憶體儲存組件)內。
在一些實例中，視訊編碼器20及視訊解碼器30可基於最大寫碼單元(LCU)來儲存候選參考圖像之區塊的運動資訊。舉例而言，寫碼單元(CU)可包括一或多個預測單元(PU)，PU為待框間預測之視訊區塊之一個實例，且一個LCU可包括一或多個CU。
因此，藉由對記憶體(例如，DPB或某一其他記憶體儲存組件)之單一呼叫，視訊編碼器20及視訊解碼器30可能夠擷取一個LCU列內之一或多個連續LCU內之區塊的運動資訊。例如，記憶體內之一個列可儲存一列LCU之運動資訊，且視訊編碼器20及視訊解碼器30可能夠藉由對記憶體之單一呼叫來擷取一列LCU之運動資訊。
若候選參考圖像之區塊駐留於LCU外部，則視訊編碼器20及視訊解碼器30可需要一額外記憶體呼叫以擷取此區塊之運動資訊。此額外記憶體呼叫可減慢視訊處理以及負面地影響記憶體頻寬，從而導致更複雜之視訊編碼及視訊解碼系統。
根據本發明中所描述之技術，視訊編碼器20及視訊解碼器30可基於候選參考圖像之區塊相對於LCU之位置來判定是否將評估該區塊之運動資訊以判定該區塊是否藉由差異運動向量加以框間預測。例如，基於該區塊相對於LCU之位置，視訊編碼器20及視訊解碼器30可判定該區塊可用抑或不可用。因此，該等技術對視訊編碼器20及視訊解碼器30所評估的用於在基於HEVC之多視圖/3DV寫碼中基於鄰近區塊差異向量(NBDV)技術而導出差異向量的區塊設置約束。
若視訊編碼器20及視訊解碼器30判定區塊不可用，則視訊編碼器20及視訊解碼器30可不評估該區塊之運動向量資訊以判定該區塊是 否藉由差異運動向量加以框間預測。若視訊編碼器20及視訊解碼器30判定區塊可用，則視訊編碼器20及視訊解碼器30可評估該區塊之運動向量資訊以判定該區塊是否藉由差異運動向量加以框間預測。
在一些實例中，若區塊不可用，則視訊編碼器20及視訊解碼器30可評估可用之某一其他區塊的運動資訊以判定此區塊是否藉由差異運動向量加以框間預測。換言之，當一時間鄰近區塊不可用時，用另一可用之時間鄰近區塊來代替該時間鄰近區塊。然而，並不需要在每一實例中用一可用區塊替代經判定為不可用之區塊，且此替代係僅為了說明之目的而提供。
在本發明中所描述之技術中，當前圖像中之LCU可涵蓋當前圖像中之當前區塊(亦即，該區塊將被框間預測編碼或框間預測解碼)。根據本發明中所描述之技術，視訊編碼器20及視訊解碼器30可判定候選參考圖像中之同置型LCU(CLCU)，該CLCU係與當前圖像之LCU同置。舉例而言，CLCU涵蓋候選參考圖像中的與LCU(其包括當前區塊)在當前圖像中所涵蓋之區相同的區。換言之，候選參考圖像中之CLCU的位置與當前圖像中之LCU的位置相同。
在一些實例中，若候選參考圖像之區塊(視訊編碼器20及視訊解碼器30將評估該區塊之運動資訊)係在候選參考圖像中之CLCU內，則視訊編碼器20及視訊解碼器30可能夠藉由單一呼叫而自記憶體擷取區塊之運動資訊。例如，在圖5中，候選參考圖像中之區塊(視訊編碼器20及視訊解碼器30將評估該等區塊之運動資訊)係在位置A及位置B處之區塊。在此實例中，若位置A處之區塊及位置B處之區塊兩者皆在CLCU內，則視訊編碼器20及視訊解碼器30可能夠藉由一個單一記憶體呼叫(亦即，對記憶體之一個單一存取)來擷取位置A處之區塊及位置B處之區塊的運動資訊。
然而，若位置A處之區塊係在CLCU內，但位置B處之區塊不在 CLCU內，則視訊編碼器20及視訊解碼器30可不能夠藉由一個單一記憶體呼叫來擷取位置A處之區塊及位置B處之區塊的運動資訊。實情為，視訊編碼器20及視訊解碼器30將需要第一次存取記憶體以擷取位置A處之區塊的運動資訊，且判定位置A處之區塊是否藉由差異運動向量加以框間預測。若位置A處之區塊未藉由差異運動向量加以框間預測，則視訊編碼器20及視訊解碼器30將需要第二次存取記憶體以擷取位置B處之區塊的運動資訊從而判定位置B處之區塊是否藉由差異運動向量加以框間預測。若視訊編碼器20及視訊解碼器30不得不首先存取位置B處之區塊的運動資訊且在位置B處之區塊未藉由差異運動向量加以框間預測的情況下接著存取位置A處之區塊的運動資訊，則視訊編碼器20及視訊解碼器30將類似地需要兩個記憶體存取。
在本發明中所描述之技術中，視訊編碼器20及視訊解碼器30可基於候選參考圖像中之區塊相對於CLCU的位置來判定是否將評估候選參考圖像中之該區塊的運動資訊。例如，基於候選參考圖像中之區塊相對於CLCU的位置，視訊編碼器20及視訊解碼器30可判定該區塊可用抑或不可用，且僅在可用的情況下，視訊編碼器20及視訊解碼器30才評估運動資訊。
圖6為說明一區塊相對於同置型最大寫碼單元(CLCU)之一個實例位置的概念圖。圖6說明當前圖像600。當前圖像600包括當前區塊604。如所說明，當前區塊604可被LCU 602涵蓋。根據本發明中所描述之技術，視訊編碼器20及視訊解碼器30可識別候選參考圖像606。上文描述了候選參考圖像之實例。
在候選參考圖像606內，視訊編碼器20及視訊解碼器30可判定CLCU 608。例如，如所說明，CLCU 608涵蓋候選參考圖像606內之相同相對區且係與當前圖像600中之LCU 602在相同的位置中。在一些實例中，在CLCU 608之底邊界外部的任何區塊可為不可用的。
在圖6之實例中，區塊614可為不可用的，此係因為區塊614(相對於610之位置)係在CLCU 608之底邊界外部。在此實例中，視訊編碼器20及視訊解碼器30可不評估區塊614之運動資訊以判定區塊614是否藉由差異運動向量加以框間預測。舉例而言，如所說明，候選參考圖像606之同置型區域610可與當前區塊604同置。在此實例中，同置型區域610內之區塊612為右中心(CR)區塊且區塊614為右下(BR)區塊。
根據本發明中所描述之一或多個實例技術，若候選參考圖像606為第一候選參考圖像，則視訊編碼器20及視訊解碼器30可評估區塊612之運動資訊以判定區塊612是否藉由差異運動向量加以框間預測。即使區塊612未藉由差異運動向量加以框間預測，視訊編碼器20及視訊解碼器30仍可不評估區塊614之運動資訊，此係因為視訊編碼器20及視訊解碼器30可由於區塊614係在CLCU 608之底邊界外部而判定區塊614不可用。若候選參考圖像606為第二候選參考圖像，則視訊編碼器20及視訊解碼器30可不評估區塊614之運動資訊，此係因為視訊編碼器20及視訊解碼器30可由於區塊614係在CLCU 608之底邊界外部而判定區塊614不可用。相反，視訊編碼器20及視訊解碼器30可直接評估區塊612之運動資訊以判定區塊612是否藉由差異運動向量加以框間預測。
在一些實例中，視訊編碼器20及視訊解碼器30可判定區塊614不可用的原因可為：因為擷取區塊614之運動資訊可需要一額外記憶體存取，從而可浪費處理時間。在一些實例中，若視訊編碼器20及視訊解碼器30判定待加以評估之區塊不可用，則視訊編碼器20及視訊解碼器30可用另一區塊來替代經判定為不可用之區塊。作為一個實例，視訊編碼器20及視訊解碼器30可用CLCU內之區塊來替代經判定為不可用之區塊。
在圖6中，視訊編碼器20及視訊解碼器30基於區塊614相對於CLCU 608之位置(例如，同置型區域610之右下區塊614係在CLCU 608之底邊界外部)來判定區塊614不可用。可存在視訊編碼器20及視訊解碼器30用來判定一區塊可用抑或不可用的其他準則。
作為一個實例，若區塊係在CLCU之底邊界外部或在候選參考圖像之右邊界外部，則視訊編碼器20及視訊解碼器30可判定該區塊不可用。作為另一實例，視訊編碼器20及視訊解碼器30可判定候選參考圖像中之在CLCU之底邊界外部或在CLCU之頂邊界外部的任何區塊不可用。作為另一實例，視訊編碼器20及視訊解碼器30可判定候選參考圖像中之在CLCU之底邊界與頂邊界之間的列外部的任何區塊不可用。作為另一實例，視訊編碼器20及視訊解碼器30可判定候選參考圖像中之在CLCU之底邊界或頂邊界外部或在候選參考圖像之右邊界或左邊界外部的任何區塊不可用。
在一些實例中，視訊編碼器20及視訊解碼器30可僅在候選參考圖像中之區塊係在CLCU內的情況下才判定該區塊可用。在一些實例中，視訊編碼器20及視訊解碼器30可僅在候選參考圖像中之區塊係在CLCU內或在CLCU之右邊的情況下才判定該區塊可用。在一些實例中，若視訊編碼器20及視訊解碼器30判定待加以評估之區塊不可用(例如，由於在CLCU之底邊界外部)，則視訊編碼器20及視訊解碼器30可評估一可用區塊(諸如，在CLCU內之區塊或在CLCU之右邊的區塊)之運動資訊。
圖7為說明一區塊相對於同置型最大寫碼單元(CLCU)之另一實例位置的概念圖。類似於圖6，圖7說明包括LCU 702之當前圖像700，且LCU 702包括當前區塊704。圖7亦說明包括CLCU 708之候選參考圖像706，且CLCU 708包括同置型區域710。同置型區域710包括CR區塊712，且在同置型區域710之右下方的區塊係BR區塊714。
在圖7中，BR區塊714係在CLCU 710外部。然而，BR區塊714係在CLCU 710之底邊界上方但係在CLCU 710之右邊界外部。在一些實例中，雖然區塊714係在CLCU 710外部，但視訊編碼器20及視訊解碼器30可判定區塊714可用，此係因為區塊714係在CLCU 710之右邊且在CLCU 710之底邊界上方。如上文所描述，在一些實例中，視訊編碼器20及視訊解碼器30可能夠在單一記憶體呼叫中擷取儲存於記憶體中之相同列中之區塊之運動資訊。因此，雖然區塊714係在CLCU 710外部，但視訊編碼器20及視訊解碼器30可無需對記憶體之額外存取以擷取區塊714之運動資訊且因此可不將區塊714視為不可用。
以此方式，視訊編碼器20及視訊解碼器30可判定是否將評估候選參考圖像中之區塊之運動資訊以判定候選參考圖像中之該區塊是否藉由差異運動向量加以框間預測。藉由減少運動資訊受到評估的區塊，本發明中所描述之技術可藉由減少為了獲得候選參考圖像內之區塊之運動資訊所進行的對記憶體之存取之數目來提供較快速之視訊處理。
如上文所描述，在一些實例中，視訊編碼器20及視訊解碼器30可利用當前區塊之所判定之差異向量以用於視圖間殘差預測。在視訊寫碼中，視訊編碼器20發信當前區塊與待用於框間預測之區塊之間的差(亦即，殘差)。視訊解碼器30利用該殘差以自用於框間預測之區塊重建構當前區塊。在一些實例中，可有可能進一步減少所需發信之殘差資訊的量。舉例而言，視訊編碼器20可進一步自當前區塊與用於框間預測之區塊之間的差減去由所判定之差異向量參考之區塊的殘差值。此額外減法可減少視訊編碼器20需要發信之殘差資訊的量。
舉例而言，視訊解碼器30可基於由當前區塊之差異向量參考之區塊來判定當前區塊之殘差(亦即，經由視圖間殘差預測)，該殘差為當前區塊與用於框間預測之區塊的像素值差。在視訊解碼器30判定當 前區塊之殘差之後，視訊解碼器30可將殘差值加至用以對當前區塊進行框間預測之區塊之像素值，以判定當前區塊之像素值(亦即，對當前區塊進行框間預測解碼)。
亦如上文所描述，在一些實例中，視訊編碼器20及視訊解碼器30可利用當前區塊之所判定之差異向量來進行視圖間運動預測。視圖間運動預測係指識別所判定之差異向量所參考的區塊，且利用所判定之差異向量所參考的區塊之運動資訊以作為用於預測當前區塊之運動資訊的預測子。舉例而言，所判定之差異向量所參考之區塊之一或多個運動向量可為進階運動向量預測(AMVP)模式或合併/跳過模式清單之候選者。
在合併/跳過模式及AMVP模式中，視訊編碼器20及視訊解碼器30各自建構候選運動向量預測子之清單。視訊編碼器20及視訊解碼器30可實施實質上類似之技術以建構候選運動向量預測子之各別清單，使得清單中所識別之候選運動向量預測子對於視訊編碼器20與視訊解碼器30兩者而言係相同的。
舉例而言，在合併/跳過模式及AMVP模式中，視訊編碼器20及視訊解碼器30基於鄰近區塊之運動資訊來建構候選運動向量預測子之清單。在一些實例中，視訊編碼器20及視訊解碼器30可將由所判定之差異向量所參考的區塊之運動資訊包括作為候選運動向量預測子之清單中之另一候選者。若不存在由差異向量所參考之區塊之運動向量，則視訊編碼器20及視訊解碼器30可將差異向量轉換至差異運動向量且將該差異運動向量加至候選運動向量預測子之清單。
對於合併/跳過模式或AMVP模式兩者而言，視訊編碼器20發信關於候選運動向量預測子之清單的索引，且視訊解碼器30接收該索引。視訊解碼器30及視訊編碼器20可各自建構候選運動向量預測子之相同清單。視訊解碼器30接著自關於候選運動向量預測子之清單的所 發信之索引識別運動資訊(例如，參考圖像及一或多個運動向量)，且基於所識別之運動資訊來判定當前區塊之運動向量。
舉例而言，在合併/跳過模式中，視訊解碼器30接收一關於候選運動向量預測子之清單的索引，且基於所發信之索引來識別儲存於候選運動向量預測子之清單中的運動資訊。視訊解碼器30判定參考索引、與參考索引相關聯之參考圖像清單及來自所識別之運動資訊的運動向量。視訊解碼器30接著將所判定之參考索引、與參考索引相關聯之參考圖像清單及來自所識別之運動資訊的運動向量採用作為當前區塊之運動資訊。換言之，當前區塊繼承由關於候選運動向量預測子之清單之索引所識別的區塊之運動資訊。
在一些實例中，在合併/跳過模式中，若由關於候選運動向量預測子之清單之索引所識別的區塊係指時間鄰近區塊，則視訊解碼器30可不採用參考索引及與參考索引相關聯之參考圖像清單。視訊解碼器30可利用任何已知之技術或待開發之任何技術來判定關於參考圖像清單之參考索引(例如，選擇關於參考圖像清單中之一者或兩者的索引0)。
以此方式，視訊解碼器30可在合併/跳過模式中判定當前區塊之運動資訊。再次，由差異向量識別之區塊之運動資訊可為可由關於候選運動向量預測子之清單之索引識別的在候選運動向量預測子之清單中的候選者中之一者。在合併模式中，視訊解碼器30亦可接收當前區塊與由所判定之運動資訊所參考之區塊之間的殘差資料，且視訊解碼器30可利用殘差資料來判定當前區塊之像素值。在跳過模式中，視訊解碼器30可不接收當前區塊與由所判定之運動資訊參考之區塊之間的殘差資料。在此實例中，視訊解碼器30可將殘差資料假定為零(亦即，將當前區塊之像素值設定為等於由所判定之運動資訊參考之區塊之像素值)。
AMVP模式可類似於合併/跳過模式；然而，除接收對候選運動向量預測子之清單的索引之外，視訊解碼器30亦可自視訊編碼器20接收參考圖像清單之參考索引值及運動向量差。運動向量差可為由關於候選運動向量預測子之清單之索引所識別的區塊之運動向量與當前區塊之實際運動向量之間的運動向量差。
舉例而言，視訊解碼器30可判定由關於候選運動向量預測子之清單之索引所識別的區塊之運動向量。視訊解碼器30可將由關於候選運動向量預測子之清單之索引所識別的區塊之運動向量值與所發信之運動向量差相加或相減，以判定當前區塊之運動向量。另外，視訊解碼器30可基於指示參考圖像清單的所發信資訊及關於彼參考圖像清單之所發信索引來判定所判定之運動資訊參考之參考圖像。
以此方式，視訊解碼器30可在AMVP模式中判定當前區塊之運動資訊。類似於合併/跳過模式，視訊編碼器20及視訊解碼器30可將由當前區塊之所判定之差異向量識別的區塊之運動資訊包括作為候選運動向量預測子之清單中之候選者中的一者。
如上文所描述，對於合併/跳過模式及AMVP模式而言，視訊編碼器20及視訊解碼器30建構候選運動向量預測子之清單。以下內容描述建構候選運動向量預測子之清單的實例方式。如予以更詳細描述，視訊編碼器20及視訊解碼器30可評估空間及時間鄰近區塊之運動資訊。在一些實例中，若使用空間鄰近區塊之運動資訊來判定當前區塊之運動資訊，則可將空間鄰近區塊之運動資訊稱作空間運動向量預測子(SMVP)。若使用時間鄰近區塊之運動資訊來判定當前區塊之運動資訊，則可將時間鄰近區塊之運動資訊稱作時間運動向量預測子(TMVP)。在一些實例中，若時間鄰近區塊之運動資訊將被包括於候選運動向量預測子之清單中，則視訊編碼器20及視訊解碼器30可基於POC值來縮放該時間鄰近區塊之運動向量資訊。
以下內容提供關於視訊編碼器20及視訊解碼器30可判定哪些時間運動向量預測子將包括於候選運動向量預測子之清單中之方式的某種描述。在一些實例中，視訊編碼器及視訊解碼器30可利用類似但並不相同之技術來識別CR區塊及BR區塊(諸如圖5中所說明之CR區塊及BR區塊)之位置。
為了獲得時間運動向量預測子(TMVP)，視訊編碼器20及視訊解碼器30可首先識別一同置型圖像。若當前圖像為B圖塊，則視訊編碼器20可在圖塊標頭中發信collocated_from_10_flag以指示同置型圖像係來自哪一參考圖像清單(例如，同置型圖像來自RefPicList0抑或RefPicList1)。視訊解碼器30可基於圖塊標頭中所發信之collocated_from_10_flag來判定同置型圖像係來自哪一參考圖像。
在識別了參考圖像清單之後，視訊編碼器20可在圖塊標頭中發信collocated_ref_idx語法元素以識別在所識別之參考圖像清單中之圖像。視訊解碼器30可基於collocated_ref_idx語法元素來識別在所識別之參考圖像清單中之圖像。
視訊編碼器20及視訊解碼器30可藉由檢查同置型圖像來識別同置型預測單元(PU)。該同置型PU可為同置型區域之右下PU(例如，BR區塊)抑或所謂之‘中心3’或CR區塊(亦即，同置型區域之中心的右下PU)。
假設明度位置(xP,yP)指定當前明度預測區塊之左上樣本(相對於當前圖像之左上明度樣本)且變數nPbW及nPbH分別指定明度預測區塊之寬度及高度，可如下定義BR區塊及中心3或CR區塊：- 同置型區域之右下PU：xPRb=xP+nPbW
yPRb=yP+nPbH
- 若(yP>>Log2CtbSizeY)等於(yPRb>>Log2CtbSizeY)，且 xPRb小於pic_width_in_luma_samples，則以下內容適用。
- 同置型PU指定覆蓋位於colPic所指定之同置型圖像內部的由((xPRb>>4)<<4,(yPRb>>4)<<4)給出的經修改位置之明度預測區塊。
- 中心3：xPCtr=xP+(nPbW>>1)
yPCtr=yP+(nPbH>>1)
- 可變同置型PU指定覆蓋在colPic內部之由((xPCtr>>4)<<4,(yPCtr>>4)<<4)給出的經修改位置之明度預測區塊。
雖然以上描述內容描述了視訊編碼器20及視訊解碼器30判定同置型圖像中之CR區塊及BR區塊之位置的方式，但視訊編碼器20及視訊解碼器30可利用類似之技術來判定候選參考圖像中之CR區塊及BR區塊之位置。為了判定時間運動向量預測子，在一些狀況下，BR區塊可總是位於同置型圖像中之CLCU內或同置型區塊中之CLCU的右側處。然而，如上文所描述，在一些實例中，BR區塊可不位於候選參考圖像中之CLCU內或候選參考圖像中之CLCU的右邊。因此，不同於用於判定時間運動向量預測子之技術，在基於HEVC之多視圖/3DV寫碼中之針對鄰近區塊差異向量(NBDV)技術的設計中，對位於覆蓋候選參考圖像中之同置型區域的CLCU之底部分中之BR區塊的存取增加了視訊處理複雜度。
在一些實例中，當視訊編碼器20及視訊解碼器30藉由以上程序來識別運動向量以產生用於AMVP或合併模式之運動候選者時，視訊編碼器20及視訊解碼器30可基於時間位置(由POC值反映)來縮放運動向量。在HEVC中，序列參數集(SPS)包括旗標sps_temporal_mvp_enable_flag，且當sps_temporal_mvp_enable_flag等於1時，圖塊標頭包括旗標pic_temporal_mvp_enable_flag。當 pic_temporal_mvp_enable_flag與temporal_id兩者對於特定圖像而言等於0時，不將來自按解碼次序在彼特定圖像前面之圖像的運動向量用作在解碼該特定圖像或按解碼次序在該特定圖像後面之圖像時的時間運動向量。
圖8為說明可實施本發明中所描述之技術之實例視訊編碼器20的方塊圖。視訊編碼器20可執行視訊圖塊內之視訊區塊的框內寫碼(亦即，框內預測編碼)及框間寫碼(亦即，框間預測編碼)。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊的空間冗餘。 框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。對於多視圖視訊寫碼而言，框間寫碼亦依賴於跨越不同視圖之預測以減少或移除在視訊序列之同時顯示之圖框或圖像內之視訊中的冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間或視圖之壓縮模式中之任一者。
在圖8之實例中，視訊編碼器20包括分割單元35、預測處理單元41、參考圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動及差異估計單元42、運動及差異補償單元44及框內預測處理單元46。參考圖像記憶體64為視訊編碼器20之經解碼圖像緩衝器(DPB)之一個實例。
為了進行視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換處理單元60及求和器62。亦可包括解區塊濾波器(圖8中未展示)以對區塊邊界濾波從而自重建構之視訊移除方塊效應假影。若需要，解區塊濾波器將通常對求和器62之輸出濾波。除解區塊濾波器之外，亦可使用額外迴路濾波器(迴路內或迴路後)。
如圖8中所示，視訊編碼器20接收視訊資料，且分割單元35將資料分割成視訊區塊。此分割亦可包括分割成圖塊、影像塊(tile)或其他 較大單元以及視訊區塊分割(例如，根據LCU及CU之四分樹結構)。視訊編碼器20大體說明編碼待編碼之視訊圖塊內之視訊區塊的組件。可將圖塊劃分成多個視訊區塊(及可能地劃分成被稱作影像塊之多組視訊區塊)。預測處理單元41可基於錯誤結果(例如，寫碼速率及失真位準)針對當前視訊區塊來選擇複數個可能之寫碼模式中之一者(諸如，複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者)。預測處理單元41可將所得框內寫碼或框間寫碼區塊提供至求和器50以產生殘差區塊資料，且提供至求和器62以重建構供用作參考圖像之經編碼區塊。
預測處理單元41內之框內預測處理單元46可執行相對於與待寫碼之當前區塊在相同之圖框或圖塊中之一或多個鄰近區塊的對當前視訊區塊的框內預測寫碼以提供空間壓縮。預測處理單元41內之運動及差異估計單元42與運動及差異補償單元44執行相對於一或多個參考圖像及/或參考視圖中之一或多個預測性區塊的對當前視訊區塊的框間預測寫碼及/或視圖間寫碼以提供時間或視圖壓縮。
運動及差異估計單元42可經組態以根據視訊序列之預定型樣來判定用於視訊圖塊之框間預測模式及/或視圖間預測模式。預定型樣可將序列中之視訊圖塊指定為P圖塊或B圖塊。運動及差異估計單元42與運動及差異補償單元44可高度整合，但為了概念目的而分開地加以說明。由運動及差異估計單元42執行之運動及差異估計係產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示當前視訊圖框或圖像內之視訊區塊之PU相對於參考圖像內之預測性區塊的移位。由運動及差異估計單元42執行之差異估計係產生差異運動向量之程序，該等差異運動向量可用以自一不同視圖中之區塊來預測當前寫碼之區塊。
預測性區塊係被發現在像素差方面緊密地匹配待寫碼之視訊區 塊之PU的區塊，該像素差可藉由絕對差和(SAD)、平方差和(SSD)或其他差量度予以判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64中之參考圖像之次整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分率像素位置之值。因此，運動及差異估計單元42可執行相對於全像素位置及分率像素位置之運動搜尋，且輸出具有分率像素精度之運動向量。
運動及差異估計單元42藉由比較經框間寫碼或經視圖間預測圖塊中之視訊區塊之PU的位置與參考圖像之預測性區塊的位置來計算該PU之運動向量(用於運動補償型預測)及/或差異運動向量(用於差異補償型預測)。參考圖像可選自第一參考圖像清單(RefPicList0)或第二參考圖像清單(RefPicList1)，該第一參考圖像清單或該第二參考圖像清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動及差異估計單元42將所計算之運動向量及/或差異向量發送至熵編碼單元56與運動及差異補償單元44。
由運動及差異補償單元44執行之運動補償及/或差異補償可涉及基於由運動估計及/或差異估計判定之運動向量來提取或產生預測性區塊，從而可能地執行至子像素精度之內插。在接收到當前視訊區塊之PU之運動向量及/或差異時，運動及差異補償單元44便可在參考圖像清單中之一者中找到運動向量及/或差異向量所指向的預測性區塊。視訊編碼器20藉由自正被寫碼之當前視訊區塊之像素值減去預測性區塊之像素值來形成殘差視訊區塊，從而形成像素差值。該等像素差值形成區塊之殘差資料，且可包括明度差分量與色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動及差異補償單元44亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊時使用。
對於一些區塊而言，預測處理單元41可選擇框內預測模式而非框間預測模式。如上文所描述，作為由運動及差異估計單元42及運動及差異補償單元44執行之框間預測的替代例，框內預測處理單元46可對當前區塊進行框內預測。詳言之，框內預測處理單元46可判定用以編碼當前區塊之框內預測模式。在一些實例中，框內預測處理單元46可(例如)在分開之編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測處理單元46可自所測試之模式中選擇待使用之適當框內預測模式。舉例而言，框內預測處理單元46可使用針對各種所測試之框內預測模式之速率-失真分析來計算速率-失真值，且在所測試之模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與被編碼以產生該經編碼區塊的原始、未經編碼區塊之間的失真(或誤差)之量以及用以產生經編碼區塊之位元率(亦即，位元數目)。框內預測處理單元46可自各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現區塊之最佳速率-失真值。
在任何狀況下，在針對一區塊來選擇框內預測模式之後，框內預測處理單元46可將指示針對該區塊所選擇之框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可根據本發明之技術來編碼指示所選擇之框內預測模式的資訊。視訊編碼器20可在所傳輸之位元串流中包括組態資料，該組態資料可包括：複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦被稱作碼字映射表)、各種區塊之編碼上下文的定義，及待用於該等上下文中之每一者之最有可能的框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
在預測處理單元41經由框間預測抑或框內預測來產生用於當前視訊區塊之預測性區塊之後，視訊編碼器20藉由自當前視訊區塊減去 預測性區塊來形成殘差視訊區塊。殘差區塊中之殘差視訊資料可被包括於一或多個TU中且由變換處理單元52加以應用。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似之變換的變換而將殘差視訊資料變換為殘差變換係數。變換處理單元52可將殘差視訊資料自像素值域轉換至變換域(諸如，頻域)。
變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減小位元率。該量化程序可減小與該等係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。替代地，熵編碼單元56可執行掃描。
在量化之後，熵編碼單元56熵編碼經量化之變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在藉由熵編碼單元56進行之熵編碼之後，可將經編碼位元串流傳輸至視訊解碼器30或將經編碼位元串流封存以供稍後傳輸或由視訊解碼器30擷取。熵編碼單元56亦可熵編碼正被寫碼之當前視訊圖塊的運動向量及其他語法元素。
反量化單元58及反變換處理單元60分別應用反量化及反變換，以在像素域中重建構殘差區塊以供稍後用作參考圖像之參考區塊。運動及差異補償單元44可藉由將殘差區塊加至在參考圖像清單中之一者內之參考圖像中之一者的預測性區塊來計算參考區塊。運動及差異補償單元44亦可將一或多個內插濾波器應用於經重建構之殘差區塊以計算供用於運動估計中之次整數像素值。求和器62將經重建構之殘差區塊加至由運動及差異補償單元44產生之運動補償型預測區塊以產生供儲存於參考圖像記憶體64中之參考區塊。該參考區塊可由運動及差異 估計單元42與運動及差異補償單元44用作參考區塊以對後續之視訊圖框或圖像中之區塊進行框間預測。
以此方式，視訊編碼器20表示經組態以實施本發明中所描述之實例技術的視訊編碼器之實例。在一些實例中，預測處理單元41可經組態以實施本發明中所描述之技術。在一些實例中，一不同於預測處理單元41之組件或一結合預測處理單元41之組件可實施本發明中所描述之技術。
舉例而言，視訊編碼器20可經組態以判定候選參考圖像中之CLCU之位置。CLCU可與覆蓋當前圖像中之當前區塊的LCU同置。視訊編碼器20可基於候選參考圖像中之區塊相對於候選參考圖像內之CLCU之位置的位置來判定候選參考圖像中之該區塊是否可用。
若視訊編碼器20判定候選參考圖像中之區塊可用，則視訊編碼器20可判定候選參考圖像中之該區塊是否藉由差異運動向量加以框間預測。在本發明中所描述之技術中，差異運動向量參考用以對候選參考圖像中之區塊進行框間預測的參考圖像，且係在一不同於包括候選參考圖像之視圖的視圖中。若視訊編碼器20判定候選參考圖像中之區塊係藉由差異運動向量加以框間預測，則視訊編碼器20可自差異運動向量導出當前區塊之差異向量。視訊編碼器20可部分地基於差異向量來對當前區塊進行框間預測編碼(例如，作為視圖間殘差預測或視圖間運動預測之部分)。
若視訊編碼器20判定候選參考圖像中之區塊不可用，則視訊編碼器20可自一不同於候選參考圖像中之區塊(視訊編碼器20判定該區塊不可用)的區塊來導出當前區塊之差異向量。在一些實例中，候選參考圖像中之區塊可為在候選參考圖像中之同置型區域右下方的區塊，且其中候選參考圖像中之同置型區域係與當前區塊同置。
在一些實例中，若候選參考圖像中之區塊係在CLCU之底邊界外 部，則視訊編碼器20可判定候選參考圖像中之該區塊不可用。在一些實例中，若候選參考圖像中之區塊係在CLCU之底邊界外部或在候選參考圖像之右邊界或左邊界外部，則視訊編碼器20可判定候選參考圖像中之該區塊不可用。在一些實例中，若候選參考圖像中之區塊係在CLCU之底邊界外部或在候選參考圖像之右邊界外部，則視訊編碼器20可判定候選參考圖像中之該區塊不可用。在一些實例中，視訊編碼器20可判定在CLCU之底邊界或頂邊界外部或在候選參考圖像之邊界外部的任何區塊不可用。在一些實例中，若候選參考圖像中之區塊係在CLCU內或若該區塊定位於CLCU之右邊，則視訊編碼器20可判定該區塊可用。
圖9為說明可實施本發明中所描述之技術之實例視訊解碼器30的方塊圖。在圖9之實例中，視訊解碼器30包括熵解碼單元80、預測處理單元81、反量化單元86、反變換處理單元88、求和器90及參考圖像記憶體92。參考圖像記憶體92為視訊編碼器20之經解碼圖像緩衝器(DPB)之一個實例。
預測處理單元81包括運動及差異補償單元82與框內預測處理單元84。在一些實例中，視訊解碼器30可執行與關於來自圖8之視訊編碼器20所描述之編碼遍次大體上互反的解碼遍次。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收一表示經編碼視訊圖塊之視訊區塊及相關聯之語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元80熵解碼該位元串流以產生經量化之係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。視訊解碼器30可在視訊圖塊層級及/或視訊區塊層級處接收語法元素。
當視訊圖塊被寫碼為框內寫碼(I)圖塊時，預測處理單元81之框內預測處理單元84可基於所發信之框內預測模式及來自當前圖框或圖 像之先前解碼之區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。當視訊圖框被寫碼為框間寫碼(亦即，B或P)圖塊或視圖間預測型圖塊時，預測處理單元81之運動及差異補償單元82基於自熵解碼單元80接收之時間運動向量、差異運動向量及其他語法元素而產生用於當前視訊圖塊之視訊區塊的預測性區塊。可自參考圖像清單中之一者內之參考圖像中的一者產生該等預測性區塊。視訊解碼器30可基於儲存於參考圖像記憶體92中之參考圖像而使用預設建構技術來建構參考圖框清單(RefPicList0及RefPicList1)。
運動及差異補償單元82藉由剖析運動向量及其他語法元素來判定當前視訊圖塊之視訊區塊的預測資訊，且使用該預測資訊來產生用於正被解碼之當前視訊區塊的預測性區塊。舉例而言，運動及差異補償單元82使用所接收之語法元素中之一些來判定一用以寫碼視訊圖塊之視訊區塊的預測模式(例如，框內預測或框間預測)、框間預測或視圖間預測圖塊類型(例如，B圖塊或P圖塊)、用於圖塊之參考圖像清單中之一或多者的建構資訊、用於圖塊之每一經框間編碼視訊區塊的運動向量及/或差異向量、用於圖塊之每一經框間寫碼視訊區塊的框間預測狀態及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。
在一些實例中，運動及差異補償單元82可使用運動向量預測程序來判定指示運動向量之所發信之語法元素。運動向量預測程序可包括AMVP模式及合併模式。運動及差異補償單元82亦可基於內插濾波器來執行內插。運動及差異補償單元82可使用如由視訊編碼器20在視訊區塊之編碼期間所使用的內插濾波器來計算參考區塊之次整數像素的內插值。在此狀況下，運動及差異補償單元82可自所接收之語法元素來判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。
反量化單元86反量化(亦即，解量化)提供於位元串流中且由熵解 碼單元80解碼之經量化之變換係數。反量化程序可包括使用由視訊編碼器20針對視訊圖塊中之每一視訊區塊所計算之量化參數來判定量化之程度，且同樣地判定應予以應用之反量化的程度。反變換處理單元88將反變換(例如，反DCT、反整數變換或概念上類似之反變換程序)應用於變換係數以便在像素域中產生殘差區塊。
在運動及差異補償單元82基於運動向量及其他語法元素來產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由將來自反變換處理單元88之殘差區塊與由運動及差異補償單元82產生之對應之預測性區塊求和來形成經解碼視訊區塊。求和器90表示執行此求和運算之一或多個組件。若需要，亦可應用解區塊濾波器以對經解碼區塊濾波以便移除方塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路中抑或在寫碼迴路後)以使像素轉變平滑，或以其他方式改良視訊品質。一給定圖框或圖像中之經解碼視訊區塊接著被儲存於參考圖像記憶體92中，該參考圖像記憶體92儲存用於後續之運動補償的參考圖像。參考圖像記憶體92亦儲存供稍後在顯示器件(諸如，圖1之顯示器件32)上呈現的經解碼視訊。
以此方式，視訊解碼器30表示經組態以實施本發明中所描述之實例技術的視訊解碼器之實例。在一些實例中，預測處理單元81可經組態以實施本發明中所描述之技術。在一些實例中，一不同於預測處理單元81之組件或一結合預測處理單元81之組件可實施本發明中所描述之技術。
舉例而言，視訊解碼器30可經組態以判定候選參考圖像中之CLCU之位置。CLCU可與覆蓋當前圖像中之當前區塊的LCU同置。視訊解碼器30可基於候選參考圖像中之區塊相對於候選參考圖像內之CLCU之位置的位置來判定候選參考圖像中之該區塊是否可用。
若視訊解碼器30判定候選參考圖像中之區塊可用，則視訊解碼 器30可判定候選參考圖像中之該區塊是否藉由差異運動向量加以框間預測。在本發明中所描述之技術中，差異運動向量參考用以對候選參考圖像中之區塊進行框間預測的參考圖像，且係在一不同於包括候選參考圖像之視圖的視圖中。若視訊解碼器30判定候選參考圖像中之區塊係藉由差異運動向量加以框間預測，則視訊解碼器30可自差異運動向量導出當前區塊之差異向量。視訊解碼器30可部分地基於差異向量來對當前區塊進行框間預測解碼(例如，作為視圖間殘差預測或視圖間運動預測之部分)。
若視訊解碼器30判定候選參考圖像中之區塊不可用，則視訊解碼器30可自一不同於候選參考圖像中之區塊(視訊解碼器30判定該區塊不可用)的區塊來導出當前區塊之差異向量。在一些實例中，候選參考圖像中之區塊可為一在候選參考圖像中之同置型區域右下方的區塊，且其中候選參考圖像中之同置型區域係與當前區塊同置。
在一些實例中，若候選參考圖像中之區塊係在CLCU之底邊界外部，則視訊解碼器30可判定候選參考圖像中之該區塊不可用。在一些實例中，若候選參考圖像中之區塊係在CLCU之底邊界外部或在候選參考圖像之右邊界外部，則視訊解碼器30可判定候選參考圖像中之該區塊不可用。在一些實例中，若候選參考圖像中之區塊係在CLCU之底邊界外部或在候選參考圖像之右邊界或左邊界外部，則視訊解碼器30可判定候選參考圖像中之該區塊不可用。在一些實例中，視訊解碼器30可判定在CLCU之底邊界或頂邊界外部或在候選參考圖像之邊界外部的任何區塊不可用。在一些實例中，若候選參考圖像中之區塊係在CLCU內或若該區塊定位於CLCU之右邊，則視訊解碼器30可判定該區塊可用。
圖10為說明根據本發明中所描述之一或多個實例技術之實例操作的流程圖。可藉由視訊編碼器20及/或視訊解碼器30來實施關於圖 10所描述之技術。為了描述之容易，使用術語視訊寫碼器來泛指視訊編碼器20及視訊解碼器30。在此等實例中，術語寫碼可指編碼(當由視訊編碼器20執行時)，或可指解碼(當由視訊解碼器30執行時)。在本發明中所描述之技術中，可由微處理器或積體電路(IC)組成視訊寫碼器。在一些實例中，無線通信器件可包含視訊寫碼器。
視訊寫碼器可判定候選參考圖像中之同置型最大寫碼單元(CLCU)之位置(100)。舉例而言，為了進行編碼及解碼，該等技術可針對判定候選參考圖像中之同置型最大寫碼單元(CLCU)之位置。 CLCU係與一覆蓋當前圖像中之當前區塊的最大寫碼單元(LCU)同置。視訊寫碼器可基於候選參考圖像中之區塊相對於候選參考圖像內之CLCU之位置的位置來判定候選參考圖像中之該區塊是否可用(102)。例如，該等技術可針對基於候選參考圖像中之區塊相對於候選參考圖像內之CLCU之位置的位置來判定候選參考圖像中之該區塊是否可用。
若候選參考圖像中之區塊可用，則視訊寫碼器可判定候選參考圖像中之該區塊是否藉由差異運動向量加以框間預測(104)。例如，該等技術可針對判定候選參考圖像中之區塊是否藉由差異運動向量加以框間預測。在本發明中所描述之技術中，差異運動向量參考用以對候選參考圖像中之區塊進行框間預測的參考圖像，且係在一不同於包括候選參考圖像之視圖的視圖中。若候選參考圖像中之區塊係藉由差異運動向量加以框間預測，則視訊寫碼器可自差異運動向量導出當前區塊之差異向量(106)。例如，該等技術可針對在候選參考圖像中之區塊係藉由差異運動向量加以框間預測的情況下自差異運動向量導出當前區塊之差異向量。
視訊寫碼器可部分地基於差異向量來對當前區塊進行框間預測寫碼(亦即，使用框間預測來寫碼當前區塊)(108)。在視訊寫碼器為視 訊編碼器20的實例中，視訊編碼器20可基於差異向量來對當前區塊進行框間預測編碼，且在視訊寫碼器為視訊解碼器30的實例中，視訊解碼器30可基於差異向量來對當前區塊進行框間預測解碼。例如，視訊編碼器20及視訊解碼器30可分別對當前區塊進行框間預測編碼或框間預測解碼，以作為視圖間殘差預測或視圖間運動預測之部分。
以下內容提供用以應用約束將候選參考圖像中之哪些區塊視為可用之技術的實施實例。該等技術可適用於右下區塊且係關於3D-HEVC規範文字加以描述。該等修改為粗體及斜體，且刪除部分係在雙括號中。
在一種狀況下，時間鄰近區塊(BR區塊)應在覆蓋當前PU之同置型區域的LCU內或在覆蓋當前PU之同置型區域的LCU右側。
至此程序之輸入係：
- 指定當前明度預測區塊之左上樣本(相對於當前圖像之左上明度樣本)的明度位置(xP,yP)
- 指定明度預測區塊之寬度及高度的變數nPbW及nPbH
此程序之輸出係：- 差異向量mvDisp，- 可用性旗標availableFlag。
藉由以下有序步驟來導出指定當前明度預測區塊之右下明度預測區塊之位置的明度位置(xPRb,yPRb)及指定右下明度預測區塊之可用性的旗標availableRb：
1. 如下導出右下明度預測區塊之位置的垂直分量。
yPRb=yP+nPbH
2. 如下導出右下明度預測區塊之位置的水平分量。
xPRb=xP+nPbW
3. 若(yP>>Log2CtbSizeY)等於(yPRb>>Log2CtbSizeY) ，且 xPRb小於pic_width_in_luma_samples[[且yPRb小於pic_height_in_luma_samples]]，則將availableRb設定為等於1。否則，將availableRb設定為等於0。
在另一狀況下，當時間鄰近區塊係在CLCU外部(在底部)時，將該時間鄰近區塊之上部區塊用作時間鄰近區塊。
至此程序之輸入係：- 指定當前明度預測區塊之左上樣本(相對於當前圖像之左上明度樣本)的明度位置(xP,yP)，- 指定明度預測區塊之寬度及高度的變數nPbW及nPbH。
此程序之輸出係：- 差異向量mvDisp，- 可用性旗標availableFlag。
藉由以下有序步驟來導出指定當前明度預測區塊之右下明度預測區塊之位置的明度位置(xPRb,yPRb)及指定右下明度預測區塊之可用性的旗標availableRb：
1. 如下導出右下明度預測區塊之位置的垂直分量。
yPRb=yP+nPbH
若(yP>>Log2CtbSizeY)不等於(yPRb>>Log2CtbSizeY)，則將yPRb設定為等於(((yP>>Log2CtbSizeY)<<Log2CtbSizeY)+CtbSizeY-4)。
2. 如下導出右下明度預測區塊之位置的水平分量。
xPRb=xP+nPbW
3. 若xPRb小於pic_width_in_luma_samples[[且yPRb小於pic_height_in_luma_samples]]，則將availableRb設定為等於1。否則，將availableRb設定為等於0。
替代地，加亮部分可被更換為： 若(yP>>Log2CtbSizeY)不等於 (yPRb>>Log2CtbSizeY)，則yPRb被設定為等於(yP+nPbH-1) 。
在一或多個實例中，可以硬體、軟體、韌體或其任何組合來實施所描述之功能。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)。以此方式，電腦可讀媒體大體可對應於非暫時性的有形電腦可讀儲存媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，將任何連接恰當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則將同軸電纜、光纜、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為係針對非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可藉由諸如以下各者之一或多個處理器來執行指令：一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、 場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路。因此，如本文中所使用，術語「處理器」可指上述結構或適於實施本文中所描述之技術之任何其他結構中的任一者。另外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，可將該等技術完全實施於一或多個電路或邏輯元件中。
可將本發明之技術實施於廣泛多種器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或一組IC(例如，晶片集)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示之技術之器件的功能態樣，但該等組件、模組或單元未必要求藉由不同硬體單元來實現。相反，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或藉由結合合適之軟體及/或韌體的互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合來提供該等單元。
已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。

Claims (30)

  1. 一種用於解碼視訊資料之方法，該方法包含：判定一候選參考圖像中之一同置型最大寫碼單元(CLCU)之一位置，其中該CLCU係與一覆蓋該視訊資料之一當前圖像中之一當前區塊的最大寫碼單元(LCU)同置；基於該候選參考圖像中之一區塊相對於該候選參考圖像內之該CLCU之一位置的一位置來判定該候選參考圖像中之該區塊是否可用；若該候選參考圖像中之該區塊可用，則判定該候選參考圖像中之該區塊是否藉由一差異運動向量加以框間預測，其中該差異運動向量參考一用以對該候選參考圖像中之該區塊進行框間預測的參考圖像且係在一不同於一包括該候選參考圖像之視圖的視圖中；若該候選參考圖像中之該區塊係藉由該差異運動向量加以框間預測，則自該差異運動向量導出該當前區塊之一差異向量；及部分地基於該差異向量來對該當前區塊進行框間預測解碼。
  2. 如請求項1之方法，其中判定該候選參考圖像中之該區塊是否可用包含：若該候選參考圖像中之該區塊係在該CLCU之一底邊界外部或在該候選參考圖像之一右邊界外部，則判定該候選參考圖像中之該區塊不可用。
  3. 如請求項1之方法，其中判定該候選參考圖像中之該區塊是否可用包含：若該候選參考圖像中之該區塊係在該CLCU之一底邊界外部，則判定該候選參考圖像中之該區塊不可用。
  4. 如請求項1之方法，其中該候選參考圖像中之該區塊包含一在該 候選參考圖像中之一同置型區域之右下方的區塊，且其中該候選參考圖像中之該同置型區域係與該當前區塊同置。
  5. 如請求項1之方法，其中判定該候選參考圖像中之該區塊是否可用包含：若該候選參考圖像中之該區塊係在該CLCU之一底邊界外部或在該候選參考圖像之一右邊界或左邊界外部，則判定該候選參考圖像中之該區塊不可用。
  6. 如請求項1之方法，其中判定該候選參考圖像中之該區塊是否可用包含：若該候選參考圖像中之該區塊係在該CLCU內或若該區塊被定位至該CLCU之右邊，則判定該區塊可用。
  7. 如請求項1之方法，其另外包含：若該候選參考圖像中之該區塊不可用，則自一不同於該候選參考圖像中之經判定為不可用之該區塊的區塊導出該當前區塊之該差異向量。
  8. 一種用於編碼視訊資料之方法，該方法包含：判定一候選參考圖像中之一同置型最大寫碼單元(CLCU)之一位置，其中該CLCU係與一覆蓋該視訊資料之一當前圖像中之一當前區塊的最大寫碼單元(LCU)同置；基於該候選參考圖像中之一區塊相對於該候選參考圖像內之該CLCU之一位置的一位置來判定該候選參考圖像中之該區塊是否可用；若該候選參考圖像中之該區塊可用，則判定該候選參考圖像中之該區塊是否藉由一差異運動向量加以框間預測，其中該差異運動向量參考一用以對該候選參考圖像中之該區塊進行框間預測的參考圖像且係在一不同於一包括該候選參考圖像之視圖的視圖中；若該候選參考圖像中之該區塊係藉由該差異運動向量加以框 間預測，則自該差異運動向量導出該當前區塊之一差異向量；及部分地基於該差異向量來對該當前區塊進行框間預測編碼。
  9. 如請求項8之方法，其中判定該候選參考圖像中之該區塊是否可用包含：若該候選參考圖像中之該區塊係在該CLCU之一底邊界外部或在該候選參考圖像之一右邊界外部，則判定該候選參考圖像中之該區塊不可用。
  10. 如請求項8之方法，其中判定該候選參考圖像中之該區塊是否可用包含：若該候選參考圖像中之該區塊係在該CLCU之一底邊界外部，則判定該候選參考圖像中之該區塊不可用。
  11. 如請求項8之方法，其中該候選參考圖像中之該區塊包含一在該候選參考圖像中之一同置型區域之右下方的區塊，且其中該候選參考圖像中之該同置型區域係與該當前區塊同置。
  12. 如請求項8之方法，其中判定該候選參考圖像中之該區塊是否可用包含：若該候選參考圖像中之該區塊係在該CLCU之一底邊界外部或在該候選參考圖像之一右邊界或左邊界外部，則判定該候選參考圖像中之該區塊不可用。
  13. 如請求項8之方法，其中判定該候選參考圖像中之該區塊是否可用包含：若該候選參考圖像中之該區塊係在該CLCU內或若該區塊被定位至該CLCU之右邊，則判定該區塊可用。
  14. 如請求項8之方法，其另外包含：若該候選參考圖像中之該區塊不可用，則自一不同於該候選參考圖像中之經判定為不可用之該區塊的區塊導出該當前區塊之該差異向量。
  15. 一種包含一視訊寫碼器之器件，該視訊寫碼器經組態以：判定一候選參考圖像中之一同置型最大寫碼單元(CLCU)之一 位置，其中該CLCU係與一覆蓋一當前圖像中之一當前區塊的最大寫碼單元(LCU)同置；基於該候選參考圖像中之一區塊相對於該候選參考圖像內之該CLCU之一位置的一位置來判定該候選參考圖像中之該區塊是否可用；若該候選參考圖像中之該區塊可用，則判定該候選參考圖像中之該區塊是否藉由一差異運動向量加以框間預測，其中該差異運動向量參考一用以對該候選參考圖像中之該區塊進行框間預測的參考圖像且係在一不同於一包括該候選參考圖像之視圖的視圖中；若該候選參考圖像中之該區塊係藉由該差異運動向量加以框間預測，則自該差異運動向量導出該當前區塊之一差異向量；及部分地基於該差異向量來對該當前區塊進行框間預測寫碼。
  16. 如請求項15之器件，其中，為了判定該候選參考圖像中之該區塊是否可用，該視訊寫碼器經組態以：若該候選參考圖像中之該區塊係在該CLCU之一底邊界外部或在該候選參考圖像之一右邊界外部，則判定該候選參考圖像中之該區塊不可用。
  17. 如請求項15之器件，其中該視訊寫碼器經組態以：若該候選參考圖像中之該區塊係在該CLCU之一底邊界外部，則判定該候選參考圖像中之該區塊不可用。
  18. 如請求項15之器件，其中該候選參考圖像中之該區塊包含一在該候選參考圖像中之一同置型區域之右下方的區塊，且其中該候選參考圖像中之該同置型區域係與該當前區塊同置。
  19. 如請求項15之器件，其中該視訊寫碼器經組態以：若該候選參考圖像中之該區塊係在該CLCU之一底邊界外部或在該候選參考 圖像之一右邊界或左邊界外部，則判定該候選參考圖像中之該區塊不可用。
  20. 如請求項15之器件，其中該視訊寫碼器經組態以：若該候選參考圖像中之該區塊係在該CLCU內或若該區塊被定位至該CLCU之右邊，則判定該區塊可用。
  21. 如請求項15之器件，其中，若該候選參考圖像中之該區塊不可用，則該視訊寫碼器經組態以自一不同於該候選參考圖像中之經判定為不可用之該區塊的區塊導出該當前區塊之該差異向量。
  22. 如請求項15之器件，其中該視訊寫碼器包含一視訊解碼器，且其中該視訊解碼器經組態以部分地基於該差異向量來對該當前區塊進行框間預測解碼。
  23. 如請求項15之器件，其中該視訊寫碼器包含一視訊編碼器，且其中該視訊編碼器經組態以部分地基於該差異向量來對該當前區塊進行框間預測編碼。
  24. 如請求項15之器件，其中該器件包含以下各者中之一者：一積體電路(IC)；一微處理器；及一包含該視訊寫碼器之無線通信器件。
  25. 一種用於寫碼視訊資料之器件，該器件包含：用於判定一候選參考圖像中之一同置型最大寫碼單元(CLCU)之一位置的構件，其中該CLCU係與一覆蓋該視訊資料之一當前圖像中之一當前區塊的最大寫碼單元(LCU)同置；用於基於該候選參考圖像中之一區塊相對於該候選參考圖像內之該CLCU之一位置的一位置來判定該候選參考圖像中之該區塊是否可用的構件； 用於在該候選參考圖像中之該區塊可用的情況下判定該候選參考圖像中之該區塊是否藉由一差異運動向量加以框間預測的構件，其中該差異運動向量參考一用以對該候選參考圖像中之該區塊進行框間預測的參考圖像且係在一不同於一包括該候選參考圖像之視圖的視圖中；用於在該候選參考圖像中之該區塊係藉由該差異運動向量加以框間預測的情況下自該差異運動向量導出該當前區塊之一差異向量的構件；及用於部分地基於該差異向量來對該當前區塊進行框間預測寫碼的構件。
  26. 如請求項25之器件，其中該用於判定該候選參考圖像中之該區塊是否可用的構件包含：用於在該候選參考圖像中之該區塊係在該CLCU之一底邊界外部或在該候選參考圖像之一右邊界外部的情況下判定該候選參考圖像中之該區塊不可用的構件。
  27. 如請求項25之器件，其另外包含：用於在該候選參考圖像中之該區塊不可用的情況下自一不同於該候選參考圖像中之經判定為不可用之該區塊的區塊導出該當前區塊之該差異向量的構件。
  28. 一種電腦可讀儲存媒體，其具有儲存於其上之指令，該等指令在由一用於寫碼視訊資料之器件之一或多個處理器執行時使該一或多個處理器：判定一候選參考圖像中之一同置型最大寫碼單元(CLCU)之一位置，其中該CLCU係與一覆蓋該視訊資料之一當前圖像中之一當前區塊的最大寫碼單元(LCU)同置；基於該候選參考圖像中之一區塊相對於該候選參考圖像內之該CLCU之一位置的一位置來判定該候選參考圖像中之該區塊是 否可用；若該候選參考圖像中之該區塊可用，則判定該候選參考圖像中之該區塊是否藉由一差異運動向量加以框間預測，其中該差異運動向量參考一用以對該候選參考圖像中之該區塊進行框間預測的參考圖像且係在一不同於一包括該候選參考圖像之視圖的視圖中；若該候選參考圖像中之該區塊係藉由該差異運動向量加以框間預測，則自該差異運動向量導出該當前區塊之一差異向量；及部分地基於該差異向量來對該當前區塊進行框間預測寫碼。
  29. 如請求項28之電腦可讀儲存媒體，其中使該一或多個處理器判定該候選參考圖像中之該區塊是否可用的該等指令包含使該一或多個處理器執行以下步驟的指令：若該候選參考圖像中之該區塊係在該CLCU之一底邊界外部或在該候選參考圖像之一右邊界外部，則判定該候選參考圖像中之該區塊不可用。
  30. 如請求項28之電腦可讀儲存媒體，其另外包含使該一或多個處理器執行以下步驟之指令：若該候選參考圖像中之該區塊不可用，則自一不同於該候選參考圖像中之經判定為不可用之該區塊的區塊導出該當前區塊之該差異向量。
TW102147651A 2012-12-21 2013-12-20 針對三維（３ｄ）視訊之基於鄰近區塊的差異向量之約束 TWI536812B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261745450P 2012-12-21 2012-12-21
US14/133,951 US9438926B2 (en) 2012-12-21 2013-12-19 Constraints on neighboring block based disparity vector (NBDV) techniques for 3D video

Publications (2)

Publication Number Publication Date
TW201436540A true TW201436540A (zh) 2014-09-16
TWI536812B TWI536812B (zh) 2016-06-01

Family

ID=50974642

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102147651A TWI536812B (zh) 2012-12-21 2013-12-20 針對三維（３ｄ）視訊之基於鄰近區塊的差異向量之約束

Country Status (3)

Country Link
US (1) US9438926B2 (zh)
TW (1) TWI536812B (zh)
WO (1) WO2014100610A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170108A (zh) * 2018-11-27 2021-07-23 Op方案有限责任公司 使用显式和隐式信令对不可用参考帧进行自适应块更新

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014107853A1 (en) * 2013-01-09 2014-07-17 Mediatek Singapore Pte. Ltd. Methods for disparity vector derivation
WO2014166116A1 (en) * 2013-04-12 2014-10-16 Mediatek Inc. Direct simplified depth coding
WO2015188297A1 (zh) * 2014-06-08 2015-12-17 北京大学深圳研究生院 加权跳过模式的视频图像块压缩算术编解码方法及装置
US9787939B1 (en) * 2014-11-19 2017-10-10 Amazon Technologies, Inc. Dynamic viewing perspective of remote scenes
US20190253624A1 (en) * 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
KR102531386B1 (ko) 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
US10645380B2 (en) * 2018-07-09 2020-05-05 Tencent America LLC Method and apparatus for video coding
KR20200056951A (ko) * 2018-11-15 2020-05-25 한국전자통신연구원 지역 기반 화면간/화면내 예측 기술을 이용한 부호화/복호화 방법 및 장치
US11432004B2 (en) * 2019-04-25 2022-08-30 Hfi Innovation Inc. Method and apparatus of constraining merge flag signaling in video coding
EP4011077A4 (en) 2019-09-13 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SAMPLE WEIGHTED BIDIRECTIONAL PREDICTION IN VIDEO CODING
US11880845B2 (en) * 2022-02-18 2024-01-23 Visa International Service Association System, method, and computer program product for real-time account level rule exclusion for real-time payments

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5747559B2 (ja) 2011-03-01 2015-07-15 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び動画像復号プログラム
US9143795B2 (en) 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
US9247266B2 (en) 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
US9866859B2 (en) 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
WO2012171442A1 (en) 2011-06-15 2012-12-20 Mediatek Inc. Method and apparatus of motion and disparity vector prediction and compensation for 3d video coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170108A (zh) * 2018-11-27 2021-07-23 Op方案有限责任公司 使用显式和隐式信令对不可用参考帧进行自适应块更新

Also Published As

Publication number Publication date
WO2014100610A1 (en) 2014-06-26
TWI536812B (zh) 2016-06-01
US20140177720A1 (en) 2014-06-26
US9438926B2 (en) 2016-09-06

Similar Documents

Publication Publication Date Title
JP6585200B2 (ja) ビデオコード化における視差ベクトル予測
CN112956190B (zh) 仿射运动预测
TWI536812B (zh) 針對三維（３ｄ）視訊之基於鄰近區塊的差異向量之約束
TWI544788B (zh) 用於視圖間或層間參考圖像之位元串流約束及運動向量限制
JP6337104B2 (ja) テクスチャコーディングのためのより正確な高度残差予測（ａｒｐ）
JP6185143B2 (ja) スキップおよびダイレクトモード用の３ｄビデオコーディングにおける視差ベクトル導出
JP6522629B2 (ja) ３ｄビデオコード化のためのブロックベースの高度残差予測
TWI538482B (zh) 於可擴展及多視角視訊寫碼之進階殘差預測
JP6419808B2 (ja) ビデオコーディングのための照明補償を処理すること
TWI539796B (zh) 視差向量推導
JP6231203B2 (ja) ビデオコード化における視差ベクトルを使用するブロック識別
TWI543591B (zh) 寫碼視訊資料之方法、用於寫碼視訊資料之裝置及電腦可讀儲存媒體
TWI501611B (zh) 用於３ｄ視訊之視圖間預測之運動向量
JP2019068448A (ja) ３ｄビデオコーディングにおける視差ベクトル導出および動きベクトル予測の簡略化
TW201742465A (zh) 用於視訊寫碼之仿射運動預測
TW201640893A (zh) 以子預測單元為基礎之先進時間運動向量預測
TW201342883A (zh) 在使用深度之３ｄ視訊寫碼中的多重假設差異向量建立
TW201352008A (zh) 在高效率視訊寫碼及其擴充中之運動向量寫碼及雙向預測
CN114503584A (zh) 基于历史的运动矢量预测
TW201429263A (zh) 基於高效率視訊寫碼之視訊資訊之可縮放寫碼之裝置及方法
JP6359681B2 (ja) ３ｄ−ｈｅｖｃのための簡略化された高度残差予測
CN113039787A (zh) 解码器侧运动矢量细化
JP2018174558A (ja) ３ｄ−ｈｅｖｃのための簡略化された高度残差予測

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees