TW201448576A - 視訊寫碼中之視差向量改進 - Google Patents

視訊寫碼中之視差向量改進 Download PDF

Info

Publication number
TW201448576A
TW201448576A TW103105319A TW103105319A TW201448576A TW 201448576 A TW201448576 A TW 201448576A TW 103105319 A TW103105319 A TW 103105319A TW 103105319 A TW103105319 A TW 103105319A TW 201448576 A TW201448576 A TW 201448576A
Authority
TW
Taiwan
Prior art keywords
disparity vector
current block
video
view
block
Prior art date
Application number
TW103105319A
Other languages
English (en)
Other versions
TWI551121B (zh
Inventor
Je-Won Kang
Ying Chen
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201448576A publication Critical patent/TW201448576A/zh
Application granted granted Critical
Publication of TWI551121B publication Critical patent/TWI551121B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種視訊寫碼器件執行多視圖視訊資料之一當前區塊的一視差向量導出過程。該當前區塊在一當前視圖中。一可用性值指示在該視差向量導出過程未能導出該當前區塊的一視差向量時該當前區塊之該視差向量不可用。當該可用性值指示該視差向量導出過程尚未導出該當前區塊之該視差向量時，該視訊寫碼器件以另一方式產生該當前區塊之一視差向量。

Description

視訊寫碼中之視差向量改進
本申請案主張2013年3月22日申請之美國臨時專利申請案第61/804,583號之權利，該申請案之整個內容以引用之方式併入本文中。
本發明係關於視訊編碼及解碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板型電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主機、蜂巢式或衛星無線電電話、所謂的「智慧型手機」、視訊電話會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC))界定之標準、目前在開發中的高效視訊寫碼(HEVC)標準，及此等標準之擴展中描述之彼等技術。視訊器件可藉由實施此等視訊壓縮技術而效率較高地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測，以減少或移除視訊序列中所固有之冗餘。對於基於區塊之視訊寫碼，視訊截塊(亦即，視訊圖框或視訊圖框之一部分)可經分割成視訊區塊。 圖像之框內寫碼(I)截塊中的視訊區塊使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之框間寫碼(P或B)截塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本之時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間預測或時間預測導致待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及殘餘資料指示經寫碼區塊與預測性區塊之間的差來編碼框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致殘餘係數，可接著量化殘餘係數。可掃描最初配置成二維陣列之經量化之係數以便產生係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
多視圖寫碼位元串流可藉由(例如)自多個透視圖編碼視圖來產生。已開發出利用多視圖寫碼態樣的一些三維(3D)視訊標準。舉例而言，不同視圖可傳輸左及右眼視圖以支援3D視訊。替代地，一些3D視訊寫碼過程可應用所謂多視圖加深度寫碼。在多視圖加深度寫碼中，3D視訊位元串流可含有不僅紋理視圖分量，而且含有深度視圖分量。舉例而言，每一視圖可包含一個紋理視圖分量及一個深度視圖分量。
一般而言，本發明係關於多視圖視訊寫碼。更具體而言，一種視訊寫碼器可執行多視圖視訊資料之當前區塊的視差向量導出過程。當視差向量導出過程並不產生可用視差向量時，視訊寫碼器可執行視差向量改進過程以產生當前區塊的經改進之視差向量。在支援回溯視圖合成預測時，本發明之技術可適用於視差向量導出。
在一個實例中，本發明描述一種用於解碼多視圖視訊資料之方法，該方法包含：執行該多視圖視訊資料之一當前區塊的一視差向量導出過程，該當前區塊係在一當前視圖中；設定一可用性值，使得該可用性值指示在該視差向量導出過程未能導出該當前區塊的一視差向量時，該當前區塊的該視差向量不可用；當該可用性值指示該當前區塊之該視差向量不可用時，藉由執行存取一參考視圖之一深度視圖分量的一視差向量改進過程來產生該當前區塊的一經改進之視差向量；及基於該當前區塊之該經改進之視差向量解碼該當前區塊。
在另一實例中，本發明描述一種用於編碼多視圖視訊資料之方法，該方法包含：執行該多視圖視訊資料之一當前區塊的一視差向量導出過程，該當前區塊係在一當前視圖中；設定一可用性值，使得該可用性值指示在該視差向量導出過程未能導出該當前區塊的一視差向量時，該當前區塊的該視差向量不可用；當該可用性值指示該當前區塊之該視差向量不可用時，藉由執行存取一參考視圖之一深度視圖分量的一視差向量改進過程來產生該當前區塊的一經改進之視差向量；及基於該當前區塊之該經改進之視差向量編碼該當前區塊。
在另一實例中，本發明描述一種包含儲存多視圖視訊資料之一記憶體及一或多個處理器的視訊寫碼器件，該一或多個處理器經組態以：執行該多視圖視訊資料之一當前區塊的一視差向量導出過程，該當前區塊係在一當前視圖中；設定一可用性值，使得該可用性值指示在該視差向量導出過程未能導出該當前區塊的一視差向量時，該當前區塊的該視差向量不可用；及當該可用性值指示該當前區塊之該視差向量不可用時，執行一視差向量改進過程以產生該當前區塊的一經改進之視差向量。
在另一實例中，本發明描述一種視訊寫碼器件，其包含：用於執行多視圖視訊資料之一當前區塊的一視差向量導出過程的構件，該 當前區塊係在一當前視圖中；用於設定一可用性值，使得該可用性值指示在該視差向量導出過程未能導出該當前區塊的一視差向量時，該當前區塊的該視差向量不可用的構件；及用於在該可用性值指示該當前區塊之該視差向量不可用時，藉由執行存取一參考視圖之一深度視圖分量的一視差向量改進過程來產生該當前區塊的一經改進之視差向量之構件。
在另一實例中，本發明描述一種上面儲存有指令之非暫時性電腦可讀資料儲存媒體，該等指令在執行時組態一或多個處理器以：執行多視圖視訊資料之一當前區塊的一視差向量導出過程，該當前區塊係在一當前視圖中；設定一可用性值，使得該可用性值指示在該視差向量導出過程未能導出該當前區塊的一視差向量時，該當前區塊的該視差向量不可用；及當該可用性值指示該視差向量導出過程尚未導出該當前區塊之該視差向量時，藉由執行存取一參考視圖之一深度視圖分量的一視差向量改進過程來產生該當前區塊的一經改進之視差向量。
在另一實例中，本發明描述一種用於解碼多視圖視訊資料之方法，該方法包含：執行該多視圖視訊資料之一當前區塊的一視差向量導出過程，該當前區塊係在一當前視圖中；當該視差向量導出過程判定該當前區塊之一視差向量不可用時，藉由將一偏移添加至一零視差向量來判定該當前區塊的該視差向量；及基於該當前區塊之該視差向量解碼該當前區塊。
在另一實例中，本發明描述一種用於編碼多視圖視訊資料之方法，該方法包含：執行該多視圖視訊資料之一當前區塊的一視差向量導出過程，該當前區塊係在一當前視圖中；當該視差向量導出過程判定該當前區塊之一視差向量不可用時，藉由將一偏移添加至一零視差向量來判定該當前區塊的該視差向量；及基於該當前區塊之該視差向 量編碼該當前區塊。
在另一實例中，本發明描述一種用於寫碼多視圖視訊資料的器件，該器件包含儲存多視圖視訊資料之一記憶體及一或多個處理器，該一或多個處理器經組態以：執行該多視圖視訊資料之一當前區塊的一視差向量導出過程，該當前區塊係在一當前視圖中；當該視差向量導出過程判定該當前區塊之一視差向量不可用時，藉由將一偏移添加至一零視差向量來判定該當前區塊的該視差向量；及基於該當前區塊之該視差向量寫碼該當前區塊。
在另一實例中，本發明描述一種用於寫碼多視圖視訊資料之器件，該器件包含：用於執行該多視圖視訊資料之一當前區塊的一視差向量導出過程的構件，該當前區塊係在一當前視圖中；用於當該視差向量導出過程判定該當前區塊之一視差向量不可用時，藉由將一偏移添加至一零視差向量來判定該當前區塊的該視差向量之構件；及用於基於該當前區塊之該視差向量寫碼該當前區塊的構件。
在另一實例中，本發明描述一種上面儲存有指令之非暫時性電腦可讀資料儲存媒體，該等指令在由用於寫碼多視圖視訊資料的一器件之一或多個處理器執行時使得該器件以：執行該多視圖視訊資料之一當前區塊的一視差向量導出過程，該當前區塊係在一當前視圖中；當該視差向量導出過程判定該當前區塊之一視差向量不可用時，藉由將一偏移添加至一零視差向量來判定該當前區塊的該視差向量；及基於該當前區塊之該視差向量寫碼該當前區塊。
在隨附圖式及以下描述中闡述本發明之一或多個實例的細節。其他特徵、目標及優點自描述、圖式及申請專利範圍將係顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧通道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
40‧‧‧預測單元(PU)
60‧‧‧當前紋理圖像
62‧‧‧參考紋理圖像
64‧‧‧當前區塊
66‧‧‧視差向量
68‧‧‧區塊/視差向量
100‧‧‧預測處理單元
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換處理單元
112‧‧‧重建構單元
114‧‧‧濾波器單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
122‧‧‧運動估計單元
124‧‧‧運動補償單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
151‧‧‧經寫碼圖像緩衝器(CPB)
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反變換處理單元
158‧‧‧重建構單元
160‧‧‧濾波器單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
166‧‧‧框內預測處理單元
200‧‧‧實例操作
250‧‧‧實例操作
300‧‧‧實例操作
350‧‧‧實例操作
S0‧‧‧視圖
S1‧‧‧視圖
S2‧‧‧視圖
S3‧‧‧視圖
S4‧‧‧視圖
S5‧‧‧視圖
S6‧‧‧視圖
S7‧‧‧視圖
T0‧‧‧存取單元
T1‧‧‧存取單元
T2‧‧‧存取單元
T3‧‧‧存取單元
T4‧‧‧存取單元
T5‧‧‧存取單元
T6‧‧‧存取單元
T7‧‧‧存取單元
T8‧‧‧存取單元
T9‧‧‧存取單元
T10‧‧‧存取單元
T11‧‧‧存取單元
圖1為說明可利用本發明中所描述之技術的實例視訊寫碼系統之方塊圖。
圖2為說明實例空間相鄰預測單元(PU)相對於當前PU之概念圖。
圖3為說明實例多視圖解碼次序之概念圖。
圖4為說明多視圖寫碼之實例預測結構之概念圖。
圖5為說明自參考視圖之深度區塊導出以執行回溯視圖合成預測(BVSP)之概念圖。
圖6為說明可實施本發明中所描述之技術的實例視訊編碼器之方塊圖。
圖7為說明可實施本發明中所描述之技術的實例視訊解碼器之方塊圖。
圖8係根據本發明之一或多項技術的說明一視訊解碼器解碼多視圖視訊資料之實例操作之流程圖。
圖9係根據本發明之一或多項技術的說明一視訊編碼器編碼多視圖視訊資料之實例操作之流程圖。
圖10係根據本發明之一或多項額外技術的說明一視訊解碼器解碼多視圖視訊資料之實例操作之流程圖。
圖11係根據本發明之一或多項額外技術的說明一視訊編碼器編碼多視圖視訊資料之實例操作之流程圖。
高效率視訊寫碼(HEVC)為新開發之視訊寫碼標準。3D-HEVC為HEVC之用於三維視訊資料的擴展版本。3D-HEVC提供同一場景之來自不同視點的多個視圖。3D-HEVC之標準化努力包括多視圖視訊寫碼解碼器基於HEVC的標準化。在3D-HEVC中，啟用基於來自不同視圖之經重建構視圖分量的視圖間預測。為了進一步改善寫碼效率，兩個新寫碼工具(即視圖間運動預測及視圖間殘餘預測)已在3D-HEVC之參考軟體的一些版本中被採用。
在3D-HEVC中，視圖間運動預測類似於用於標準HEVC中之運動 補償，且可利用相同或類似語法元素。合併模式、跳過模式及增強型運動向量預測(AMVP)模式係實例類型之運動預測。當視訊寫碼器執行對預測單元(PU)之視圖間運動預測時，視訊寫碼器可使用圖像作為運動資訊之源，該圖像係在與PU相同之存取單元中但在不同視圖中。相反，習知運動補償僅使用不同存取單元中之圖像作為參考圖像。因此，在3D-HEVC中，相依視圖中之區塊的運動參數可基於同一存取單元之其他視圖中的已經寫碼運動參數進行預測或推斷。
當視訊寫碼器執行運動預測時，視訊寫碼器可在當前PU之運動資訊使用合併模式、跳過模式或AMVP模式發信時產生候選者清單(例如，合併候選者清單或AMVP候選者清單)。為了實施3D-HEVC中之視圖間運動預測，候選者清單可包括視圖間預測運動向量候選者。視訊寫碼器可以與候選者清單中之其他候選者相同的方式來使用視圖間預測運動向量候選者。視圖間預測運動向量候選者可指定視差參考圖像之PU(亦即，參考PU)的運動資訊。視差參考圖像可在與當前PU相同之存取單元中，但在與當前PU不同的視圖中。為了判定視差參考圖像中之參考PU，視訊寫碼器可執行視差向量建構過程以判定當前PU的視差向量。當前PU之視差向量可指示當前PU之預測區塊與視差參考圖像內位置之間的空間位移。參考PU可為涵蓋藉由視差向量指示之位置的視差參考圖像之PU。
一般而言，視圖合成預測(VSP)為一種將來自相鄰視點之圖像變形至當前視點用於預測用途的技術。深度資訊用以執行變形。回溯變形VSP(BVSP)使用相鄰區塊來導出深度區塊以執行回溯變形操作。在回溯變形中，用於變形之深度係來自當前圖像的同一視點，其通常需要相依視圖中的深度優先寫碼。為了在BVSP中估計區塊之深度資訊，視訊寫碼器可自相鄰區塊導出視差向量。視訊寫碼器可接著使用導出之視差向量來自參考視圖獲得深度區塊。
視訊寫碼器可執行稱作基於相鄰區塊之視差向量(NBDV)的方法來導出視差向量。當視訊寫碼器使用NBDV導出來導出當前PU的視差向量時，視訊寫碼器可使用來自空間及時間相鄰區塊的視差運動向量以導出視差向量。在本發明中，PU之視差運動向量係指指示視差參考圖像(例如，係在與PU不同之視圖中的參考圖像)中之位置的運動向量。此外，為易於解釋，本發明可指作為相鄰區塊的空間相鄰區塊或時間相鄰區塊。
視訊寫碼器可使用參考視圖之深度視圖分量來改進視差向量。視訊寫碼器可使用同一改進過程來改進視差運動向量用於回溯視圖合成預測中。詳言之，視訊寫碼器可使用NBDV過程來判定當前PU的視差向量。當視訊寫碼器使用NBDV導出判定可用視差向量時(例如，當視訊寫碼器自相鄰區塊找尋視差運動向量時)，視訊寫碼器可藉由自參考視圖之深度圖擷取深度資料來進一步改進視差向量。改進過程包括兩個步驟。首先，視訊寫碼器藉由先前寫碼參考深度視圖(諸如，基本視圖)中所導出之視差向量來定位對應深度區塊。對應深度區塊之大小與當前PU的大小相同。第二，視訊寫碼器自對應深度區塊之四個角落像素選擇一個深度值，且將所選擇深度值轉換至經改進視差向量的水平分量。不改變視差向量之垂直分量。
以上過程亦被稱作NBDV改進(NBDV-R)或深度定向式NBDV(Do-NBDV)。視訊寫碼器可將經改進之視差向量用於視圖間運動預測，而視訊寫碼器可將未經改進之視差向量用於視圖間殘餘預測。此外，若PU藉由回溯VSP模式來寫碼，則視訊寫碼器可儲存經改進之視差向量作為PU的運動向量。當NBDV過程並不提供可用視差向量時，跳過以上NBDV-R過程，且直接傳回零視差向量。
3D-HEVC中的當前視差向量導出方法具有若干問題。舉例而言，當NBDV過程提供不可用視差向量時，視訊寫碼器可跳過NBDV- R過程以改進視差向量。此情形可導致寫碼效能下降。
本發明之技術可解決先前提及之問題或缺點。即，本發明可在視差向量導出方法(例如，3D-HEVC中之NBDV)不可產生可用視差向量時藉由存取參考視圖之深度視圖分量來提供經更好改進之視差向量。
在一些實例中，一種視訊解碼器可執行多視圖視訊資料之當前區塊的視差向量導出過程。當視差向量導出過程並不產生可用視差向量時，視訊解碼器可仍然執行視差向量改進過程以產生當前區塊的經改進之視差向量。在一些此等實例中，視差向量改進過程使用零視差向量。換言之，視差向量改進過程不限於視差向量導出過程產生可用視差向量的狀況。即使視差向量導出過程並不產生可用視差向量，本發明之技術仍允許關於某預設視差向量(諸如，具有等於零之水平及垂直分量的預設視差向量)的視差向量改進。
在一些實例中，維持變數以識別視差向量導出過程(例如，NBDV導出)原先是否傳回可用視差向量。此變數在某些條件下可用於其他寫碼工具。舉例而言，等於0之此旗標可導致當前區塊之視圖間殘餘預測的停用。
圖1為說明可利用本發明之技術的實例視訊寫碼系統10之方塊圖。如本文中所使用，術語「視訊寫碼器」一般係指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可一般係指視訊編碼或視訊解碼。
如圖1中所展示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼之視訊資料。因此，源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12產生之經編碼視訊資料。因此，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置 的實例。
源器件12及目的地器件14可包含廣泛範圍之器件，該等器件包括桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板型電腦、機上盒、諸如所謂「智慧型」電話的電話手機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主機、車載電腦或其類似者。
目的地器件14可經由通道16自源器件12接收經編碼視訊資料。通道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的一或多個媒體或器件。在一個實例中，通道16可包含能夠使源器件12將經編碼視訊資料即時直接地傳輸至目的地器件14的一或多個通信媒體。在此實例中，源器件12可根據諸如無線通信協定之通信標準調變經編碼視訊資料，且可將經調變之視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成諸如區域網路、廣域網路或全球網路(例如，網際網路)的基於封包之網路的部分。一或多個通信媒體可包括路由器、交換機、基地台或促進自源器件12至目的地器件14之通信的其他裝備。
在另一實例中，通道16可包括儲存由源器件12產生之經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可(例如)經由磁碟存取或卡存取來存取儲存媒體。儲存媒體可包括多種本端存取之資料儲存媒體，諸如藍光光碟、DVD、CD-ROM、快閃記憶體或用於儲存經編碼視訊資料的其他合適數位儲存媒體。
在其他實例中，通道16可包括檔案伺服器，或儲存由源器件12產生之經編碼視訊資料的另一中間儲存器件。在此實例中，目的地器件14可經由串流傳輸或下載存取儲存於檔案伺服器或其他中間儲存器件處的經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且 將經編碼視訊資料傳輸至目的地器件14的一類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網路附接儲存(NAS)器件及本機磁碟機。
目的地器件14可經由標準資料連接(諸如，網際網路連接)而存取經編碼視訊資料。實例類型之資料連接可包括無線通道(例如，Wi-Fi連接)、有線連接(例如，數位用戶線(DSL)、纜線數據機等)，或兩者之適合於存取儲存於檔案伺服器上之經編碼視訊資料的組合。經編碼視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸，或兩者之組合。
本發明之技術不限於無線應用或設定。技術可應用至支援多種多媒體應用之視訊寫碼，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、儲存於資料儲存媒體上之視訊資料的編碼、儲存於資料儲存媒體上之視訊資料的解碼，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話的應用。
圖1僅係一實例，且本發明之技術可應用至不必包括編碼器件與解碼器件之間的任何資料通信之視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，資料擷取自本端記憶體，經由網路進行串流傳輸，或其類似者。視訊編碼器件可編碼資料並將資料儲存至記憶體，及/或視訊解碼器件可自記憶體擷取資料並解碼該資料。在許多實例中，編碼及解碼由並不彼此通信，而是僅編碼至記憶體之資料及/或自記憶體擷取資料並解碼該資料的器件執行。資料可包括視訊資料，諸如多視圖視訊資料。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調變器(數據機) 及/或傳輸器。視訊源18可包括例如視訊攝影機之視訊捕獲器件、含有先前捕獲之視訊資料的視訊存檔、自視訊內容提供者接收視訊資料的視訊饋入介面及/或用於產生視訊資料的電腦圖形系統，或此等視訊資料之來源的組合。
視訊編碼器20可編碼來自視訊源18的視訊資料。在一些實例中，源器件12經由輸出介面22將經編碼視訊資料直接傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可儲存於儲存媒體上或檔案伺服器上以由目的地器件14稍後存取從而用於解碼及/或播放。
在圖1之實例中，目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由通道16接收經編碼視訊資料。視訊解碼器30可解碼經編碼視訊資料。顯示器件32可顯示經解碼視訊資料。顯示器件32可與目的地器件14整合，或可在目的地器件14外部。顯示器件32可包含多種顯示器件，諸如，液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可各自實施為多種合適電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。若該等技術部分地以軟體實施，則一器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中，且可在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。前述各項(包括硬體、軟體、軟體與硬體之組合等)中之任一者可被視為一或多個處理器。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中任一者可整合為各別器件中之組合編碼器/解碼器(編碼解碼器(CODEC))的部分。
本發明可大體係指將某資訊「發信」至另一器件(諸如，視訊解 碼器30)的視訊編碼器20。術語「發信」可大體係指用以解碼經壓縮視訊資料之語法元素及/或其他資料的通信。此通信可即時或幾乎即時地發生。替代地，此通信可在一段時間上發生，諸如可能當於編碼時在經編碼位元串流中將語法元素儲存至電腦可讀儲存媒體時發生，該等語法元素可接著由解碼器件在儲存至此媒體之後的任何時間進行擷取。
在一些實例中，視訊編碼器20及視訊解碼器30根據諸如ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱作ISO/IEC MPEG-4 AVC)的視訊壓縮標準操作，ISO/IEC MPEG-4 Visual及ITU-T H.264包括其可調式視訊寫碼(SVC)擴展、多視圖視訊寫碼(MVC)擴展及基於MVC之3DV擴展。在一些個例中，遵照H.264/AVC之基於MVC之3DV擴展的任何位元串流總是含有與H.264/AVC之MVC擴展相容之子位元串流。此外，進行持續努力以產生至H.264/AVC的三維視訊(3DV)寫碼擴展(即，基於AVC之3DV)。在其他實例中，視訊編碼器20及視訊解碼器30可根據ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual及TU-T H.264、ISO/IEC Visual操作。
在其他實例中，視訊編碼器20及視訊解碼器30可根據由ITU-T視訊寫碼專家團體(VCEG)與ISO/IEC動畫專家團體(MPEG)的關於視訊寫碼之聯合協作團隊(JCT-VC)開發的高效視訊寫碼(HEVC)標準來操作。稱作「HEVC工作草案8」之HEVC標準的草案描述於Bross等人之「High Efficiency Video Coding(HEVC)text specification draft 8」(ITU-T SG16 WP3與ISO/IEC JTC1/SC29/WG11之關於視訊寫碼之聯合協作團隊(JCT-VC)，2012年7月瑞典斯德哥爾摩第10次會議)中。稱作「HEVC工作草案9」之HEVC標準的另一草案描述於Bross等人之「High Efficiency Video Coding(HEVC)text specification draft 9」(ITU-T SG16 WP3與ISO/IEC JTC1/SC29/WG11之關於視訊寫碼之聯合 協作團隊(JCT-VC)，2012年11月中國上海第11次會議)中。此外，正在努力以產生可調式視訊寫碼、多視圖寫碼及HEVC的3DV擴展。HEVC之可調式視訊寫碼擴展可被稱作SHEVC。
當前，關於VCEG及MPEG之3D視訊寫碼的聯合協作團隊(JCT-3C)正在開發基於HEVC之3DV標準，針對3DV標準的標準化努力之部分包括基於HEVC之多視圖視訊寫碼器(MV-HEVC)的標準化，且另一部分包括基於HEVC之3D視訊寫碼(3D-HEVC)的標準化。對於3D-HEVC，可包括並支援針對紋理及/或深度視圖之包括寫碼單元/預測單元層級之彼等的新寫碼工具。可自以下連結下載3D-HEVC之軟體3D-HTM：[3D-HTM version 6.0]：https：//hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-6.0/3D-HEVC之參考軟體描述以及工作草案可得如下：Gerhard Tech，Krzysztof Wegner，Ying Chen,Sehoon Yea，「3D-HEVC測試模型描述草案2」(JCT3V-B1005，ITU-T SG 16 WP 3與ISO/IEC JTC 1/SC 29/WG 11之關於3D視訊寫碼擴展開發的聯合協作團隊，第二次會議：2012年10月中國上海)，該文件自2013年12月24日起可自以下連結下載：http：//phenix.it-sudparis.eu/jct2/doc_end_user/documents/2_Shanghai/wg11/JCT3V-B1005-v1.zip。3D-HEVC之參考軟體描述的另一版本可自http：//phenix.it-sudparis.eu/jct2/doc_end_user/current_document.php？id=706獲得。3D-HEVC之稱作「3D-HEVC測試模型描述草案3」的另一草案描述於Tech等人之「3D-HEVC測試模型3」(ITU-T SG 16 WP 3與ISO/IEC JTC 1/SC 29/WG 11之關於3D視訊寫碼擴展開發的聯合協作團隊第三次會議：2013年1月17日至23日瑞士日內瓦，文件號碼JCT3V-C1005_spec_d1)中。視訊編碼器20及視訊解碼器30可根據SHEVC、MV-HEVC及/或3D-HEVC操作。
在HEVC及其他視訊寫碼規範中，視訊序列通常包括一系列圖 像。圖像亦可被稱作「圖框」。圖像可包括表示為SL、SCb及SCr的三個樣本陣列。SL係明度樣本之二維陣列(亦即，區塊)。SCb係Cb色度樣本之二維陣列。SCr係Cr色度樣本之二維陣列。色度樣本本文中亦可被稱作「色度(chroma)」樣本。在其他個例中，圖像可為單色的，且可僅包括明度樣本陣列。
為了產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹狀結構單元(CTU)的集合。CTU中之每一者可包含明度樣本之寫碼樹狀結構區塊、色度樣本之兩個對應寫碼樹狀結構區塊，及用以對寫碼樹狀結構區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個分離彩色平面之圖像中，CTU可包含單一寫碼樹狀結構區塊及用以對寫碼樹狀結構區塊之樣本進行寫碼的語法結構。寫碼樹狀結構區塊可為樣本之N×N區塊。CTU亦可稱作「樹狀結構區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準的巨型區塊。然而，CTU不必限於特定大小，且可包括一或多個寫碼單元(CU)。截塊可包括以光柵掃描次序連續地排定次序的整數數目個CTU。
經寫碼截塊可包含截塊標頭及截塊資料。截塊之截塊標頭可為包括語法元素之語法結構，該等語法元素提供關於截塊的資訊。截塊資料可包括截塊之經寫碼CTU。
本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」來提及一或多個樣本區塊及用以對一或多個樣本區塊的樣本進行寫碼的語法結構。實例類型之視訊單元可包括CTU、CU、PU、變換單元(TU)、巨型區塊、巨型區塊分割，等等。一般而言，區塊之大小可指與區塊相關聯之樣本區塊的大小。
為了產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹狀結構區塊遞歸地執行四分樹分割以將寫碼樹狀結構區塊劃分成寫碼區塊(因 此名稱「寫碼樹狀結構單元」)。寫碼區塊係樣本之N×N區塊。CU可包含明度樣本之寫碼區塊，及具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列的圖像之色度樣本的兩個對應寫碼區塊，以及用以對寫碼區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個分離彩色平面之圖像中，CU可包含單一寫碼區塊及用以對寫碼區塊之樣本進行寫碼的語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊係相同預測應用至之樣本的矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含明度樣本之預測區塊、色度樣本的兩個對應預測區塊，及用以預測該等預測區塊的語法結構。在單色圖像或具有三個分離彩色平面之圖像中，PU可包含單一預測區塊及用以對預測區塊進行預測的語法結構。視訊編碼器20可產生用於CU之每一PU的明度、Cb及Cr預測區塊的預測性明度、Cb及Cr區塊。
視訊編碼器20可使用框內預測或框間預測以產生PU的預測性區塊。若視訊編碼器20使用框內預測來產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像的樣本產生PU的預測性區塊。在本發明中，片語「基於」可指示「至少部分基於」。
若視訊編碼器20使用框間預測來產生PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本來產生PU的預測性區塊。框間預測可為單向的(亦即，單向預測)或雙向的(亦即，雙向預測)。為了執行框間預測，視訊編碼器20可產生當前圖像之第一參考圖像清單(RefPicList0)，且亦可產生當前圖像的第二參考圖像清單(RefPicList1)。參考圖像清單中之每一者可包括一或多個參考圖像。在建構出參考圖像清單(亦即RefPicList0及RefPicList1(若可用))之後，對參考圖像清單之參考索引可用以識別包括於參考圖像清單中的任何參考圖像。
當使用單向預測時，視訊編碼器20可搜尋RefPicList0及RefPicList1任一者或兩者中的參考圖像，以判定參考圖像內的參考位置。此外，當使用單向預測時，視訊編碼器20可至少部分基於對應於參考位置的樣本來產生PU的預測性區塊。此外，當使用單向預測時，視訊編碼器20可產生單一運動向量，該單一運動向量指示PU之預測區塊與參考位置之間的空間位移。運動向量可包括指定PU之預測區塊與參考位置之間的水平位移的水平分量，且可包括指定PU之預測區塊與參考位置之間的垂直位移的垂直分量。
當使用雙向預測來編碼PU時，視訊編碼器20可判定RefPicList0中參考圖像的第一參考位置及RefPicList1中參考圖像的第二參考位置。視訊編碼器20可至少部分基於對應於第一及第二參考位置之樣本來產生PU的預測性區塊。此外，當使用雙向預測編碼PU時，視訊編碼器20可產生指示PU之預測區塊與第一參考位置之間的空間位移的第一運動向量，及指示PU之預測區塊與第二參考位置之間的空間位移的第二運動向量。
在視訊編碼器20產生CU之一或多個PU的一或多個預測性區塊(例如，明度、Cb及Cr預測性區塊)之後，視訊編碼器20可產生CU的一或多個殘餘區塊。舉例而言，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中之對應樣本之間的差。此外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中的每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差。
此外，視訊編碼器20可使用四分樹分割以將CU之殘餘區塊(例如，CU之明度、Cb及Cr殘餘區塊)分解成一或多個變換區塊(例如，明度、Cb及Cr變換區塊)。變換區塊係同一變換應用至之樣本的矩形(例如，正方形或非正方形)區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊，及用以對變換區塊樣本進行變換的語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb變換區塊可為CU之Cb殘餘區塊的子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個分離彩色平面之圖像中，TU可包含單一變換區塊及用以對變換區塊之樣本進行變換的語法結構。
視訊編碼器20可將一或多個變換應用至TU之變換區塊以產生TU的係數區塊。舉例而言，視訊編碼器20可將一或多個變換應用至TU之明度變換區塊以產生TU的明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用至TU之Cb變換區塊以產生TU的Cb係數區塊。視訊編碼器20可將一或多個變換應用至TU之Cr變換區塊以產生TU的Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化係數區塊。量化一般係指如下過程：將變換係數量化以可能地減少用以表示該等變換係數之資料的量，從而提供進一步壓縮。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼語法元素，從而指示經量化之變換係數。舉例而言，視訊編碼器20可對語法元素執行內容自適應性二進位算術寫碼(CABAC)，從而指示經量化之變換係數。
視訊編碼器20可輸出包括位元序列的一位元串流，該位元序列形成經寫碼圖像及關聯資料的表示。位元串流可包含網路抽象層 (NAL)單元之序列。NAL單元係含有NAL單元中資料類型的指示及在必要時穿插在仿真防止位元中的含有呈原始位元組序列有效負載(RBSP)之形式的該資料的位元組之語法結構。NAL單元中之每一者包括NAL單元標頭，且囊封RBSP。NAL單元標頭可包括指示NAL單元類型碼的語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封於NAL單元內之整數數目個位元組的語法結構。在一些個例中，RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，不同類型之NAL單元可囊封以下各者的不同RBSP：視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)、經寫碼截塊、補充增強資訊(SEI)等等。囊封視訊寫碼資料之RBSP(與參數集及SEI訊息之RBSP相對)的NAL單元可被稱作視訊寫碼層(VCL)NAL單元。
在HEVC中，SPS可含有應用至經寫碼視訊序列(CVS)之所有截塊的資訊。在HEVC中，CVS可自係位元串流中之第一圖像的瞬時解碼再新(IDR)圖像或斷鏈存取(BLA)圖像或清潔隨機存取(CRA)圖像開始，包括並非IDR或BLA圖像的所有後續圖像。即，在HEVC中，CVS可包含存取單元之序列，該存取單元之序列以解碼次序由以下各者組成：係位元串流中之第一存取單元的CRA存取單元、IDR存取單元或BLA存取單元，繼之以零或多個非IDR及非BLA存取單元(包括直至所有後續存取單元，但不包括任何後續IDR或BLA存取單元)。
VPS係包含應用至零或零個以上整個CVS之語法元素的語法結構。SPS可包括在SPS係在作用中時識別係在作用中之VPS的語法元素。因此，VPS之語法元素相較於SPS之語法元素可大體更適用。PPS係包含應用至零或零個以上經寫碼圖像之語法元素的語法結構。PPS可包括在PPS係在作用中時識別係在作用中之SPS的語法元素。截塊之截塊標頭可包括語法元素，該語法元素指示在截塊正在寫碼時係在 作用中的PPS。
視訊解碼器30可接收由視訊編碼器20產生的位元串流。此外，視訊解碼器30可剖析位元串流以獲得來自位元串流的語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素來重建構視訊資料的圖像。重建構視訊資料之過程可與由視訊編碼器20執行之過程大體互反。舉例而言，視訊解碼器30可使用PU之運動向量來判定當前CU之PU的預測性區塊。此外，視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反變換以重建構與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將當前CU之PU之預測性區塊的樣本添加至當前CU之TU之變換區塊的對應樣本來重建構當前CU的寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。
如上文所指示，可將CU分割成一或多個PU。項「part_mode」可表示當前CU的分割模式。換言之，part_mode可表示將CU分割成PU的方式。在HEVC中，part_mode之值可受約束如下：
●若一個CU之寫碼模式等於MODE_INTRA，則part_mode應等於0或1。CU之寫碼模式可指示，CU使用框內預測(亦即，MODE_INTRA)抑或框間預測(亦即，MODE_INTER)來寫碼。
●否則(一個CU之寫碼模式等於MODE_INTER)，則以下內容可應用：
●若當前CU之大小大於最小可容許CU的大小且啟用了不對稱運動分割，則part_mode應在0至2(包括)之範圍內且在4至7(包括)的範圍內。當啟用了非對稱運動分割時，可將當前CU分割成並不各自具有同一大小的數個PU。
●否則，若當前CU之大小大於最小CU之大小且停用了非對稱運動分割，則part_mode應在0至2(包括)之範圍內。CU之大小可指CU之 寫碼區塊(例如，明度寫碼區塊)的大小。
●否則，若當前CU之大小等於8，則part_mode之值應係在0至2(包括)的範圍內。
●否則(當前CU之大小大於8)，part_mode之值應係在0至3(包括)的範圍內。
part_mode與變數PartMode之關聯值之間的關係在以下表1中界定。變數PartMode提供分割模式之人類可讀名稱。項part_mode可界定經寫碼位元串流中之與表1一致的索引值，索引值映射至藉由表1中之變數PartMode界定的定義。在一些實例中，當part_mode不存在時，當前CU之分割模式被推斷為等於PART_2N×2N。
在H.264/AVC中，視訊序列通常包括一系列視訊圖框。此外，在H.264/AVC中，圖像群組(GOP)通常包含一或多個視訊圖框的系列。GOP可在GOP之標頭、GOP之一或多者個圖框之標頭中或在別處包括描述包括於GOP中之數個圖框的語法資料。每一圖框可包括描述各別圖框之編碼模式的圖框語法資料。視訊編碼器20通常對個別視訊圖框內之區塊進行操作，以便編碼視訊資料。在H.264/AVC中，區塊可對應於巨型區塊(MB)或巨型區塊之分割。MB係具有三個樣本陣列之圖像的明度樣本之16×16區塊及色度樣本的兩個對應區塊，或者單色圖像或使用三個分離彩色平面寫碼之圖像的樣本之16×16區塊。MB分割 為具有三個樣本陣列之圖像的自巨型區塊之用於框間預測之分割得出的明度樣本區塊及色度樣本的兩個對應區塊，或單色圖像或使用三個分離彩色平面寫碼之圖像的自巨型區塊之用於框間預測的分割得出之明度樣本區塊。在HEVC中，區塊可對應於PU。與區塊(例如，視訊單元)相關聯的樣本區塊可具有固定或變化之大小，且可根據指定之寫碼標準而在大小上不同。
在H.264/AVC中，視訊編碼器20基於一或多個參考圖像而產生框間MB的預測性區塊。每一框間MB可以四種不同方式來分割：
●一個16×16MB分割
●兩個16×8MB分割
●兩個8×16MB分割
●四個8×8MB分割
一個MB中之不同MB分割針對每一方向可具有不同參考索引值(亦即，RefPicList0或RefPicList1)。因此，視訊寫碼器可基於不同參考圖像而產生一個框間MB之不同MB分割的預測性區塊。當框間MB並未分割成四個8×8MB分割時，框間MB在每一方向上針對整個MB分割可具有僅一個運動向量。換言之，當框間MB並未分割成四個8×8MB分割時，可存在針對框間MB之單一RefPicList0運動向量及針對框間MB的單一RefPicList1運動向量。
當將MB分割成四個8×8MB分割時，可將每一8×8MB進一步分割成子區塊。存在8×8MB分割被分割成子區塊的四種不同方式：
●一個8×8子區塊
●兩個8×4子區塊
●兩個4×8子區塊
●四個4×4子區塊
每一子區塊在每一方向上可具有不同運動向量。換言之，B截塊 中之每一子區塊可具有RefPicList0運動向量及RefPicList1運動向量。「子區塊分割」係用以指示8×8MB分割被分割成子區塊之方式的術語。
在HEVC中，視訊編碼器20可使用合併模式或進階運動向量預測(AMVP)模式來發信PU的運動資訊。換言之，在HEVC中，存在針對模式參數(亦即，運動資訊)之預測的兩種模式，一個模式係合併模式且另一模式係AMVP模式。運動預測可包含基於一或多個其他區塊之運動資訊判定一區塊(例如，PU)的運動資訊。PU之運動資訊可包括PU之運動向量、PU之參考索引及一或多個預測方向指示符。
當視訊編碼器20使用合併模式發信當前PU的運動資訊時，視訊編碼器20產生合併候選者清單。換言之，視訊編碼器20可執行運動向量預測子清單建構過程。合併候選者清單包括合併候選者集合，該等合併候選者指示空間或時間相鄰於當前PU之PU的運動資訊。即，在合併模式中，運動參數(例如，參考索引、運動向量等)之候選者清單經建構，其中候選者可為來自空間及時間相鄰區塊。
此外，在合併模式中，視訊編碼器20可自合併候選者清單選擇合併候選者，且可使用藉由所選擇合併候選者指示之運動資訊作為當前PU的運動資訊。視訊編碼器20可發信所選擇合併候選者之合併候選者清單中的位置。舉例而言，視訊編碼器20可藉由將索引傳輸至候選者清單中來發信所選擇運動向量參數。視訊解碼器30可自位元串流獲得至候選者清單中的索引(亦即，候選者清單索引)。此外，視訊解碼器30可產生相同合併候選者清單，且可基於所選擇合併候選者之位置的指示而判定所選擇合併候選者。視訊解碼器30可接著使用所選擇合併候選者之運動資訊來產生當前PU的預測性區塊。即，視訊解碼器30可至少部分基於候選者清單索引來判定候選者清單中的所選擇候選者，其中所選擇候選者指定當前PU的運動向量。以此方式，在解 碼器側，一旦解碼了索引，索引指向之對應區塊的所有運動參數便可藉由當前PU繼承。
跳過模式類似於合併模式。在跳過模式中，視訊編碼器20及視訊解碼器30以視訊編碼器20及視訊解碼器30在合併模式中使用候選者清單之方式相同的方式產生並使用合併候選者清單。然而，當視訊編碼器20使用跳過模式發信當前PU的運動資訊時，視訊編碼器20並不發信當前PU的任何殘餘資料。因此，視訊解碼器30可在不使用殘餘資料情況下基於藉由合併候選者清單中之所選擇候選者的運動資訊指示的參考區塊來判定PU的預測性區塊。
AMVP模式類似於合併模式在於，視訊編碼器20可產生候選者清單，且可自候選者清單選擇候選者。然而，當視訊編碼器20使用AMVP模式發信當前PU的RefPicListX(其中X為0或1)運動資訊時，除發信當前PU之RefPicListX運動向量預測子(MVP)旗標外，視訊編碼器20亦可發信當前PU之RefPicListX運動向量差(MVD)及當前PU的RefPicListX參考索引。當前PU之RefPicListX MVP旗標可指示所選擇AMVP候選者在AMVP候選者清單中的位置。當前PU之RefPicListX MVD可指示當前PU之RefPicListX運動向量與所選擇AMVP候選者之運動向量之間的差。以此方式，視訊編碼器20可藉由發信RefPicListX MVP旗標、RefPicListX參考索引值及RefPicListX MVD而發信當前PU的RefPicListX運動資訊。換言之，表示當前PU之運動向量的位元串流中之資料可包括表示參考索引、對候選者清單的索引及MVD的資料。
此外，當當前PU之運動資訊使用AMVP模式發信時，視訊解碼器30可自位元串流獲得當前PU的MVD及MVP旗標。視訊解碼器30可產生同一AMVP候選者清單，且可基於MVP旗標判定所選擇AMVP候選者。視訊解碼器30可藉由將MVD添加至藉由所選擇AMVP候選者指 示的運動向量來涵蓋當前PU的運動向量。即，視訊解碼器30可基於藉由所選擇AMVP候選者指示之運動向量及MVD來判定當前PU的運動向量。視訊解碼器30可接著使用當前PU之一或多個所恢復運動向量來產生當前PU的預測性區塊。
當視訊解碼器30產生當前PU的AMVP候選者清單時，視訊解碼器30可基於涵蓋空間相鄰於當前PU之位置的PU(亦即，空間相鄰PU)之運動資訊而導出一或多個AMVP候選者。圖2為說明實例空間相鄰PU相對於當前PU 40之概念圖。在圖2之實例中，空間相鄰PU可為涵蓋指示為A0、A1、B0、B1及B2之位置的PU。在PU之預測區塊包括一位置時，PU可涵蓋該位置。
合併候選者清單或AMVP候選者清單中係基於PU之運動資訊的候選者可被稱作時間運動向量預測子(TMVP)，該PU時間上相鄰於當前PU(亦即，係處於不同於當前PU之時刻的PU)。TMVP可用以改善HEVC之寫碼效率，且不同於其他寫碼工具，TMVP可需要存取經解碼圖像緩衝器中更具體而言參考圖像清單中圖框的運動向量。
TMVP之使用可在逐CVS基礎、逐截塊基礎或在另一基礎上經啟用或停用。SPS中之語法元素(例如，sps_temporal_mvp_enable_flag)可指示TMVP之使用是否針對CVS經啟用。此外，當TMVP之使用針對CVS經啟用時，TMVP之使用可針對CVS內之特定截塊經啟用或停用。舉例而言，截塊標頭中之語法元素(例如，slice_temporal_mvp_enable_flag)可指示TMVP之使用是否針對截塊經啟用。因此，在框間預測截塊中，當TMVP針對整個CVS經啟用(例如，SPS中sps_temporal_mvp_enable_flag設定為1)時，slice_temporal_mvp_enable_flag在截塊標頭中發信以指示TMVP之使用是否針對當前截塊被啟用。
為了判定TMVP，視訊寫碼器可首先識別參考圖像，該參考圖像 包括與當前PU共置的PU。換言之，視訊寫碼器可識別所謂共置圖像。若當前圖像之當前截塊係B截塊(亦即，經允許以包括雙向框間預測之PU的截塊)，則視訊編碼器20可在截塊標頭中發信語法元素(例如，collocated_from_10_flag)，該語法元素指示共置像素係來自RefPicList0抑或RefPicList1。換言之，當TMVP之使用針對當前截塊經啟用且當前截塊為B截塊(例如，經允許以包括雙向框間預測PU的截塊)時，視訊編碼器20可在截塊標頭中發信語法元素(例如，collocated_from_10_flag)以指示共置圖像係在RefPicList0抑或RefPicList1中。在視訊解碼器30識別包括共置圖像之參考圖像清單之後，視訊解碼器30可使用可在截塊標頭中發信之另一語法元素(例如，collocated_ref_idx)以識別所識別參考圖像清單中的圖像(亦即，共置圖像)。即，在識別出參考圖像清單之後，在截塊標頭中發信之collocated_ref_idx可用以識別參考圖像清單中的圖像。
視訊寫碼器可藉由檢查共置圖像來識別共置PU。當視訊寫碼器檢查共置PU時，視訊寫碼器可檢查共置圖像之右下PU及共置圖像的中心PU。右下PU可涵蓋與就在當前PU之預測區塊之右下角的右下方的位置共置的位置。中心PU可涵蓋與當前PU之預測區塊之中心共置的位置。TMVP可指示右下PU或中心PU的運動資訊。
當藉由以上過程識別之運動向量(亦即，TMVP的運動向量)用以產生針對合併模式或AMVP模式的運動候選者時，視訊寫碼器可基於時間位置縮放運動向量(藉由POC值反映)。舉例而言，與在當前圖像及參考圖像之POC值之間的差較小時相比較，在當前圖像及參考圖像視之POC值之間的差較大時，視訊寫碼器可使運動向量之量值增加較大量。
自TMVP導出之時間合併候選者之所有可能參考圖像清單的目標參考索引可總是設定為0。然而，對於AMVP，所有可能參考圖像之 目標參考索引設定為等於經解碼之參考索引。在HEVC中，SPS可包括旗標(例如，sps_temporal_mvp_enable_flag)，且截塊標頭在sps_temporal_mvp_enable_flag等於1時可包括旗標(例如，pic_temporal_mvp_enable_flag)。當pic_temporal_mvp_enable_flag及temporal_id兩者對於特定圖像皆等於0時，解碼次序上在該特定圖像之前的圖像的運動向量皆不用作解碼特定圖像或在解碼次序上在特定圖像之後的圖像中的TMVP。
在多視圖寫碼中，可存在同一場景的來自不同視點之多個視圖。術語「存取單元」用以係指對應於同一時刻之圖像的集合。因此，視訊資料可概念化為隨時間出現之一系列存取單元。「視圖分量」可為單一存取單元中視圖的經寫碼表示。視圖分量可含有紋理視圖分量及深度視圖分量。在本發明中，「視圖」可指與同一視圖識別符相關聯之視圖分量的序列。
紋理視圖分量(亦即，紋理圖像)可為單一存取單元中視圖之紋理的經寫碼表示。紋理視圖可為與視圖次序索引之等同值相關聯之紋理視圖分量的序列。視圖之視圖次序索引可指示視圖相對於其他視圖之攝影機位置。深度視圖分量(亦即，深度圖像)可為單一存取單元中視圖之深度的經寫碼表示。深度視圖可為與視圖次序索引之等同值相關聯之深度視圖分量的序列。
多視圖寫碼支援視圖間預測。視圖間預測類似於用於HEVC中的框間預測，且可使用相同語法元素。然而，當視訊寫碼器對當前區塊(諸如，PU)執行視圖間預測時，視訊編碼器20可使用係在與當前區塊相同之存取單元中但在不同視圖中的圖像作為參考圖像。相反，習知框間預測僅使用不同存取單元中之圖像作為參考圖像。
紋理視圖分量包括經顯示之實際影像內容。舉例而言，紋理視圖分量可包括明度(例如，Y)及色度(例如，Cb及Cr)分量。深度視圖 分量可指示像素在其對應紋理視圖分量中的相對深度。作為一個實例，深度視圖分量係包括僅明度值的灰度影像。換言之，深度視圖分量可不傳送任何影像內容，而是提供像素在紋理視圖分量中之相對深度的量測。
在多視圖寫碼中，位元串流可具有複數個層。層中之每一者可對應於不同視圖。在多視圖寫碼中，若視訊解碼器(例如，視訊解碼器30)可解碼視圖中之圖像而不參看任何其他視圖中之圖像，則視圖可被稱作「基本視圖」。若視圖之解碼依賴於一或多個其他視圖中圖像的解碼，則視圖可被稱作非基本視圖。
舉例而言，NAL單元可包括標頭(亦即，NAL單元標頭)及有效負載(例如，RBSP)。NAL單元標頭可包括nuh_reserved_zero_6bits語法元素。具有指定不同值之nuh_reserved_zero_6bit語法元素之NAL單元屬於位元串流的不同「層」。因此，在多視圖寫碼、3DV或SVC中，NAL單元之nuh_reserved_zero_6bits語法元素指定NAL單元的層識別符(亦即，層ID)。在一些實例中，若NAL單元係關於多視圖寫碼、3DV寫碼或SVC中之基底層，則NAL單元之nuh_reserved_zero_6bits語法元素等於0。位元串流之基底層中的資料可在不參看位元串流之任何其他層中之資料的情況下經解碼。若NAL單元並非係關於多視圖寫碼、3DV或SVC中之基底層，則nuh_reserved_zero_6bits語法元素可具有非零值。如上文所指示，在多視圖寫碼及3DV寫碼中，位元串流之不同層可對應於不同視圖。在SVC中，除基底層外之層可被稱作「增強層」，且可提供增強自位元串流解碼之視訊資料之視覺品質的資訊。
此外，層內之一些圖像可在不參看同一層內之其他圖像情況下經解碼。因此，囊封層之某些圖像之資料的NAL單元可自位元串流移除而不影響層中其他圖像的可解碼性。移除囊封此等圖像之資料的 NAL單元可減少位元串流之圖框速率。層內之圖像的可在不參考層內之其他圖像情況下經解碼的子集本文中可被稱作「子層」或「時間子層」。
當寫碼非基本視圖中之一者中的圖像時，若圖像係在不同視圖中但係在與視訊寫碼器當前正寫碼之圖像相同的時刻(亦即，存取單元)內，則視訊寫碼器(諸如，視訊編碼器20或視訊解碼器30)可將圖像添加至參考圖像清單中。類似於其他框間預測參考圖像，視訊寫碼器可在參考圖像清單之任何位置處插入視圖間預測參考圖像。
圖3為說明實例多視圖解碼次序之概念圖。多視圖解碼次序可為位元串流次序。在圖3之實例中，每一正方形對應於視圖分量。正方形行對應於存取單元。每一存取單元可經界定以含有一時刻之所有視圖的經寫碼圖像。正方形列對應於視圖。在圖3之實例中，存取單元標註為T0…T8，且視圖標註為S0…S7。因為存取單元之每一視圖分量在下一存取單元之任何視圖分量之前經解碼，所以圖3之解碼次序可被稱作時間優先寫碼。存取單元之解碼次序可能不等同於視圖的輸出或顯示次序。
多視圖寫碼可支援視圖間預測。視圖間預測類似於用於H.264/AVC、HEVC或其他視訊寫碼規範中的框間預測，且可使用相同語法元素。然而，當視訊寫碼器對當前區塊(諸如，巨型區塊或PU)執行視圖間預測時，視訊寫碼器可使用係在與當前區塊相同之存取單元中但在不同視圖中的圖像作為參考圖像。與本文中所描述之視圖間預測相反，習知框間預測僅使用不同存取單元中之圖像作為參考圖像。
圖4為說明多視圖寫碼之實例預測結構之概念圖。圖4之多視圖預測結構包括時間及視圖間預測。在圖4之實例中，每一正方形對應於一視圖分量。在圖4之實例中，存取單元標註為T0……T11，且視 圖標註為S0……S7。標註為「I」之正方形為經框內預測的視圖分量。標註為「P」之正方形為經單向框間預測的視圖分量。標註為「B」及「b」之正方形為經雙向框間預測的視圖分量。標註為「b」之正方形可使用標註為「B」的正方形作為參考圖像。自第一正方形指向第二正方形的箭頭指示，第一正方形在框間預測中作為第二正方形的參考圖像可用。如藉由圖4中之垂直箭頭所指示，相同存取單元之不同視圖中的視圖分量可作為參考圖像可用。存取單元之一個視圖分量用作同一存取單元之另一視圖分量的參考圖像可被稱作視圖間預測。
在H.264/AVC之MVC擴展中，視圖間預測藉由使用H.264/AVC運動補償之語法的視差運動補償來支援，但允許不同視圖中之圖像用作參考圖像。兩個視圖之寫碼亦可藉由H.264/AVC之MVC擴展來支援。H.264/AVC之MVC擴展的優點中之一者為，MVC編碼器可採用兩個以上視圖作為3D視訊輸入，且MVC解碼器可解碼此多視圖表示。因此，具有MVC解碼器之任何顯現器可預期具有兩個以上視圖的3D視訊內容。
在多視圖寫碼中，視圖間預測可在同一存取單元(亦即，在同一時刻情況下)之不同視圖中的圖像間執行，以移除視圖間的相關。當寫碼非基本視圖中之一者中的圖像時，若圖像係在不同視圖中但具有同一時刻，則可將圖像添加至參考圖像清單中。正如任何框間預測參考圖像一樣，視圖間預測參考圖像可置放於參考圖像清單之任何位置中。
在多視圖視訊寫碼之內容脈絡中，存在兩個種類之運動向量。一個種類之運動向量為指向時間參考圖像的正常運動向量。對應於正常時間運動向量之該類型的框間預測可被稱作「運動補償之預測」或「MCP」。當視圖間預測參考圖像用於運動補償時，對應運動向量被 稱作「視差運動向量」。換言之，視差運動向量指向不同視圖中之圖像(亦即，視圖間參考圖像)。對應於視差運動向量之該類型的框間預測可被稱作「視差補償之預測」或「DCP」。
如上文所提及，HEVC之3DV擴展(亦即，3D-HEVC)係在開發中。3D-HEVC可使用視圖間運動預測及視圖間殘餘預測來改善寫碼效率。在視圖間運動預測中，視訊寫碼器可基於不同於當前PU之視圖中的PU之運動資訊來判定(亦即，預測)當前PU的運動資訊。在視圖間殘餘預測中，視訊寫碼器可基於不同於當前CU之視圖中的殘餘資料來判定當前CU的殘餘區塊。
為了啟用視圖間運動預測及視圖間殘餘預測，視訊寫碼器可判定區塊(例如，PU、CU等)的視差向量。一般而言，視差向量用作兩個視圖之間的位移的估計器。視訊寫碼器可使用區塊之視差向量來定位另一視圖中之參考區塊用於視圖間運動或殘餘預測，或視訊寫碼器可將視差向量轉換至視差運動向量用於視圖間運動預測。舉例而言，當區塊藉由視圖間運動預測寫碼時，視差向量可需要經導出從而用於選擇不同視圖中的對應區塊。
此外，視圖寫碼器可導出當前區塊的視差向量。在一些實例中，視訊寫碼器可使用基於相鄰區塊之視差向量(NBDV)的方法來導出當前區塊的視差向量。即，為了導出當前區塊之視差向量，稱作NBDV之過程可用於3D-HEVC(亦即，3D-HTM)的測試模型中。3D-HEVC首先採用NBDV過程，該NBDV過程提議於Zhang等人之「3D-CE5.h：Disparity vector generation results」(ITU-T SG 16 WP 3與ISO/IEC JTC 1/SC 29/WG 11之關於3D視訊寫碼擴展開發的聯合協作團隊，2012年7月16日至20日瑞典斯德哥爾摩第1次會議)文件JCT3V-A0097中。
NBDV過程使用來自空間且時間相鄰區塊之視差運動向量以導出 當前區塊的視差向量。因為相鄰區塊(例如，空間或時間相鄰於當前區塊的區塊)在視訊寫碼中很可能共用幾乎相同之運動及視差資訊，所以當前區塊可使用相鄰區塊中之運動向量資訊作為當前區塊的視差向量的預測子。因此，NBDV過程將相鄰視差資訊用於估計不同視圖中的視差向量。
當視訊寫碼器執行NBDV過程時，視訊寫碼器可以固定之檢查次序檢查空間相鄰且時間相鄰PU的運動向量。即，首先界定若干空間及時間相鄰區塊，該等區塊中之每一者接著以預定次序來檢查，該預定次序可藉由當前區塊與候選者區塊(亦即，空間或時間相鄰區塊)之間的相關之優先權來判定。因此，利用相鄰區塊之兩個集合。一個集合係來自空間相鄰區塊，且另一集合係來自時間相鄰區塊。
當視訊寫碼器檢查空間相鄰或時間相鄰PU的運動向量時，視訊寫碼器可判定運動向量是否係視差運動向量。圖像之PU的視差運動向量係指向圖像之視圖間參考圖像內的位置之運動向量。圖像之視圖間參考圖像可為在與該圖像相同之存取單元中但在不同視圖中的圖像。一旦視差運動向量(亦即，運動向量指向視圖間參考圖像)在候選者中找到，視訊寫碼器便可將視差運動向量轉換至視差向量。舉例而言，視訊寫碼器可設定當前區塊之視差向量的水平分量等於視差運動向量的水平分量，且可設定視差向量的垂直分量為0。
在3D-HEVC之一些設計(例如，3D-HTM 6.0)中，當視訊寫碼器執行NBDV過程時，視訊寫碼器按次序檢查時間相鄰區塊中之視差運動向量、空間相鄰區塊中之視差運動向量且接著隱含視差向量(IDV)。IDV可為使用視圖間預測寫碼之空間或時間相鄰PU的視差向量。IDV亦可被稱作導出之視差向量。當PU使用視圖間運動向量預測時，亦即，當AMVP或合併模式之候選者借助於視差向量自其他視圖中之參考區塊導出時，可產生IDV。此視差向量被稱作IDV。IDV出 於視差向量導出之目的可被儲存至PU。舉例而言，儘管區塊藉由運動預測寫碼，區塊之所導出之視差向量出於寫碼隨後區塊之目的而不被捨棄。因此，當視訊寫碼器識別視差運動向量或IDV時，視訊寫碼器可傳回所識別之視差運動向量或IDV。IDV以Sung等人之「3D-CE5.h：Simplification of disparity vector derivation for HEVC-based 3D video coding,document JCTV3-A0126」中NBDV的簡化版本包括。在NBDV過程中使用IDV藉由用隨機存取點(RAP)圖像選擇移除儲存於經解碼圖像緩衝器中之IDV且又改善之寫碼增益在Kang等人之「D-CE5.h related：improvements for disparity vector derivation」文件JCT3V-B0047中被進一步簡化。視訊寫碼器可將經傳回之視差運動向量或IDV轉換至視差向量，且可將視差向量用於視圖間運動預測及視圖間殘餘預測。隨機存取係指位元串流的自並非位元串流中之第一經寫碼圖像的經寫碼圖像開始之解碼。隨機存取圖像或隨機存取點以規則間隔至位元串流中之插入可啟用隨機存取。實例類型之隨機存取圖像包括瞬時解碼器再新(IDR)圖像、清潔隨機存取(CRA)圖像，及斷鏈存取(BLA)圖像。因此，IDR圖像、CRA圖像及BLA圖像被統稱為RAP圖像。在一些實例中，RAP圖像可具有等於BLA_W_LP、BLA_W_RADL、BLA_N_LP、IDR_W_RADL、IDR_N_LP、RSV_IRAP_VCL22、RSV_IRAP_VCL23或CRA_NUT的NAL單元類型。
當視訊寫碼器識別視差運動向量或IDV時，視訊寫碼器可終止檢查過程。因此，一旦視訊寫碼器找到當前區塊之視差向量，視訊寫碼器便可終止NBDV過程。當視訊寫碼器未能藉由執行NBDV過程判定當前區塊之視差向量時(亦即，當在NBDV過程期間未找到視差運動向量或IDV時)，NBDV被標識為不可用的。換言之，可考慮NBDV過程傳回不可用視差向量。
若視訊寫碼器未能藉由執行NBDV過程導出當前區塊的視差向量(亦即，若未找到視差向量)，則視訊寫碼器可使用零視差向量作為當前PU的視差向量。零視差向量為具有等於0之水平分量及垂直分量兩者的視差向量。因此，即使在NBDV過程傳回不可用結果時，需要視差向量之視訊寫碼器的其他寫碼過程可將零視差向量用於當前區塊。在一些實例中，若視訊寫碼器未能藉由執行NBDV過程導出當前區塊的視差向量，則視差寫碼器可停用當前區塊的視圖間殘餘預測。然而，無關於視訊寫碼器是否能夠藉由執行NBDV過程導出當前區塊的視差向量，視差寫碼器可使用當前區塊的視圖間運動預測。即，若在檢查所有預定相鄰區塊之後未找到視差向量，則零視差向量可用於視圖間運動預測，而視圖間殘餘預測針對對應CU可經停用。
如上文所提及，作為判定當前CU之視差向量的過程之部分，視訊寫碼器可檢查空間相鄰PU。在一些實例中，視訊寫碼器檢查以下空間相鄰區塊：左下空間相鄰區塊、左側空間相鄰區塊、右上空間相鄰區塊、上方空間相鄰區塊，及左上空間相鄰區塊。舉例而言，在NBDV過程之一些版本中，五個空間相鄰區塊用於視差向量導出。如圖2中所指示，五個空間相鄰區塊可分別涵蓋位置A0、A1、B0、B1及B2。視訊寫碼器可以次序A1、B1、B0、A0及B2檢查五個空間相鄰區塊。相同之五個空間相鄰區塊以合併模式可用於HEVC。因此，在一些實例中，不需要額外記憶體存取。若空間相鄰區塊中之一者具有視差運動向量，則視訊寫碼器可終止檢查過程，且視訊寫碼器可使用視差運動向量作為當前區塊的最終視差向量。
此外，如上文所提及，作為判定當前區塊之視差向量的過程之部分，視訊寫碼器可檢查空間相鄰PU。為了檢查時間相鄰區塊(例如，PU)，可首先執行候選者圖像清單的建構過程。在一些實例中，視訊寫碼器可檢查來自當前視圖之至多兩個參考圖像用於視差運動向 量。第一參考圖像可為共置圖像。因此，共置圖像(亦即，共置參考圖像)可首先插入至候選者圖像清單中，以參考索引之升序繼之以其他候選者圖像。當兩個參考圖像清單中具有相同參考索引的參考圖像可用時，作為共置圖像之相同參考圖像清單中之參考圖像在候選者清單中先於並非相同參考圖像清單中之作為共置圖像的參考圖像。
對於候選者圖像清單中之每一候選者圖像(亦即，隨機存取圖像及共置圖像)，視訊寫碼器可檢查三個候選者區。三個候選者區可界定如下：
●CPU：當前PU或當前CU的共置區。
●CLCU：涵蓋當前區塊之共置區的最大寫碼單元(LCU)。
●BR：CPU之右下4×4區塊。
若涵蓋候選者區之PU指定視差運動向量，則視訊寫碼器可基於PU之視差運動向量來判定當前視訊單元的視差向量。
當視訊寫碼器檢查相鄰PU(亦即，空間或時間相鄰PU)時，視訊寫碼器可首先檢查相鄰PU是否具有視差運動向量。若相鄰PU皆不具有視差運動向量，則視訊寫碼器可判定空間相鄰PU中之任一者是否具有IDV。視訊寫碼器可以次序A0、A1、B0、B1及B2檢查空間相鄰PU。若空間相鄰PU中之一者具有IDV，且IDV作為合併/跳過模式經寫碼，則視訊寫碼器可終止檢查過程，且可使用IDV作為當前PU的最終視差向量。
如上文所指示，視訊寫碼器可應用NBDV過程以導出當前區塊(例如，CU、PU等)的視差向量。當前區塊之視差向量可指示參考視圖中參考圖像(亦即，參考分量)的位置。在一些3D-HEVC設計中，視訊寫碼器經允許以存取參考視圖的深度資訊。在一些此等3D-HEVC設計中，當視訊寫碼器使用NBDV過程來導出當前區塊的視差向量時，視訊寫碼器可應用改進過程以進一步改進當前區塊的視差向量。 視訊寫碼器可基於參考圖像之深度圖來改進當前區塊的視差向量。視訊寫碼器可使用類似改進過程來改進視差運動向量用於回溯視圖合成預測中。以此方式，深度可用以改進視差向量或視差運動向量用於回溯視差合成預測。此改進過程本文中可被稱作NBDV改進(「NBDV-R」)、NBDV改進過程或深度定向式NBDV(Do-NBDV)。
當NBDV過程傳回可用視差向量時(例如，當NBDV過程傳回變數時，該變數指示NBDV過程未能基於相鄰區塊之視差運動向量或IDV導出當前區塊的視差向量)，視訊寫碼器可藉由自參考視圖之深度圖擷取深度資料來進一步改進視差向量。在一些實例中，改進過程包括以下兩個步驟：
1.使用當前區塊之視差向量來定位參考視圖之深度圖中的區塊。換言之，藉由先前寫碼參考深度視圖(諸如，基本視圖)中之所導出之視差向量來定位對應深度區塊。在此實例中，對應區塊之深度的大小可與當前區塊之大小相同。
2.自對應深度區塊之四個角落像素選擇一個深度值，且將深度值轉換至經改進視差向量的水平分量。在此實例中，視訊寫碼器並不改變視差向量的垂直分量。
當NBDV過程並不傳回可用視差向量時(例如，當NBDV過程傳回變數時，該變數指示NBDV過程未能基於相鄰區塊之視差運動向量或IDV導出當前區塊的視差向量)，視訊寫碼器並不執行NBDV改進過程，且視訊寫碼器使用零視差向量作為當前區塊的視差向量。換言之，當NBDV並不提供可用視差向量且因此NBDV之結果不可用時，以上NBDV-R過程被跳過且直接傳回零視差向量。
在一些3D-HEVC設計中，視訊寫碼器將當前區塊之經改進之視差向量用於視圖間運動預測，而視訊寫碼器將當前區塊之未經改進的視差向量用於視圖間殘餘預測。舉例而言，視訊寫碼器可使用NBDV 過程來導出當前區塊的未經改進視差向量。視訊寫碼器可接著應用NBDV改進過程以導出當前區塊的經改進之視差向量。視訊寫碼器可出於判定當前區塊之運動資訊的目的來使用當前區塊的經改進之視差向量。此外，視訊寫碼器可出於判定當前區塊之殘餘區塊的目的來使用當前區塊的未經改進之視差向量。在一些實例中，若PU藉由BVSP模式來寫碼，則視訊寫碼器可儲存經改進之視差向量作為一個PU的運動向量。
回溯視圖合成預測(BVSP)方法提議於Tian等人之「CE1.h：Backward View Synthesis Prediction Using Neighboring Blocks,」文件JCT3V-C0152(下文「JCT3V-C0152」)中，且在第三JCT-3V會議中採用。視訊寫碼器可執行BVSP以合成視圖分量。因為可合成視圖分量，所以對於位元串流而言包括視圖分量之經寫碼表示可為不必要的。由於至少此原因，BVSP之使用可減少位元串流的大小。
BVSP概念上類似於3D-AVC中基於區塊的VSP。換言之，回溯變形VSP之基本理念與3D-AVC中基於區塊之VSP相同。BVSP及3D-AVC中基於區塊之VSP兩者使用回溯變形及基於區塊之VSP來避免傳輸運動向量差及使用更精準運動向量。然而，實施細節歸因於不同平台而不同。
一般而言，當視訊寫碼器執行BVSP以合成參考紋理圖像時，視訊寫碼器處理相依紋理圖像中的區塊(例如，視訊單元)。相依紋理圖像及經合成之紋理圖像係在同一存取單元中但在不同視圖中。當視訊寫碼器處理相依紋理圖像之區塊(亦即，當前區塊)時，視訊寫碼器可執行NBDV過程來識別當前區塊的視差向量。即，為了估計區塊之深度資訊，視訊寫碼器可首先自相鄰區塊導出視差向量。
此外，當視訊寫碼器執行BVSP來合成參考紋理圖像時，視訊寫碼器可使用當前區塊之視差向量來識別參考深度圖像中的參考區塊。 換言之，視訊寫碼器可接著使用導出之視差向量來自參考視圖獲得深度區塊。舉例而言，藉由NBDV過程識別之視差向量可表示為(dvx,dvy)，且當前區塊位置可表示為(blockx,blocky)。此外，在此實例中，視訊寫碼器可在參考視圖之深度影像中提取(blockx+dvx,blocky+dvy)處的深度區塊。在此實例中，所提取之深度區塊大小與當前PU的大小相同。相依紋理圖像及參考深度圖像係在同一存取單元中但在不同視圖中。視訊寫碼器可接著執行回溯變形過程以基於當前區塊之樣本值及參考圖像之所識別參考區塊的樣本值來判定經合成圖像的樣本值。換言之，視訊寫碼器在此實例中可使用所提取之深度區塊來執行當前PU的回溯變形。
如上文所指示，當視訊寫碼器執行BVSP時，視訊寫碼器可執行NBDV過程來識別當前區塊的視差向量。此外，當視訊寫碼器執行BVSP時，視訊寫碼器可使用類似於本發明中在其他處描述之過程的改進過程來改進使用NBDV過程導出的視差運動向量。當視訊寫碼器執行視差向量改進過程時，視訊寫碼器可基於參考視圖中深度圖中的深度值來改進視差向量。換言之，深度可用以改進視差向量或視差運動向量以用於BVSP。若經改進之視差向量藉由BVSP模式寫碼，則改進之視差向量可經儲存作為一個PU的運動向量。
在3D-HEVC之一些版本中，應用紋理優先寫碼。在紋理優先寫碼中，視訊寫碼器在寫碼對應深度視圖分量(亦即，具有與紋理視圖分量相同之POC值及視圖識別符的深度視圖分量)之前寫碼(例如，編碼或解碼)紋理視圖分量。因此，非基本視圖深度視圖分量不可用於寫碼對應非基本視圖紋理視圖分量。換言之，當視訊寫碼器寫碼非基本紋理視圖分量時，對應非基本深度視圖分量為不可用的。因此，深度資訊可經估計並用以執行BVSP。
圖5為說明自參考視圖之深度區塊導出以執行BVSP預測之概念 圖。在圖5之實例中，視訊寫碼器正對當前紋理圖像60進行寫碼。當前紋理圖像60標註為「相依紋理圖像」，此係因為當前紋理圖像60取決於合成之參考紋理圖像62。換言之，視訊寫碼器可需要合成參考紋理圖像62以便解碼當前紋理圖像60。參考紋理圖像62及當前紋理圖像60在同一存取單元中但在不同視圖中。
為了合成參考圖像紋理62，視訊寫碼器可處理當前紋理圖像60的區塊(亦即，視訊單元)。在圖5之實例中，視訊寫碼器正在處理當前區塊64。當視訊寫碼器處理當前區塊64時，視訊寫碼器可執行NBDV過程以導出當前區塊64之視差向量。舉例而言，在圖5之實例中，視訊寫碼器識別相鄰於當前區塊64之區塊68的視差向量66。視差向量66之識別展示為圖5之步驟1。此外，在圖5之實例中，視訊寫碼器基於視差向量66判定當前區塊64之視差向量68。舉例而言，視差向量68可為視差向量66之複本。複製視差向量66展示為圖5之步驟2。
視訊寫碼器可基於當前區塊64之視差向量68來識別參考深度圖像72中之參考區塊70。參考深度圖像72、當前紋理圖像60及參考紋理圖像62可各自在同一存取單元中。參考深度圖像72及參考紋理圖像62可在同一視圖中。視訊寫碼器可基於當前區塊64之紋理樣本值及參考區塊70之深度樣本值來判定參考紋理圖像62之紋理樣本值。判定紋理樣本值之過程可被稱作回溯變形。3D-HEVC測試模型3之章節H.8.5.2.2.7描述回溯變形之過程。回溯變形展示為圖5之步驟3。以此方式，圖5說明來自參考視圖之深度區塊經定位且接著用於BVSP預測之方式的三個步驟。
在一些實例中，BVSP經針對一些CVS啟用，但不針對其他CVS啟用。在BVSP經啟用之CVS中，視訊寫碼器可執行不同於針對視圖間運動預測之NBDV過程的NBDV過程。亦即，若BVSP經在CVS中啟用，則可改變用於視圖間運動預測之NBDV過程。當視訊寫碼器關於 BVSP經啟用之CVS中的當前區塊執行NBDV過程時，視訊寫碼器可判定時間相鄰區塊是否具有視差運動向量。若時間相鄰區塊具有視差運動向量，則視訊寫碼器可基於時間相鄰區塊之視差運動向量來判定當前區塊之視差向量。視訊寫碼器可接著改進視差向量。換言之，對於時間相鄰區塊中之每一者，若其使用視差運動向量，則視差運動向量經作為視差向量傳回，且其進一步藉由本發明中於其他處描述的方法來改進。
此外，在視訊寫碼器關於當前區塊執行NBDV過程時，視訊寫碼器可評估空間相鄰區塊。對於空間相鄰區塊中之每一者，應用以下情形。按次序針對RefPicList0及RefPicList1，若空間相鄰區塊使用視差運動向量，則視訊寫碼器將視差運動向量作為當前區塊的視差向量傳回，且視訊寫碼器可如本發明中於其他處所描述進一步改進視差向量。否則，若空間相鄰區塊使用BVSP模式，則視訊寫碼器將關聯運動向量作為當前區塊的視差向量傳回，且可以類似於本發明中於其他處所描述之方式改進視差向量。然而，若空間相鄰區塊使用BVSP模式，則視訊寫碼器可自對應深度區塊之所有像素而非四個角落像素選擇最大像素值，且視訊寫碼器可將經改進之視差向量的垂直分量設定為0。若空間相鄰區塊使用IDV，則視訊寫碼器可將IDV作為視差向量傳回，且視訊寫碼器可進一步藉由本發明中於其他處所描述的方法來改進視差向量。若視差運動向量皆不可用，則視訊寫碼器並不應用改進過程，且視訊寫碼器可將視差向量作為零向量導出。
在視訊寫碼器判定當前區塊之視差向量且改進當前區塊之視差向量之後，視訊寫碼器可導出當前區塊之視差運動向量。對於當前區塊內之每一子區域(4×4區塊)(亦即，以BVSP模式寫碼之一個PU)，視訊寫碼器可基於經改進之視差向量來定位參考深度視圖中的對應4×4深度區塊。第二，視訊寫碼器可選擇對應深度區塊中的十六個深度像 素之最大值。第三，視訊寫碼器可將最大值轉換至視差運動向量的水平分量。視訊寫碼器可將視差運動向量之垂直分量設定為0。
視訊寫碼器不大可能能夠使用NBDV來導出用於某些類型之區塊(例如，PU、CU等)的視差向量。舉例而言，不可用視差向量有可能針對沿著截塊、影像塊或圖像邊界的區塊自NBDV出現。在另一實例中，若相鄰區塊皆藉由框內預測寫碼，則不可用視差向量有可能自NBDV出現。
一般而言，影像塊係以一行及一列同時出現之整數數目個寫碼樹狀結構區塊，該等區塊在影像塊之寫碼樹狀結構區塊光柵掃描中經連續地排序。列可為整數數目個寫碼樹狀結構區塊。行藉由自圖像之頂部邊界延伸至底部邊界之垂直邊界自另一行進行描繪，且在圖像中以左至右次序進行連續排序。列藉由自圖像之左側邊界延伸至右側邊界之水平邊界自另一列進行描繪，且在圖像中以頂部至底部次序進行連續排序。行可為整數數目個寫碼樹狀結構區塊。
3D-HEVC中的當前視差向量導出方法具有若干問題。舉例而言，當NBDV過程提供不可用視差向量時，視訊寫碼器可跳過NBDV-R過程以改進視差向量。此情形可導致寫碼效能下降。
本發明之技術可具有優於先前視訊寫碼技術的數個優點。舉例而言，本發明之技術可在視差向量導出方法(例如，3D-HEVC中之NBDV)不可產生可用視差向量時藉由存取參考視圖之深度視圖分量來提供經更好改進的視差向量。
在一些實例中，一種視訊寫碼器可執行多視圖視訊資料之當前區塊的視差向量導出過程。當視訊寫碼器執行視差向量導出過程時，視訊寫碼器可能或可能不能成功地導出當前區塊的視差向量。舉例而言，當相鄰區塊皆不具有視差運動向量或IDV時，視訊寫碼器藉由可能不能藉由執行視差向量導出過程來成功地導出當前區塊的視差向 量。因此，當視訊寫碼器執行視差向量導出過程時，視訊寫碼器可產生當前區塊之視差向量及可用值(例如，availableDV)。可用性值指示，視訊寫碼器是否未能藉由執行視差向量導出過程導出當前區塊的視差向量。
在本發明中，若可用性值指示視訊寫碼器能夠藉由執行視差向量導出過程導出當前區塊的視差向量，則當前區塊之視差向量為「可用的」。同樣，若可用性值指示視訊寫碼器未能藉由執行視差向量導出過程導出當前區塊的視差向量，則當前區塊之視差向量為「不可用的」。因此，可用性值指示，在視差向量導出過程未能導出當前區塊的視差向量時，當前區塊的視差向量不可用。此外，在本發明中，視差向量導出過程據稱為視視訊寫碼器是否能夠藉由執行視差向量導出過程導出當前區塊的視差向量而傳回可用抑或不可用的視差向量。
根據本發明之一或多項技術，當可用性值指示視差向量導出過程尚未導出當前區塊的視差向量時，視訊寫碼器可仍然執行視差向量改進過程以產生當前區塊的經改進之視差向量。因此，視差向量改進過程不限於視差向量導出過程產生可用視差向量的狀況。因此，即使視差向量導出過程並不產生可用視差向量，本發明之技術可仍允許關於預設視差向量(諸如，具有等於零之水平及垂直分量的預設視差向量)的視差向量改進。
舉例而言，視訊解碼器30可執行多視圖視訊資料之當前區塊的視差向量導出過程(例如，NBDV過程)。當前區塊可在當前視圖中。此外，可用性值可指示，在視差向量導出過程未能導出當前區塊的視差向量時，當前區塊的視差向量不可用。在此實例中，當可用性值指示視差向量導出過程尚未導出當前區塊之視差向量時，視訊解碼器30可藉由執行存取一參考視圖之一深度視圖分量的一視差向量改進過程(例如，NBDV-R過程)來產生當前區塊的經改進之視差向量。視訊解 碼器30可基於該當前區塊之經改進之視差向量解碼當前區塊。舉例而言，視訊解碼器30可使用經改進之視差向量來執行當前區塊的視圖間運動預測、視圖間殘餘預測及/或回溯變形視圖合成預測。
類似地，視訊編碼器20可執行多視圖視訊資料之當前區塊的視差向量導出過程(例如，NBDV過程)。當前區塊可在當前視圖中。此外，可用性值可指示，在視差向量導出過程未能導出當前區塊的視差向量時，當前區塊的視差向量不可用。在此實例中，當可用性值指示視差向量導出過程尚未導出當前區塊之視差向量時，視訊編碼器20可藉由執行存取一參考視圖之一深度視圖分量的一視差向量改進過程(例如，NBDV-R過程)來產生當前區塊的經改進之視差向量。視訊編碼器20可基於該當前區塊之經改進之視差向量編碼當前區塊。舉例而言，視訊編碼器20可使用經改進之視差向量來執行當前區塊的視圖間運動預測、視圖間殘餘預測及/或回溯變形視圖合成預測。
在一些實例中，當NBDV過程在檢查相鄰區塊中之視差運動向量及IDV之後傳回不可用結果時(亦即，在可用性值指示當前區塊之視差向量不可用時)，替代直接使用零視差向量並跳過NBDV-R之改進過程，視訊寫碼器可在NBDV-R過程中使用零視差運動向量。因此，NBDV-R中之改進過程可用以藉由存取深度視圖分量來改進視差向量。
替代地，在一些實施中，當NBDV過程傳回不可用視差向量時(亦即，在可用性值指示當前區塊之視差向量不可用時)，視訊寫碼器可設定當前區塊之可用性為可用的，且可設定當前區塊之視差向量為零。換言之，視訊寫碼器可修改可用性值以指示，當前區塊之視差向量係可用的。視訊寫碼器可接著將視差向量改進過程應用至當前區塊的視差向量。
如上文所指示，NBDV過程可傳回可用性值(例如， availableDV)。在一個實例中，等於0之availableDV可指示，NBDV過程傳回不可用視差向量。換言之，等於0之availableDV可指示，NBDV過程未能導出當前區塊的視差向量。等於1之availableDV可指示，NBDV過程傳回可用視差向量。換言之，等於1之availableDV可指示，NBDV過程能夠導出當前區塊的視差向量。此外，在此實例中，mvDisp表示當前區塊之視差向量，mvDisp[0]表示當前區塊之視差向量的水平分量，且mvDisp[1]表示當前區塊之視差向量的垂直分量。因此，在此實例中，當availableDV等於0時，視訊寫碼器可設定mvDisp[0]為0，設定mvDisp[1]為0，且設定availableDV為1。視訊寫碼器可接著將視差向量改進過程應用至mvDisp。
以此方式，可用性值(例如，availableDV)可指示視差向量導出過程(例如，NBDV過程)是否能夠導出當前區塊的視差向量。在此實例中，當可用性值指示視差向量導出過程未能導出當前區塊之視差向量時，視訊寫碼器可設定可用性值以指示當前區塊之視差向量可用，且可設定當前區塊之視差向量為零視差向量。
此外，於在NBDV過程傳回不可用視差向量時視訊寫碼器設定可用性值以指示當前區塊之視差向量為可用的且設定當前區塊之視差向量等於零的一些實例中，視訊寫碼器可維持變數(例如，availableDVRes)以識別NBDV過程原先傳回可用視差向量。視訊寫碼器在某些條件下可將變數用於其他寫碼工具。舉例而言，等於0之此變數可導致視訊寫碼器停用當前區塊之視圖間殘餘預測。因此，在此實例中，視訊寫碼器可維持變數以指示視差向量導出過程原先是否導出當前區塊的視差向量。視訊寫碼器可藉由一或多個寫碼工具提供該變數以供使用。此外，視訊寫碼器可基於變數之該值啟用寫碼工具中的一或多者。
於在NBDV過程傳回不可用視差向量時視訊寫碼器設定當前區塊 之視差向量之可用性值為可用的且設定當前區塊之視差向量等於零的一些實例中，視訊寫碼器可將偏移添加至當前區塊的視差向量(亦即，零視差向量)。在此實例中，視訊寫碼器不將視差向量改進過程應用至當前區塊的視差向量。換言之，在此實例中，不存在使用深度資訊之改進過程。因此，在此實例中，當視差向量導出過程傳回不可用視差向量時，視訊寫碼器可將偏移添加至零視差向量以產生經修改之視差向量。
在先前段落之實例中，視訊寫碼器可以各種方式來設定偏移。舉例而言，視訊寫碼器可將偏移僅添加至當前區塊之視差向量的水平分量。此外，在一些實例中，視訊寫碼器(或另一器件)可藉由攝影機參數及預設深度像素值(例如，128)來計算偏移。因此，在此實例中，視訊寫碼器可基於攝影機參數及預設深度像素值中的一或多者來判定偏移。在一些實例中，視訊編碼器20在含有當前區塊之截塊的截塊標頭中發信偏移。因此，在此等實例中，視訊寫碼器可基於在經寫碼視訊位元串流中接收到之發信值而判定偏移。在此等實例中，值可在截塊標頭中予以發信。
根據本發明之一些技術，可組合本發明中提供之實例中的一或多者。
圖6為說明可實施本發明之技術之實例視訊編碼器20之方塊圖。圖6為了解釋之目的而提供，且不應視為限制如在本發明中廣泛例證且描述之技術。為了解釋，本發明在HEVC寫碼之內容脈絡中描述視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖6之實例中，視訊編碼器20包括預測處理單元100、殘餘產生單元102、變換處理單元104、量化單元106、反量化單元108、反變換處理單元110、重建構單元112、濾波器單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120 及框內預測處理單元126。框間預測處理單元120包括運動估計單元122及運動補償單元124。在其他實例中，視訊編碼器20可包括較多、較少或不同功能組件。
視訊編碼器20可接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之截塊中的每一CTU。CTU中之每一者可與大小經相等設定之明度寫碼樹狀結構區塊(CTB)及圖像的對應CTB相關聯。作為編碼CTU的部分，預測處理單元100可執行四分樹分割以將CTU之CTB劃分成漸進較小之區塊。較小區塊可為CU之寫碼區塊。舉例而言，預測處理單元100可將與CTU相關聯之CTB分割成四個大小經相等設定的子區塊，將子區塊中之一或多者分割成四個大小經相等設定之子區塊的子區塊，等等。
視訊編碼器20可編碼CTU之CU以產生CU之經編碼表示(亦即，經寫碼CU)。作為編碼CU之部分，預測處理單元100可在CU之一或多個PU當間分割與CU相關聯的寫碼區塊。因此，每一PU可與明度預測區塊及對應色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小的PU。如上文所指示，CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測區塊的大小。假定特定CU之大小係2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測之2N×2N或N×N的PU大小，及用於框間預測之2N×2N、2N×N、N×2N、N×N或類似大小的對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測之2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。
框間預測處理單元120可藉由對CU之每一PU執行框間預測而產生PU的預測性資料。PU之預測性資料可包括PU之預測性區塊及PU的運動資訊。框間預測處理單元120可視PU係在I截塊、P截塊抑或B截塊中而對CU之PU執行不同操作。在I截塊中，所有PU經框內預測。 因此，若PU係在I截塊中，則框間預測處理單元120並不對PU執行框間預測。
若PU係在P截塊中，則運動估計單元122可為了PU之參考區而搜尋參考圖像之清單(例如，「RefPicList0」)中的參考圖像。PU之參考區可為參考圖像內的一區，該區含有最緊密地對應於PU之預測區塊的樣本。運動估計單元122可產生參考索引，該參考索引指示含有用於PU之參考區的參考圖像在RefPicList0中的位置。此外，運動估計單元122可產生運動向量，該運動向量指示PU之預測區塊與係與參考區相關聯之參考位置之間的空間位移。舉例而言，運動向量可為二維向量，其提供自當前圖像中之座標至參考圖像中之座標的偏移。運動估計單元122可輸出參考索引及運動向量作為PU的運動資訊。運動補償單元124可基於由PU之運動向量指示的參考位置處之實際或內插樣本來產生PU的預測性區塊。
若PU係在B截塊中，則運動估計單元122可執行PU之單向預測或雙向預測。為了執行PU之單向預測，運動估計單元122可為了PU之參考區而搜尋RefPicList0或第二參考圖像清單(「RefPicList1」)的參考圖像。運動估計單元122可輸出以下各者作為PU之運動資訊：參考索引，其指示含有參考區之參考圖像在RefPicList0或RefPicList1中的位置；運動向量，其指示PU之預測區塊與係與參考區相關聯之參考位置之間的空間位移；及一或多個預測方向指示符，其指示參考圖像係在RefPicList0抑或RefPicList1中。運動補償單元124可至少部分基於由PU之運動向量指示的參考位置處之實際或內插樣本來產生PU的預測性區塊。
為了執行PU之雙向框間預測，運動估計單元122可為了PU之參考區而搜尋RefPicList0中的參考圖像，且亦可為了PU之另一參考區而搜尋RefPicList1中的參考圖像。運動估計單元122可產生參考索引，該 等參考索引指示參考圖像之RefPicList0及RefPicList1中含有參考區的位置。此外，運動估計單元122可產生運動向量，其指示與參考區相關聯之參考位置與PU之預測區塊之間的空間位移。PU之運動資訊可包括PU的參考索引及運動向量。運動補償單元124可至少部分基於由PU之運動向量指示的參考位置處之實際或內插樣本來產生PU的預測性區塊。
框內預測處理單元126可藉由對PU執行框內預測而產生PU的預測性資料。PU之預測性資料可包括PU之預測性區塊及各種語法元素。框內預測處理單元126可對I截塊、P截塊及B截塊中之PU執行框內預測。
為了對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式來產生PU之預測性區塊的多個集合。當使用特定框內預測模式執行框內預測時，框內預測處理單元126可使用來自相鄰區塊之樣本的特定集合來產生PU的預測性區塊。假定針對PU、CU及CTU之左至右、頂部至底部之編碼次序，相鄰區塊可在PU之預測區塊的上方、右上方、左上方或左側。框內預測處理單元126可使用各種數目個框內預測模式，例如，33個定向框內預測模式。在一些實例中，框內預測模式之數目可取決於PU之預測區塊的大小。
在一些實例中，框內預測處理單元120可導出當前區塊(例如，CU、PU等)的視差向量。視差向量可支援視圖間運動預測、視圖間殘餘預測、回溯變形視圖合成預測等等。根據本發明之一或多項技術，框間預測處理單元120可執行多視圖視訊資料之當前區塊的視差向量導出過程。一可用性值指示，在視差向量導出過程未能導出當前區塊的視差向量時，當前區塊的視差向量不可用。當可用性值指示視差向量導出過程尚未導出當前區塊之視差向量時，框間預測處理單元120可藉由執行存取一參考視圖之一深度視圖分量的一視差向量改進過程 來產生當前區塊的經改進之視差向量。
預測處理單元100可自PU之由框間預測處理單元120產生之預測性資料或PU之由框內預測處理單元126產生的預測性資料選擇針對CU之PU的預測性資料。在一些實例中，預測處理單元100基於預測性資料之集合的速率/失真量度來選擇針對CU之PU的預測性資料。所選擇之預測性資料的預測性區塊本文中可被稱作所選擇預測性區塊。
殘餘產生單元102可基於CU之明度、Cb及Cr寫碼區塊以及CU之PU的所選擇之預測性明度、Cb及Cr區塊而產生CU的明度、Cb及Cr殘餘區塊。舉例而言，殘餘產生單元102可產生CU之殘餘區塊，使得殘餘區塊中之每一樣本具有一值，該值等於CU之寫碼區塊中之樣本與CU之PU之對應所選擇預測性區塊中的對應樣本之間的差。
變換處理單元104可執行四分樹分割以將CU之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此，TU可與明度變換區塊及兩個對應色度變換區塊相關聯。CU之TU的明度及色度變換區塊的大小及位置可能或可能並非基於CU之PU的預測區塊的大小及位置。
變換處理單元104可藉由將一或多個變換應用至TU之變換區塊而產生針對CU之每一TU的變換係數區塊。變換處理單元104可將各種變換應用至與TU相關聯的變換區塊。舉例而言，變換處理單元104可將離散餘弦變換(DCT)、方向變換或概念上類似之變換應用至變換區塊。在一些實例中，變換處理單元104並不將變換應用至變換區塊。在此等實例中，變換區塊可作為變換係數區塊進行處置。
量化單元106可使係數區塊中之變換係數量化。該量化過程可減少與該等變換係數中之一些或全部相關聯的位元深度。舉例而言，n位元變換係數在量化期間可經降值捨位至m位元變換係數，其中n大於m。量化單元106可基於與CU相關聯之量化參數(QP)值來量化與CU之TU相關聯的係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP 值而調整應用至與CU相關聯之係數區塊的量化程度。量化可引入資訊之損失，因此經量化之變換係數相較於原始變換係數可具有較低精度。
反量化單元108及反變換處理單元110可分別將反量化及反變換應用至係數區塊以自係數區塊重建構殘餘區塊。重建構單元112可將經重建構之殘餘區塊添加至由預測處理單元100產生之來自一或多個預測性區塊的對應樣本以產生與TU相關聯的經重建構變換區塊。重建構單元112亦可被稱作求和器。藉由以此方式重建構針對CU之每一TU的變換區塊，視訊編碼器20可重建構CU的寫碼區塊。
濾波器單元114可執行一或多個解塊操作以減少與CU相關聯之寫碼區塊中的方塊效應假影。經解碼圖像緩衝器116在濾波器單元114對經重建構之寫碼區塊執行一或多個解塊操作之後可儲存經重建構之寫碼區塊。框間預測處理單元120可使用含有經重建構之寫碼區塊的參考圖像以執行其他圖像之PU的框間預測。此外，框內預測處理單元126可使用經解碼圖像緩衝器116中之經重建構寫碼區塊以對與CU相同之圖像中的其他PU執行框內預測。經解碼圖像緩衝器116亦可被稱作參考圖像記憶體。因此，經解碼圖像緩衝器116可包含儲存諸如多視圖視訊資料之視訊資料的記憶體。
熵編碼單元118可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊，且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作以產生經熵編碼之資料。舉例而言，熵編碼單元118可對資料執行內容自適應性可變長度寫碼(CAVLC)操作、CABAC操作、變數至變數(V2V)長度寫碼操作、基於語法之內容自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單 元118產生之熵編碼資料的位元串流。
圖7為說明經組態以實施本發明之技術之實例視訊解碼器30之方塊圖。圖7為了解釋之目的而提供，且不限制如在本發明中廣泛例證且描述之技術。為了解釋，本發明在HEVC寫碼之內容脈絡中描述視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖7之實例中，視訊解碼器30包括熵解碼單元150、預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158、濾波器單元160及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及框內預測處理單元166。在其他實例中，視訊解碼器30可包括較多、較少或不同功能組件。
經寫碼圖像緩衝器(CPB)151可接收並儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自CPB 151接收NAL單元且剖析NAL單元以自位元串流獲得語法元素。熵解碼單元150可熵解碼NAL單元中的經熵編碼之語法元素。預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158及濾波器單元160可基於提取自位元串流之語法元素而產生經解碼視訊資料。
位元串流之NAL單元可包括經寫碼截塊NAL單元。作為解碼位元串流之部分，熵解碼單元150可自經寫碼切片NAL單元提取語法元素並熵解碼該等語法元素。經寫碼截塊中之每一者可包括截塊標頭及截塊資料。截塊標頭可含有關於截塊之語法元素。
除獲得來自位元串流之語法元素外，視訊解碼器30可對CU執行解碼操作。藉由對CU執行解碼操作，視訊解碼器30可重建構CU之寫碼區塊。
作為對CU執行解碼操作的部分，反量化單元154可反量化(亦即，解量化)與CU之TU相關聯的係數區塊。反量化單元154可使用與TU之CU相關聯的QP值來判定量化程度，且同樣應用之反量化單元 154的反量化程度。即，壓縮比(亦即，用以表示初始序列之位元數目與經壓縮序列之位元數目的比率)可藉由調整在量化變換係數時使用之QP的值來控制。壓縮比亦可取決於所使用之熵寫碼的方法。
在反量化單元154反量化係數區塊之後，反變換處理單元156可將一或多個反變換應用至係數區塊以便產生與TU相關聯的殘餘區塊。舉例而言，反變換處理單元156可將反DCT、反整數變換、反卡忽南-拉維變換(Karhunen-Loeve transform，KLT)、反旋轉變換、反方向變換或另一反變換應用至係數區塊。
若PU使用框內預測來編碼，則框內預測處理單元166可執行框內預測以產生PU的預測性區塊。框內預測處理單元166可使用框內預測模式以基於空間相鄰PU之預測區塊產生PU的預測性明度、Cb及Cr區塊。框內預測處理單元166可基於自位元串流解碼之一或多個語法元素而判定PU的框內預測模式。
預測處理單元152可基於提取自位元串流之語法元素而建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外，若PU使用框間預測來編碼，則熵解碼單元150可獲得PU之運動資訊。運動補償單元164可基於PU之運動資訊判定PU的一或多個參考區。運動補償單元164可基於PU之一或多個參考區塊處的樣本產生PU的預測性明度、Cb及Cr區塊。
在一些實例中，預測處理單元152可導出當前區塊的視差向量(例如，CU、PU等)。視差向量可支援視圖間運動預測、視圖間殘餘預測、回溯變形視圖合成預測等等。根據本發明之一或多項技術，預測處理單元152可執行多視圖視訊資料之當前區塊的視差向量導出過程。一可用性值指示，在視差向量導出過程未能導出當前區塊的視差向量時，當前區塊的視差向量不可用。當可用性值指示視差向量導出過程尚未導出當前區塊之視差向量時，預測處理單元152可藉由執行 存取一參考視圖之一深度視圖分量的一視差向量改進過程來產生當前區塊的經改進之視差向量。
重建構單元158可使用來自與CU之TU相關聯的明度、Cb及Cr變換區塊之殘餘值以及CU之PU的預測性明度、Cb及Cr區塊(亦即，框內預測資料或框間預測資料)(在適用時)來重建構CU的明度、Cb及Cr寫碼區塊。舉例而言，重建構單元158可將明度、Cb及Cr變換區塊之樣本添加至預測性明度、Cb及Cr區塊的對應樣本以重建構CU的明度、Cb及Cr寫碼區塊。重建構單元158亦可被稱作求和器。
濾波器單元160可執行解塊操作以減少與CU之明度、Cb及Cr寫碼區塊相關聯的區塊效應假影。視訊解碼器30可將CU之明度、Cb及Cr寫碼區塊儲存於經解碼圖像緩衝器162中。經解碼圖像緩衝器162亦可被稱作參考圖像記憶體。因此，經解碼圖像緩衝器162可包含儲存諸如多視圖視訊資料之視訊資料的記憶體。經解碼圖像緩衝器162可提供參考圖像以用於隨後運動補償、框內預測及顯示器件(諸如，圖1之顯示器件32)上的呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器162中之明度、Cb及Cr區塊執行其他CU之PU的框內預測或框間預測操作。以此方式，視訊解碼器30可自位元串流提取顯著明度係數區塊的變換係數層級，反量化變換係數層級，將變換應用至變換係數層級以產生變換區塊，至少部分基於變換區塊產生寫碼區塊，且輸出寫碼區塊以供顯示。
如上文所描述，視訊寫碼器(例如，視訊編碼器20或視訊解碼器30)可使用NBDV過程來判定視差向量。此外，視訊寫碼器可對視差向量執行改進過程。根據本發明之一些技術，當NBDV過程判定視差向量不可用時，視訊寫碼器可對零視差向量執行改進過程。零視差向量之水平及垂直分量等於零。根據此等技術，修改3D HEVC測試模型描述草案3之子條款H.8.5.4如下。在以下文字中，對所添加標的物加下 劃線。
視差向量的H.8.5.4導出過程
…
當availableDV等於1且deriveFromDepthFlag等於1時，應用以下經排序之步驟：
1.如子條款H.8.5.4.3中指定之視差樣本陣列的導出過程藉由明度位置xP、yP，視差向量mvDisp，視圖識別符refViewIdx，變數nPSW、nPSH，等於nPSW之變數nSubBlkW，等於nPSH的變數nSubBlkH及等於1之旗標restMaxSearchFlag作為輸入來調用；且輸出為具有大小(nPSWDs)×(nPSHDs)的陣列disparitySamples。
視差向量mvDisp[0]之水平分量設定為等於disparitySamples[0][0]。
否則，當availableDV等於0且deriveFromDepthFlag等於1時，應用以下經排序之步驟：
1.如子條款H.8.5.4.3中指定之視差樣本陣列的導出過程藉由明度位置xP、yP，設定為等於0之視差向量mvDisp，視圖識別符refViewIdx，變數nPSW、nPSH，等於nPSW之變數nSubBlkW，等於nPSH的變數nSubBlkH及等於1之旗標restMaxSearchFlag作為輸入來調用；且輸出為具有大小(nPSWDs)×(nPSHDs)的陣列disparitySamples。
2.視差向量mvDisp[0]之水平分量設定為等於disparitySamples[0][0]。
如上文所指示，當在子條款H.8.5.4「Derivation process for a disparity vector」中未找到可用視差運動向量時，子條款H.8.5.4.3「Derivation process for a disparity sample array」經調用以使用關聯深度資訊改進零視差向量。3D HEVC測試模型描述草案3之子條款 H.8.5.4.3再現如下。
視差樣本的H.8.5.4.3導出過程
至此過程之輸入為：
- 當前預測單元之左上明度樣本相對於當前圖像之左上明度樣本的明度位置(xP,yP)，- 視差向量mvDisp，- 指定參考視圖之視圖識別符refViewIdx，- 分別指定當前預測單元之寬度及高度的變數nPSW及nPSH。
- 指定對應深度樣本之轉換精度的變數nSubBlkW及nSubBlkW，- 指定對最大視差之搜尋是否受到約束的旗標restMaxSearchFlag。
此過程之輸出為：
- 視差值之(nPSW)×(nPSH)陣列disparitySamples。
使refDepPels為深度視圖分量之經重建構深度樣本的陣列，其中ViewIdx等於refViewIdx。refDepPels之左上明度樣本的明度位置(xTL,yTL)藉由下式導出
xTL=Clip3(0,pic_width_in_luma_samples-nPSW-1,xP+(mvDisp[0]>>2)) (H-291)
yTL=Clip3(0,pic_height_in_luma_samples-nPSH-1,yP+(mvDisp[1]>>2)) (H-292)
具有大小(nPSW)×(nPSH)之陣列disparitySamples如以下內容中所指定而導出：- 對於在0至((nPSH/nSubBlkH)-1)(包括)範圍內的sBy，應用以下內容：- 對於在0至((nPSW/nSubBlkW)-1)(包括)範圍內的sBx，應 用以下內容： - 變數maxDep設定為等於-1，且如以下內容中所指定經修改。
- 若restMaxSearchFlag等於0，則應用以下內容：對於(yOff=0；yOff<nSubBlkH；yOff++)對於(xOff=0；xOff<nSubBlkW；xOff++){x=xTL+sBx * nSubBlkW+xOff y=yTL+sBy * nSubBlkH+yOff maxDep=Max(maxDep,refDepPels[x][y])}
- 否則(restMaxSearchFlag等於1)，應用以下內容：x=xTL+sBx * nSubBlkW y=yTL+sBy * nSubBlkH maxDep=Max(maxDep,refDepPels[x][y])maxDep=Max(maxDep,refDepPels[x][y+nSubBlkH-1])maxDep=Max(maxDep,refDepPels[x+nSubBlkW-1][y])maxDep=Max(maxDep,refDepPels[x+nSubBlkW-1][y+nSubBlkH-1])maxDep=Max(maxDep,refDepPels[x+nSubBlkW/2][y+nSubBlkH/2])
- 陣列depthSamples之值如以下內容中所指定而導出：for(yOff=0；yOff<nSubBlkH；yOff++)for(xOff=0；xOff<nSubBlkW；xOff++){x=sBx * nSubBlkW+xOff y=sBy * nSubBlkH+yOff disparitySamples[x][y]=DepthToDisparityB[refViewIdx][maxDep]}
在本發明之其他技術中，視訊寫碼器可總是將NBDV結果之可用性值設定為1，即使在NBDV過程並未在任何相鄰區塊中找到可用視差運動向量或IDV時。根據一些此等技術，3D HEVC測試模型描述草案3的子條款H.8.5.4可經修改如下。在以下文字中，對所添加標的物加下劃線。下文並未展示的3D HEVC測試模型描述草案3之子條款H.8.5.4的數個部分可與3D HEVC測試模型描述草案3中的數個部分相同。
視差向量的H.8.5.4導出過程
…
當availableDV等於0，mvDisp[0]設定為0，mvDisp[1]設定為0，且availableDV設定為1時。
當availableDV等於1且deriveFromDepthFlag等於1時，應用以下經排序之步驟：
1.如子條款H.8.5.4.3中指定之視差樣本陣列的導出過程藉由明度位置xP、yP，視差向量mvDisp，視圖識別符refViewIdx，變數nPSW、nPSH，等於nPSW之變數nSubBlkW，等於nPSH的變數nSubBlkH及等於1之旗標restMaxSearchFlag作為輸入來調用；且輸出為具有大小(nPSWDs)×(nPSHDs)的陣列disparitySamples。
視差向量mvDisp[0]之水平分量設定為等於disparitySamples[0][0]。
在替代性實例中，變數availableDVRes可經引入以停用將不可用NBDV結果用於視圖間殘餘預測。在此實例中，變數availableDVRes可進一步用以控制是否執行視圖間殘餘預測。在此實例中，替代傳回 availableDV作為3D HEVC測試模型描述草案3之子條款H.8.5.4的輸出，availableDVRes被輸出且進一步用於視圖間殘餘預測。根據此實例，3D HEVC測試模型描述草案3的子條款H.8.5.4及H.8.5.2.2.6可經修改如下。在以下文字中，所添加標的物經加下劃線，且經刪除標的物經斜體書寫且封入雙方括號中。下文並未展示的3D HEVC測試模型描述草案3之H.8.5.4及H.8.5.2.2.6的數個部分可與3D HEVC測試模型描述草案3中的數個部分相同。
視差向量的H.8.5.4導出過程
…
當availableDV等於0，mvDisp[0]設定為0，mvDisp[1]設定為0時。
availableDVRes設定為availableDV。
當[[availableDV等於1且]]deriveFromDepthFlag等於1時，應用以下經排序之步驟：
2.如子條款H.8.5.4.3中指定之視差樣本陣列的導出過程藉由明度位置xP、yP，視差向量mvDisp，視圖識別符refViewIdx，變數nPSW、nPSH，等於nPSW之變數nSubBlkW，等於nPSH的變數nSubBlkH及等於1之旗標restMaxSearchFlag作為輸入來調用；且輸出為具有大小(nPSWDs)×(nPSHDs)的陣列disparitySamples。
視差向量mvDisp[0]之水平分量設定為等於disparitySamples[0][0]。
H.8.5.2.2.6視圖間殘餘預測過程
過程僅在res_pred_flag等於1情況下被調用。
至此過程之輸入為：
- 指定當前明度寫碼區塊之左上樣本相對於當前圖像之左上明度樣本的明度位置(xC,yC)， - 當前預測單元之左上明度樣本相對於當前圖像之左上明度樣本的明度位置(xP,yP)，- 指定當前明度寫碼區塊之大小的變數nCS，- 分別指定當前預測單元之寬度及高度的變數nPSW及nPSH，預測清單利用旗標predFlagL0及predFlagL1，- 明度預測樣本之(nPSW)×(nPSH)陣列predSamplesL。
- 色度預測樣本之兩個(nPSW/2)×(nPSH/2)陣列predSamplesCb及predSamplesCr。
此過程之輸出為：- (nPSW)×(nPSH)陣列predSamplesL的經修改版本，- (nPSW/2)×(nPSH/2)陣列predSamplesCb及predSamplesCr的經修改版本。
如子條款H.8.5.4中指定之視差向量的導出過程藉由明度位置(xC,yC)及(xP,yP)、寫碼區塊大小nCS、變數nPSW及nPSH、分割索引partIdx及等於0之變數deriveFromDepthFlag作為輸入來調用，且輸出為視圖次序索引refViewIdx、旗標[[availableDV]] availableDVRes及視差向量mvDisp。
使refResSamplesL為明度殘餘樣本ResSamplesL的(PicWidthInSamplesL)×(PicHeightInSamplesL)陣列：具有等於refViewIdx之ViewIdx的視圖分量的。使refResSamplesCb及refResSamplesCr分別為具有等於refViewIdx之ViewIdx的視圖分量之經框間寫碼的寫碼單元之Cb殘餘樣本ResSamplesCb及Cr殘餘樣本ResSamplesCr的(PicWidthInSamplesL/2)×(PicHeightInSamplesL/2)陣列。
當旗標[[availableDV]] availableDVRes等於0時，此子條款之整個解碼過程終止。
對於先於值0..(nPSH-1)的y及先於值0..(nPSW-1)的x，應用以下經排序步驟。
…
圖8係根據本發明之一或多項技術的說明視訊解碼器30解碼多視圖視訊資料之實例操作200之流程圖。多視圖視訊資料可為3D-HEVC視訊資料。在圖8之實例中，視訊解碼器30可執行多視圖視訊資料之當前區塊的視差向量導出過程(202)。該當前區塊係在一當前視圖中。視訊解碼器30可設定一可用性值，使得在視差向量導出過程未能導出當前區塊的視差向量時，可用性值指示當前區塊的視差向量不可用(204)。舉例而言，可用性值可指示，當視差向量導出過程能夠自視差運動向量或相鄰該當前區塊之區塊的一隱含視差向量導出當前區塊之視差向量時，當前區塊的視差向量係可用的。在一些實例中，作為執行視差向量導出過程的部分，視訊解碼器30可設定可用性值。
無關於可用性值是否指示當前區塊之視差向量為可用的(例如，在可用性值指示視差向量導出過程尚未導出當前區塊的視差向量時，或當可用性值指示視差向量導出過程已導出當前區塊的視差向量時)，視訊解碼器30可藉由執行存取參考視圖之深度視圖分量的視差向量改進過程來產生當前區塊的經改進之視差向量(206)。在一些實例中，視訊編碼器20可藉由將視差向量改進過程應用至零視差向量來產生當前區塊的經改進之視差向量。
在圖8之實例中，視訊解碼器30基於當前區塊之經改進之視差向量來解碼當前區塊(208)。作為基於該當前區塊之經改進之視差向量解碼當前區塊的部分，視訊解碼器30可將經改進之視差向量用於視圖間運動預測、視圖間殘餘預測或回溯視圖合成預測中之至少一者。藉由使用視圖間運動預測，視圖間殘餘預測及/或回溯視圖合成預測，視訊解碼器30可能能夠重建構對應於當前區塊的樣本區塊。
圖9係根據本發明之一或多項技術的說明一視訊編碼器20編碼多視圖視訊資料之實例操作250之流程圖。多視圖視訊資料可為3D-HEVC視訊資料。在圖9之實例中，視訊編碼器20可執行多視圖視訊資料之當前區塊的視差向量導出過程(252)。當前區塊係在一當前視圖中。視訊編碼器20可設定一可用性值，使得可用性值指示在視差向量導出過程未能導出當前區塊的視差向量時，當前區塊的視差向量不可用(254)。舉例而言，可用性值可指示，當視差向量導出過程能夠自視差運動向量或相鄰該當前區塊之區塊的一隱含視差向量導出當前區塊之視差向量時，當前區塊的視差向量係可用的。在一些實例中，作為執行視差向量導出過程的部分，視訊編碼器20可設定可用性值。
無關於可用性值是否指示當前區塊之視差向量為可用的(例如，在可用性值指示視差向量導出過程尚未導出當前區塊的視差向量時，或當可用性值指示視差向量導出過程已導出當前區塊的視差向量時)，視訊編碼器20可藉由執行存取參考視圖之深度視圖分量的視差向量改進過程來產生當前區塊的經改進之視差向量(256)。在一些實例中，視訊編碼器20可藉由將視差向量改進過程應用至零視差向量來產生當前區塊的經改進之視差向量。參考視圖不同於當前視圖。
在圖9之實例中，視訊編碼器20基於當前區塊之經改進之視差向量來編碼當前區塊(258)。換言之，視訊編碼器20可使用當前區塊之經改進之視差向量來產生當前區塊的經編碼表示。作為基於該當前區塊之經改進之視差向量編碼當前區塊的部分，視訊編碼器20可將經改進之視差向量用於視圖間運動預測、視圖間殘餘預測或回溯視圖合成預測中之至少一者。
圖10係根據本發明之一或多項額外技術的說明視訊解碼器30解碼多視圖視訊資料之實例操作300之流程圖。在圖10之實例中，視訊解碼器30可執行視差向量導出過程以導出當前區塊的視差向量 (302)。舉例而言，視訊解碼器30可執行NBDV過程以導出當前區塊的視差向量。隨後，視訊解碼器30可判定視差向量導出過程是否導出當前區塊的可用視差向量(304)。
回應於判定視差向量導出過程未導出當前區塊之可用視差向量(304之「否」)，視訊解碼器30可判定當前區塊之視差向量係使得當前區塊之視差向量等於偏移與零視差向量的和(306)。在一些實例中，視訊解碼器30可將偏移僅添加至當前區塊之視差向量的水平分量。此外，在一些實例中，視訊解碼器30可藉由攝影機參數及預設深度像素值(例如，128)計算偏移。在一些實例中，視訊編碼器20在含有當前區塊之截塊的截塊標頭中發信偏移。
於在(306)中判定當前區塊之視差向量之後或回應於視差向量導出過程導出當前區塊之可用向量(304之「是」)，視訊解碼器30可基於當前區塊的視差向量解碼當前區塊(308)。作為基於該當前區塊之經改進之視差向量解碼當前區塊的部分，視訊解碼器30可將經改進之視差向量用於視圖間運動預測、視圖間殘餘預測或回溯視圖合成預測中之至少一者。藉由使用視圖間運動預測，視圖間殘餘預測及/或回溯視圖合成預測，視訊解碼器30可能能夠重建構對應於當前區塊的樣本區塊。
圖11係根據本發明之一或多項額外技術的說明一視訊編碼器20編碼多視圖視訊資料之實例操作350之流程圖。在圖11之實例中，視訊編碼器20可執行視差向量導出過程以導出當前區塊的視差向量(352)。舉例而言，視訊編碼器20可執行NBDV過程以導出當前區塊的視差向量。隨後，視訊編碼器20可判定視差向量導出過程是否導出當前區塊的可用視差向量(354)。
回應於判定視差向量導出過程未導出當前區塊之可用視差向量(354之「否」)，視訊編碼器20可判定當前區塊之視差向量係使得當 前區塊之視差向量等於偏移與零視差向量的和(356)。在一些實例中，視訊編碼器20可將偏移僅添加至當前區塊之視差向量的水平分量。此外，在一些實例中，視訊編碼器20可藉由攝影機參數及預設深度像素值(例如，128)計算偏移。在一些實例中，視訊編碼器20在含有當前區塊之截塊的截塊標頭中發信偏移。
於在(356)中判定當前區塊之視差向量之後或回應於視差向量導出過程導出當前區塊之可用向量(354之「是」)，視訊編碼器20可基於當前區塊的視差向量解碼當前區塊(358)。
以下內容係根據本發明之技術的額外實例。
實例1。一種用於解碼多視圖視訊資料之方法，該方法包含：執行多視圖視訊資料之當前區塊的視差向量導出過程；及在視差向量導出過程並未產生可用視差向量時，執行視差向量改進過程以產生當前區塊的經改進之視差向量。
實例2。實例1之方法，其中執行視差向量改進過程包含使用零視差向量執行視差向量改進過程。
實例3。實例2之方法，其進一步包含在視差向量導出並未產生可用視差向量時，產生視差向量改進過程的零視差向量。
實例4。實例2之方法，進一步包含在視差向量導出過程並未產生可用視差向量時，設定狀態以指示視差向量可用，且設定視差向量之值為零，及使用具有零值之視差向量執行視差向量改進過程。
實例5。實例1至4中任一項之方法或其組合，進一步包含維持一變數，以指示視差向量導出過程是否產生可用視差向量。
實例6。實例5之方法，進一步包含提供變數以供一或多個寫碼工具使用。
實例7。實例6之方法，進一步包含基於變數之值來啟用寫碼工具中的一或多者。
實例8。實例1之方法，進一步包含在視差向量導出過程並未產生可用視差向量時，將偏移添加至零視差向量以產生經修改之視差向量。
實例9。實例8之方法，進一步包含基於攝影機參數及一預設深度像素值中的一或多者來判定偏移。
實例10。實例8之方法，進一步包含基於在經寫碼視訊位元串流中接收到之發信值判定偏移。
實例11。實例10之方法，其中值在截塊標頭中發信。
實例12。實例1至11中任一項的方法或其組合，其中視差向量導出過程係相鄰區塊視差向量(NBDV)導出過程。
實例13。實例1至12中任一項的方法或其組合，其中視差向量改進過程係相鄰區塊視差向量改進(NBDV-R)過程。
實例14。實例1至13中任一項的方法或其組合，進一步包含將經改進之視差向量用於視圖間運動預測、視圖間殘餘預測或回溯視圖合成預測中的至少一者。
實例15。實例1至14中任一項的方法或其組合，其中多視圖視訊資料係3D-HEVC視訊資料。
實例16。實例1至15中任一項的方法或其組合，進一步包含基於經改進之視差向量解碼視訊資料。
實例17。一種用於編碼多視圖視訊資料之方法，該方法包含：執行多視圖視訊資料之當前區塊的視差向量導出過程；及在視差向量導出過程並未產生可用視差向量時，執行視差向量改進過程以產生當前區塊的經改進之視差向量。
實例18。實例17之方法，其中執行視差向量改進過程包含使用零視差向量執行視差向量改進過程。
實例19。實例18之方法，其進一步包含在視差向量導出並未產 生可用視差向量時，產生視差向量改進過程的零視差向量。
實例20。實例18之方法，進一步包含在視差向量導出過程並未產生可用視差向量時，設定狀態以指示視差向量可用，且設定視差向量之值為零，及使用具有零值之視差向量執行視差向量改進過程。
實例21。實例17至20中任一項之方法或其組合，進一步包含維持一變數，以指示視差向量導出過程是否產生可用視差向量。
實例22。實例21之方法，進一步包含提供變數以供一或多個寫碼工具使用。
實例23。實例22之方法，進一步包含基於變數之值來啟用寫碼工具中的一或多者。
實例24。實例17之方法，進一步包含在視差向量導出過程並未產生可用視差向量時，將偏移添加至零視差向量以產生經修改之視差向量。
實例25。實例24之方法，進一步包含基於攝影機參數及一預設深度像素值中的一或多者來判定偏移。
實例26。實例24之方法，進一步包含基於在經寫碼視訊位元串流中接收到之發信值判定偏移。
實例27。實例26之方法，其中值在截塊標頭中發信。
實例28。實例17至27中任一項的方法或其組合，其中視差向量導出過程係相鄰區塊視差向量(NBDV)導出過程。
實例29。實例17至28中任一項的方法或其組合，其中視差向量改進過程係相鄰區塊視差向量改進(NBDV-R)過程。
實例30。實例17至29中任一項的方法或其組合，進一步包含將經改進之視差向量用於視圖間運動預測、視圖間殘餘預測或回溯視圖合成預測中的至少一者。
實例31。實例17至30中任一項的方法或其組合，其中多視圖視 訊資料係3D-HEVC視訊資料。
實例32。一種經組態以執行實例1至16中任一項或其組合之方法的視訊解碼裝置。
實例33。一種經組態以執行實例17至31中任一項或其組合之方法的視訊編碼裝置。
實例34。一種包含用於執行實例1至16中任一項或其組合之方法的構件之視訊解碼裝置。
實例35。一種包含用於執行實例17至31中任一項或其組合之方法的構件之視訊編碼裝置。
實例36。一種包含指令之電腦可讀媒體，該等指令使得一或多個處理器執行實例1至31中任一項或其組合之方法。
實例37。一種根據本文中所揭示之技術者中之任一者的編碼視訊資料的方法。
實例38。一種根據本文中所揭示之技術者中之任一者解碼視訊資料的方法。
實例39。一種經組態以執行本文中所揭示之技術中之任一者的器件。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體而傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)係非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料 結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括一電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，任何連接可恰當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纜、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他瞬時媒體，而是替代地係針對非瞬時有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路之一或多個處理器來執行指令。因此，本文中所使用之術語「處理器」可指上述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。此外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技術可完全以一或多個電路或邏輯元件來實施。
本發明之技術可以多種器件或裝置予以實施，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片集)。在本發明中 描述各種組件、模組或單元以強調經組態以執行所揭示技術的器件之功能態樣，但未必要求藉由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或藉由結合合適軟體及/或韌體的互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合來提供該等單元。
已描述各種實例。此等及其他實例屬於以下申請專利範圍之範疇內。
350‧‧‧實例操作

Claims (45)

  1. 一種用於解碼多視圖視訊資料之方法，該方法包含：執行該多視圖視訊資料之一當前區塊的一視差向量導出過程，該當前區塊在一當前視圖中；設定一可用性值，使得該可用性值指示在該視差向量導出過程未能導出該當前區塊之一視差向量時，該當前區塊之該視差向量不可用；當該可用性值指示該當前區塊之該視差向量不可用時，藉由執行存取一參考視圖之一深度視圖分量的一視差向量改進過程來產生該當前區塊的一經改進之視差向量；及基於該當前區塊之該經改進之視差向量解碼該當前區塊。
  2. 如請求項1之方法，其中該可用性值指示當該視差向量導出過程能夠自一視差運動向量或相鄰於該當前區塊之一區塊的一隱含視差向量導出該當前區塊之該視差向量時，該當前區塊之該視差向量可用。
  3. 如請求項1之方法，其中產生該經改進之視差向量包含藉由將該視差向量改進過程應用至一零視差向量來產生該當前區塊的該經改進之視差向量。
  4. 如請求項1之方法，其進一步包含在該可用性值指示該當前區塊之該視差向量不可用時：設定該可用性值以指示該當前區塊之該視差向量可用；及將該當前區塊之該視差向量設定為一零視差向量。
  5. 如請求項4之方法，其進一步包含：維持一變數以指示該視差向量導出過程原先是否導出該當前區塊之該視差向量；及 提供該變數以供一或多個寫碼工具使用。
  6. 如請求項5之方法，其進一步包含基於該變數之該值來啟用該等寫碼工具中的一或多者。
  7. 如請求項1之方法，其中：該視差向量導出過程為一相鄰區塊視差向量(NBDV)導出過程；及該視差向量改進過程為一相鄰區塊視差向量改進(NBDV-R)過程。
  8. 如請求項1之方法，其中基於該當前區塊之該經改進之視差向量解碼該當前區塊包含將該經改進之視差向量用於視圖間運動預測、視圖間殘餘預測或回溯視圖合成預測中之至少一者。
  9. 如請求項1之方法，其中該多視圖視訊資料為3D-HEVC視訊資料。
  10. 一種用於編碼多視圖視訊資料之方法，該方法包含：執行該多視圖視訊資料之一當前區塊的一視差向量導出過程，該當前區塊在一當前視圖中；設定一可用性值，使得該可用性值指示在該視差向量導出過程未能導出該當前區塊之一視差向量時，該當前區塊之該視差向量不可用；當該可用性值指示該當前區塊之該視差向量不可用時，藉由執行存取一參考視圖之一深度視圖分量的一視差向量改進過程來產生該當前區塊的一經改進之視差向量；及基於該當前區塊之該經改進之視差向量編碼該當前區塊。
  11. 如請求項10之方法，其中該可用性值指示，當該視差向量導出過程能夠自一視差運動向量或相鄰於該當前區塊之一區塊的一隱含視差向量導出該當前區塊之該視差向量時，該當前區塊的 該視差向量可用。
  12. 如請求項10之方法，其中產生該經改進之視差向量包含藉由將該視差向量改進過程應用至一零視差向量來產生該當前區塊的該經改進之視差向量。
  13. 如請求項10之方法，其進一步包含在該可用性值指示該當前區塊之該視差向量不可用時：設定該可用性值以指示該當前區塊之該視差向量可用；及將該當前區塊之該視差向量設定為一零視差向量。
  14. 如請求項13之方法，其進一步包含：維持一變數以指示該視差向量導出過程原先是否導出該當前區塊之該視差向量；及提供該變數以供一或多個寫碼工具使用。
  15. 如請求項14之方法，其進一步包含基於該變數之該值來啟用該等寫碼工具中的一或多者。
  16. 如請求項10之方法，其中：該視差向量導出過程為一相鄰區塊視差向量(NBDV)導出過程；及該視差向量改進過程為一相鄰區塊視差向量改進(NBDV-R)過程。
  17. 如請求項10之方法，其中基於該當前區塊之該經改進之視差向量編碼該當前區塊包含將該經改進之視差向量用於視圖間運動預測、視圖間殘餘預測或回溯視圖合成預測中之至少一者。
  18. 如請求項10之方法，其中該多視圖視訊資料為3D-HEVC視訊資料。
  19. 一種包含儲存多視圖視訊資料之一記憶體及一或多個處理器之視訊寫碼器件，該一或多個處理器經組態以： 執行該多視圖視訊資料之一當前區塊的一視差向量導出過程，該當前區塊在一當前視圖中；設定一可用性值，使得該可用性值指示在該視差向量導出過程未能導出該當前區塊之一視差向量時，該當前區塊之該視差向量不可用；及當該可用性值指示該當前區塊之該視差向量不可用時，執行一視差向量改進過程以產生該當前區塊的一經改進之視差向量。
  20. 如請求項19之視訊寫碼器件，其中該可用性值指示，當該視差向量導出過程能夠自一視差運動向量或相鄰於該當前區塊之一區塊的一隱含視差向量導出該當前區塊之該視差向量時，該當前區塊之該視差向量可用。
  21. 如請求項19之視訊寫碼器件，其中該一或多個處理器經組態以藉由將該視差向量改進過程應用至一零視差向量來產生該當前區塊的該經改進之視差向量。
  22. 如請求項19之視訊寫碼器件，其中該一或多個處理器經組態，使得當該可用性值指示該當前區塊之該視差向量不可用時，該一或多個處理器：設定該可用性值以指示該當前區塊之該視差向量可用；及將該當前區塊之該視差向量設定為一零視差向量。
  23. 如請求項22之視訊寫碼器件，其中該一或多個處理器經組態以：維持一變數以指示該視差向量導出過程原先是否導出該當前區塊之該視差向量；及提供該變數以供一或多個寫碼工具使用。
  24. 如請求項23之視訊寫碼器件，其中該一或多個處理器經組態以 基於該變數之該值啟用該等寫碼工具中之一或多者。
  25. 如請求項19之視訊寫碼器件，其中：該視差向量導出過程為一相鄰區塊視差向量(NBDV)導出過程；及該視差向量改進過程為一相鄰區塊視差向量改進(NBDV-R)過程。
  26. 如請求項19之視訊寫碼器件，其中該一或多個處理器經組態以將該經改進之視差向量用於視圖間運動預測、視圖間殘餘預測或回溯視圖合成預測中之至少一者。
  27. 如請求項19之視訊寫碼器件，其中該多視圖視訊資料為3D-HEVC視訊資料。
  28. 如請求項19之視訊寫碼器件，其中該一或多個處理器經組態以基於該當前區塊之該經改進之視差向量來解碼該當前區塊。
  29. 如請求項19之視訊寫碼器件，其中該一或多個處理器經組態以基於該當前區塊之該經改進之視差向量來編碼該當前區塊。
  30. 一種視訊寫碼器件，其包含：用於執行多視圖視訊資料之一當前區塊的一視差向量導出過程之構件，該當前區塊在一當前視圖中；用於設定一可用性值使得該可用性值指示在該視差向量導出過程未能導出該當前區塊之一視差向量時該當前區塊的該視差向量不可用之構件；及用於在該可用性值指示該當前區塊之該視差向量不可用時藉由執行存取一參考視圖之一深度視圖分量的一視差向量改進過程來產生該當前區塊的一經改進之視差向量之構件。
  31. 一種上面儲存有指令之非暫時性電腦可讀資料儲存媒體，該等指令在執行時組態一或多個處理器以： 執行多視圖視訊資料之一當前區塊的一視差向量導出過程，該當前區塊在一當前視圖中；設定一可用性值，使得該可用性值指示在該視差向量導出過程未能導出該當前區塊之一視差向量時，該當前區塊之該視差向量不可用；及當該可用性值指示該視差向量導出過程尚未導出該當前區塊之該視差向量時，藉由執行存取一參考視圖之一深度視圖分量的一視差向量改進過程來產生該當前區塊的一經改進之視差向量。
  32. 一種用於解碼多視圖視訊資料之方法，該方法包含：執行該多視圖視訊資料之一當前區塊的一視差向量導出過程，該當前區塊在一當前視圖中；當該視差向量導出過程判定該當前區塊之一視差向量不可用時，藉由將一偏移添加至一零視差向量來判定該當前區塊之該視差向量；及基於該當前區塊之該視差向量解碼該當前區塊。
  33. 如請求項32之方法，其進一步包含基於一攝影機參數及一預設深度像素值來判定該偏移。
  34. 如請求項32之方法，其中該偏移經在該多視圖視訊資料之一截塊標頭中發信。
  35. 如請求項32之方法，其中判定該當前區塊之該視差向量包含將該偏移僅添加至該零視差向量之一水平分量。
  36. 一種用於編碼多視圖視訊資料之方法，該方法包含：執行該多視圖視訊資料之一當前區塊的一視差向量導出過程，該當前區塊在一當前視圖中；當該視差向量導出過程判定該當前區塊之一視差向量不可用 時，藉由將一偏移添加至一零視差向量來判定該當前區塊之該視差向量；及基於該當前區塊之該視差向量編碼該當前區塊。
  37. 如請求項36之方法，其進一步包含基於一攝影機參數及一預設深度像素值來判定該偏移。
  38. 如請求項36之方法，其中該偏移經在該多視圖視訊資料之一截塊標頭中發信。
  39. 如請求項36之方法，其中判定該當前區塊之該視差向量包含將該偏移僅添加至該零視差向量之一水平分量。
  40. 一種用於寫碼多視圖視訊資料之器件，該器件包含儲存多視圖視訊資料之一記憶體及一或多個處理器，該一或多個處理器經組態以：執行該多視圖視訊資料之一當前區塊的一視差向量導出過程，該當前區塊在一當前視圖中；當該視差向量導出過程判定該當前區塊之一視差向量不可用時，藉由將一偏移添加至一零視差向量來判定該當前區塊之該視差向量；及基於該當前區塊之該視差向量寫碼該當前區塊。
  41. 如請求項40之器件，其中該一或多個處理器經組態以基於一攝影機參數及一預設深度像素值來判定該偏移。
  42. 如請求項40之器件，其中該偏移經在該多視圖視訊資料之一截塊標頭中發信。
  43. 如請求項40之器件，其中為了判定該當前區塊之該視差向量，該一或多個處理器僅將該偏移添加至該零視差向量之一水平分量。
  44. 一種用於寫碼多視圖視訊資料之器件，該器件包含： 用於執行該多視圖視訊資料之一當前區塊的一視差向量導出過程之構件，該當前區塊在一當前視圖中；用於當該視差向量導出過程判定該當前區塊之一視差向量不可用時藉由將一偏移添加至一零視差向量來判定該當前區塊的該視差向量之構件；及用於基於該當前區塊之該視差向量寫碼該當前區塊之構件。
  45. 一種上面儲存有指令之非暫時性電腦可讀資料儲存媒體，該等指令在由用於寫碼多視圖視訊資料的一器件之一或多個處理器執行時使該器件：執行該多視圖視訊資料之一當前區塊的一視差向量導出過程，該當前區塊在一當前視圖中；當該視差向量導出過程判定該當前區塊之一視差向量不可用時，藉由將一偏移添加至一零視差向量來判定該當前區塊之該視差向量；及基於該當前區塊之該視差向量寫碼該當前區塊。
TW103105319A 2013-03-22 2014-02-18 視訊寫碼中之視差向量改進 TWI551121B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361804583P 2013-03-22 2013-03-22
US14/172,410 US9762905B2 (en) 2013-03-22 2014-02-04 Disparity vector refinement in video coding

Publications (2)

Publication Number Publication Date
TW201448576A true TW201448576A (zh) 2014-12-16
TWI551121B TWI551121B (zh) 2016-09-21

Family

ID=51569133

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103105319A TWI551121B (zh) 2013-03-22 2014-02-18 視訊寫碼中之視差向量改進

Country Status (7)

Country Link
US (1) US9762905B2 (zh)
EP (1) EP2976883B1 (zh)
JP (1) JP6407961B2 (zh)
KR (1) KR101958055B1 (zh)
CN (1) CN105103557B (zh)
TW (1) TWI551121B (zh)
WO (1) WO2014149212A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2864002A1 (en) * 2012-04-24 2013-10-31 Mediatek Inc. Method and apparatus of motion vector derivation for 3d video coding
KR102137266B1 (ko) * 2012-09-28 2020-07-23 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
US10075728B2 (en) * 2012-10-01 2018-09-11 Inria Institut National De Recherche En Informatique Et En Automatique Method and device for motion information prediction refinement
CN102883163B (zh) * 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
WO2014166068A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Refinement of view synthesis prediction for 3-d video coding
WO2014166063A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Default vector for disparity vector derivation for 3d video coding
WO2014166119A1 (en) * 2013-04-12 2014-10-16 Mediatek Inc. Stereo compatibility high level syntax
US9955187B2 (en) * 2014-03-28 2018-04-24 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for encoding of video using depth information
WO2019059575A2 (ko) 2017-09-19 2019-03-28 삼성전자주식회사 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
KR20200096550A (ko) 2018-01-02 2020-08-12 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
US10469869B1 (en) * 2018-06-01 2019-11-05 Tencent America LLC Method and apparatus for video coding
CN116761000B (zh) * 2018-08-29 2023-12-19 北京达佳互联信息技术有限公司 视频解码的方法、计算设备和存储介质
CN109842811B (zh) * 2019-04-03 2021-01-19 腾讯科技（深圳）有限公司 一种在视频中植入推送信息的方法、装置及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
US8953684B2 (en) * 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
CN101999228A (zh) * 2007-10-15 2011-03-30 诺基亚公司 针对多视角视频内容的运动跳跃和单环路编码
CN102017627B (zh) * 2008-04-25 2013-05-01 汤姆森许可贸易公司 使用基于深度信息的视差估计的多视点视频编码
EP2338281A4 (en) 2008-10-17 2012-08-15 Nokia Corp SHARING THE MOTION VECTOR IN 3D VIDEO CODING
KR20110007928A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 다시점 영상 부호화 및 복호화 방법과 장치
ES2561078T3 (es) * 2010-07-15 2016-02-24 Ge Video Compression, Llc Codificación de vídeo híbrido que soporta síntesis de vistas intermedias
CN101990103B (zh) * 2010-11-10 2013-01-16 香港应用科技研究院有限公司 用于多视点视频编码的方法和装置
US9049423B2 (en) 2010-12-01 2015-06-02 Qualcomm Incorporated Zero disparity plane for feedback-based three-dimensional video
US9454851B2 (en) 2011-06-24 2016-09-27 Intel Corporation Efficient approach to estimate disparity map
JP6039178B2 (ja) * 2011-09-15 2016-12-07 シャープ株式会社 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
CN103907346B (zh) 2011-10-11 2017-05-24 联发科技股份有限公司 运动矢量预测子及视差矢量导出方法及其装置
WO2013109252A1 (en) 2012-01-17 2013-07-25 Thomson Licensing Generating an image for another view
EP2878125A4 (en) * 2012-07-27 2016-10-12 Hfi Innovation Inc CONSTRAINED DISPARITY VECTOR DERIVATION METHOD IN 3D VIDEO CODING

Also Published As

Publication number Publication date
KR20150132536A (ko) 2015-11-25
JP6407961B2 (ja) 2018-10-17
CN105103557B (zh) 2018-04-17
US20140286421A1 (en) 2014-09-25
WO2014149212A1 (en) 2014-09-25
EP2976883B1 (en) 2019-11-27
JP2016512939A (ja) 2016-05-09
US9762905B2 (en) 2017-09-12
CN105103557A (zh) 2015-11-25
TWI551121B (zh) 2016-09-21
KR101958055B1 (ko) 2019-03-13
EP2976883A1 (en) 2016-01-27

Similar Documents

Publication Publication Date Title
TWI530165B (zh) 視差向量推導
TWI551121B (zh) 視訊寫碼中之視差向量改進
TWI526027B (zh) 視訊寫碼中之運動向量預測
US9615090B2 (en) Parsing syntax elements in three-dimensional video coding
KR102202162B1 (ko) 3차원 비디오 코딩을 위한 뷰 합성 모드
US10567799B2 (en) Simplified sub-prediction unit (sub-PU) motion parameter inheritance (MPI)
TWI533679B (zh) 在視訊寫碼中之參數集
TWI539791B (zh) 三維視頻寫碼中導出之視差向量
JP6370891B2 (ja) 深さブロックの視差に基づく高度な深さインターコーディング
KR102294260B1 (ko) 3차원 (3d) hevc 또는 다른 3d 코딩에서 서브 예측 유닛 (서브 pu) 모션 파라미터 상속 (mpi) 제어
WO2015042399A1 (en) Combined bi-predictive merging candidates for 3d video coding
JP2016524408A (ja) 隣接ベースの視差ベクトル導出を用いた３ｄビデオコーディングのための、並列に導出された視差ベクトル
CN105075267A (zh) 在视频译码中停用用于参考图片列表的视图间预测
JP2016526348A5 (zh)
JP2015532553A (ja) 高効率ビデオコーディングに基づくスケーラブルコーディングのための動きフィールドアップサンプリング