TW201340723A - 用於三維視訊寫碼之網路抽象層單元標頭設計 - Google Patents

用於三維視訊寫碼之網路抽象層單元標頭設計 Download PDF

Info

Publication number
TW201340723A
TW201340723A TW102107370A TW102107370A TW201340723A TW 201340723 A TW201340723 A TW 201340723A TW 102107370 A TW102107370 A TW 102107370A TW 102107370 A TW102107370 A TW 102107370A TW 201340723 A TW201340723 A TW 201340723A
Authority
TW
Taiwan
Prior art keywords
nal unit
compatible
video
header extension
syntax element
Prior art date
Application number
TW102107370A
Other languages
English (en)
Inventor
Ying Chen
Ye-Kui Wang
Marta Karczewicz
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201340723A publication Critical patent/TW201340723A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種視訊編碼器產生包括至少一第一語法元素及一第二語法元素之一網路抽象層(NAL)單元。該第一語法元素指示出該NAL單元屬於一特定NAL單元類型。紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於該特定NAL單元類型之NAL單元內。該第二語法元素指示該NAL單元之一NAL單元標頭包括一進階視訊寫碼(AVC)相容3維視訊(3DV)標頭延伸抑或包括一多視圖視訊寫碼(MVC)相容3DV標頭延伸。該視訊編碼器輸出包括該NAL單元之一位元串流。一種視訊解碼器接收該NAL單元，且判定該第二語法元素是否指示出該NAL單元之該NAL單元標頭包括該AVC相容3DV標頭延伸或該MVC相容3DV標頭延伸。

Description

用於三維視訊寫碼之網路抽象層單元標頭設計
本申請案主張2012年2月28日申請之美國臨時專利申請案第61/604,436號之權利，該臨時專利申請案之全部內容係以引用方式併入本文中。
本發明係關於視訊寫碼(亦即，視訊資料之編碼及/或解碼)。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電電話、所謂的「智慧型手機」、視訊電話會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊壓縮技術，諸如，由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、進階視訊寫碼(AVC)第10部分、目前在開發中之高效率視訊寫碼(HEVC)及此等標準之延伸定義之標準中所描述的技術。視訊器件可藉由實施此等視訊壓縮技術來較有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以縮減或移除為視訊序列所固有之冗餘。對於以區塊為基礎之視訊寫碼， 可將一視訊片段(亦即，一視訊圖框，或一視訊圖框之一部分)分割成若干視訊區塊。一圖像之經框內寫碼(I)片段中的視訊區塊係使用關於該同一圖像中之相鄰區塊中之參考樣本的空間預測予以編碼。一圖像之經框間寫碼(P或B)片段中的視訊區塊可使用關於該同一圖像中之相鄰區塊中之參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測引起用於待寫碼區塊之預測性區塊。殘餘資料表示原始待寫碼區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本區塊的運動向量予以編碼，且殘餘資料指示經寫碼區塊與預測性區塊之間的差。經框內寫碼區塊係根據框內寫碼模式及殘餘資料予以編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而引起殘餘係數，殘餘係數接著可被量化。可掃描最初以二維陣列而配置之經量化係數以便產生一維係數向量，且可應用熵寫碼以達成甚至更多的壓縮。
一種網路抽象層(NAL)單元可包括一進階視訊寫碼(AVC)相容3維視訊(3DV)標頭延伸，或可包括一多視圖視訊寫碼(MVC)相容3DV標頭延伸。該NAL單元標頭中之一語法元素指示該NAL單元之一NAL單元標頭包括該AVC相容3DV標頭延伸抑或包括該MVC相容3DV標頭延伸。一種視訊解碼器接收該NAL單元，且至少部分地基於該語法元素來判定該NAL單元之該NAL單元標頭包括該AVC相容3DV標頭延伸抑或該MVC相容3DV標頭延伸。該視訊解碼器可部分地基於該AVC相容3DV標頭延伸或該MVC相容3DV語法元素來重新建構該NAL單元之視訊資料。
在一態樣中，本發明描述一種用於編碼視訊資料之方法，其包含產生包括至少一第一語法元素及一第二語法元素之一NAL單元。該 第一語法元素指示出該NAL單元屬於一特定NAL單元類型。紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於該特定NAL單元類型之NAL單元內。該第二語法元素指示該NAL單元之一NAL單元標頭包括一AVC相容3DV標頭延伸抑或一MVC相容3DV標頭延伸。該AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素。該MVC相容3DV標頭延伸相比於該AVC相容3DV標頭延伸具有一不同語法結構，且包括與MVC相容3DV相關聯之語法元素。
在另一態樣中，本發明描述一種用於解碼視訊資料之方法，其包含接收包括至少一第一語法元素及一第二語法元素之一NAL單元。該第一語法元素指示出該NAL單元屬於一特定NAL單元類型。紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於該特定NAL單元類型之NAL單元內。該方法亦包含至少部分地基於該第二語法元素來判定該NAL單元之一NAL單元標頭包括一AVC相容3DV標頭延伸抑或一MVC相容3DV標頭延伸。該AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素。該MVC相容3DV標頭延伸相比於該AVC相容3DV標頭延伸具有一不同語法結構，且包括與MVC相容3DV相關聯之語法元素。
在另一態樣中，本發明描述一種編碼視訊資料之視訊編碼器件。該視訊編碼器件包含一或多個處理器，該一或多個處理器經組態以產生包括至少一第一語法元素及一第二語法元素之一NAL單元。該第一語法元素指示出該NAL單元屬於一特定NAL單元類型。紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於該特定NAL單元類型之NAL單元內。該第二語法元素指示該NAL單元之一NAL單元標頭包括一AVC相容3DV標頭延伸抑或一MVC相容3DV標頭延伸。該AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素。該MVC相容3DV標頭延伸相比於該AVC相容3DV標頭延伸具有一不同語法結構， 且包括與MVC相容3DV相關聯之語法元素。
在另一態樣中，本發明描述一種解碼視訊資料之視訊解碼器件。該視訊解碼器件包含一或多個處理器，該一或多個處理器經組態以接收包括至少一第一語法元素及一第二語法元素之一NAL單元。該第一語法元素指示出該NAL單元屬於一特定NAL單元類型。紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於該特定NAL單元類型之NAL單元內。該一或多個處理器亦經組態以至少部分地基於該第二語法元素來判定該NAL單元之一NAL單元標頭包括一AVC相容3DV標頭延伸抑或一MVC相容3DV標頭延伸。該AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素。該MVC相容3DV標頭延伸相比於該AVC相容3DV標頭延伸具有一不同語法結構，且包括與MVC相容3DV相關聯之語法元素。
在另一態樣中，本發明描述一種編碼視訊資料之視訊編碼器件。該視訊編碼器件包含用於產生包括至少一第一語法元素及一第二語法元素之一NAL單元的構件。該第一語法元素指示出該NAL單元屬於一特定NAL單元類型。紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於該特定NAL單元類型之NAL單元內。該第二語法元素指示該NAL單元之一NAL單元標頭包括一AVC相容3DV標頭延伸抑或一MVC相容標頭延伸。該AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素。該MVC相容3DV標頭延伸相比於該AVC相容3DV標頭延伸具有一不同語法結構，且包括與MVC相容3DV相關聯之語法元素。
在另一態樣中，本發明描述一種解碼視訊資料之視訊解碼器件。該視訊解碼器件包含用於接收包括至少一第一語法元素及一第二語法元素之一NAL單元的構件。該第一語法元素指示出該NAL單元屬於一特定NAL單元類型。紋理視圖分量及深度視圖分量之經寫碼片段 囊封於屬於該特定NAL單元類型之NAL單元內。該視訊解碼器件亦包含用於至少部分地基於該第二語法元素來判定該NAL單元之一NAL單元標頭包括一AVC相容3DV標頭延伸抑或一MVC相容標頭延伸的構件。該AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素。該MVC相容3DV標頭延伸相比於該AVC相容3DV標頭延伸具有一不同語法結構，且包括與MVC相容3DV相關聯之語法元素。
在另一態樣中，本發明描述一種電腦可讀儲存媒體，該電腦可讀儲存媒體儲存在由一視訊編碼器件之一或多個處理器執行時組態該視訊編碼器件以接收包括至少一第一語法元素及一第二語法元素之一NAL單元的指令。該第一語法元素指示出該NAL單元屬於一特定NAL單元類型。紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於該特定NAL單元類型之NAL單元內。該一或多個處理器亦經組態以至少部分地基於該第二語法元素來判定該NAL單元之一NAL單元標頭包括一AVC相容3DV標頭延伸抑或一MVC相容3DV標頭延伸。該AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素。該MVC相容3DV標頭延伸相比於該AVC相容3DV標頭延伸具有一不同語法結構，且包括與MVC相容3DV相關聯之語法元素。
在另一態樣中，本發明描述一種電腦可讀儲存媒體，該電腦可讀儲存媒體儲存在由一視訊解碼器件之一或多個處理器執行時組態該視訊解碼器件以接收包括至少一第一語法元素及一第二語法元素之一NAL單元的指令。該第一語法元素指示出該NAL單元屬於一特定NAL單元類型。紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於該特定NAL單元類型之NAL單元內。該視訊解碼器件亦包含用於至少部分地基於該第二語法元素來判定該NAL單元之一NAL單元標頭包括一AVC相容3DV標頭延伸抑或一MVC相容標頭延伸的構件。該AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素。該MVC相容 3DV標頭延伸相比於該AVC相容3DV標頭延伸具有一不同語法結構，且包括與MVC相容3DV相關聯之語法元素。
在隨附圖式及以下描述中闡明本發明之一或多個實例的細節。其他特徵、目標及優勢將自描述、圖式及申請專利範圍變得顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧來源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊來源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
100‧‧‧預測處理單元
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換處理單元
112‧‧‧重新建構單元
113‧‧‧濾波器單元
114‧‧‧經解碼圖像緩衝器
116‧‧‧熵編碼單元
121‧‧‧框間預測處理單元
122‧‧‧運動估計單元
124‧‧‧運動補償單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反變換處理單元
158‧‧‧重新建構單元
159‧‧‧濾波器單元
160‧‧‧經解碼圖像緩衝器
162‧‧‧運動補償單元
164‧‧‧框內預測處理單元
圖1為說明可利用本發明所描述之技術之實例視訊寫碼系統的方塊圖。
圖2為說明可實施本發明所描述之技術之實例視訊編碼器的方塊圖。
圖3為說明可實施本發明所描述之技術之實例視訊解碼器的方塊圖。
圖4為根據本發明之一或多種技術的說明由視訊編碼器執行作為用以編碼視訊資料之程序之部分之實例操作的流程圖。
圖5為根據本發明之一或多種技術的說明由視訊解碼器執行作為用以解碼視訊資料之程序之部分之實例操作的流程圖。
圖6為根據本發明之一或多種技術的說明由視訊解碼器執行作為用以解碼經編碼視訊資料之程序之部分之另一實例操作的流程圖。
圖7為說明實例多視圖視訊寫碼(MVC)相容3維視訊(3DV)解碼次序之概念圖。
圖8為說明實例MVC時間及視圖間預測結構之概念圖。
一位元串流可包括視訊資料之經編碼表示。視訊資料之經編碼表示可包含一系列網路抽象層(NAL)單元。多視圖視訊寫碼(MVC)相容3維視訊(3DV)及進階視訊寫碼(AVC)相容3維視訊(3DV)為H.264/AVC視訊寫碼標準之兩種延伸。除了H.264/AVC標準中定義之 語法元素集合以外，用於MVC相容3DV及AVC相容3DV延伸的NAL單元之NAL單元標頭亦可包括不同語法元素集合。針對MVC相容3DV及AVC相容3DV延伸使用新NAL單元類型已被提議為用以適應此等額外語法元素之方式。然而，H.264/AVC標準之可用NAL單元類型之數目有限，且可需要節約剩餘可用NAL單元類型以用於H.264/AVC標準之未來延伸。
本發明之技術解決此問題。根據本發明之技術，一種視訊編碼器可產生包括至少一第一語法元素及一第二語法元素之一NAL單元。該第一語法元素指示出該NAL單元屬於一特定NAL單元類型。紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於該特定NAL單元類型之NAL單元內。該第二語法元素指示該NAL單元之一NAL單元標頭包括一AVC相容3DV標頭延伸抑或一MVC相容標頭延伸。該AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素。該MVC相容3DV標頭延伸相比於該AVC相容3DV標頭延伸具有一不同語法結構，且包括與MVC相容3DV相關聯之語法元素。該視訊編碼器輸出包括該NAL單元之一位元串流。一種視訊解碼器可接收該NAL單元，且至少部分地基於該第二語法元素來判定該NAL單元之該NAL單元標頭包括該AVC相容3DV標頭延伸抑或一MVC相容3DV標頭延伸。該視訊解碼器可部分地基於該AVC相容3DV標頭延伸或該MVC相容3DV標頭延伸來重新建構視訊資料。以此方式，分離NAL單元類型無需用於NAL單元標頭包括AVC相容3DV標頭延伸之NAL單元及NAL單元標頭包括MVC相容3DV標頭延伸之NAL單元。
附加圖式說明實例。附加圖式中由參考數字指示之元件對應於以下描述中由類似參考數字指示之元件。在本發明中，具有始於序數詞(例如，「第一」、「第二」、「第三」，等等)之名稱的元件未必暗示出該等元件具有特定次序。實情為，此等序數詞可僅僅用以指代同一或 相似類型之不同元件。
圖1為說明可利用本發明之技術之實例視訊寫碼系統10的方塊圖。如本文所使用，術語「視訊寫碼器(video coder)」一般地指代視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼(video coding)」或「寫碼(coding)」一般地可指代視訊編碼或視訊解碼。
如圖1所示，視訊寫碼系統10包括來源器件12及目的地器件14。來源器件12產生經編碼視訊資料。因此，來源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由來源器件12產生之經編碼視訊資料。因此，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。來源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。
來源器件12及目的地器件14可包含廣泛範圍之器件，該等器件包括桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機上盒、電話手機(諸如，所謂的「智慧型」手機)、電視、相機、顯示器件、數位媒體播放器、視訊遊戲主控台、車內電腦，或其類似者。
目的地器件14可經由頻道16而自來源器件12接收經編碼視訊資料。頻道16可包含能夠將經編碼視訊資料自來源器件12移動至目的地器件14之一或多個媒體或器件。在一實例中，頻道16可包含使來源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14之一或多個通信媒體。在此實例中，來源器件12可根據諸如無線通信協定之通信標準來調變經編碼視訊資料，且可將經調變視訊資料傳輸至目的地器件14。該一或多個通信媒體可包括無線及/或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。該一或多個通信媒體可形成以封包為基礎之網路之部分，諸如，區域網路、廣域網路，或全域網路(例如，網際網路)。該一或多個通信媒體可包括路由器、交換 器、基地台，或促進自來源器件12至目的地器件14之通信的其他設備。
在另一實例中，頻道16可包括儲存由來源器件12產生之經編碼視訊資料之儲存媒體。在此實例中，目的地器件14可經由磁碟存取或卡存取而存取該儲存媒體。儲存媒體可包括各種各樣之本端存取資料儲存媒體，諸如，藍光光碟、DVD、CD-ROM、快閃記憶體，或用於儲存經編碼視訊資料之其他合適數位儲存媒體。
在一另外實例中，頻道16可包括儲存由來源器件12產生之經編碼視訊資料之檔案伺服器或另一中間儲存器件。在此實例中，目的地器件14可經由串流或下載而存取儲存於該檔案伺服器或另一中間儲存器件處之經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件14之伺服器類型。實例檔案伺服器包括網頁伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網路附接式儲存(NAS)器件，及本端磁碟機。
目的地器件14可經由諸如網際網路連接之標準資料連接而存取經編碼視訊資料。資料連接之實例類型可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料之無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機，等等)，或此兩者之組合。自檔案伺服器對經編碼視訊資料之傳輸可為串流傳輸、下載傳輸，或此兩者之組合。
本發明之技術不限於無線應用程式或設定。該等技術可應用於支援諸如以下各者之各種各樣之多媒體應用程式的視訊寫碼：空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、供儲存於資料儲存媒體上之視訊資料之編碼、儲存於資料儲存媒體上之視訊資料之解碼，或其他應用程式。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊 串流、視訊播放、視訊廣播及/或視訊電話之應用程式。
在圖1之實例中，來源器件12包括視訊來源18、視訊編碼器20及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。視訊來源18可包括視訊捕獲器件(例如，視訊攝影機)、含有經先前捕獲之視訊資料的視訊封存、用以自視訊內容提供者接收視訊資料之視訊饋送介面，及/或用於產生視訊資料之電腦圖形系統，或此等視訊資料來源之組合。
視訊編碼器20可編碼來自視訊來源18之視訊資料。在一些實例中，來源器件12直接經由輸出介面22而將經編碼視訊資料傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可儲存至儲存媒體或檔案伺服器上以供目的地器件14稍後存取以用於解碼及/或播放。
在圖1之實例中，目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16而接收經編碼視訊資料。顯示器件32可與目的地器件14整合或可在目的地器件14外部。一般而言，顯示器件32顯示經解碼視訊資料。顯示器件32可包含各種各樣之顯示器件，諸如，液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器，或另一類型之顯示器件。
在一些實例中，視訊編碼器20及視訊解碼器30根據諸如ISO/IEC MPEG-4 Visual及ITU-T H.264(亦被稱為ISO/IEC MPEG-4 AVC)(包括其可縮放視訊寫碼(SVC)及多視圖視訊寫碼(MVC)延伸)之視訊壓縮標準而操作。至2013年1月14日為止，H.264/AVC之MVC延伸之新近草稿可在http：//wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip處下載而得到，其全部內容係以引用方式併入本文中。此外，作為MVC標準之延伸，存在MPEG文件w12351之「WD of MVC extension for inclusion of depth maps」中所描述的視訊寫碼標準， 即，「以MVC為基礎之3DV」(亦即，MVC相容3DV)，其全部內容係以引用方式併入本文中。H264/AVC之AVC相容3DV延伸之草稿被描述於Mannuksela等人之「3D-AVC Draft Text 4」(ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11的關於3D視訊寫碼延伸開發之聯合合作團隊，2012年10月第2次會議，中國上海)中，至2013年1月14日為止，該草稿可在http：//phenix.it-sudparis.eu/jct2/doc_end_user/documents/2_Shanghai/wg11/JCT3V-B1002-v1.zip處得到，其全部內容係以引用方式併入本文中。遵守AVC相容3DV之任何合法位元串流可始終含有遵守MVC設定檔(例如，立體高設定檔)之子位元串流。
在其他實例中，視訊編碼器20及視訊解碼器30可根據包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262、ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及目前在開發中之高效率視訊寫碼(HEVC)標準的其他視訊壓縮標準而操作。被稱作「HEVC工作草稿9」的即將到來之HEVC標準之草稿被描述於Bross等人之「High Efficiency Video Coding(HEVC)text specification draft 9」(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的關於視訊寫碼之聯合合作團隊(JCT-VC)，2012年10月第11次會議，中國上海)中，至2013年1月14日為止，該草稿可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v8.zip下載，其全部內容係以引用方式併入本文中。雖然本發明之技術係關於H.264/AVC予以描述，但此等技術可應用於其他寫碼標準，且不限於任何特定寫碼標準或技術。
圖1僅僅為一實例，且本發明之技術可應用於未必包括編碼器件與解碼器件之間的任何資料通信之視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，資料係自本端記憶體被擷取、經由網路進行串流，或其類似者。視訊編碼器件可編碼資料且將資料儲存至記 憶體，及/或視訊解碼器件可自記憶體擷取且解碼資料。在許多實例中，編碼及解碼係由不會相互通信而僅僅將資料編碼至記憶體及/或自記憶體擷取資料且解碼資料之器件執行。
視訊編碼器20及視訊解碼器30各自可被實施為各種各樣之合適電路中任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體，或其任何組合。若該等技術係部分地以軟體予以實施，則一器件可將用於該軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中，且可使用一或多個處理器來以硬體執行該等指令以執行本發明之技術。前述者(包括硬體、軟體、硬體與軟體之組合，等等)中任一者可被視為一或多個處理器。視訊編碼器20及視訊解碼器30中每一者可包括於一或多個編碼器或解碼器中，該一或多個編碼器或解碼器中任一者可被整合為各別器件中之組合式編碼器/解碼器(CODEC)之部分。
本發明通常可涉及視訊編碼器20將某些資訊「傳信」至諸如視訊解碼器30之另一器件。術語「傳信」一般地可指代用以解碼經壓縮視訊資料之語法元素及/或其他資料的通信。此通信可即時地或近即時地發生。或者，此通信可遍及一時間跨度而發生，諸如，可能在編碼之時間以經編碼位元串流將語法元素儲存至電腦可讀儲存媒體時發生，該等語法元素接著可由解碼器件在將其儲存至此媒體之後的任何時間擷取。
一視訊序列通常包括一系列視訊圖框。一圖像群組(GOP)通常包含一系列一或多個視訊圖框。GOP可包括在GOP之標頭中、在GOP之一或多個圖框之標頭中或在別處的語法資料，該語法資料描述包括於GOP中之圖框之數目。每一圖框可包括描述用於各別圖框之編碼模式的圖框語法資料。視訊編碼器20通常對個別視訊圖框內之視訊區塊進 行操作以便編碼視訊資料。在H.264/AVC中，一視訊區塊可對應於一巨集區塊，或一巨集區塊之一分割區。在HEVC中，一視訊區塊可對應於一寫碼單元(CU)。視訊區塊可具有固定或變化大小，且其大小可根據指定寫碼標準而不同。此外，每一視訊圖框可包括複數個片段。每一片段可包括複數個視訊區塊。
當視訊編碼器20編碼視訊區塊時，視訊編碼器20可產生對應於視訊區塊之預測性像素區塊。視訊編碼器20可執行框內預測或框間預測以產生預測性像素區塊。當視訊編碼器20對視訊區塊執行框內預測時，視訊編碼器20可基於與視訊區塊相同之視訊圖框內之樣本(例如，像素分量之值)來產生對應於視訊區塊之預測性像素區塊。當視訊編碼器20執行框間預測以產生對應於視訊區塊之預測性像素區塊時，視訊編碼器20可基於一或多個參考圖像內之樣本來產生預測性像素區塊。參考圖像可為不同於含有視訊區塊之圖像的圖像。
在視訊編碼器20產生對應於視訊區塊之預測性像素區塊之後，視訊編碼器20可產生對應於視訊區塊之殘餘視訊區塊。殘餘視訊區塊中之每一樣本可基於視訊區塊及預測性像素區塊中之對應樣本之間的差。視訊編碼器20可將一變換應用於殘餘視訊區塊以產生一或多個係數區塊。視訊編碼器20可將各種變換應用於殘餘視訊區塊。舉例而言，視訊編碼器20可將諸如離散餘弦變換(DCT)、整數變換、小波變換或概念上相似變換之變換應用於殘餘視訊區塊。視訊編碼器20可量化係數區塊以進一步縮減用以表示視訊區塊之位元之數目。在量化係數區塊之後，視訊編碼器20可熵編碼表示係數區塊中之係數的語法元素及與視訊區塊相關聯之其他語法元素。舉例而言，視訊編碼器20可對語法元素執行上下文自調適性二進位算術寫碼(CABAC)、上下文自調適性可變長度寫碼(CAVLC)、指數哥倫布寫碼(exponential-Golomb coding)，或另一類型之熵編碼。視訊編碼器20可輸出包括與視訊區塊 相關聯之經熵編碼語法元素之位元串流。
視訊解碼器30可接收包括視訊資料之經編碼表示之位元串流。視訊解碼器30可剖析該位元串流以自該位元串流提取語法元素。作為自位元串流提取語法元素之部分，視訊解碼器30可熵解碼位元串流之部分。視訊解碼器30可至少部分地基於與視訊區塊相關聯之語法元素來執行框間或框內預測以產生用於視訊區塊之預測性像素區塊。此外，視訊解碼器30可反量化與視訊區塊相關聯之係數區塊之係數，且可將一或多個反變換應用於該等係數區塊以產生用於視訊區塊之殘餘視訊區塊。視訊解碼器30接著可至少部分地基於殘餘視訊區塊及預測性像素區塊來重新建構視訊區塊。以此方式，藉由重新建構一圖框之視訊區塊中每一者，視訊解碼器30可重新建構該圖框。
如上文所提到，視訊編碼器20可執行框間預測以產生對應於特定視訊區塊之預測性像素區塊。更具體言之，視訊編碼器20可執行單向框間預測或雙向框間預測以產生預測性像素區塊。
當視訊編碼器20針對特定視訊區塊執行單向框間預測時，視訊編碼器20可搜尋單一參考圖像清單中之參考圖像內的參考區塊。該參考區塊可為相似於特定視訊區塊之樣本區塊。此外，當視訊編碼器20執行單向框間預測時，視訊編碼器20可產生用於特定視訊區塊之運動資訊。用於特定視訊區塊之運動資訊可包括運動向量及參考圖像索引。運動向量可指示特定視訊區塊在當前圖框(亦即，包括特定視訊區塊之圖框)內之位置與參考區塊在參考圖框內之位置之間的空間位移。參考圖像索引指示含有參考圖像清單之參考圖框在參考圖像清單內之位置。用於特定視訊區塊之預測性像素區塊可等於參考區塊。
當視訊編碼器20針對特定視訊區塊執行雙向框間預測時，視訊編碼器20可搜尋第一參考圖像清單(「清單0」)中之參考圖像內的第一參考區塊，且可搜尋第二參考圖像清單(「清單1」)中之參考圖像 內的第二參考區塊。視訊編碼器20可至少部分地基於第一參考區塊及第二參考區塊來產生用於特定視訊區塊之預測性像素區塊。此外，視訊編碼器20可產生指示特定視訊區塊與第一參考區塊之間的空間位移之第一運動向量。視訊編碼器20亦可產生識別含有第一參考區塊之參考圖像在第一參考圖像清單內之位置的第一參考圖像索引。此外，視訊編碼器20可產生指示特定視訊區塊與第二參考區塊之間的空間位移之第二運動向量。視訊編碼器20亦可產生識別包括第二參考區塊之參考圖像在第二參考圖像清單內之位置的第二參考圖像索引。
當視訊編碼器20對特定視訊區塊執行單向框間預測時，視訊解碼器30可使用特定視訊區塊之運動資訊以識別特定視訊區塊之參考樣本。視訊解碼器30接著可基於特定視訊區塊之參考樣本來產生特定視訊區塊之預測性像素區塊。當視訊編碼器20對特定視訊區塊執行雙向框間預測時，視訊解碼器30可使用特定視訊區塊之運動資訊以識別特定視訊區塊之兩個參考樣本。視訊解碼器30可基於特定視訊區塊之兩個參考樣本來產生特定視訊區塊之預測性像素區塊。
多視圖視訊寫碼(MVC)相容3DV為H.264/AVC標準之延伸。MVC相容3DV亦可被稱作以MVC為基礎之3DV。在對H.264/AVC之MVC相容3DV延伸中，可存在來自不同視點之同一場景之多個視圖。術語「存取單元(access unit)」用以指代對應於同一時間例項(time instance)之圖像集合。因此，視訊資料可被概念化為隨時間而出現之一系列存取單元。
MVC相容3DV支援視圖間預測。視圖間預測相似於H.264/AVC中使用之框間預測，且可使用相同語法元素。然而，當視訊寫碼器對視訊區塊執行視圖間預測時，視訊編碼器20可使用在與視訊區塊相同之存取單元內但在不同視圖中之圖像作為參考圖像。與此對比，習知框間預測僅使用在不同存取單元中之圖像作為參考圖像。在MVC相容 3DV中，若視訊解碼器(例如，視訊解碼器30)可在不參考任何其他視圖中之圖像的情況下解碼一視圖中之圖像，則該視圖被稱作「基本視圖(base view)」。當寫碼在非基本視圖中之一者中的圖像時，若一圖像在不同視圖中但在與視訊寫碼器當前正寫碼之圖像相同的時間例項內，則視訊寫碼器可將該圖像添加至參考圖像清單中。類似於其他框間預測參考圖像，視訊寫碼器可在參考圖像清單之任何位置處插入視圖間預測參考圖像。在MVC相容3DV中，視圖間預測可受到不均等運動補償(disparity motion compensation)支援。不均等運動補償使用H.264/AVC運動補償之語法，但可允許將不同視圖中之圖像用作參考圖像。兩個或兩個以上視圖之寫碼可受到MVC相容3DV支援。MVC相容3DV之優勢中之一者可為：MVC相容3DV編碼器可使用兩個以上視圖作為3D視訊輸入，且MVC解碼器可解碼此多視圖表示。結果，支援MVC相容3DV之視訊解碼器可處理具有兩個以上視圖之3D視訊內容。
MVC相容3DV提供深度圖(depth map)。深度圖為像素值表示對應「紋理」圖像所示之物件之三維深度的圖像。在一些實例中，深度圖中之較亮像素值可對應於較接近相機之物件，且深度圖中之較暗像素值可對應於較遠離相機之物件。「紋理」圖像可為正常H.264/AVC圖像。在一個存取單元中之視圖之紋理部分(亦即，一存取單元中之紋理視圖)被命名為「紋理視圖分量」。用於存取單元之深度圖亦可被稱作存取單元之「深度視圖分量」。術語「視圖分量」可用以指代存取單元中之視圖，且集體地指代同一存取單元中之紋理視圖分量及深度視圖分量兩者。在一些情況下，在MVC相容3DV中，不允許基於紋理視圖分量來編碼深度視圖分量。
此外，存在產生對H.264/AVC之三維視訊(3DV)寫碼延伸(即，AVC相容3DV)的正在進行中之努力。類似於MVC相容3DV，AVC相 容3DV提供深度圖。在AVC 3DV延伸中，視訊編碼器20可以與存取單元之其他視圖相同的方式編碼深度圖。亦即，除了用於不同視圖之紋理圖像以外，存取單元亦可包括深度圖。AVC相容3DV允許基於紋理視圖分量來編碼深度視圖分量。此情形可增加寫碼效率，但可增加複雜性。
在MVC相容3DV及AVC相容3DV兩者中，視訊編碼器20可使用以深度影像為基礎之顯現(Depth Image Based Rendering,DIBR)以基於可用紋理及深度視圖分量來產生合成紋理視圖分量。合成紋理視圖分量可為基於深度圖及一或多個紋理視圖分量而合成之紋理視圖分量。舉例而言，特定紋理視圖分量可為左眼紋理視圖分量，且視訊編碼器20可使用DIBR以產生右眼紋理視圖分量用於3維視訊播放。在一些情況下，可使用合成紋理視圖分量作為用於存取單元間存取或視圖間預測之參考圖像。用作參考圖像之合成紋理視圖分量可被稱作視圖合成參考圖像(view synthesis reference picture,VSRP)。視訊寫碼器可包括在參考圖像清單中之VSRP。
如上文簡要地所提到，視訊編碼器20可輸出含有經編碼視訊資料之位元串流。該位元串流可包括形成經寫碼圖像及關聯資料之表示之位元序列。位元串流可包含網路抽象層(NAL)單元序列。該等NAL單元中每一者包括一NAL單元標頭且囊封一原始位元組序列有效負載(raw byte sequence payload,RBSP)。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為囊封於NAL單元內的含有整數數目個位元組之語法結構。在一些情況下，RBSP可包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封用於圖像參考集(picture parameter set,PPS)之RBSP，第二類型之NAL單元可囊封用於經寫碼片段之RBSP，第三類 型之NAL單元可囊封用於補充增強資訊(supplemental enhancement information,SEI)之RBSP，等等。
囊封用於視訊寫碼資料之RBSP(與用於參數集及SEI訊息之RBSP相對)的NAL單元可被稱作視訊寫碼層(video coding layer,VCL)NAL單元。囊封經寫碼片段之NAL單元可被稱作經寫碼片段NAL單元。在AVC相容3DV之一些設計中，囊封經寫碼深度視圖分量之VCL NAL單元具有NAL單元類型21。
囊封遵守AVC相容3DV之經寫碼視圖分量的NAL單元在其NAL單元標頭中相比於囊封遵守MVC相容3DV之經寫碼視圖分量的NAL單元具有不同語法元素。舉例而言，囊封遵守AVC相容3DV之經寫碼視圖分量的NAL單元可包括以下語法元素：non_idr_flag、anchor_pic_flag、temporal_id、inter_view_flag、depth_flag及view_idx flag。用於MVC相容3DV之NAL單元亦包括non_idr_flag、anchor_pic_flag、temporal_id及inter_view_flag語法元素。non_idr_flag、anchor_pic_flag、temporal_id及inter_view_flag語法元素可在用於AVC相容3DV及MVC相容3DV之NAL單元中具有相同語義。然而，用於MVC相容3DV之NAL單元不包括view_idx及depth_flag語法元素。
view_idx語法元素指定用於NAL單元之視圖次序索引。具有相同view_idx值之NAL單元屬於同一視圖。view_idx語法元素可與MVC相容3DV中之view_order_index語法元素相同。若depth_flag語法元素等於1，則NAL單元屬於深度視圖分量。若depth_flag語法元素等於0，則NAL單元屬於紋理視圖分量。當不存在depth_flag語法元素時，視訊解碼器30可推斷(亦即，自動地判定)出depth_flag語法元素等於0。
上文所描述之AVC相容3DV之設計存在若干問題。第一，為了使AVC相容3DV與對AVC之其他延伸共存，可需要新NAL單元類型用於 非基本紋理視圖分量及/或深度視圖分量之VCL NAL單元。第二，若非基本紋理視圖分量之VCL NAL單元相比於MVC相容3DV中使用之首碼NAL單元具有不同語法元素，則AVC相容3DV延伸之當前設計可需要使用新首碼NAL單元。首碼NAL單元可為包括NAL單元標頭(及NAL單元標頭延伸)且囊封0位元組RBSP之NAL單元。因此，上文所描述之AVC相容3DV之設計可需要使用三個新NAL單元類型：新首碼NAL單元類型、用於非基本紋理視圖分量之VCL NAL單元之新NAL單元類型，及用於深度視圖分量之VCL NAL單元之新NAL單元類型。新NAL單元類型之使用可有問題，此係因為在H.264/AVC標準中僅存在少許剩餘未使用NAL單元類型。
本發明之技術可解決上文所描述之問題。根據本發明之技術，視訊編碼器20可產生包括至少第一語法元素及第二語法元素之NAL單元。第一語法元素(「nal_unit_type」)指示出NAL單元屬於特定NAL單元類型。紋理視圖分量的之寫碼片段及深度視圖分量之經寫碼片段可囊封於屬於特定NAL單元類型之NAL單元內。第二語法元素(「avc_based_3dv_flag」)指示NAL單元之NAL單元標頭包括AVC相容3DV標頭延伸抑或MVC相容3DV標頭延伸。「avc_based_3dv_flag」可緊接地在AVC 3DV標頭延伸或MVC標頭延伸之前。AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素。MVC相容3DV標頭延伸相比於AVC相容3DV標頭延伸具有不同語法結構，且包括與MVC相容3DV相關聯之語法元素。
因為NAL單元可包括「avc_based_3dv_flag」，所以包括AVC相容3DV標頭延伸及MVC相容3DV標頭延伸之NAL單元可屬於同一NAL單元類型。因此，「avc_based_3dv_flag」可消除針對用於包括AVC相容3DV標頭延伸及MVC相容3DV標頭延伸之NAL單元之分離NAL單元類型的需要。以此方式，本發明之技術可節約可用NAL單元類型以用於 H.264/AVC之未來延伸。在一些實例中，僅在「nal_unit_type」等於21時，NAL單元才可包括「avc_based_3dv_flag」。
圖2為說明經組態以實施本發明之技術之實例視訊編碼器20的方塊圖。圖2係出於解釋之目的而提供，且不應被視為限制如本發明廣泛地所例示及描述之技術。出於解釋之目的，本發明在H.264/AVC寫碼之上下文中描述視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖2之實例中，視訊編碼器20包括預測處理單元100、殘餘產生單元102、變換處理單元104、量化單元106、反量化單元108、反變換處理單元110、重新建構單元112、濾波器單元113、經解碼圖像緩衝器114及熵編碼單元116。預測處理單元100包括框間預測處理單元121及框內預測處理單元126。框間預測處理單元121包括運動估計單元122及運動補償單元124。在其他實例中，視訊編碼器20可包括更多、更少或不同功能組件。
視訊編碼器20接收視訊資料。為了編碼視訊資料，視訊編碼器20可編碼視訊資料之每一圖像之每一片段。作為編碼片段之部分，視訊編碼器20可編碼片段中之視訊區塊。
框間預測處理單元121可藉由對視訊區塊執行框間預測來產生用於視訊區塊之預測性資料。用於視訊區塊之預測性資料可包括對應於視訊區塊之預測性像素區塊，及用於視訊區塊之運動資訊。
片段可為I片段、P片段或B片段。運動估計單元122及運動補償單元124可取決於視訊區塊在I片段、P片段抑或B片段中而針對視訊區塊執行不同操作。在I片段中，所有視訊區塊被框內預測。因此，若視訊區塊在I片段中，則運動估計單元122及運動補償單元124不對視訊區塊執行框間預測。
若視訊區塊在P片段中，則運動估計單元122可搜尋參考圖像清 單(例如，清單0)中之參考圖像以獲得用於視訊區塊之參考區塊。在視訊編碼器20使用MVC相容3DV或AVC相容3DV之實例中，參考圖像清單可包括視圖間參考圖像。在視訊編碼器20使用AVC相容3DV之實例中，參考圖像清單中之視圖間參考圖像可包括基於深度圖而合成之參考圖像。視訊區塊之參考區塊可為最接近地對應於視訊區塊之像素區塊。運動估計單元122可使用各種各樣之量度以判定參考圖像中之像素區塊對應於視訊區塊之接近程度。舉例而言，運動估計單元122可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差量度來判定參考圖像中之像素區塊對應於視訊區塊之接近程度。
運動估計單元122可產生指示清單0中含有P片段中視訊區塊之參考區塊之參考圖像的參考圖像索引，及指示視訊區塊與參考區塊之間的空間位移之運動向量。運動估計單元122可輸出參考圖像索引及運動向量作為視訊區塊之運動資訊。運動補償單元124可基於由視訊區塊之運動資訊指示的參考區塊來產生用於視訊區塊之預測性像素區塊。
若視訊區塊在B片段中，則運動估計單元122可針對視訊區塊執行單向框間預測或雙向框間預測。為了針對視訊區塊執行單向框間預測，運動估計單元122可搜尋清單0或第二參考圖像清單(例如，清單1)之參考圖像以獲得用於視訊區塊之參考區塊。在視訊編碼器20使用MVC或3DV之實例中，清單0及/或清單1可包括視圖間參考圖像。運動估計單元122可產生指示含有參考區塊之參考圖像在清單0或清單1中之位置的參考圖像索引，及指示視訊區塊與參考區塊之間的空間位移之運動向量。運動估計單元122亦可產生指示參考圖像在清單0抑或清單1中之預測方向指示符。
為了針對視訊區塊執行雙向框間預測，運動估計單元122可搜尋清單0中之參考圖像以獲得用於視訊區塊之參考區塊，且亦可搜尋清 單1中之參考圖像以獲得用於視訊區塊之另一參考區塊。運動估計單元122可產生指示含有參考區塊之參考圖像在清單0及清單1中之位置的參考圖像索引。此外，運動估計單元122可產生指示參考區塊與視訊區塊之間的空間位移之運動向量。視訊區塊之運動資訊可包括視訊區塊之參考圖像索引及運動向量。運動補償單元124可基於由視訊區塊之運動資訊指示的參考區塊來產生視訊區塊之預測性樣本區塊。樣本區塊可為樣本(例如，亮度樣本或色度樣本)之區塊。
框內預測處理單元126可藉由對視訊區塊執行框內預測來產生用於視訊區塊之預測性資料。用於視訊區塊之預測性資料可包括用於視訊區塊之預測性像素區塊，及各種語法元素。像素區塊可為像素之區塊。因為每一像素可包括複數個樣本，所以每一像素區塊可劃分成複數個樣本區塊，每一類型之樣本係針對一個樣本區塊。框內預測處理單元126可對I片段、P片段及B片段中之視訊區塊執行框內預測。
為了對視訊區塊執行框內預測，框內預測處理單元126可使用多個框內預測模式以產生用於視訊區塊之多個預測性資料集合。為了使用一框內預測模式以產生用於視訊區塊之一預測性資料集合，框內預測處理單元126可在與框內預測模式相關聯之方向上橫越視訊區塊而延伸來自相鄰視訊區塊之樣本。相鄰視訊區塊可在視訊區塊上方、右上方、左上方或左邊，此係假定針對視訊區塊之自左至右的自頂至底編碼次序。在一些實例中，框內預測模式之數目可取決於視訊區塊之大小。
預測處理單元100可自由框間預測處理單元121針對視訊區塊產生之預測性資料或由框內預測處理單元126針對視訊區塊產生之預測性資料當中選擇用於視訊區塊之預測性資料。在一些實例中，預測處理單元100基於預測性資料集合之速率/失真量度來選擇用於視訊區塊之預測性資料。
殘餘產生單元102可藉由自視訊區塊之對應樣本減去預測性像素區塊中之樣本來產生殘餘樣本區塊。變換處理單元104可藉由將一或多個變換應用於殘餘樣本區塊來產生用於每一殘餘樣本區塊之係數區塊。變換處理單元104可將各種變換應用於殘餘樣本區塊。舉例而言，變換處理單元104可將離散餘弦變換(DCT)、方向變換或概念上相似變換應用於殘餘樣本區塊。
量化單元106可量化係數區塊中之係數。量化程序可縮減與該等係數中之一些或全部相關聯的位元深度。舉例而言，在量化期間可將n位元係數降值捨位至m位元係數，其中n大於m。量化單元106可基於量化參數(QP)值來量化係數區塊。視訊編碼器20可藉由調整QP值來調整應用於係數區塊之量化程度。
反量化單元108及反變換處理單元110可分別將反量化及反變換應用於係數區塊，以自係數區塊重新建構殘餘樣本區塊。重新建構單元112可將經重新建構殘餘樣本區塊中之樣本添加至來自由預測處理單元100產生之一或多個預測性樣本區塊之對應樣本以產生經重新建構樣本區塊。濾波器單元113可執行解區塊操作以縮減經重新建構視訊區塊中之區塊假影。在濾波器單元113對經重新建構視訊區塊執行一或多個解區塊操作之後，經解碼圖像緩衝器114可儲存經重新建構視訊區塊。運動估計單元122及運動補償單元124可使用含有經重新建構視訊區塊之參考圖像以對後續圖像之視訊區塊執行框間預測。此外，框內預測處理單元126可使用經解碼圖像緩衝器114中之經重新建構視訊區塊以執行框內預測。
熵編碼單元116可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元116可自量化單元106接收係數區塊，且可自預測處理單元100接收語法元素。熵編碼單元116可對資料執行一或多個熵編碼操作以產生經熵編碼資料。舉例而言，視訊編碼器20可對資料執 行CAVLC操作、CABAC操作、變數至變數(variable-to-variable,V2V)長度寫碼操作、以語法為基礎之上下文自調適性二進位算術寫碼(syntax-based context-adaptive binary arithmetic coding,SBAC)操作、機率區間分割熵(Probability Interval Partitioning Entropy,PIPE)寫碼操作、指數哥倫布寫碼操作，或另一類型之熵編碼操作。
視訊編碼器20可輸出包括由熵編碼單元116產生之經熵編碼資料之位元串流。該位元串流可包括一系列NAL單元。該等NAL單元中每一者可包括一NAL單元標頭及一RBSP。根據本發明之技術，NAL單元標頭可包括指示片段標頭包括AVC相容3DV標頭延伸抑或包括MVC相容3DV標頭延伸之語法元素。在一些實例中，視訊編碼器20可產生遵守下表1所描述之語法的NAL單元。
在表1之實例語法中，svc_extension_flag語法元素指示NAL單元關於對H.264/AVC標準之可縮放視訊寫碼(SVC)延伸抑或關於H.264/AVC標準之MVC相容3DV延伸。根據本發明之技術，當svc_extension_flag語法元素等於1時，重新使用NAL單元類型21。svc_extension_flag語法元素現在可為NAL單元標頭延伸之第一旗標。若svc_extension_flag語法元素等於1，則NAL單元關於SVC且包括SVC標頭延伸nal_unit_header_svc_extension( )。若svc_extension_flag語法元素等於0，則NAL單元關於MVC相容3DV，且NAL單元包括MVC相容3DV標頭延伸nal_unit_header_mvc_extension( )。在MVC相容3DV及SVC兩者中，存在共用同一NAL單元標頭設計之兩個NAL單元類型(14及20)。NAL單元類型14係針對首碼NAL單元，且NAL單元類型20係針對在增強層或非基本視圖處之其他VCL NAL單元。
在表1之實例語法中，NAL單元類型21重新用於AVC相容3DV標頭延伸及MVC相容3DV標頭延伸兩者。亦即，若nal_unit_type語法元素等於21，則NAL單元可包括AVC相容3DV標頭延伸或MVC相容3DV標頭延伸。在表1之實例語法中，avc_based_3dv_flag語法元素指示NAL單元包括AVC相容3DV標頭延伸nal_unit_header_avc_3dv_extension( )抑或MVC相容3DV標頭延伸nal_unit_header_mvc_extension( )。
若avc_based_3dv_flag語法元素等於1，則NAL單元包括AVC相容3DV標頭延伸。亦即，對於遵守H.264/AVC標準之附件J(或在附件J不 用於以AVC為基礎之3DV延伸的情況下指定以AVC為基礎之3DV延伸的附件)中指定之一或多個設定檔的經寫碼視訊序列，avc_based_3dv_flag語法元素之值可等於1。在一些實例中，遵守H.264/AVC標準之附件J中指定之一或多個設定檔的視訊解碼器未經組態成處理nal_unit_type語法元素等於21且avc_based_3dv_extension_flag語法元素等於0所針對之NAL單元。因此，此等視訊解碼器可忽略(亦即，自位元串流移除且捨棄)nal_unit_type語法元素等於21且avc_based_3dv_extension_flag語法元素等於0所針對之NAL單元。
若avc_based_3dv_flag語法元素等於0，則NAL單元包括MVC相容3DV標頭延伸。亦即，對於遵守H.264/AVC標準之附件I(以MVC為基礎之3DV)中指定之一或多個解碼器設定檔的經寫碼視訊序列，avc_based_3dv_flag語法元素之值可等於0。因此，遵守H.264/AVC標準之附件I中指定之一或多個設定檔但未經組態成處理nal_unit_type語法元素等於21所針對之NAL單元的視訊解碼器可忽略(亦即，自位元串流移除且捨棄)nal_unit_type語法元素等於21且avc_based_3dv_extension_flag語法元素等於1所針對之NAL單元。
在其他實例中，avc_based_3dv_flag語法元素可在AVC相容3DV延伸中被重新命名為mvc_3dv_extension_flag。在此等實例中，若mvc_3dv_extension_flag等於1，則NAL單元包括MVC相容3DV標頭延伸。若mvc_3dv_extension_flag等於0，則NAL單元包括AVC相容3DV標頭延伸。
若NAL單元類型為首碼NAL單元或MVC VCL NAL單元，則MVC相容3DV中之NAL單元可包括1位元組NAL單元標頭及3位元組MVC NAL單元標頭延伸。MVC相容3DV中之首碼NAL單元可僅含有NAL單元標頭及MVC NAL單元標頭延伸。下表2指示用於 nal_unit_header_mvc_extension函式之實例語法結構。
在表2及下表之實例中，具有形式u(n)(其中n為非負整數)之描述符的語法元素為長度n之無正負號值。在表2之實例語法結構中，non_idr_flag指示NAL單元是否屬於瞬時解碼再新(instantaneous decoding refresh,IDR)NAL單元。隨機存取點為僅包括I片段之圖像。priority_id語法元素可用於單路徑調適，其中可僅僅藉由檢查priority_id來進行調適。view_id語法元素可指示當前視圖之視圖識別符。NAL單元可囊封當前視圖之視圖分量之片段的經寫碼表示。temporal_id語法元素可指示NAL單元之時間位準。該時間位準可指示與NAL單元相關聯之圖框速率。anchor_pic_flag語法元素可指示NAL單元是否屬於可用於隨機存取之錨圖像(anchor picture)。錨圖像為所有片段可僅參考同一存取單元中之片段的經寫碼圖像。亦即，視圖間預測可用以編碼錨圖像，但框間預測可不用以編碼錨圖像。inter_view_flag語法元素指示當前視圖分量是否用於針對其他視圖中之NAL單元的視圖間預測。NAL單元可囊封當前視圖分量之片段的經寫碼表示。
若NAL單元包括MVC相容3DV標頭延伸，則NAL單元不囊封紋理視圖分量之經寫碼片段。若囊封深度視圖分量之經寫碼片段之NAL單元包括AVC相容3DV標頭延伸，則該NAL單元可具有第一語法結 構，且若該NAL單元包括MVC相容3DV標頭延伸，則該NAL單元可具有第二語法結構，第二語法結構不同於第一語法結構。在一些實例中，視訊編碼器20可產生(且視訊解碼器30可接收)屬於不同NAL單元類型之另一NAL單元。該另一NAL單元之NAL單元標頭可包括第二MVC相容3DV標頭延伸。第二MVC相容3DV標頭延伸可具有與第一MVC相容3DV標頭延伸之語法結構相同的語法結構。該另一NAL單元可囊封紋理視圖分量之經寫碼片段。
下表3指示用於nal_unit_header_avc_3dv_extension函式之實例語法結構。
在表3之實例語法結構中，non_idr_flag語法元素、anchor_pic_flag語法元素、temporal_id語法元素及inter_view_flag語法元素可具有與nal_unit_header_mvc_extension之對應語法元素之語義相同的語義。depth_flag語法元素可指示NAL單元囊封深度視圖分量之經編碼資料抑或紋理視圖分量之經編碼資料。亦即，視訊解碼器30可基於深度旗標語法元素來判定NAL單元囊封深度視圖分量之經編碼資料抑或紋理視圖分量之經編碼資料。舉例而言，若depth_flag語法元素等於1，則NAL單元囊封深度視圖分量之經編碼資料。在此實例中，若depth_flag語法元素等於0，則NAL單元囊封紋理視圖分量之經編碼資料。在一些實例中，若depth_flag語法元素不存在於NAL單元中，則視訊解碼器30可自動地判定出depth_flag語法元素等於0。MVC 相容3DV標頭延伸之語法不考量深度旗標語法元素。亦即，在一些實例中，MVC相容3DV標頭延伸不能包括深度旗標語法元素。AVC相容3DV標頭延伸具有一語法結構，該語法結構相同而不管NAL單元囊封紋理視圖分量之經寫碼片段抑或深度視圖分量之經寫碼片段。
在表3之實例語法中，對於非基本視圖紋理之VCL NAL單元及首碼NAL單元，可共用同一NAL單元類型。在此狀況下，在NAL單元標頭中傳信view_idx，而非view_id。view_idx語法元素指示用於NAL單元之視圖次序索引。具有相同view_idx語法元素值之NAL單元屬於同一視圖。view_idx語法元素可具有與MVC相容3DV規範(亦即，以MVC為基礎之3DV規範)中之視圖次序索引(VOIdx)之語義相同的語義。在一些實例中，對於首碼NAL單元，view_idx語法元素始終等於0。
在一些實例中，若nal_unit_header_avc_3dv_extension函式之view_idx語法元素及depth_flag語法元素皆等於0，則NAL單元之RBSP為首碼NAL單元AVC 3DV RBSP。在表1之實例語法中，同一NAL單元類型用於非基本視圖紋理分量之VCL NAL單元及首碼NAL單元。首碼NAL單元AVC 3DV RSBP可為包括0個位元組之RBSP。下表4提供首碼NAL單元AVC 3DV RBSP之實例語法結構。
在另一實例中，新NAL單元類型用於首碼AVC相容3DV NAL單元。下表5為新NAL單元類型用於首碼AVC相容3DV NAL單元的NAL單元之實例語法結構。在表5之實例語法中，若NAL單元之nal_unit_type語法元素等於17，則NAL單元為首碼AVC相容3DV NAL單元。因此，nal_unit_type語法元素可指示出NAL單元為首碼AVC相 容3DV NAL單元，且視訊解碼器30可基於nal_unit_type語法元素來判定出NAL單元為首碼AVC相容3DV NAL單元。
在另一實例中，視訊編碼器20產生將新NAL單元類型用於非基本 視圖紋理視圖分量或深度視圖分量之VCL NAL單元的NAL單元。下表6為新NAL單元類型用於非基本視圖紋理視圖分量或深度視圖分量之VCL NAL單元的NAL單元之實例語法。在表6之實例語法結構中，若NAL單元之nal_unit_type語法元素等於22，則NAL單元為非基本視圖紋理視圖分量或深度視圖分量之VCL NAL單元。
在表6之實例語法中，視訊編碼器20可擴展nal_unit_header_avc_3dv_extension函式，如下表7之實例語法所示。 與表3之實例所示的nal_unit_header_avc_3dv_extension函式對比，表7之實例語法包括reserved_one_bit語法元素。reserved_one_bit語法元素為保留位元。
在另一實例中，一個新NAL單元類型可用於非基本視圖紋理視圖分量之VCL NAL單元，且另一新NAL單元類型可用於深度視圖分量之VCL NAL單元。在此實例中，視訊編碼器20可產生遵守下表8所示之實例語法結構的NAL單元。在表8之實例語法結構中，非基本視圖紋理視圖分量之VCL NAL單元的NAL單元類型可等於22。此外，在表8之實例語法結構中，紋理視圖分量NAL單元之VCL NAL單元的NAL單元類型可等於23。
在表8之實例語法中，視訊編碼器20可擴展nal_unit_header_avc_3dv_extension函式，如下表9之實例語法結構所示。
在表9之實例語法結構中，non_idr_flag語法元素、anchor_pic_flag語法元素、temporal_id語法元素、inter_view_flag語法元素及view_idx語法元素可具有與上文所描述之語義相同的語義。reserved_two_zero_bits語法元素可為保留2位元無正負號值。表9不同於表7之處在於：表9不包括depth_view語法元素，且包括reserved_two_zero_bits語法元素，而非reserved_one_bit語法元素。
在另一實例中，對於首碼AVC相容3DV NAL單元，視訊編碼器20不傳信表7及表9所示之view_idx語法元素；因此，可節省一個位元 組。在一些實例中，view_idx語法元素中之位元之數目可不同於表7及表9之8位元無正負號值。舉例而言，在視訊編碼器20不傳信view_idx語法元素之實例中，view_idx語法元素可為10位元值。在表9之實例語法中，view_idx可為9位元值。在其他實例中，用於view_idx語法元素之位元之數目可為其他值，諸如，4、5、6、7或更少。
在一些實例中，視訊編碼器20針對不同解碼器設定檔以自調適性方式傳信view_idx語法元素。舉例而言，若視訊編碼器20針對第一解碼器設定檔編碼視訊資料，則相比於若視訊編碼器20針對第二解碼器設定檔編碼視訊資料，view_idx語法元素可在NAL單元標頭中含有較少數目個位元。在此實例中，當視訊編碼器20針對第二解碼器設定檔編碼視訊資料時，view_idx語法元素可包括一個額外位元組。
此外，在上表7及9之實例語法中，視訊編碼器20可將view_idx語法元素傳信為2位元無正負號值。結果，NAL單元標頭延伸可含有僅1個位元組。或者，在一些視訊解碼器設定檔中，NAL單元標頭延伸之長度可等於1個位元組。視訊編碼器20可針對允許較大數目個經寫碼視圖之其他解碼器設定檔傳信用於view_idx語法元素之延伸位元組。在視訊編碼器20傳信用於view_idx語法元素之延伸位元組之實例中，view_idx語法元素之第一延伸位元組中傳信的位元可包括view_idx語法元素之最低有效位元(亦即，view_idx_lsb)，而view_idx語法元素之第二延伸位元組包括最高有效位元(view_idx_msb)。因此，view_idx語法元素可等於view_idx_msb<<(numBitsViewIdxFirstByte)+view_idx_lsb，其中view_idx_msb為view_idx語法元素之最高有效位元，numBitsViewIdxFirstByte為view_idx語法元素之第一位元組之視圖的數目，且view_idx_lsb為view_idx語法元素之最低有效位元。
在一些實例中，視訊編碼器20不在NAL單元標頭延伸中傳信inter_view_flag語法元素。在一些此等實例中，以其他方式用於 inter_view_flag語法元素之位元可用作view_idx語法元素之額外位元。以此方式，藉由不傳信inter_view_flag語法元素，視訊編碼器20可傳信額外視圖之視圖索引。舉例而言，在一些實例中，視訊編碼器20可將view_idx傳信為3位元值。結果，NAL單元標頭延伸可僅含有一個位元組。或者，在一些視訊解碼器設定檔中，NAL單元標頭延伸之長度等於1個位元組，而對於實現較大數目個經寫碼視圖之設定檔，傳信用於view_idx之延伸位元組。在視訊編碼器20傳信用於view_idx之延伸位元組之實例中，view_idx之第一延伸位元組中傳信的位元可包括view_idx之最低有效位元，而view_idx之第二延伸位元組包括最高有效位元。舉例而言，當視圖之數目小於8時，NAL單元標頭延伸中之三個位元足夠。在實現八個以上視圖(例如，100個視圖)之視訊解碼器設定檔中，視訊編碼器20可傳信view_idx_msb語法元素。視訊解碼器30可如下計算view_idx：view_idx=view_idx_msb<<(numBitsViewIdxFirstByte)+view_idx_lsb，其中view_idx_msb為view_idx之最高有效位元，view_idx_lsb為view_idx之最低有效位元，且numBitViewIdxFirstByte指示第一位元組中之view_idx之位元的數目。
圖3為說明經組態以實施本發明之技術之實例視訊解碼器30的方塊圖。圖3係出於解釋之目的而提供，且不限制如本發明廣泛地所例示及描述之技術。出於解釋之目的，本發明在H.264/AVC寫碼之上下文中描述視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖3之實例中，視訊解碼器30包括熵解碼單元150、預測處理單元152、反量化單元154、反變換處理單元156、重新建構單元158、濾波器單元159及經解碼圖像緩衝器160。預測處理單元152包括運動補償單元162及框內預測處理單元164。在其他實例中，視訊解碼器30 可包括更多、更少或不同功能組件。
視訊解碼器30可接收位元串流。熵解碼單元150可剖析位元串流以自位元串流提取語法元素。作為剖析位元串流之部分，熵解碼單元150可熵解碼位元串流中之經熵編碼語法元素。預測處理單元152、反量化單元154、反變換處理單元156、重新建構單元158及濾波器單元159可基於自位元串流提取之語法元素來產生經解碼視訊資料(亦即，重新建構視訊資料)。自位元串流提取之語法元素可包括表示係數區塊之語法元素。
根據本發明之技術，視訊解碼器30可接收NAL單元。熵解碼單元150可自NAL單元剖析第一語法元素及第二語法元素。熵解碼單元150可基於第二語法元素來判定NAL單元之NAL單元標頭包括AVC相容3DV標頭延伸抑或包括MVC相容3DV標頭延伸。回應於判定出NAL單元包括AVC相容3DV標頭延伸，熵解碼單元150可自NAL單元剖析AVC相容3DV標頭延伸。回應於判定出NAL單元包括MVC相容3DV標頭延伸，熵解碼單元150可自NAL單元剖析MVC相容3DV標頭延伸。預測處理單元152、反量化單元154、反變換處理單元156、重新建構單元158及濾波器單元159可基於AVC相容3DV標頭延伸或MVC相容標頭延伸之語法元素來重新建構至少一些視訊資料。
反量化單元154可反量化(亦即，去量化)係數區塊。反量化單元154可使用QP值以判定量化程度，且同樣地，判定反量化單元154將應用之反量化程度。在反量化單元154反量化係數區塊之後，反變換處理單元156可將一或多個反變換應用於係數區塊以便產生殘餘樣本區塊。舉例而言，反變換處理單元156可將反DCT、反整數變換、反卡忽南-拉維變換(Karhunen-Loeve transform,KLT)、反旋轉變換、反方向變換或另一反變換應用於係數區塊。
若使用框內預測來編碼視訊區塊，則框內預測處理單元164可執 行框內預測以產生用於視訊區塊之預測性像素區塊。舉例而言，框內預測處理單元164可基於位元串流中之語法元素來判定用於視訊區塊之框內預測模式。框內預測處理單元164可使用該框內預測模式以基於空間相鄰視訊區塊來產生用於視訊區塊之預測性像素區塊。
運動補償單元162可基於自位元串流提取之語法元素來建構第一參考圖像清單(清單0)及第二參考圖像清單(清單1)。在使用MVC相容3DV或AVC相容3DV來編碼位元串流之實例中，清單0及/或清單1可包括視圖間參考圖像。在使用AVC相容3DV來編碼位元串流之實例中，清單0及/或清單1中之視圖間參考圖像可包括基於深度圖而合成之參考圖像。此外，若使用框間預測來編碼視訊區塊，則熵解碼單元150可提取用於視訊區塊之運動資訊。運動補償單元162可基於視訊區塊之運動資訊來判定用於視訊區塊之一或多個參考區塊。運動補償單元162可基於用於視訊區塊之一或多個參考區塊來產生用於視訊區塊之預測性像素區塊。
重新建構單元158可基於用於視訊區塊之殘餘像素區塊及視訊區塊之預測性像素區塊來重新建構視訊區塊。詳言之，重新建構單元158可將殘餘像素區塊之樣本(例如，亮度或色度分量)添加至預測性像素區塊之對應樣本以重新建構視訊區塊。濾波器單元159可執行解區塊操作以縮減與視訊區塊相關聯之區塊假影。視訊解碼器30可將視訊區塊儲存於經解碼圖像緩衝器160中。經解碼圖像緩衝器160可提供用於後續運動補償、框內預測及在顯示器件(諸如，圖1之顯示器件32)上呈現之參考圖像。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器160中之視訊區塊而對其他CU之PU執行框內預測或框間預測操作。
圖4為根據本發明之一或多種技術的說明由視訊編碼器20執行作為用以編碼視訊資料之程序之部分之實例操作200的流程圖。圖4之流 程圖及以下諸圖之流程圖係作為實例而提供。在其他實例中，本發明之技術可使用多於、少於或不同於圖4及以下諸圖之實例所示之步驟的步驟予以實施。
在圖4之實例中，視訊編碼器20可產生包括至少第一語法元素及第二語法元素之NAL單元(202)。第一語法元素可指示出NAL單元屬於特定NAL單元類型。紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於特定NAL單元類型之NAL單元內。第二語法元素可指示NAL單元之NAL單元標頭包括AVC相容3DV標頭延伸抑或MVC相容3DV標頭延伸。AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素。MVC相容3DV標頭延伸相比於AVC相容3DV標頭延伸具有不同語法結構，且包括與MVC相容3DV相關聯之語法元素。視訊編碼器20可輸出包括NAL單元之位元串流(204)。
圖5為根據本發明之一或多種技術的說明由視訊解碼器30執行之實例操作230的流程圖。在圖5之實例中，視訊解碼器30可接收包括至少第一語法元素及第二語法元素之NAL單元(232)。第一語法元素可指示出NAL單元屬於特定NAL單元類型。紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於特定NAL單元類型之NAL單元內。視訊解碼器30可至少部分地基於第二語法元素來判定NAL單元之NAL單元標頭包括AVC相容3DV標頭延伸抑或MVC相容3DV標頭延伸(234)。AVC相容3DV標頭延伸可包括與AVC相容3DV相關聯之語法元素。MVC相容3DV標頭延伸相比於AVC相容3DV標頭延伸可具有不同語法結構，且可包括與MVC相容3DV相關聯之語法元素。
圖6為根據本發明之一或多種技術的說明由視訊解碼器30執行作為用以解碼經編碼視訊資料之程序之部分之另一實例操作250的流程圖。圖6可為圖5之操作230之更特定實例。在圖6之實例中，視訊解碼器30可接收包括NAL單元之位元串流(252)。視訊解碼器30可自位元 串流剖析NAL單元類型語法元素(254)。視訊解碼器30接著可判定NAL單元類型語法元素是否具有特定值(例如，21)(256)。回應於判定出NAL單元類型語法元素具有特定值(256之「是」)，視訊解碼器30可自位元串流剖析3DV指示元素(例如，avc_based_3dv_flag)(258)。3DV指示元素可指示NAL單元之NAL單元標頭包括AVC相容3DV標頭延伸抑或MVC相容3DV標頭延伸。在自位元串流剖析3DV指示語法元素之後，視訊解碼器30可判定3DV指示語法元素是否指示出NAL單元之NAL單元標頭包括AVC相容3DV標頭延伸(260)。
回應於判定出3DV指示語法元素指示出NAL單元之NAL單元標頭包括AVC相容3DV標頭延伸(260之「是」)，視訊解碼器30可自位元串流剖析AVC相容3DV標頭延伸之語法元素(262)。回應於判定出3DV指示語法元素指示出NAL單元之NAL單元標頭不包括AVC相容3DV標頭延伸(260之「否」)，視訊解碼器30可自位元串流剖析MVC相容3DV標頭延伸之語法元素(264)。
回應於判定出NAL單元類型語法元素不等於特定值(256之「否」)，或在自位元串流剖析AVC相容3DV標頭延伸或MVC相容3DV標頭延伸之後，視訊解碼器30可自位元串流剖析囊封於NAL單元內之RBSP(266)。視訊解碼器30接著可至少部分地基於自囊封於NAL單元內之RBSP剖析的語法元素來重新建構視訊資料(268)。因此，若3DV指示語法元素指示出NAL單元之NAL單元標頭包括AVC相容3DV標頭延伸，則視訊解碼器30可至少部分地基於AVC相容3DV標頭延伸來解碼視訊資料。
圖7為說明實例MVC相容3DV解碼次序之概念圖。在圖7之實例中，每一正方形對應於一視圖分量。正方形之行對應於存取單元。每一存取單元可經界定以含有一時間例項之所有視圖的經寫碼圖像。正方形之列對應於視圖。在圖7之實例中，存取單元被標記為T0…… T7，且視圖被標記為S0……S7。因為一存取單元之每一視圖分量係在下一存取單元之任何視圖分量之前被解碼，所以圖7之解碼次序可被稱作時間優先寫碼(time-first coding)。如圖7之實例所示，存取單元之解碼次序可不完全相同於視圖之輸出或顯示次序。
圖8為說明實例MVC時間及視圖間預測結構之概念圖。在圖8之實例中，每一正方形對應於一視圖分量。被標記為「I」之正方形為經框內預測視圖分量。被標記為「P」之正方形為經單向框間預測視圖分量。被標記為「B」及「b」之正方形為經雙向框間預測視圖分量。被標記為「b」之正方形可使用被標記為「B」之正方形作為參考圖像。自第一正方形指向第二正方形之箭頭指示出第一正方形可在框間預測中作為用於第二正方形之參考圖像。如由圖8中之垂直箭頭所指示，同一存取單元之不同視圖中的視圖分量可用作參考圖像。使用存取單元之一個視圖分量作為用於該同一存取單元之另一視圖分量的參考圖像可被稱作視圖間預測。
在MVC相容3DV中，可實施視圖間預測，就好像另一視圖中之視圖分量為框間預測參考圖像一樣。可在SPS MVC延伸中傳信潛在視圖間參考圖像，如下表10所示。可在參考圖像清單建構程序期間修改參考圖像清單，以便實現框間預測或視圖間預測參考圖像之靈活排序。
在上表10中，具有類型描述符ue(v)之語法元素可為使用0階指數哥倫布(Exp-Golomb)寫碼而編碼之可變長度無正負號整數，其中左位元優先。具有類型描述符u(3)及u(8)之語法元素可分別為具有3個位元及8個位元之無正負號整數。在表10之SPS MVC延伸中，視訊編碼器20可針對每一視圖傳信可用以形成參考圖像清單0及參考圖像清單1之視圖之數目。針對錨圖像(如在SPS MVC延伸中所傳信)之預測關係可不同於針對同一視圖之非錨圖像(在SPS MVC延伸中所傳信)之預測關係。
視訊寫碼器可執行參考圖像清單建構程序以靈活地配置時間及視圖預測參考。執行參考圖像清單建構程序可不僅提供潛在寫碼效率增益，而且提供錯誤恢復(error resilience)，此係因為參考圖像區段及冗餘圖像機構接著可延伸至視圖尺寸。
參考圖像清單建構可包括以下步驟。第一，視訊寫碼器可針對如在H.264/AVC標準中指定之時間(視圖間)參考圖像應用參考圖像清 單初始化程序，而不使用來自其他視圖之參考圖像。第二，視訊寫碼器可以視圖間參考圖像在SPS MVC延伸中出現之次序將視圖間參考圖像附加至清單之末端。第三，視訊寫碼器針對視圖內參考圖像及視圖間參考圖像兩者應用參考圖像清單修改(reference picture list modification,RPLM)程序。視訊寫碼器可藉由如在MVC SPS延伸中指定的RPLM命令中之視圖間參考圖像之索引值來識別該等視圖間參考圖像。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合予以實施。若以軟體予以實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由以硬體為基礎之處理單元執行。電腦可讀媒體可包括對應於諸如資料儲存媒體之有形媒體的電腦可讀儲存媒體，或包括(例如)根據通信協定而促進電腦程式自一處傳送至另一處之任何媒體的通信媒體。以此方式，電腦可讀媒體通常可對應於(1)為非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明所描述之技術之指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式之所要程式碼且可由電腦存取的任何其他媒體。又，將任何連接適當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術而自網站、伺服器或其他遠端來源傳輸指令，則同軸電纜、光纜、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義 中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是有關非暫時性有形儲存媒體。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
指令可由諸如以下各者之一或多個處理器執行：一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)，或其他等效積體或離散邏輯電路。因此，如本文所使用，術語「處理器」可指代前述結構或適合於實施本文所描述之技術之任何其他結構中任一者。此外，在一些態樣中，本文所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技術可完全地實施於一或多個電路或邏輯元件中。
本發明之技術可實施於各種各樣之器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件之功能態樣，但未必需要藉由不同硬體單元而實現。實情為，如上文所描述，各種單元可組合於一編碼解碼器硬體單元中，或由包括如上文所描述之一或多個處理器的互操作性硬體單元集合結合合適軟體及/或韌體而提供。
已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。

Claims (42)

  1. 一種用於編碼視訊資料之方法，該方法包含：產生包括至少一第一語法元素及一第二語法元素之一網路抽象層(NAL)單元，該第一語法元素指示出該NAL單元屬於一特定NAL單元類型，其中：紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於該特定NAL單元類型之NAL單元內，該第二語法元素指示該NAL單元之一NAL單元標頭包括一進階視訊寫碼(AVC)相容三維視訊(3DV)標頭延伸抑或一多視圖寫碼(MVC)相容標頭延伸，該AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素，且該MVC相容3DV標頭延伸相比於該AVC相容3DV標頭延伸具有一不同語法結構，且包括與MVC相容3DV相關聯之語法元素。
  2. 如請求項1之方法，其中該AVC相容3DV標頭延伸具有一語法結構，該語法結構相同而不管該NAL單元囊封一紋理視圖分量之一經寫碼片段抑或一深度視圖分量之一經寫碼片段。
  3. 如請求項1之方法，其中：若該NAL單元包括一MVC相容3DV標頭延伸，則該NAL單元不囊封一紋理視圖分量之一經寫碼片段；該NAL單元囊封一深度視圖分量之一經寫碼片段；且若該NAL單元包括該AVC相容3DV標頭延伸，則該深度視圖分量之該經寫碼片段具有一第一語法結構，且若該NAL單元包括該MVC相容3DV標頭延伸，則該深度視圖分量之該經寫碼片段具 有一第二語法結構，該第二語法結構不同於該第一語法結構。
  4. 如請求項3之方法，其中該NAL單元為一第一NAL單元，該特定NAL單元類型為一第一NAL單元類型，該MVC相容3DV標頭延伸為一第一MVC相容3DV標頭延伸，且該方法進一步包含：產生一第二NAL單元，該第二NAL單元屬於一第二NAL單元類型，該第二NAL單元之一NAL單元標頭包括一第二MVC相容3DV標頭延伸，該第二MVC相容3DV標頭延伸具有與該第一MVC相容3DV標頭延伸之語法結構相同的語法結構，該第二NAL單元囊封一紋理視圖分量之一經寫碼片段。
  5. 如請求項1之方法，其中該第一語法元素指示出該NAL單元為一首碼以AVC為基礎之3DV NAL單元。
  6. 如請求項1之方法，其中該第二語法元素緊接地在該AVC相容3DV標頭延伸或該MVC相容3DV標頭延伸之前。
  7. 如請求項1之方法，其中該第一語法元素之一值等於二十一。
  8. 如請求項1之方法，其中該NAL單元包括一紋理視圖分量之一片段的一經寫碼表示及一第三語法元素，該第三語法元素指示該紋理視圖分量之一視圖索引，其中若該視訊資料係針對一第一解碼器設定檔被編碼，則相比於若該視訊資料係針對一第二解碼器設定檔被編碼，該第三語法元素在該NAL單元之一NAL單元標頭中含有較少數目個位元。
  9. 如請求項1之方法，其進一步包含在一行動計算器件中編碼該視訊資料。
  10. 一種用於解碼視訊資料之方法，該方法包含：接收包括至少一第一語法元素及一第二語法元素之一網路抽象層(NAL)單元，該第一語法元素指示出該NAL單元屬於一特定NAL單元類型，其中紋理視圖分量及深度視圖分量之經寫碼片段 囊封於屬於該特定NAL單元類型之NAL單元內；及至少部分地基於該第二語法元素來判定該NAL單元之一NAL單元標頭包括一進階視訊寫碼(AVC)相容三維視訊(3DV)標頭延伸抑或一多視圖寫碼(MVC)相容標頭延伸，其中：該AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素，且該MVC相容3DV標頭3DV延伸相比於該AVC相容3DV標頭延伸具有一不同語法結構，且包括與MVC相容3DV相關聯之語法元素。
  11. 如請求項10之方法，其中該AVC相容3DV標頭延伸具有一語法結構，該語法結構相同而不管該NAL單元囊封一紋理視圖分量之一經寫碼片段抑或一深度視圖分量之一經寫碼片段。
  12. 如請求項10之方法，其中：若該NAL單元包括一MVC相容3DV標頭延伸，則該NAL單元不囊封一紋理視圖分量之一經寫碼片段；該NAL單元囊封一深度視圖分量之一經寫碼片段；且若該NAL單元包括該AVC相容3DV標頭延伸，則該深度視圖分量之該經寫碼片段具有一第一語法結構，且若該NAL單元包括該MVC相容3DV標頭延伸，則該深度視圖分量之該經寫碼片段具有一第二語法結構，該第二語法結構不同於該第一語法結構。
  13. 如請求項12之方法，其中該NAL單元為一第一NAL單元，該特定NAL單元類型為一第一NAL單元類型，該MVC相容3DV標頭延伸為一第一MVC相容3DV標頭延伸，且該方法進一步包含：接收一第二NAL單元，該第二NAL單元屬於一第二NAL單元類型，該第二NAL單元之一NAL單元標頭包括一第二MVC相容3DV標頭延伸，該第二MVC相容3DV標頭延伸具有與該第一 MVC相容3DV標頭延伸之語法結構相同的語法結構，該第二NAL單元囊封一紋理視圖分量之一經寫碼片段。
  14. 如請求項10之方法，其進一步包含：回應於判定出該第二語法元素指示出該NAL單元包括該AVC相容3DV標頭延伸，至少部分地基於該AVC相容3DV標頭延伸來重新建構該視訊資料之至少一部分；及回應於判定出該第二語法元素指示出該NAL單元之該NAL單元標頭包括該MVC相容3DV標頭延伸，至少部分地基於該MVC相容3DV標頭延伸來重新建構該視訊資料之至少一部分。
  15. 如請求項10之方法，其中該方法進一步包含基於該第一語法元素來判定出該NAL單元為一首碼AVC相容3DV NAL單元。
  16. 如請求項10之方法，其中該第二語法元素緊接地在該AVC相容3DV標頭延伸或該MVC相容3DV標頭延伸之前。
  17. 如請求項10之方法，其中該第一語法元素之一值等於二十一。
  18. 如請求項10之方法，其中該NAL單元包括一紋理視圖分量之一片段的一經寫碼表示及一第三語法元素，該第三語法元素指示該紋理視圖分量之一視圖索引，其中若該視訊資料係針對一第一解碼器設定檔被編碼，則相比於若該視訊資料係針對一第二解碼器設定檔被編碼，該第三語法元素在該NAL單元之一NAL單元標頭中含有較少數目個位元。
  19. 如請求項10之方法，其進一步包含在一行動計算器件中解碼該視訊資料。
  20. 一種編碼視訊資料之視訊編碼器件，該視訊編碼器件包含一或多個處理器，該一或多個處理器經組態以：產生包括至少一第一語法元素及一第二語法元素之一網路抽象層(NAL)單元，該第一語法元素指示出該NAL單元屬於一特定 NAL單元類型，其中：紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於該特定NAL單元類型之NAL單元內，該第二語法元素指示該NAL單元之一NAL單元標頭包括一進階視訊寫碼(AVC)相容三維視訊(3DV)標頭延伸抑或一多視圖寫碼(MVC)相容標頭延伸，該AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素，且該MVC相容3DV標頭延伸相比於該AVC相容3DV標頭延伸具有一不同語法結構，且包括與MVC相容3DV相關聯之語法元素。
  21. 如請求項20之視訊編碼器件，其中該AVC相容3DV標頭延伸具有一語法結構，該語法結構相同而不管該NAL單元囊封一紋理視圖分量之一經寫碼片段抑或一深度視圖分量之一經寫碼片段。
  22. 如請求項20之視訊編碼器件，其中：若該NAL單元包括一MVC相容3DV標頭延伸，則該NAL單元不囊封一紋理視圖分量之一經寫碼片段；該NAL單元囊封一深度視圖分量之一經寫碼片段；且若該NAL單元包括該AVC相容3DV標頭延伸，則該深度視圖分量之該經寫碼片段具有一第一語法結構，且若該NAL單元包括該MVC相容3DV標頭延伸，則該深度視圖分量之該經寫碼片段具有一第二語法結構，該第二語法結構不同於該第一語法結構。
  23. 如請求項22之視訊編碼器件，其中該NAL單元為一第一NAL單元，該特定NAL單元類型為一第一NAL單元類型，該MVC相容3DV標頭延伸為一第一MVC相容3DV標頭延伸，且該一或多個處理器經進一步組態以： 產生一第二NAL單元，該第二NAL單元屬於一第二NAL單元類型，該第二NAL單元之一NAL單元標頭包括一第二MVC相容3DV標頭延伸，該第二MVC相容3DV標頭延伸具有與該第一MVC相容3DV標頭延伸之語法結構相同的語法結構，該第二NAL單元囊封一紋理視圖分量之一經寫碼片段。
  24. 如請求項20之視訊編碼器件，其中該第一語法元素指示出該NAL單元為一首碼以AVC為基礎之3DV NAL單元。
  25. 如請求項20之視訊編碼器件，其中該第二語法元素緊接地在該AVC 3DV標頭延伸或該MVC標頭延伸之前。
  26. 如請求項20之視訊編碼器件，其中該第一語法元素之一值等於二十一。
  27. 如請求項20之視訊編碼器件，其中該NAL單元包括一紋理視圖分量之一片段的一經寫碼表示及一第三語法元素，該第三語法元素指示該紋理視圖分量之一視圖索引，其中若該視訊資料係針對一第一解碼器設定檔被編碼，則相比於若該視訊資料係針對一第二解碼器設定檔被編碼，該第三語法元素在該NAL單元之一NAL單元標頭中含有較少數目個位元。
  28. 如請求項20之視訊編碼器件，其中該視訊編碼器件為一行動計算器件。
  29. 一種解碼視訊資料之視訊解碼器件，該視訊解碼器件包含一或多個處理器，該一或多個處理器經組態以：接收包括至少一第一語法元素及一第二語法元素之一網路抽象層(NAL)單元，該第一語法元素指示出該NAL單元屬於一特定NAL單元類型，其中紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於該特定NAL單元類型之NAL單元內；且至少部分地基於該第二語法元素來判定該NAL單元之一NAL 單元標頭包括一進階視訊寫碼(AVC)相容三維視訊(3DV)標頭延伸抑或一多視圖寫碼(MVC)相容標頭延伸，其中：該AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素，且該MVC相容3DV標頭延伸相比於該AVC相容3DV標頭延伸具有一不同語法結構，且包括與MVC相容3DV相關聯之語法元素。
  30. 如請求項29之視訊解碼器件，其中該AVC相容3DV標頭延伸具有一語法結構，該語法結構相同而不管該NAL單元囊封一紋理視圖分量之一經寫碼片段抑或一深度視圖分量之一經寫碼片段。
  31. 如請求項29之視訊解碼器件，其中：若該NAL單元包括一MVC相容3DV標頭延伸，則該NAL單元不囊封一紋理視圖分量之一經寫碼片段；該NAL單元囊封一深度視圖分量之一經寫碼片段；且若該NAL單元包括該AVC相容3DV標頭延伸，則該深度視圖分量之該經寫碼片段具有一第一語法結構，且若該NAL單元包括該MVC相容3DV標頭延伸，則該深度視圖分量之該經寫碼片段具有一第二語法結構，該第二語法結構不同於該第一語法結構。
  32. 如請求項31之視訊解碼器件，其中該NAL單元為一第一NAL單元，該特定NAL單元類型為一第一NAL單元類型，該MVC相容3DV標頭延伸為一第一MVC相容3DV標頭延伸，且該一或多個處理器經進一步組態以：接收一第二NAL單元，該第二NAL單元屬於一第二NAL單元類型，該第二NAL單元之一NAL單元標頭包括一第二MVC相容3DV標頭延伸，該第二MVC相容3DV標頭延伸具有與該第一MVC相容3DV標頭延伸之語法結構相同的語法結構，該第二 NAL單元囊封一紋理視圖分量之一經寫碼片段。
  33. 如請求項29之視訊解碼器件，其中該一或多個處理器經組態以：回應於判定出該第二語法元素指示出該NAL單元包括該AVC相容3DV標頭延伸，至少部分地基於該AVC相容3DV標頭延伸來重新建構該視訊資料之至少一部分；且回應於判定出該第二語法元素指示出該NAL單元之該NAL單元標頭包括該MVC相容3DV標頭延伸，至少部分地基於該MVC相容3DV標頭延伸來重新建構該視訊資料之至少一部分。
  34. 如請求項29之視訊解碼器件，其中該一或多個處理器經組態以基於該第一語法元素來判定出該NAL單元為一首碼AVC相容3DVNAL單元。
  35. 如請求項29之視訊解碼器件，其中該第二語法元素緊接地在該AVC相容3DV標頭延伸或該MVC相容3DV標頭延伸之前。
  36. 如請求項29之視訊解碼器件，其中該第一語法元素之一值等於二十一。
  37. 如請求項29之視訊解碼器件，其中該NAL單元包括一紋理視圖分量之一片段的一經寫碼表示及一第三語法元素，該第三語法元素指示該紋理視圖分量之一視圖索引，其中若該視訊資料係針對一第一解碼器設定檔被編碼，則相比於若該視訊資料係針對一第二解碼器設定檔被編碼，該第三語法元素在該NAL單元之一NAL單元標頭中含有較少數目個位元。
  38. 如請求項29之視訊解碼器件，其中一行動計算器件解碼該視訊資料。
  39. 一種編碼視訊資料之視訊編碼器件，該視訊編碼器件包含：用於產生包括至少一第一語法元素及一第二語法元素之一網 路抽象層(NAL)單元的構件，該第一語法元素指示出該NAL單元屬於一特定NAL單元類型，其中：紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於該特定NAL單元類型之NAL單元內，該第二語法元素指示該NAL單元之一NAL單元標頭包括一進階視訊寫碼(AVC)相容三維視訊(3DV)標頭延伸抑或一多視圖寫碼(MVC)相容標頭延伸，該AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素，該MVC相容3DV標頭延伸相比於該AVC相容3DV標頭延伸具有一不同語法結構，且包括與MVC相容3DV相關聯之語法元素。
  40. 一種解碼視訊資料之視訊解碼器件，該視訊解碼器件包含：用於接收包括至少一第一語法元素及一第二語法元素之一網路抽象層(NAL)單元的構件，該第一語法元素指示出該NAL單元屬於一特定NAL單元類型，其中紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於該特定NAL單元類型之NAL單元內；及用於至少部分地基於該第二語法元素來判定該NAL單元之一NAL單元標頭包括一進階視訊寫碼(AVC)相容三維視訊(3DV)標頭延伸抑或一多視圖寫碼(MVC)相容標頭延伸的構件，其中：該AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素，且該MVC相容3DV標頭延伸相比於該AVC相容3DV標頭延伸具有一不同語法結構，且包括與MVC相容3DV相關聯之語法元素。
  41. 一種電腦可讀儲存媒體，其儲存在由一視訊編碼器件之一或多 個處理器執行時組態該視訊編碼器件以進行以下操作的指令：產生包括至少一第一語法元素及一第二語法元素之一網路抽象層(NAL)單元，該第一語法元素指示出該NAL單元屬於一特定NAL單元類型，其中：紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於該特定NAL單元類型之NAL單元內，該第二語法元素指示該NAL單元之一NAL單元標頭包括一進階視訊寫碼(AVC)相容三維視訊(3DV)標頭延伸抑或一多視圖寫碼(MVC)相容標頭延伸，該AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素，該MVC相容3DV標頭延伸相比於該AVC相容3DV標頭延伸具有一不同語法結構，且包括與MVC相容3DV相關聯之語法元素。
  42. 一種電腦可讀儲存媒體，其儲存在由一視訊解碼器件之一或多個處理器執行時組態該視訊解碼器件以進行以下操作的指令：接收包括至少一第一語法元素及一第二語法元素之一網路抽象層(NAL)單元，該第一語法元素指示出該NAL單元屬於一特定NAL單元類型，其中紋理視圖分量及深度視圖分量之經寫碼片段囊封於屬於該特定NAL單元類型之NAL單元內；及至少部分地基於該第二語法元素來判定該NAL單元之一NAL單元標頭包括一進階視訊寫碼(AVC)相容三維視訊(3DV)標頭延伸抑或一多視圖寫碼(MVC)相容標頭延伸，其中：該AVC相容3DV標頭延伸包括與AVC相容3DV相關聯之語法元素，該MVC相容3DV標頭延伸相比於該AVC相容3DV標頭延伸 具有一不同語法結構，且包括與MVC相容3DV相關聯之語法元素。
TW102107370A 2012-02-28 2013-03-01 用於三維視訊寫碼之網路抽象層單元標頭設計 TW201340723A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261604436P 2012-02-28 2012-02-28
US13/779,468 US10447990B2 (en) 2012-02-28 2013-02-27 Network abstraction layer (NAL) unit header design for three-dimensional video coding

Publications (1)

Publication Number Publication Date
TW201340723A true TW201340723A (zh) 2013-10-01

Family

ID=49002437

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102107370A TW201340723A (zh) 2012-02-28 2013-03-01 用於三維視訊寫碼之網路抽象層單元標頭設計

Country Status (7)

Country Link
US (1) US10447990B2 (zh)
EP (1) EP2820846A1 (zh)
JP (1) JP6199320B2 (zh)
KR (1) KR20140142255A (zh)
CN (1) CN104137551B (zh)
TW (1) TW201340723A (zh)
WO (1) WO2013130804A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9979958B2 (en) * 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
US9479776B2 (en) 2012-07-02 2016-10-25 Qualcomm Incorporated Signaling of long-term reference pictures for video coding
WO2015131388A1 (en) * 2014-03-07 2015-09-11 Qualcomm Incorporated Simplification of depth intra mode coding in 3d video coding
CN107343220B (zh) 2016-08-19 2019-12-31 北京市商汤科技开发有限公司 数据处理方法、装置和终端设备
BR112020026646A2 (pt) 2018-06-26 2021-03-23 Huawei Technologies Co., Ltd. Projetos de sintaxe de alto nível para codificação de nuvem de pontos
US10812818B2 (en) * 2018-12-14 2020-10-20 Tencent America LLC Network abstraction unit layer type classes in network abstraction layer unit header
US11265357B2 (en) * 2019-10-10 2022-03-01 Microsoft Technology Licensing, Llc AV1 codec for real-time video communication
JP7487742B2 (ja) * 2019-12-13 2024-05-21 ソニーグループ株式会社 画像処理装置および方法
US11706428B2 (en) * 2020-04-06 2023-07-18 Tencent America LLC Method for signaling picture header in coded video stream

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371571B (zh) 2006-01-12 2013-06-19 Lg电子株式会社 处理多视图视频
US20070177671A1 (en) 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
US20080317124A1 (en) 2007-06-25 2008-12-25 Sukhee Cho Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
US8121191B1 (en) 2007-11-13 2012-02-21 Harmonic Inc. AVC to SVC transcoder
WO2010024925A1 (en) 2008-08-29 2010-03-04 Thomson Licensing View synthesis with heuristic view merging
US9973739B2 (en) 2008-10-17 2018-05-15 Nokia Technologies Oy Sharing of motion vector in 3D video coding
BRPI0917764B1 (pt) 2008-12-19 2021-03-16 Koninklijke Philips N.V. método de decodificação e envio de informação de vídeo adequado para apresentação tridimensional [3d] e dispositivo para decodificação e envio de informação de vídeo adequado para monitor tridimensional [3d]
JP2010157821A (ja) 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
CN105744284B (zh) 2009-02-19 2019-04-19 交互数字麦迪逊专利控股公司 使用3d视频格式的装置
JP4962525B2 (ja) 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
CN103124351A (zh) 2009-04-28 2013-05-29 松下电器产业株式会社 图像解码装置及图像编码装置
US20120050475A1 (en) 2009-05-01 2012-03-01 Dong Tian Reference picture lists for 3dv
US9124874B2 (en) 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
US8976871B2 (en) 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
KR101768855B1 (ko) 2009-11-13 2017-08-17 코닌클리케 필립스 엔.브이. 3ｄ(비디오)에서 깊이 전이들의 효율적인 코딩
US20110149032A1 (en) 2009-12-17 2011-06-23 Silicon Image, Inc. Transmission and handling of three-dimensional video content
AU2011296953A1 (en) 2010-09-03 2013-03-14 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
KR20130143082A (ko) 2010-11-12 2013-12-30 지멘스 피티이 엘티디 전기화학적 분리를 위한 흐름 분배기들
US9565449B2 (en) 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
US9706227B2 (en) 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
US20120236934A1 (en) 2011-03-18 2012-09-20 Qualcomm Incorporated Signaling of multiview video plus depth content with a block-level 4-component structure

Also Published As

Publication number Publication date
JP6199320B2 (ja) 2017-09-20
US20130222538A1 (en) 2013-08-29
WO2013130804A1 (en) 2013-09-06
CN104137551A (zh) 2014-11-05
US10447990B2 (en) 2019-10-15
EP2820846A1 (en) 2015-01-07
JP2015511786A (ja) 2015-04-20
CN104137551B (zh) 2018-02-06
KR20140142255A (ko) 2014-12-11

Similar Documents

Publication Publication Date Title
KR102384092B1 (ko) 비디오 코딩에서 파티셔닝 방식들에 대한 가상 참조 디코더 파라미터들의 적합성을 테스트하기 위한 방법 및 디바이스
JP6077124B2 (ja) 仮想参照デコーダパラメータシンタックス構造
TWI533679B (zh) 在視訊寫碼中之參數集
US20140192149A1 (en) Non-nested sei messages in video coding
TW201515440A (zh) 多層內容脈絡中之影像塊及波前處理
JP6199320B2 (ja) ３次元ビデオコーディングのためのネットワーク抽象化レイヤ（ｎａｌ）ユニットヘッダ設計
WO2014055606A2 (en) File format for video data
EP2820854B1 (en) Bitstream extraction in three-dimensional video
EP3257253A1 (en) Signaling of operation points for carriage of hevc extensions