TWI520573B - 用於寫碼視訊資料之方法、器件及電腦可讀儲存媒體 - Google Patents

Description

用於寫碼視訊資料之方法、器件及電腦可讀儲存媒體

本申請案主張2012年1月5日申請之美國臨時申請案第61/583,469號之權利，該案之全文特此以引用的方式併入本文中。

本發明係關於視訊寫碼。

可將數位視訊能力併入於廣泛範圍之器件中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書讀取器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲機、蜂巢式或衛星無線電電話、所謂的「智慧型手機」、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC))定義之標準、目前在開發過程中之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的視訊寫碼技術。視訊器件可藉由實施此類視訊寫碼技術而更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。

視訊寫碼技術包括空間(圖片內)預測及/或時間(圖片間)預測以減少或移除視訊序列中所固有之冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊，視 訊區塊亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖片中之相鄰區塊中之參考樣本的空間預測來編碼圖片之框內寫碼(I)圖塊中的視訊區塊。圖片之框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖片中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖片中之參考樣本之時間預測。圖片可被稱作圖框，且參考圖片可被稱作參考圖框。

空間或時間預測產生待寫碼之區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料而編碼。框內寫碼區塊係根據框內寫碼模式及殘餘資料而編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，產生殘餘變換係數，接著可將殘餘變換係數量化。可掃描最初以二維陣列配置之量化變化係數以便產生變換係數之一維向量，且可應用熵寫碼以達成更多壓縮。

一般而言，本發明描述用於寫碼關於視圖合成預測之資訊的技術。視圖合成預測一般指代用於多視圖視訊寫碼之視訊寫碼技術，其中當使用視圖間預測來寫碼一視圖之圖片時將一合成視圖分量用作參考圖片。在一些狀況下，可啟用視圖合成預測，而在其他狀況下，可停用視圖合成預測。本發明描述關於信號傳輸視圖合成預測是否經啟用(例如)用於一位元串流或子位元串流(諸如多視圖位元串流之作業點)的技術。以此方式，視訊解碼器件可(例如)基於視訊解碼器件是否經配備以執行視圖合成預測來判定位元串流或子位元串流是否可經成功解碼。此外，當視圖合成預測經停用時視訊解碼器件可避免執行視圖合成，此可節省處理資源及電池電力。

在一個實例中，一種方法包括寫碼指示視圖合成預測是否經啟用用於視訊資料之資訊，且當該資訊指示視圖合成預測經啟用用於視訊資料時，使用該視訊資料產生一視圖合成圖片，及相對於該視圖合成圖片來寫碼當前圖片之至少一部分。另一方面，當該資訊指示視圖合成預測未經啟用用於視訊資料時，該方法可包括在不參考任何視圖合成圖片的情況下使用框內預測、時間框間預測及視圖間預測中之至少一者來寫碼當前圖片。

在另一實例中，一種器件包括一視訊寫碼器，其經組態以寫碼指示視圖合成預測是否經啟用用於視訊資料的資訊。當該資訊指示視圖合成預測經啟用用於視訊資料時，視訊寫碼器可使用視訊資料來產生一視圖合成圖片，且相對於該視圖合成圖片來寫碼當前圖片之至少一部分。

在另一實例中，一種器件包括：用於寫碼指示視圖合成預測是否經啟用用於視訊資料之資訊的構件；用於當該資訊指示視圖合成預測經啟用用於視訊資料時使用該視訊資料產生一視圖合成圖片的構件；及用於當該資訊指示視圖合成預測經啟用用於視訊資料時相對於該視圖合成圖片來寫碼當前圖片之至少一部分的構件。

在另一實例中，一種電腦可讀儲存媒體編碼有指令，當執行該等指令時使一可程式化處理器寫碼指示視圖合成預測是否經啟用用於視訊資料之資訊，且當該資訊指示視圖合成預測經啟用用於視訊資料時，使用該視訊資料產生一視圖合成圖片，及相對於該視圖合成圖片來寫碼當前圖片之至少一部分。

在附圖和以下描述中陳述一或多個實例之細節。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專利範圍顯而易見。

10‧‧‧視訊編碼及解碼系統

12‧‧‧源器件

14‧‧‧目的地器件

16‧‧‧電腦可讀媒體

18‧‧‧視訊源

20‧‧‧視訊編碼器

22‧‧‧輸出介面

28‧‧‧輸入介面

30‧‧‧視訊解碼器

32‧‧‧顯示器件

40‧‧‧模式選擇單元

42‧‧‧運動估計單元

44‧‧‧運動補償單元

46‧‧‧框內預測單元

48‧‧‧分割單元

50‧‧‧求和器

52‧‧‧變換處理單元

54‧‧‧量化單元

56‧‧‧熵寫碼單元

58‧‧‧逆量化單元

60‧‧‧逆變換單元

62‧‧‧求和器

64‧‧‧參考圖框記憶體

66‧‧‧視圖合成單元

70‧‧‧熵解碼單元

72‧‧‧運動補償單元

74‧‧‧框內預測單元

76‧‧‧逆量化單元

78‧‧‧逆變換單元

80‧‧‧求和器

82‧‧‧參考圖框記憶體

84‧‧‧視圖合成單元

圖1為說明可利用用於寫碼關於視圖合成預測之資訊之技術的實 例視訊編碼及解碼系統的方塊圖。

圖2為說明可實施用於寫碼關於視圖合成預測之資訊之技術的視訊編碼器之實例的方塊圖。

圖3為說明可實施用於寫碼關於視圖合成預測之資訊之技術的視訊解碼器之實例的方塊圖。

圖4為說明實例多視圖視訊寫碼(MVC)預測型樣之概念圖。

圖5為說明用於寫碼關於視圖合成預測之資訊之實例方法的流程圖。

圖6為說明用於寫碼關於視圖合成預測之資訊之另一實例方法的流程圖。

大體上，本發明描述用於寫碼及處理多視圖視訊資料(例如，用以產生三維(3D)效應之視訊資料)之技術。詳言之，本發明係關於在3D視訊寫碼程序中之視圖合成預測支援的信號傳輸。

為了在視訊中產生三維效應，可同時地或幾乎同時地展示一場景之兩個視圖，例如，左眼視圖及右眼視圖。可自稍微不同之水平位置(表示觀看者左眼與右眼之間的水平視差)俘獲(或產生，例如作為電腦產生之圖形)同一場景之兩個圖片(對應於場景之左眼視圖及右眼視圖)。藉由同時地或幾乎同時地顯示此等兩個圖片，使得左眼視圖圖片被觀看者之左眼感知且右眼視圖圖片被觀看者之右眼感知，觀看者可體驗三維視訊效應。

本發明係關於基於進階編碼解碼器之3D視訊寫碼，包括藉由深度圖寫碼圖片之兩個或兩個以上視圖。一般而言，可將本發明之技術應用於多種不同視訊寫碼標準中之任一者。舉例而言，可將此等技術應用於ITU-T H.264/AVC(進階視訊寫碼)之多視圖視訊寫碼(MVC)擴展、應用於即將到來的高效率視訊寫碼(HEVC)標準之3D視訊(3DV) 擴展或其他寫碼標準。即將到來的HEVC標準之最新草案描述於ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合小組(JCT-VC)(第9次會議：Geneva、Switzerland，2012年4月27日至2012年5月7日)的文件HCTVC-I1003中Bross等人之「High Efficiency Video Coding(HEVC)Text Specification Draft 7」中，該文件自2012年8月2日起可自http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v10.zip下載。為了說明目的，主要關於ITU-T H.264/AVC之MVC擴展抑或HEVC之3DV擴展來描述本發明之技術。然而，應理解，亦可將此等技術應用至用於寫碼用以產生三維效應之視訊資料的其他標準。

關於多視圖寫碼(或立體視圖寫碼)之視訊寫碼技術可大體包括視圖間預測及/或寫碼深度資訊。視圖間預測大體包括使用標準框內預測或框間預測來寫碼基礎視圖之圖片，接著相對於基礎視圖或其他視圖來預測其他視圖之圖片。以此方式，可相對於基礎視圖或另一非基礎視圖之圖片來預測非基礎視圖之一些圖片。

通常，當相對於參考圖片來寫碼一圖片時，視訊寫碼器件信號傳輸該參考圖片作為參考圖片清單之一成員。因此，為了視圖間寫碼，添加至參考圖片清單之參考圖片除了當前視圖之其他圖片之外亦可包括其他視圖之圖片(例如，用於時間預測)。參考圖片清單建構程序可靈活地配置時間及視圖預測參考。此不僅可提供潛在寫碼效率增益而且提供錯誤恢復力(error resilience)，此係因為接著可將參考圖片選擇及冗餘圖片機制擴展至視圖維度。參考圖片清單建構可包括以下步驟：1)對於時間(視圖內)參考圖片(例如，如ITU-T H.264/AVC中所規定)之參考圖片清單初始化程序，其中未考慮來自其他視圖之參考圖片；2)將視圖間參考圖片附加至清單末端，例如以其在MVC SPS擴展中出現的次序；及3)應用對於視圖內及視圖間參考圖片兩者之參考 圖片清單重新排序(RPLR)程序，其中視圖間參考圖片可藉由如在(例如)MVC SPS擴展中規定之其索引值而在RPLR命令中加以識別。

如上所述，可將本發明之技術應用至HEVC之3DV擴展。動畫專業團體(MPEG)最近開始了基於HEVC之3D視訊標準化活動。在3D視訊(3DV)之當前背景下，視訊寫碼器可寫碼用於多視圖位元串流之每一視圖的紋理資訊(例如，明度/亮度及色度/色彩)及深度資訊兩者。此與ITU-T H.264/AVC之MVC位元串流形成對比，在ITU-T H.264/AVC中多視圖位元串流僅為含有僅具有紋理資訊之多個視圖的位元串流。在基於HEVC之3D視訊標準化的背景下，3DV位元串流可包括多個視圖之經寫碼表示，每一視圖可含有紋理資訊(紋理視圖分量)及深度資訊(深度視圖分量)兩者。儘管3DV亦含有多個視圖之紋理，但在一些狀況下，3DV位元串流可與多視圖位元串流相容。因此，可容易理解可在HEVC之3DV擴展或其他寫碼標準中以回溯相容方式重新使用或擴展在HEVC之多視圖擴展中使用的寫碼工具及高層級機制。

藉由提供深度資訊，器件可呈現除了位元串流中所提供之彼等視圖之外的各種視圖之圖片。舉例而言，若在位元串流中提供具有深度資訊之兩個視圖，則用戶端器件可使用深度資訊來產生(例如)位元串流之兩個經寫碼視圖之間的第三視圖的圖片。此類圖片之產生被稱作基於深度影像之呈現(DIBR)。DIBR可用以產生基於可用紋理及深度影像之視圖。此類產生程序稱作視圖合成。視圖合成可用於在視圖之解碼之後的後處理(亦稱作「迴路後」視圖合成)。另外或替代地，視圖合成可用以產生用於視圖間預測之參考圖片(亦稱作「迴路內」視圖合成)。應理解，DIBR可用以呈現紋理圖片、深度圖片(通常稱作深度圖)或兩者。一般而言，深度圖係類似於紋理圖片之明度資料來表示(不包括色度資訊)，不同之處在於深度圖之像素值表示對應紋理 資訊之深度而非亮度資訊。

使用視圖合成產生之參考圖片(有時稱作視圖合成參考圖片(VSRP))可用作類似於時間框間預測參考圖片或視圖間參考圖片之參考圖片。可在參考圖片清單中包括VSRP。在習知寫碼技術之一些特定設計中，可使用多個視圖(具有深度)來經由DIBR產生僅一個VSRP。因此，在此等習知寫碼技術中，對於當前正被寫碼之圖片，僅一個VSRP可為可用的。

在視訊寫碼標準之背景下，「設定檔」對應於演算法、特徵或工具及應用至演算法、特徵及工具之約束之子集。如由HEVC WD7定義，例如，「設定檔」為「由HEVC WD7規定之全部位元串流語法之子集」。如由HEVC WD7定義之「層級」為「強加於位元串流中之語法元素之值上的約束之規定集合」。此等約束可為對值之簡單限制。或者，其可採用對值之算術組合的約束之形式(例如，圖片寬度乘以圖片高度乘以每秒解碼之圖片數目)。以此方式，層級值可對應於解碼器資源消耗(諸如解碼器記憶體及計算)之限制，其可與圖片之解析度、位元率及巨型區塊(MB)或最大寫碼單元(LCU)處理速率相關。設定檔可用profile_idc(設定檔指示符)值予以信號傳輸，而層級可用level_idc(層級指示符)值予以信號傳輸。

作業點大體上對應於包括複數個視圖之位元串流之完整視圖集合的可解碼/可顯示視圖之子集。舉例而言，若位元串流包括八個視圖，則作業點可對應於八個視圖中之可在沒有其他五個視圖的情況下被適當解碼及顯示之三個視圖。如在ITU-T H.264/AVC之MVC擴展中定義，作業點：由表示目標時間層級之temporal_id值及表示目標輸出視圖之view_id值之集合來識別。一個作業點與位元串流子集相關聯，該位元串流子集由目標輸出視圖及目標輸出視圖所取決於的所有其他視圖 組成，作業點係使用等於temporal_id值之tIdTarget及由view_id值之集合組成的viewIdTargetList作為輸入使用如在[ITU-T H.264/AVC之]小節H.8.5.3中規定的子位元串流提取程序而導出。一個以上作業點可與同一位元串流子集相關聯。當說明書陳述「作業點經解碼」時，其指代對應於作業點及目標輸出視圖之後續輸出的位元串流子集的解碼。

本發明認識到某些問題可隨著(例如)HEVC之3DV擴展及ITU-T H.264/AVC之MVC擴展的習知寫碼技術而出現。舉例而言，可存在3D視訊寫碼位元串流之不支援VSRP的某些設定檔、層級或作業點。當前，沒有關於寫碼位元串流之視訊寫碼器是否完全不需要進行視圖合成預測的指示。因此，在沒有本發明之技術的情況下，視訊寫碼器件可不必要地產生VSRP，其可降低處理效率且導致浪費之處理循環，從而可引起不必要的電池消耗。另外，即使當視圖合成預測經啟用時，一個視圖分量或視圖分量之一個圖塊亦可能不使用視圖合成。此亦可導致浪費之處理循環及/或不必要的電池消耗。一般而言，總是產生視圖合成圖片可導致不必要、浪費之計算。

本發明描述用於減少或消除關於視圖合成預測的不必要計算之各種技術。舉例而言，視訊寫碼器件(例如，視訊編碼器及視訊解碼器)可寫碼參數集(諸如序列參數集(SPS))中之旗標，該旗標指示對應於參數集(例如，SPS)之圖片是否已啟用視圖合成。在一些視訊寫碼設定檔(例如，某些3DV設定檔)中，此旗標可總是設定為零，以指示針對對應於該設定檔之視訊資料停用視圖合成預測。另外或替代地，視訊寫碼器件可寫碼圖塊標頭中之旗標以指示對應圖塊是否係使用視圖合成預測來寫碼。或者，可在該圖塊之圖片參數集(PPS)或調適參數集(APS)中寫碼此旗標。以此方式，視訊寫碼器件可寫碼指示視圖合成預測是否經啟用之資訊，且僅當視圖合成預測經啟用時，產生一視圖合成圖片且相對於所產生視圖合成圖片來寫碼一當前圖片。

類似地，在基於AVC之3DV中，存在一參數集，亦即深度參數集(亦稱作深度範圍參數集)，其可在存取單元基礎上加以改變且含有關於深度範圍及可能攝影機參數之資訊。一旗標可存在於深度參數集中，指示是否針對參考該深度參數集之圖塊而啟用視圖合成預測。以此方式，調適參數集及深度參數集表示存取單元層級參數集之實例。

圖1為說明可利用用於寫碼關於視圖合成預測之資訊之技術的實例視訊編碼及解碼系統10的方塊圖。如圖1中所示，系統10包括源器件12，其提供將在稍後時間由目的地器件14解碼之經編碼視訊資料。詳言之，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍器件中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手機(諸如所謂的「智慧型」手機)、所謂的「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲機、視訊串流器件或類似者。在一些狀況下，源器件12及目的地器件14可經配備用於無線通信。

目的地器件14可經由電腦可讀媒體16接收待經解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠自源器件12移動經編碼視訊資料至目的地器件14之任何類型的媒體或器件。在一個實例中，電腦可讀媒體16可包含使源器件12能夠將經編碼視訊資料即時直接傳輸至目的地器件14之通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼之視訊資料，且將經編碼之視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)的部分。通信媒體可包括路由器、交換器、基地台或可有用於促進自源器件12至目的地器件14之通信的任何其他設備。

在一些實例中，可將經編碼資料自輸出介面22輸出至儲存器件。類似地，可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取式資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼之視訊資料之任何其他合適的數位儲存媒體。在另一實例中，儲存器件可對應於可儲存由源器件12產生之經編碼視訊之檔案伺服器或另一中間儲存器件。目的地器件14可經由串流傳輸或下載而自儲存器件存取經儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網站伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)，或兩者之組合。經編碼視訊資料自儲存器件之傳輸可為串流傳輸、下載傳輸，或其組合。

本發明之技術未必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，該等應用諸如：空中電視廣播、有線電視傳輸、衛星電視傳輸、諸如HTTP動態自適應性串流(DASH)之網際網路串流視訊傳輸、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。

在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。根據本發明，源器件12之視訊編碼器20可經組態以應用用於寫碼 關於視圖合成預測之資訊的技術。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件建立介面連接，而非包括整合式顯示器件。

視訊源18可將視訊資料之多個視圖提供至視訊編碼器20。舉例而言，視訊源18可對應於攝影機陣列，每一攝影機具有相對於正被拍攝之特定場景之獨特水平位置。或者，視訊源18可(例如)使用電腦圖形而產生來自不同的水平攝影機視角的視訊資料。在一些狀況下，視訊源18亦可經組態以俘獲或產生(或以其他方式提供)深度資料至視訊編碼器20，而在其他狀況下，視訊編碼器20或源器件12之另一單元可基於(例如)不同視圖之圖片之間的水平視差而計算深度資料。

圖1之所說明的系統10僅為一個實例。可藉由任何數位視訊編碼及/或解碼器件來執行用於寫碼關於視圖合成預測之資訊的技術。雖然通常藉由視訊編碼器件執行本發明之技術，但亦可藉由視訊編碼器/解碼器(通常被稱為「編碼解碼器」)來執行該等技術。此外，亦可藉由視訊預處理器來執行本發明之技術。源器件12及目的地器件14僅僅為此類寫碼器件之實例，在該等寫碼器件中，源器件12產生用於傳輸至目的地器件14之經寫碼視訊資料。在一些實例中，器件12、14可以實質上對稱方式進行操作，使得器件12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸，例如，用於視訊串流、視訊播放、視訊廣播或視訊電話。

源器件12之視訊源18可包括諸如視訊攝影機之視訊俘獲器件、含有先前俘獲之視訊的視訊存檔，及/或用以自視訊內容提供者接收視訊之視訊饋入介面。作為另一替代，視訊源18可產生基於電腦圖形之資料作為源視訊、或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源18為視訊攝影機，則源器件12及目的地 器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中所描述之技術可大體上適用於視訊寫碼，且可應用於無線及/或有線應用。在每一狀況下，可藉由視訊編碼器20來編碼經俘獲、預俘獲或電腦產生之視訊。接著可藉由輸出介面22將經編碼視訊資訊輸出至電腦可讀媒體16上。

電腦可讀媒體16可包括暫時性媒體，諸如，無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如，硬碟、隨身碟、緊密光碟、數位影碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未圖示)可自源器件12接收經編碼視訊資料，且(例如)經由網路傳輸將該經編碼視訊資料提供至目的地器件14。類似地，媒體生產設施(諸如，光碟壓印設施)之計算器件可自源器件12接收經編碼視訊資料且產生含有該經編碼視訊資料之光碟。因此，在各種實例中，可將電腦可讀媒體16理解成包括具有各種形式之一或多個電腦可讀媒體。

目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊，該語法資訊亦由視訊解碼器30使用，該語法資訊包括描述區塊及其他經寫碼單元(例如，GOP)之特性及/或處理之語法元素。顯示器件32向使用者顯示經解碼視訊資料，且可包含各種顯示器件中之任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。在一些實例中，顯示器件32可包含能夠同時地或實質上同時地顯示兩個或兩個以上視圖(例如)以產生用於觀看者之3D視覺效應的器件。顯示器件32可經組態以使用深度資訊來呈現虛擬視圖之圖片。或者，目的地器件14之獨立單元可使用深度資訊來呈現虛擬視圖之圖片。

視訊編碼器20及視訊解碼器30可根據視訊寫碼標準(諸如，目前 在開發中之高效率視訊寫碼(HEVC)標準或其3DV擴展)而操作。或者，視訊編碼器20及視訊解碼器30可根據其他專屬或工業標準(諸如ITU-T H.264標準，其或者被稱作MPEG-4第10部分(進階視訊寫碼(AVC))或此等標準之擴展(諸如ITU-T H.264/AVC之MVC擴展)而操作。然而，本發明之技術不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。雖然未展示於圖1中，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或獨立資料串流中之音訊及視訊兩者的編碼。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。

ITU-T H.264/MPEG-4(AVC)標準係由ITU-T視訊寫碼專業團體(VCEG)連同ISO/IEC動畫專業團體(MPEG)一起作為被稱為聯合視訊小組(JVT)之集體合作之產物而編制。在一些態樣中，本發明中所描述之技術可應用於大體遵照H.264標準之器件。H.264標準描述於2005年3月由ITU-T研究小組發佈的ITU-T推薦H.264(用於一般視聽服務之進階視訊寫碼)中，其在本文中可被稱作H.264標準或H.264規格或H.264/AVC標準或規格。聯合視訊小組(JVT)繼續致力於對H.264/MPEG-4 AVC之擴展。

視訊編碼器20及視訊解碼器30可各自實施為各種合適編碼器電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當部分地以軟體實施該等技術時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且可使用一或多個處理器在硬體中執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器 中，其中任一者可整合為各別器件中之組合編碼器/解碼器(編碼解碼器)的部分。

JCT-VC正致力於HEVC標準之開發。HEVC標準化努力係基於視訊寫碼器件之演進模型，其被稱作HEVC測試模型(HM)。HM假設了視訊寫碼器件相對於根據(例如)ITU-T H.264/AVC之現有器件的若干額外能力。舉例而言，H.264提供九個框內預測編碼模式，而HM可提供多達三十三個框內預測編碼模式。

一般而言，HM之工作模型描述視訊圖框或圖片可劃分成包括明度樣本及色度樣本兩者之樹型區塊或最大寫碼單元(LCU)之序列。位元串流內之語法資料可定義LCU之大小，LCU就像素之數目而言為最大寫碼單元。圖塊包括按寫碼次序之數個連續樹型區塊。可將視訊圖框或圖片分割成一或多個圖塊。每一樹型區塊可根據四分樹而分裂成若干寫碼單元(CU)。一般而言，四分樹資料結構對於每一CU包括一個節點，其中根節點對應於樹型區塊。若將CU分裂成四個子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於子CU中之一者。

該四分樹資料結構中之每一節點可提供針對對應CU之語法資料。舉例而言，在該四分樹中之節點可包括分裂旗標，其指示是否將對應於該節點之CU分裂成子CU。可遞歸地定義用於CU之語法元素，且用於CU之語法元素可視CU是否分裂成子CU而定。若一CU未經進一步分裂，則將其稱作葉CU。在本發明中，即使不存在原始葉CU之明顯分裂，一葉CU之四個子CU亦會被稱作葉CU。舉例而言，若16×16大小之CU未經進一步分裂，則四個8×8子CU亦將被稱作葉CU，儘管該16×16 CU從未經分裂。

除了CU不具有大小區別之外，CU之用途類似於H.264標準之巨型區塊。舉例而言，樹型區塊可分裂成四個子節點(亦被稱作子CU)， 且每一子節點又可為上代節點並分裂成另外四個子節點。被稱作四分樹之葉節點之最終的未分裂子節點包含一寫碼節點，該寫碼節點亦被稱作葉CU。與一經寫碼位元串流相關聯之語法資料可定義可分裂一樹型區塊之最大次數(其被稱作最大CU深度)，且亦可定義該等寫碼節點之最小大小。因此，位元串流亦可定義一最小寫碼單元(SCU)。本發明使用術語「區塊」指代在HEVC之背景中之CU、PU或TU中的任一者，或在其他標準之背景中之類似資料結構(例如，在H.264/AVC中之巨型區塊及其子區塊)。

CU包括一寫碼節點及與該寫碼節點相關聯之若干預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且形狀必須為正方形。CU之大小的範圍可自8×8像素直至具有最大64×64像素或大於64×64像素之樹型區塊之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可視CU係經跳過或直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼而不同。PU可分割成非正方形。與CU相關聯之語法資料亦可描述(例如)根據四分樹將CU分割至一或多個TU。TU之形狀可為正方形或非正方形(例如，矩形)。

HEVC標準允許根據TU之變換，該變換對於不同CU可不同。通常基於針對經分割LCU所定義之給定CU內之PU的大小而設定TU大小，但可能並非總是如此狀況。TU通常具有與PU相同的大小，或小於PU。在一些實例中，可使用已知為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為更小之單元。RQT之葉節點可被稱作變換單元(TU)。可變換與TU相關聯之像素差值以產生變換係數，變換係數可被量化。

葉CU可包括一或多個預測單元(PU)。一般而言，PU表示對應於對應CU之全部或一部分之空間區，且可包括用於擷取PU之參考樣本 之資料。此外，PU包括關於預測之資料。舉例而言，當PU經框內模式編碼時，用於PU之資料可包括於殘餘四分樹(RQT)中，殘餘四分樹可包括描述對應於PU之TU之框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，PU可包括定義該PU之一或多個運動向量之資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖片，及/或運動向量之參考圖片清單(例如，清單0、清單1或清單C)。

具有一或多個PU之葉CU亦可包括一或多個變換單元(TU)。可使用RQT(亦被稱作TU四分樹結構)指定變換單元，如上文所論述。舉例而言，分裂旗標可指示葉CU是否分裂成四個變換單元。接著，每一變換單元可進一步分裂成其他子TU。當TU未進一步分裂時，其可被稱作葉TU。一般而言，對於框內寫碼，屬於葉CU之所有葉TU共用相同框內預測模式。亦即，一般應用相同框內預測模式來計算一葉CU的所有TU之預測值。對於框內寫碼，視訊編碼器可將使用框內預測模式的每一葉TU之殘餘值計算為在CU之對應於該TU的部分與原始區塊之間的差。TU未必限於PU之大小。因此，TU可能大於或小於PU。對於框內寫碼，一PU可與用於同一CU之對應葉TU位於同一位置(collocate)。在一些實例中，一葉TU之最大大小可對應於對應葉CU之大小。

此外，葉CU之TU亦可與被稱作殘餘四分樹(RQT)之各別四分樹資料結構相關聯。亦即，葉CU可包括指示如何將葉CU分割成TU之四分樹。TU四分樹之根節點一般對應於葉CU，而CU四分樹之根節點一般對應於樹型區塊(或LCU)。RQT之未分裂的TU被稱作葉TU。一般而言，除非另有指示，否則本發明使用術語CU及TU來分別指代葉CU及葉TU。

視訊序列通常包括一系列視訊圖框或圖片。圖片群組(GOP)通常包含視訊圖片中之一系列的一或多者。GOP可在GOP之標頭、圖片中之一或多者之標頭中或在別處包括描述包括於GOP中之圖片數目的語法資料。圖片之每一圖塊可包括描述各別圖塊之編碼模式的圖塊語法資料。視訊編碼器20通常對個別視訊圖塊內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而在大小方面不同。

作為一實例，HM支援以各種PU大小進行預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小進行框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行框間預測。HM亦支援不對稱分割以按2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行框間預測。在不對稱分割中，CU之一方向未分割，而另一方向分割成25%及75%。CU之對應於25%分割區之部分由「n」繼之以「上」、「下」、「左」或「右」之指示來指示。因此，例如，「2N×nU」指代在水平方向上以頂部2N×0.5N PU及底部2N×1.5N PU分割之2N×2N CU。

在本發明中，「N×N」與「N乘N」可被互換地使用以指代視訊區塊在垂直尺寸與水平尺寸方面之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊將在垂直方向上具有十六個像素(y=16)及在水平方向上具有十六個像素(x=16)。類似地，N×N區塊一般在垂直方向上具有N個像素及在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向中與在垂直方向中具有相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。

在使用CU之PU進行之框內預測性或框間預測性寫碼(例如，時間框間預測或視圖間預測)後，視訊編碼器20可計算CU之TU的殘餘資 料。PU可包含描述在空間域(亦稱作像素域)中產生預測性像素資料之方法或模式的語法資料，且TU可包含在應用一變換(例如，離散餘弦變換(DCT)、整數變換、小波變換或概念上類似之變換)至殘餘視訊資料後在變換域中之係數。殘餘資料可對應於未經編碼圖片之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且接著變換該等TU以產生CU之變換係數。

在應用任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化一般指代如下程序：將變換係數量化以可能地減少用以表示該等係數之資料之量，從而提供進一步壓縮。該量化程序可減少與該等係數中之一些或所有相關聯的位元深度。舉例而言，在量化期間可將n位元值降值捨位至m位元值，其中n大於m。

在量化之後，視訊編碼器可掃描變換係數，從而自包括經量化之變換係數之二維矩陣產生一維向量。掃描可經設計成將較高能量(且因此較低頻率)係數置於陣列前部，且將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數，以產生可經熵編碼的串列化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化之變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法而熵編碼該一維向量。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯之語法元素以供視訊解碼器30用於解碼視訊資料。

為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸之符號。該上下文可能係關於(例如)符號之相鄰值是否為非零。為了執行CAVLC，視訊編碼器20可針對待傳輸之符號選擇一 可變長度碼。可建構VLC中之碼字使得相對較短的碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，使用VLC可達成位元節省(與(例如)針對待傳輸之每一符號使用等長度碼字相比較)。機率判定可基於指派給符號之上下文。

根據本發明之技術，視訊編碼器20及視訊解碼器30可經組態以寫碼指示視圖合成預測是否經啟用用於特定位元串流或子位元串流(例如，包括多個視圖之位元串流之作業點)的資訊。舉例而言，視訊編碼器20可經組態以判定是否對於位元串流或子位元串流啟用視圖合成預測。舉例而言，視訊編碼器20可寫碼要與未經配備以執行視圖合成預測之視訊解碼器回溯相容之位元串流。或者，視訊編碼器20可判定視圖合成預測與其他習知寫碼方法相比未得出改良之寫碼結果，且因此視圖合成預測不應被啟用。在任何狀況下，視訊編碼器20可編碼指示視圖合成預測是否經啟用用於位元串流或子位元串流的資訊。視訊解碼器30繼而可解碼該指示視圖合成預測是否經啟用之資訊，且僅當該資訊指示視圖合成預測經啟用時才產生視圖合成圖片以用作參考圖片(亦稱作視圖合成參考圖片或VSRP)。

一般而言，為了執行視圖合成預測，視訊寫碼器(諸如視訊編碼器20或視訊解碼器30)可使用一或多個視圖之紋理及深度資訊來產生一合成視圖分量。此程序實質上類似於為了顯示的目的使用紋理及深度資訊來產生合成視圖分量之程序。然而，在視圖合成預測中，當寫碼一不同視圖時，可將合成視圖分量(亦即，圖片)添加至參考圖片清單以用作參考圖片。可使用視圖合成預測來產生參考圖片以用於寫碼紋理資訊或深度資訊。當然，亦可藉由用戶端器件顯示所產生之視圖合成圖片作為播放之一部分。另外或替代地，視訊解碼器30或目的地器件14之另一單元(諸如後處理單元(未圖示))可執行視圖合成以用於產生用於播放的合成圖片之目的。應理解，雖然可顯示用於預測之視 圖合成圖片，但在一些實例中，可為了顯示目的使用DIBR產生一獨立圖片。可在寫碼期間或「迴路內」產生用於預測目的之視圖合成影像，而可在「迴路內」抑或「迴路後」(亦即，在寫碼後)產生用於顯示目的之視圖合成影像。

在一些實例中，視訊編碼器20及視訊解碼器30可經組態以將指示視圖合成預測是否經啟用的資訊寫碼為一參數集之語法元素，該參數集諸如視訊參數集(VPS)、序列參數集(SPS)、圖片參數集(PPS)或調適參數集(APS)。一般而言，VPS應用至位元串流之一或多個層(例如，一或多個視圖)，SPS應用至一特定層之圖片序列(例如，以瞬時解碼器再新(IDR)圖片開始且以正好在後續IDR圖片之前的圖片結束)，PPS應用至一個別圖片，且APS應用至圖片之個別圖塊。視訊編碼器20及視訊解碼器30可在上述資料結構(例如，VPS、SPS、PPS及/或APS)中的任一者或所有中寫碼指示視圖合成預測是否被啟用的語法元素。

在一些實例中，視訊編碼器20及視訊解碼器30可以階層方式寫碼SPS、PPS及APS中之語法元素。舉例而言，若SPS中之語法元素指示視圖合成預測未經啟用，則無需信號傳輸PPS及APS中之語法元素，此係因為視圖合成預測針對整個序列而停用。因此，若SPS中之語法元素指示視圖合成預測未經啟用，則視訊解碼器30可推斷對應於SPS之序列中的圖片及圖片之圖塊之PPS及APS之語法元素的值，其中所推斷值為指示視圖合成預測經停用之值。

作為另一實例，若SPS中之語法元素指示視圖合成預測經啟用，則可在PPS中提供額外語法元素以指示視圖合成預測是否經啟用用於一特定對應圖片。另外或替代地，若SPS中之語法元素指示視圖合成預測經啟用，則可在用於特定圖片之每一圖塊之APS中提供額外語法元素，使得用於同一圖片之圖塊之APS的關於視圖合成預測之語法元 素具有相同值。一般而言，視圖合成涉及合成一完整參考圖片，且因此，若視圖合成預測經啟用用於圖片之一個圖塊，則認為視圖合成預測經啟用用於該圖片之所有圖塊。在一些實例中，另外或替代地，視訊編碼器20及視訊解碼器30可寫碼一圖塊之圖塊標頭中之語法元素。此外，除了如上文所述針對圖塊進行信號傳輸之外或作為其替代，可針對圖片之方塊或波前而個別地信號傳輸類似之語法元素。

以下表1根據本發明之技術之某些實例提供用於SPS的語法的實例集合。在此實例中，SPS為針對3DV之SPS擴展。因此，基礎寫碼標準(諸如ITU-T H.264/AVC或HEVC)之其他語法元素(表1中由省略號表示)可與對應基礎寫碼標準中所定義者保持相同。

如在表1之實例中展示，seq_parameter_set_3dvc_extension()表示ITU-T H.264/AVC之子集SPS之擴展的實例。然而，seq_view_synthesis_enabled_flag可替代地直接在SPS本身中加以信號傳輸，例如，如表2中展示：

seq_view_synthesis_enabled_flag之語義可被定義如下：seq_view_synthesis_enabled_flag等於1可指示參考此SPS之視圖分量(紋理或深度視圖分量)可使用視圖合成預測模式。 Seq_view_synthesis_enabled_flag等於0可指示參考此SPS之視圖分量不使用視圖合成。用於其他語法元素(由表1及表2中之省略號表示)之語義可保持實質上類似於如在各別寫碼標準中關於此等語法元素所定義之語義。

以下表3根據本發明之技術之某些實例提供用於PPS的語法的實例集合。

在表3之實例中，假定對應於seq_parameter_set_id之SPS已信號傳輸seq_view_synthesis_enabled_flag之值，其指示視圖合成預測是否經啟用用於該序列。因此，若視圖合成預測未經啟用用於該序列，則PPS無需包括用於pic_view_synthesis_enaled_flag之值，且視訊解碼器30可推斷用於pic_view_synthesis_enaled_flag之值為(例如)零。或者，可在未信號傳輸seq_view_synthesis_enabled_flag的情況下直接信號傳輸pic_view_synthesis_enabled_flag(換言之，PPS之語法可等效於seq_view_synthesis_enabled_flag總是等於1)。

語法元素pic_view_synthesis_enabled_flag之語義可被定義如下：pic_view_synthesis_enabled_flag等於1可指示參考此SPS之視圖分量(紋理或深度視圖分量)可使用視圖合成預測。Pic_view_synthesis_enabled_flag等於0可指示參考此PPS之視圖分量不使用視圖合成。用於其他語法元素之語義可保持實質上類似於如在各 別寫碼標準中關於此等語法元素所定義之語義。

以下表4根據本發明之技術之某些實例提供用於APS的語法的實例集合。

在表4之實例中，若(例如，表1或表2之)seq_view_synthesis_enabled_flag等於0或(例如，表3之)pic_view_syenthsis_enabled_flag等於0，則可導出ViewSynthesisEnabled具有值0(亦即，「假」)。如在表4之實例中展示，僅當ViewSynthesisEnabled具有值1(亦即，「真」)時信號傳輸aps_view_synthesis_enabled_flag。因此，若seq_view_synthesis_enabled_flag抑或pic_view_syenthsis_enabled_flag指示視圖合成預測未經啟用用於對應序列或圖片，則無需信號傳輸用於aps_view_synthesis_enabled_flag之值，且視訊解碼器30可改為將aps_view_synthesis_enabled_flag之值推斷為指示視圖合成預測未被啟用用於對應圖塊。或者，可在未信號傳輸seq_view_synthesis_enabled_flag或pic_view_synthesis_enabled_flag的情況下直接信號傳輸aps_view_synthesis_enabled_flag。

aps_view_synthesis_enabled_flag之語義可被定義如下：aps_view_synthesis_enabled_flag等於1可指示參考此APS之視圖分量(紋理或深度視圖分量)可使用視圖合成預測。Aps_view_synthesis_enabled_flag等於0可指示參考此APS之視圖分量 不使用視圖合成。用於APS之其他語法元素之語義可保持實質上類似於如在各別寫碼標準中所定義之語義。

在一些實例中，除了在APS中信號傳輸指示視圖合成預測是否經啟用用於對應圖塊的語法元素之外或作為其替代，可在一圖塊標頭中信號傳輸指示視圖合成預測是否經啟用用於對應圖塊的語法元素。表5根據本發明之技術之某些實例提供圖塊標頭的語法的實例集合。

如關於表4論述，若seq_view_synthesis_enabled_flag經信號傳輸且等於0(亦即，「假」)或pic_view_syenthsis_enabled_flag經信號傳輸且等於0(亦即，「假」)，則可導出ViewSynthesisEnabled為0。在基於HEVC之3DV或其他寫碼標準的背景下(其中信號傳輸包括指示視圖合成預測是否經啟用之語法元素的APS)，若aps_view_syenthsis_enabled_flag經信號傳輸且等於0(亦即，「假」)，則可導出ViewSynthesisEnabled為0。

表5之view_synthesis_flag之語義可被定義如下：view_synthesis_flag等於1可指示當前圖塊可經視圖合成預測，因此將產生視圖合成參考圖片。View_synthesis_flag等於0可指示當前圖塊未經視圖合成預測，因此無需產生視圖合成參考圖片。當不存在時，可推斷此旗標等於0。

在基於ITU-T H.264/AVC之3DV之當前版本中，可將一圖片分為多個圖塊。在其他寫碼標準中，諸如HEVC，可將一圖片分為其他區域，諸如方塊或波前。上文關於圖塊描述之技術(例如，在圖塊標頭 中及/或在APS標頭中信號傳輸一語法元素)亦可應用至其他子圖片區域，諸如方塊或波前。

在一些實例中，視訊編碼器20及視訊解碼器30可經組態以使得共同圖片之多個圖塊具有view_synthesis_flag之相同值。亦即，可引入一約束以使得圖片之所有圖塊具有view_synthesis_flag之相同值。以此方式，當視圖分量之第一圖塊(亦即，序數第一圖塊)之圖塊標頭經剖析且view_synthesis_flag等於1(一)時，可產生視圖合成圖片(對於每一像素)，且歸因於約束，所產生視圖合成圖片可用於同一視圖分量中之所有圖塊。另一方面，在此實例中，若第一圖塊之view_synthesis_flag等於0(零)，則歸因於約束，不為了視圖合成預測目的產生用於當前視圖分量之任何圖塊之視圖合成圖片。

在一些實例中，視訊編碼器20及視訊解碼器30可替代地經組態以使得共同圖片之多個圖塊可具有view_synthesis_flag之不同值。當其中view_synthisis_flag等於1之視圖分量之圖塊之圖塊標頭經剖析時，可產生用於該視圖分量之視圖合成參考圖片(對於每一像素)。或者，視圖合成預測程序僅可應用至與view_synthesis_flag等於0之當前圖塊有關(例如，與之位於同一位置或在歸因於視差之水平偏移之後與之位於同一位置)的區域。

在一些實例中，當未在圖塊標頭中信號傳輸view_synthesis_flag時且若ViewSynthesisEnabled等於1(一)，則在參考圖片清單建構之後，視訊編碼器20及視訊解碼器30可執行一檢查以判定是否將使用視圖合成預測來產生用於當前圖塊之參考圖片。可針對每一參考圖片清單之每一條目執行此類檢查，且若參考圖片清單之一個條目具有等於當前圖塊之圖片次序計數(POC)值的POC值，則可判定視圖合成預測用於當前圖塊。此外，視圖合成預測用於當前圖塊時，視訊編碼器20及視訊解碼器30可經組態以產生將用作參考圖片之視圖合成圖片。

或者，若該檢查導致判定將使用視圖合成預測，則視訊編碼器20及視訊解碼器30可僅執行視圖合成預測來產生關於當前圖塊之參考區域。視訊編碼器20及視訊解碼器30可經界定有填補區，視訊編碼器20及視訊解碼器30可合成在位於同一位置之圖塊區域與填補區中的像素之值。

一般而言，視訊編碼器20及視訊解碼器30可使用一或兩個參考視圖之紋理及深度資訊透過使用視圖合成預測來產生參考圖片。當考慮兩個參考視圖時，通常參考視圖中之一者在當前視圖之左邊，而另一參考視圖在正被寫碼之當前視圖(亦即，視圖合成之目標視圖)之右邊。

在視訊編碼器20及視訊解碼器30識別一參考視圖後，當解碼一視圖分量(包括紋理及深度資訊)時，視訊編碼器20及視訊解碼器30可使用所識別視圖進一步識別一參考視圖分量，且紋理或深度資訊(或兩者)可用以寫碼同一存取單元內之當前視圖分量。視訊編碼器20及視訊解碼器30可經組態以使用(例如)視圖識別符(view_id)值或使用水平平移資訊來寫碼一參考視圖識別符。視訊編碼器20及視訊解碼器30可使用所識別參考視圖(或多個參考視圖)來合成一視圖分量以用作參考圖片。

如上所述，在一些實例中，視訊編碼器20及視訊解碼器30可寫碼將用以使用view_id值來合成視圖分量的參考視圖之識別資訊。對於視圖次序索引等於VOIdx之當前視圖，可將視圖次序索引小於當前視圖且view_id最接近當前視圖之view_id(viewID)的任何視圖識別為一參考視圖。在視圖次序索引小於VOIdx且view_id小於viewID之視圖中，可將具有最大view_id之視圖識別為第一參考視圖。在視圖次序索引小於VOIdx且view_id大於view_id之視圖中，可將具有最小view_id之視圖識別為第二參考視圖。

在使用view_id值來識別視圖合成預測之參考視圖的實例中，若可識別第一參考視圖及第二參考視圖兩者，則視訊編碼器20及視訊解碼器30可自此等兩個參考視圖合成視圖合成參考圖片(在允許兩個參考視圖的情況下)。否則，視訊編碼器20及視訊解碼器30僅自一個參考視圖合成視圖合成參考圖片。若僅允許一個參考視圖且識別了第一及第二參考視圖兩者，則可挑選具有較接近view_id的參考視圖。若兩個參考視圖具有相同的view_id距離，則視訊編碼器20及視訊解碼器30可經組態以選擇具有較小(或較大)view_id之參考視圖。

在一些實例中，視訊編碼器20及視訊解碼器30可經組態以使用水平平移資訊來識別用於視圖合成預測之參考視圖。若允許兩個參考視圖，則在視圖次序索引小於VOIdx且水平平移小於當前視圖之水平平移的視圖中，可將具有最接近的水平位置之視圖識別為第一參考視圖。在視圖次序索引小於VOIdx且水平平移大於當前視圖之視圖中，可將具有最接近的水平位置之視圖識別為第二參考視圖。

在使用水平平移資訊來識別參考視圖的實例中，若可識別第一參考視圖及第二參考視圖兩者，則視訊編碼器20及視訊解碼器30可自此等兩個參考視圖合成視圖合成參考圖片(在允許兩個參考視圖的情況下)。否則，視訊編碼器20及視訊解碼器30僅可自一個參考視圖合成視圖合成參考圖片。若僅允許一個參考視圖且識別了第一及第二參考視圖兩者，則可挑選具有較接近水平位置的參考視圖。若兩個參考視圖具有距當前視圖之相同距離，則視訊編碼器20及視訊解碼器30可經組態以選擇在左邊(或右邊)的參考視圖。

一般而言，視訊編碼器20及視訊解碼器30可經組態以在挑選用於視圖合成之參考視圖時以實質上相同方式來操作。因此，在將僅使用一個參考視圖且兩個不同參考視圖可得出近似相同結果的一些狀況下，視訊編碼器20及視訊解碼器30可經組態以使得其選擇相同參考視 圖，使得無需信號傳輸額外語法元素以明確識別該參考視圖。

以此方式，視訊編碼器20及視訊解碼器30表示視訊寫碼器之實例，該視訊寫碼器經組態以寫碼指示視圖合成預測是否經啟用用於視訊資料之資訊，且經組態以當該資訊指示視圖合成預測經啟用用於視訊資料時，使用該視訊資料產生一視圖合成圖片，及相對於該視圖合成圖片來寫碼當前圖片之至少一部分。另一方面，當該資訊指示視圖合成預測未經啟用時，視訊寫碼器可經組態以在不參考任何視圖合成圖片的情況下使用框內預測、時間框間預測及視圖間預測中之至少一者來寫碼當前圖片。因此，視訊寫碼器可經組態以僅當該資訊指示視圖合成預測經啟用時才產生將用作參考圖片之視圖合成圖片；當該資訊未指示視圖合成預測經啟用時，可跳過視圖合成，其可節省處理資源及/或電池電力。

可在參數集(諸如，VPS、SPS、PPS或APS)及/或圖塊標頭中信號傳輸指示視圖合成預測是否經啟用用於視訊資料的資訊，如上文關於表1至表5所解釋。此資訊可包含在此等資料結構中之任一者或全部中之語法元素(單獨或以任何組合)。此外，如上文解釋，視訊寫碼器可經組態以寫碼用於一或多個參考視圖之識別資訊以用以(例如)使用一或多個參考視圖之view_id值或水平平移資訊來產生將用作一參考圖片之視圖合成圖片。

視訊編碼器20及視訊解碼器30可各自實施為多種合適編碼器或解碼器電路中之任一者(在適用時)，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中之任一者可整合為組合式視訊編碼器/解碼器(編碼解碼器)之部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電 路、微處理器及/或無線通信器件(諸如，蜂巢式電話)。

圖2為說明可實施用於寫碼關於視圖合成預測之資訊之技術的視訊編碼器20之實例的方塊圖。視訊編碼器20可執行視訊圖塊內之視訊區塊之框內及框間寫碼。框內寫碼依賴於空間預測以減小或移除給定視訊圖框或圖片內之視訊的空間冗餘。框間寫碼依賴於時間預測以減小或移除視訊序列之鄰近圖框或圖片內之視訊的時間冗餘。框內模式(I模式)可指代若干基於空間之寫碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之寫碼模式中的任一者。

如圖2中所示，視訊編碼器20接收待編碼之視訊圖框內之當前視訊區塊。在圖2之實例中，視訊編碼器20包括模式選擇單元40、參考圖框記憶體64、求和器50、變換處理單元52、量化單元54及熵寫碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。對於視訊區塊重建構，視訊編碼器20亦包括逆量化單元58、逆變換單元60及求和器62。亦可包括解區塊濾波器(圖2中未展示)以對區塊邊界進行濾波以自重建構之視訊移除方塊效應假影。若需要，解區塊濾波器通常將對求和器62之輸出進行濾波。除瞭解區塊濾波器之外亦可使用額外濾波器(迴路內或迴路後)。為簡潔起見未展示此類濾波器，但必要時此類濾波器可對求和器50之輸出進行濾波(作為迴路內濾波器)。

在該編碼程序期間，視訊編碼器20接收待寫碼之視訊圖框或圖塊。可將該圖框或圖塊劃分成多個視訊區塊。運動估計單元42及運動補償單元44相對於一或多個參考圖框中之一或多個區塊來執行經接收視訊區塊之框間預測性寫碼，以提供時間預測。框內預測單元46可替代地相對於與待寫碼之區塊在相同之圖框或圖塊中的一或多個鄰近區塊執行接收之視訊區塊的框內預測性寫碼以提供空間預測。視訊編碼 器20可執行多個寫碼遍次(例如)以選擇用於視訊資料之每一區塊之適當寫碼模式。

此外，分割單元48可基於在先前寫碼遍次中對先前分割方案之評估而將視訊資料之區塊分割成子區塊。舉例而言，分割單元48可最初將圖框或圖塊分割成LCU，且基於速率-失真分析(例如，速率-失真最佳化)將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示LCU至子CU之分割的四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。

模式選擇單元40可(例如)基於錯誤結果而選擇寫碼模式(諸如框內預測、時間框間預測或視圖間預測)中之一者，且將預測之區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62以重建構經編碼區塊以用作參考圖框。模式選擇單元40亦提供語法元素(諸如運動向量、框內模式指示符、分割資訊及其他此類語法資訊)至熵寫碼單元56。在一些實例中，模式選擇單元40可經組態以選擇(例如)相對於先前經寫碼視圖或相對於用於視圖合成預測之合成視圖的視圖間預測。如下文更詳細論述，視圖合成單元66可經組態以合成用於視圖合成預測之視圖(亦即，合成圖片，包括紋理及/或深度像素值)。舉例而言，視圖合成單元66可經組態以執行實質上類似於基於深度影像之呈現(DIBR)的技術。

此外，模式選擇單元40可將指示用於PU之選定寫碼模式之語法資訊提供至熵寫碼單元56。應理解在視圖合成預測經啟用的情況下，模式選擇單元40仍可自其他可用寫碼模式中進行選擇，例如框內預測、時間框間預測或相對於先前寫碼之圖片的視圖間預測。因此，視訊編碼器20可提供針對視訊資料之區塊選擇哪一寫碼模式的指示，其與指示視圖合成預測是否經啟用的資訊分開。

運動估計單元42及運動補償單元44可高度整合，但為概念目的 而分開說明。由運動估計單元42執行之運動估計為產生運動向量之程序，運動向量估計視訊區塊之運動。舉例而言，運動向量可指示在當前視訊圖框或圖片內之一視訊區塊的一PU相對於在參考圖框(或其他經寫碼單元)內的一預測性區塊(其關於在該當前圖框(或其他經寫碼單元)內正被寫碼的當前區塊)之位移。預測性區塊為被發現在像素差方面緊密地匹配待寫碼區塊之區塊，該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差量度加以判定。運動向量可包括：時間運動向量，其描述一區塊相對於在時間上不同之圖片中的同一視圖之先前經寫碼區塊的運動；及視差運動向量，其描述不同視圖中(具有不同之水平攝影機視角)但可具有相同時間位置的類似區塊之間的視差。在一些狀況下，運動向量可描述相對於時間上相異且亦在不同視圖中之圖片的運動。

在一些實例中，視訊編碼器20可計算儲存於參考圖框記憶體64中之參考圖片的次整數像素位置之值。舉例而言，視訊編碼器20可內插該參考圖片之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計單元42可執行相對於全像素位置及分數像素位置之運動搜尋，且輸出具有分數像素精度的運動向量。

當執行視圖間預測時，運動估計單元42可計算相對於不同視圖之先前經寫碼圖片抑或用於視圖合成預測之合成圖片的視差運動向量。因此，運動估計單元42亦可被稱作運動/視差估計單元。一般而言，可由視圖合成單元66將合成圖片儲存於參考圖框記憶體64中，且因此，運動估計單元42及運動補償單元44無需經組態以判定參考圖片為不同視圖之先前經寫碼圖片抑或來自視圖合成程序之合成圖片。用於搜尋視差運動向量之程序可限於水平地(而非水平地及垂直地兩者)搜尋，此係因為歸因於自不同水平攝影機視角俘獲或產生場景的圖片，在相同時間位置之不同視圖之圖片通常僅包括水平差而無垂直 差。

運動估計單元42藉由比較PU之位置與參考圖片之預測性區塊之位置而計算框間寫碼圖塊中的視訊區塊之PU的運動向量(例如，時間運動向量或視差運動向量)。該參考圖片可選自第一參考圖片清單(清單0)或第二參考圖片清單(清單1)，清單0或清單1中之每一者識別儲存於參考圖框記憶體64中之一或多個參考圖片。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。

由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量而提取或產生預測性區塊，所判定之運動向量可再次為時間運動向量或視差運動向量。此外，在一些實例中，運動估計單元42及運動補償單元44可為功能上整合的。在接收到當前視訊區塊之PU之運動向量時，運動補償單元44可在參考圖片清單中之一者中找到運動向量所指向的預測性區塊。求和器50藉由自正被寫碼之當前視訊區塊之像素值減去預測性區塊之像素值從而形成像素差值來形成殘餘視訊區塊，如下文所論述。

一般而言，運動估計單元42相對於明度分量而執行運動估計，且運動補償單元44將基於該等明度分量所計算之運動向量用於色度分量與明度分量兩者。運動估計單元42及運動補償單元44可經組態以重新使用來自明度分量之運動向量來寫碼深度圖抑或獨立地計算用於深度圖之運動向量。因此，在一些狀況下，運動估計42及運動補償單元44可經組態而以類似於色度分量的方式或以類似於明度分量的方式來預測深度圖。模式選擇單元40亦可產生與視訊區塊及視訊圖塊相關聯的語法元素以供視訊解碼器30用於解碼視訊圖塊之視訊區塊。

作為由運動估計單元42及運動補償單元44執行之框間預測(例如，時間框間預測及/或視圖間預測)的替代，框內預測單元46可框內預測一當前區塊，如上文描述。詳言之，框內預測單元46可判定用以 編碼當前區塊的框內預測模式。在一些實例中，框內預測單元46可(例如)在獨立之編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46(或在一些實例中，模式選擇單元40)可自所測試之模式中選擇待使用之適當框內預測模式。

舉例而言，框內預測單元46可使用對各種經測試之框內預測模式之速率-失真分析而計算速率-失真值，且在經測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析一般判定經編碼區塊與經編碼以產生該經編碼區塊的原始未經編碼區塊之間的失真(或誤差)之量以及用以產生經編碼區塊之位元率(亦即，位元數目)。框內預測單元46可對於各種經編碼區塊自失真及速率計算比率以判定哪一框內預測模式展現區塊之最佳速率-失真值。

在對於一區塊選擇框內預測模式之後，框內預測單元46可將指示該區塊的所選擇之框內預測模式之資訊提供至熵寫碼單元56。熵寫碼單元56可編碼指示該選定框內預測模式之資訊。視訊編碼器20可在經傳輸之位元串流組態資料中包括各種區塊之編碼上下文之定義及將用於該等上下文中之每一者之最有可能的框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示，該位元串流組態資料可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦被稱作碼字映射表)。

此外，如上文所述，模式選擇單元40可判定是否利用視圖合成預測來寫碼非基礎視圖之特定區塊。模式選擇單元40可接收組態資料，其指示視圖合成預測是否經啟用用於一位元串流或用於多視圖位元串流之特定作業點。舉例而言，使用者可已提供指示位元串流要與未經配備以執行視圖合成預測之器件相容的組態資料，在此狀況下，模式選擇單元40可停用整個位元串流之視圖合成預測。或者，組態資料可指示視圖之形成作業點之子集，針對該子集停用視圖合成預測， 在此狀況下模式選擇單元40可停用用於子集中的視圖之每一者的視圖合成預測，但對於位元串流之未包括於該子集中之其他視圖測試視圖合成預測。

一般而言，假定針對特定非基礎視圖准許視圖合成預測，模式選擇單元40可對於非基礎視圖之圖片之區塊測試視圖合成預測以判定視圖合成預測是否得出優於其他寫碼模式(例如時間框間預測、框內預測及/或相對於先前經寫碼(非合成)視圖之視圖間預測)之效能。模式選擇單元40可使用速率失真最佳化(RDO)及/或使用本傑特高(Bjontegaard)差量速率(BD速率)來測試各種寫碼模式之效能。一般而言，速率失真最佳化為使用一特定模式或模式組合寫碼一視訊資料集合所需之位元數目相對於該模式或模式組合所引入的失真量的量測。模式選擇單元40可選擇得出由此等量測指示之最佳效能的模式或模式組合。

此外，模式選擇單元40可判定視圖合成預測針對其得出最佳效能之圖塊、圖片、序列或其他經寫碼單元(例如，方塊或波前)中的區塊數目，及判定區塊之此數目是否足夠高到證明使用視圖合成預測之處理開支合理。如上所述，藉由視訊解碼器合成一視圖可需要相當大的處理資源量，且因此，若在將使用視圖合成預測之經寫碼單元中不存在充分大數目之區塊，則模式選擇單元40可對於特定區塊選擇不包括視圖合成預測的一不同寫碼模式。

模式選擇單元40可以階層方式判定視圖合成預測是否要被啟用用於一經寫碼單元(例如，序列、圖片、圖塊、方塊、波前或其他類似經寫碼單元)。舉例而言，若視圖合成預測要被啟用用於圖塊、方塊或波前中之一者，則模式選擇單元40可(例如)使用表3至表5中之任一者或全部之語法(及/或(例如)在方塊標頭或波前標頭中之方塊或波前之類似語法)來指示視圖合成預測經啟用用於一包括圖塊、方塊或 波前之圖片。另外或替代地，若視圖合成預測要被啟用用於圖片、圖塊、方塊或波前中之一者，則模式選擇單元40可(例如)使用表1及表2中任一者之語法來指示視圖合成預測經啟用用於包括圖片、圖塊、方塊或波前之圖片序列。模式選擇單元40可將適當語法資料提供至熵寫碼單元56，熵寫碼單元56可相應地寫碼表1至表5中任一者或全部的資料結構。

視圖合成單元66表示合成用於視圖間預測之視圖的單元。模式選擇單元40可提供指示視圖合成預測(VSP)是否經啟用用於一特定圖片或視圖之資訊(在圖2中標為「VSP啟用資訊」)。當視圖合成預測經啟用時，視圖合成單元66可使用儲存於參考圖框記憶體64中之紋理及深度資訊來合成用於一合成視圖之圖片。

視圖合成單元66可使用一或多個參考視圖來合成另一視圖。在一些實例中，視圖合成單元66可判定待合成視圖之水平位置，判定先前經寫碼視圖之水平位置，且接著基於先前經寫碼視圖之水平位置來選擇參考視圖。舉例而言，視圖合成單元66可選擇水平位置最接近待合成視圖之水平位置的左邊之第一參考視圖，及水平位置最接近待合成視圖之水平位置的右邊之第二參考視圖。

視圖合成單元66可使用view_id及/或水平偏移資訊來識別參考視圖。在使用view_id值來識別用於視圖合成預測之參考視圖的實例中，若可識別第一參考視圖及第二參考視圖兩者，則視圖合成單元66可自此等兩個參考視圖合成視圖合成參考圖片(在允許兩個參考視圖的情況下)。否則，視圖合成單元66僅可自一個參考視圖合成該視圖合成參考圖片。若僅允許一個參考視圖且識別第一及第二參考視圖兩者，則可挑選具有較接近view_id的參考視圖。若兩個參考視圖具有相同的view_id距離，則視圖合成單元66可經組態以選擇具有較小(或較大)view_id之參考視圖。在一些實例中，在假定視圖合成預測經指 示為被啟用的情況下，可(例如)在SPS或VPS中提供指示要挑選較小抑或較大view_id的語法資訊。

在使用水平平移資訊來識別參考視圖的實例中，若可識別第一參考視圖及第二參考視圖兩者，則視圖合成單元66可自此等兩個參考視圖合成視圖合成參考圖片(在允許兩個參考視圖的情況下)。否則，視圖合成單元66僅可自一個參考視圖合成該視圖合成參考圖片。若僅允許一個參考視圖且識別第一及第二參考視圖兩者，則可挑選具有較接近水平位置的參考視圖。若兩個參考視圖具有距當前視圖之相同距離，則視圖合成單元66可經組態以選擇在左邊(或右邊)的參考視圖。在一些實例中，在假定視圖合成預測經指示為被啟用的情況下，可(例如)在SPS或VPS中提供指示要挑選左邊抑或右邊水平位置的語法資訊。

一般而言，為了合成一圖片，視圖合成單元66可使用一或多個先前經寫碼視圖之紋理及深度資訊。視圖合成單元66可基於紋理圖片之對應(或，實質上位於同一位置之)深度資訊及對應深度圖來計算用於紋理資訊之水平視差。一般而言，將在顯示器之深度(例如，在會聚平面)顯現之物件可具有零視差。亦即，表示此物件之像素可在合成視圖中具有與在參考視圖中實質上相同的水平位置。對於將在螢幕前方顯示之物件，可指派一正視差，使得在「左眼」圖片中，將物件之像素定位於「右眼」圖片中對應像素之右邊。或者，對於將在螢幕後方顯示之物件，可指派一負視差，使得在「左眼」圖片中，將物件之像素定位於「右眼」圖片中對應像素之左邊。可將相對水平移位判定為欲達成之深度的量、相對水平偏移、距會聚平面之距離、真實距離、攝影機參數等的函數。

以此方式，視圖合成單元66可合成將用作參考圖片之視圖的圖片。視圖合成單元66可使用類似程序來合成紋理影像及/或深度圖中 的任一者或兩者。因此，視訊編碼器20可相對於合成視圖分量(例如，合成紋理影像或合成深度圖)來寫碼一紋理影像及/或深度圖。視圖合成單元66可將用於合成視圖分量之資料儲存於參考圖框記憶體64中。以此方式，模式選擇單元40、運動估計單元42及運動補償單元44可如同合成視圖分量為習知參考圖片一樣對待合成視圖分量。

視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成一殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將諸如離散餘弦變換(DCT)或概念上類似之變換的變換應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用小波變換、整數變換、子頻帶變換或其他類型之變換。

在任何狀況下，變換處理單元52將變換應用於殘餘區塊，從而產生殘餘變換係數之區塊。該變換可將殘餘資訊自像素值域轉換至變換域(諸如頻域)。變換處理單元52可將所得的變換係數發送至量化單元54。量化單元54量化該等變換係數以進一步減少位元率。該量化程序可減少與該等係數中之一些或所有相關聯的位元深度。可藉由調整量化參數而修改量化程度。在一些實例中，量化單元54可接著執行包括經量化之變換係數之矩陣的掃描。或者，熵編碼單元56可執行該掃描。

在量化之後，熵寫碼單元56對經量化變換係數熵寫碼。舉例而言，熵寫碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼之狀況下，上下文可基於相鄰區塊。在藉由熵寫碼單元56進行之熵寫碼之後，可將經編碼位元串流傳輸至另一 器件(例如，視訊解碼器30)或經存檔以供稍後傳輸或擷取。

逆量化單元58及逆變換單元60分別應用逆量化及逆變換以在像素域中重建構殘餘區塊(例如)以供稍後用作參考區塊。運動補償單元44可藉由將該殘餘區塊添加至參考圖框記憶體64之圖框中之一者的一預測性區塊來計算一參考區塊。運動補償單元44亦可對該經重建構的殘餘區塊應用一或多個內插濾波器以計算用於在運動估計中使用之次整數像素值。求和器62將該經重建構的殘餘區塊添加至由運動補償單元44產生之經運動補償的預測區塊以產生一經重建構的視訊區塊以用於儲存於參考圖框記憶體64中。該經重建構的視訊區塊可由運動估計單元42及運動補償單元44用作一參考區塊以框間寫碼在隨後視訊圖框中之區塊。

以此方式，圖2之視訊編碼器20表示經組態以寫碼指示視圖合成預測是否經啟用用於視訊資料之資訊的視訊編碼器之實例。當資訊指示視圖合成預測經啟用用於視訊資料時，視訊編碼器20可使用視訊資料來產生視圖合成圖片，且相對於視圖合成圖片來寫碼當前圖片之至少一部分。當前圖片之至少一部分可包含(例如)區塊(例如，PU、CU、巨型區塊或巨型區塊之分割區)、圖塊、方塊、波前或當前圖片之整體。

圖3為說明可實施用於寫碼關於視圖合成預測之資訊之技術的視訊解碼器30之實例的方塊圖。在圖3之實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、逆量化單元76、逆變換單元78、參考圖框記憶體82及求和器80。在一些實例中，視訊解碼器30可執行與關於視訊編碼器20(圖2)所描述之編碼遍次大體上互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量而產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符而產生預測資料。

在解碼程序期間，視訊解碼器30接收經編碼視訊位元串流，其表示來自視訊編碼器20的經編碼視訊圖塊之視訊區塊及相關聯語法元素。視訊解碼器30之熵解碼單元70熵解碼該位元串流以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可接收在視訊圖塊層級及/或視訊區塊層級之語法元素。

根據本發明之技術，視訊解碼器30可接收指示視圖合成預測是否經啟用用於圖片序列、個別圖片、圖塊、方塊或波前中之任一者或全部的語法資訊。在一些實例中，當語法資訊指示視圖合成預測對於高階經寫碼單元(例如，圖片序列)經停用時，視訊解碼器30可推斷視圖合成預測對於低階經寫碼單元(例如，圖片序列中圖片中之每一者)經停用。因此，當用於高階經寫碼單元之語法資訊指示視圖合成預測未經啟用時，視訊解碼器30無需接收指示視圖合成預測是否經啟用用於低階經寫碼單元的語法資訊。

語法資訊可對應於上文論述之表1至表5的語法資訊。舉例而言，視訊解碼器30可經組態以解碼對應於表1及表2中任一者之資料結構(例如，SPS)，以判定視圖合成預測是否經啟用用於圖片序列。當視圖合成預測經啟用用於圖片序列時，視訊解碼器30可經組態以解碼對應於表3之資料結構(例如，PPS)，以判定視圖合成預測是否經啟用用於圖片序列中之特定圖片。另外或替代地，當視圖合成預測經啟用用於圖片序列(及，在一些實例中，用於序列中之特定圖片)時，視訊解碼器30可經組態以解碼對應於表4之資料結構(例如，APS)，以判定視圖合成預測是否經啟用用於個別圖塊(或，在一些實例中，用於方塊或波前之類似資料結構)。另外或替代地，當視圖合成預測經啟用用於圖片序列(及，在一些實例中，用於序列中之特定圖片及/或圖塊)時，視訊解碼器30可經組態以解碼對應於表5之資料結構(例如，圖塊 標頭)，以判定視圖合成預測是否經啟用用於個別圖塊(或，在一些實例中，用於方塊或波前之類似資料結構)。

熵解碼單元70可解碼語法資訊，且發送指示視圖合成預測是否經啟用之資訊至視圖合成單元84(在圖3中由「VPS啟用資訊」表示)。視圖合成單元84可經組態而以實質上類似於視圖合成單元66(圖2)之方式來操作。舉例而言，當視圖合成預測經啟用時，視圖合成單元84可使用視圖合成、使用儲存於參考圖框記憶體82中之先前經解碼圖片之紋理及深度資訊來產生一參考圖片(亦即，視圖合成參考圖片)。視圖合成單元84可將經合成圖片儲存於參考圖框記憶體82中。當視圖合成預測未經啟用時，視圖合成單元84無需產生一圖片，此可節省處理資源及/或電池電力。

視圖合成單元84可使用一或多個參考圖片來合成另一視圖。在一些實例中，視圖合成單元84可判定待合成視圖之水平位置，判定先前經寫碼視圖之水平位置，且接著基於先前經寫碼視圖之水平位置來選擇參考視圖。舉例而言，視圖合成單元84可選擇具有最接近待合成視圖之水平位置的左邊的水平位置之第一參考視圖，及具有最接近待合成視圖之水平位置的右邊的水平位置之第二參考視圖。

視圖合成單元84可使用view_id及/或水平偏移資訊來識別參考視圖。在使用view_id值來識別用於視圖合成預測之參考視圖的實例中，若可識別第一參考視圖及第二參考視圖兩者，則視圖合成單元84可自此等兩個參考視圖合成視圖合成參考圖片(在允許兩個參考視圖的情況下)。否則，視圖合成單元84僅可自一個參考視圖合成該視圖合成參考圖片。若僅允許一個參考視圖且識別了第一及第二參考視圖兩者，則可挑選具有較接近的view_id的參考視圖。若兩個參考視圖具有相同的view_id距離，則視圖合成單元84可經組態以選擇具有較小(或較大)view_id之參考視圖。在一些實例中，熵解碼單元70可解碼 語法資訊且將其提供至視圖合成單元84，該語法資訊指示要挑選較小抑或較大view_id。假定視圖合成預測經指示為被啟用，熵解碼單元70可自(例如)SPS或VPS提取此類語法資訊。

在使用水平平移資訊來識別參考視圖的實例中，若可識別第一參考視圖及第二參考視圖兩者，則視圖合成單元84可自此等兩個參考視圖合成視圖合成參考圖片(在允許兩個參考視圖的情況下)。否則，視圖合成單元84僅可自一個參考視圖合成該視圖合成參考圖片。若僅允許一個參考視圖且識別了第一及第二參考視圖兩者，則可挑選具有較接近水平位置的參考視圖。若兩個參考視圖具有距當前視圖之相同距離，則視圖合成單元84可經組態以選擇在左邊(或右邊)的參考視圖。在一些實例中，熵解碼單元70可解碼語法資訊且將其提供至視圖合成單元84，該語法資訊指示要挑選左邊抑或右邊水平位置。假定視圖合成預測經指示為被啟用，熵解碼單元70可自(例如)SPS或VPS提取此類語法資訊。

當視訊圖塊經寫碼為框內寫碼(I)圖塊時，框內預測單元74可基於被信號傳輸之框內預測模式及來自當前圖框或圖片之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為框間寫碼(例如，B、P或GPB)圖塊時，運動補償單元72基於運動向量及自熵解碼單元70接收之其他語法元素而產生當前視訊圖塊之視訊區塊的預測性區塊。可根據參考圖片清單中之一者內的參考圖片中之一者產生預測性區塊。視訊解碼器30可基於儲存於參考圖框記憶體82中之參考圖片使用預設建構技術來建構參考圖框清單，清單0及清單1。

運動補償單元72藉由剖析運動向量及其他語法元素而判定當前視訊圖塊之視訊區塊之預測資訊，且使用該預測資訊以產生正被解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元72使用所接 收語法元素中之一些來判定：用以寫碼視訊圖塊之視訊區塊之預測模式(例如，框內預測、時間框間預測或視圖間預測)；框間預測圖塊類型(例如，B圖塊、P圖塊或GPB圖塊)；用於該圖塊之參考圖片清單中之一或多者的建構資訊；用於該圖塊之每一框間編碼之視訊區塊的運動向量(例如，視差運動向量及/或時間運動向量)；用於該圖塊之每一框間寫碼之視訊區塊之框間預測狀態；及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。

運動補償單元72亦可基於內插濾波器來執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器來計算參考區塊之次整數像素的內插值。在此狀況下，運動補償單元72可根據接收之語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。

根據本發明之技術，運動補償單元72可使用視差運動向量來執行視圖間預測。此類視圖間預測可係相對於另一視圖之先前經解碼圖片或相對於使用視圖合成產生之參考圖片(假定視圖合成預測經啟用)。因此，運動補償單元72可被稱作運動/視差補償單元72。

逆量化單元76逆量化(亦即，解量化)提供於位元串流中且由熵解碼單元70解碼之量化變換係數。逆量化程序可包括使用由視訊解碼器30針對視訊圖塊中之每一視訊區塊計算的量化參數QPY來判定量化程度及(同樣地)應施加的逆量化程度。

逆變換單元78將逆變換(例如，逆DCT、逆整數變換或概念上類似之逆變換程序)應用於變換係數，以便在像素域中產生殘餘區塊。

在運動補償單元72或框內預測單元74基於運動向量及其他語法元素而產生當前視訊區塊之預測性區塊後，視訊解碼器30藉由將來自逆變換單元78之殘餘區塊與對應預測性區塊求和而形成一經解碼視訊區塊。求和器90表示執行此求和運算之(多個)組件。若需要，亦可應 用解區塊濾波器來對經解碼區塊濾波以便移除方塊效應假影。其他迴路濾波器(寫碼迴路中抑或寫碼迴路後)亦可用以使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖框或圖片中之經解碼視訊區塊儲存於參考圖片記憶體82中，參考圖片記憶體82儲存用於後續運動補償之參考圖片。參考圖框記憶體82亦儲存經解碼視訊以用於稍後呈現於一顯示器件上，諸如圖1之顯示器件32。

以此方式，圖3之視訊解碼器30表示經組態以寫碼指示視圖合成預測是否經啟用用於視訊資料之資訊的視訊解碼器之實例。當資訊指示視圖合成預測經啟用用於視訊資料時，視訊解碼器30可使用視訊資料來產生視圖合成圖片，且相對於視圖合成圖片來寫碼當前圖片之至少一部分。當前圖片之至少一部分可包含(例如)區塊(例如，PU、CU、巨型區塊或巨型區塊之分割區)、圖塊、方塊、波前或當前圖片之整體。

圖4為說明實例MVC預測型樣之概念圖。多視圖視訊寫碼(MVC)為ITU-T H.264/AVC之擴展。可將類似技術應用至HEVC。在圖4之實例中，說明八個視圖(具有視圖ID「S0」至「S7」)，且針對每一視圖說明十二個時間位置(「T0」至「T11」)。亦即，圖4中之每一列對應於一視圖，而每一行指示一時間位置。

雖然MVC具有可藉由H.264/AVC解碼器解碼之所謂的基礎視圖及亦可藉由MVC支援之立體視圖對，但MVC之一個優點在於：其可支援使用兩個以上視圖作為3D視訊輸入且解碼由多個視圖表示之此3D視訊的實例。用戶端之具有MVC解碼器之轉譯器可預期具有多個視圖之3D視訊內容。

典型MVC解碼次序配置被稱作時間優先寫碼。存取單元可包括一個輸出時間例項之所有視圖的經寫碼圖片。舉例而言，時間T0之圖片中之每一者可包括於一共同存取單元中，時間T1之圖片中之每一者 可包括於第二共同存取單元中，諸如此類。解碼次序未必與輸出或顯示次序相同。

在圖4中每一列與每一行之相交處使用包括字母之陰影區塊來指示圖4中之圖框，其標定對應圖框經框內寫碼(亦即，I圖框)、抑或在一個方向(亦即，作為P圖框)或多個方向(亦即，作為B圖框)上經框間寫碼。標定為b圖框之圖框(亦即，具有小寫的「b」)亦可在多個方向上經框間寫碼，且一般指代在視圖或時間維度中在寫碼階層上比B圖框(亦即，具有大寫的「B」)低的圖框。一般而言，藉由箭頭來指示預測，其中箭頭指向的圖框使用箭頭源於的物件來進行預測參考。舉例而言，根據視圖S0之處於時間位置T0之I圖框來預測視圖S2之處於時間位置T0之P圖框。

如同單一視圖視訊編碼一樣，可關於不同時間位置處之圖框來預測性編碼一多視圖視訊寫碼視訊序列的圖框。舉例而言，視圖S0之處於時間位置T1之b圖框具有自視圖S0之處於時間位置T0之I圖框指向其之箭頭，從而指示根據該I圖框框間預測該b圖框。然而，另外，在多視圖視訊編碼之背景下，圖框可經視圖間預測。亦即，視圖分量可將其他視圖中之視圖分量用於參考。舉例而言，在MVC中，實現視圖間預測，如同另一視圖中之視圖分量為框間預測參考一樣。可在序列參數集(SPS)MVC擴展中用信號傳輸可能之視圖間參考，且可藉由參考圖片清單建構程序來修改可能之視圖間參考，此舉允許實現框間預測或視圖間預測參考之靈活排序。

在H.264/AVC之MVC擴展中，在同一存取單元中之圖片(亦即，具有相同時間例項之圖片)當中允許視圖間預測。當寫碼非基礎視圖中之一者中之圖片時，若一圖片處於不同視圖中但具有相同時間例項，則可將該圖片添加至參考圖片清單中。正如任何框間預測參考圖片一樣，可將視圖間預測參考圖片置於參考圖片清單之任何位置。

作為一實例，在H.264/AVC之MVC擴展中，視圖間預測由視差運動補償支援，視差運動補償使用H.264/AVC運動補償之語法，但允許將不同視圖中之圖片用作一參考圖片。兩個視圖之寫碼可由MVC支援，該視圖一般稱作立體視圖。MVC之優點中之一者在於MVC編碼器可將兩個以上視圖作為3D視訊輸入，且MVC解碼器可解碼此類多視圖表示。因此，具有MVC解碼器之轉譯器件可預期具有兩個以上視圖之3D視訊內容。

下文表6表示一序列參數集之ITU-T H.264/AVC MVC擴展，其在本文中一般稱作「SPS MVC擴展」。

在表6之SPS MVC擴展之實例中，對於每一視圖，信號傳輸可用以形成參考圖片清單0及參考圖片清單1之視圖數目。如在SPS MVC擴展中信號傳輸之用於錨定圖片之預測關係可不同於同一視圖之非錨定圖片之預測關係(在SPS MVC擴展中予以信號傳輸)。

在ITU-T H.264/AVC之MVC擴展之實例中，若NAL單元類型為首碼NAL單元或MVC VCL NAL單元，則MVC NAL單元含有一個位元組的NAL單元標頭(包括NAL單元類型及nal_ref_idc語法元素)及三個位元組的MVC NAL單元標頭擴展。在MVC擴展之實例中，NAL單元標頭擴展含有以下語法元素：nor_idr_flag，其用以指示NAL單元是否屬於可用作封閉式GOP隨機存取點之IDR存取單元；priority_id，其可用於簡單、一維調適；view_id，其用以指示當前視圖之視圖識別符；temporal_id，其用以指示當前NAL單元之時間位準；anchor_pic_flag，其用以指示NAL單元是否屬於可用作開放式GOP隨機存取點之錨定圖片；及inter_view_flag，其用以指示視圖分量是否被用於其他視圖中的NAL單元之視圖間預測。MVC中之字首NAL單元僅含有NAL單元標頭及其MVC NAL單元標頭擴展。

圖4之視圖S0至S7表示經寫碼視圖之實例，亦即，在位元串流中提供了其經寫碼資訊的視圖。根據本發明之技術，可在視圖S0至S7之間合成額外視圖。舉例而言，可在視圖S0與S1之間合成一視圖。為了合成此類視圖之圖片，可使用視圖S0及S2中的圖片之紋理及深度資訊。舉例而言，為了合成時間T1處之參考圖片，可使用來自視圖S0及/或S2之在時間T1之圖片的紋理及深度資訊。諸如視訊編碼器20或視訊解碼器30之視訊寫碼器可內插用於經合成視圖之此類圖片之像素 資料以用作寫碼另一圖片(例如，在時間T1之視圖S1之圖片)之參考。

根據本發明之技術，可提供指示視圖合成預測是否經啟用(例如，用於包括視圖S0至S7之資料的位元串流或用於此類位元串流之作業點)的語法資訊。舉例而言，作業點可包括視圖S0、S1及S2。用於此作業點之語法資訊可指示視圖合成預測未經啟用。因此，當寫碼此作業點時，視訊寫碼器件無需產生用於經合成視圖之資料，此可節省處理資源及電池電力。然而，用於另一作業點(例如，包括視圖S0、S2、S3及S4之作業點)之語法資訊可指示視圖合成預測經啟用。在此實例中，可在視圖S2與S4之間合成視圖，且在視圖合成預測期間將其用作參考以寫碼視圖S3之圖片。

圖5為說明用於寫碼關於視圖合成預測之資訊之實例方法的流程圖。關於視訊編碼器20(圖1及圖2)來解釋圖5之方法。然而，應理解，其他視訊寫碼器件可經組態以執行一類似方法。此外，可以不同次序或並行地執行該方法中之某些步驟。類似地，在各種實例中，可省略某些步驟，且可添加其他步驟。

在圖5之實例中，視訊編碼器20判定是否啟用視圖合成預測(15)。舉例而言，視訊編碼器20可接收指示視圖合成預測是否應被啟用用於特定位元串流或位元串流之作業點的組態資料。另外或替代地，視訊編碼器20可測試各種寫碼模式(包括視圖合成預測)，以判定得出可接受寫碼效能之一預測模式或預測模式之組合。當啟用視圖合成預測得到寫碼效能之充分增益(例如，與處理資源及電池電力之更多使用相權衡)時，視訊編碼器20可啟用視圖合成預測。

視訊編碼器20亦可基於來自步驟150之判定來編碼指示視圖合成預測是否經啟用的資訊(152)。舉例而言，視訊編碼器20可根據表1及表2中之一者來編碼SPS以指示視圖合成預測是否經啟用用於一圖片序列。當視圖合成預測經啟用用於該序列中之至少一圖片時，視訊編 碼器20可編碼SPS以指示視圖合成預測經啟用用於該圖片序列。另一方面，當視圖合成預測未用於該序列中的圖片中之任一者時，視訊編碼器20可編碼SPS以指示視圖合成預測未經啟用用於該圖片序列。

當SPS指示視圖合成預測經啟用時，視訊編碼器20可進一步編碼較細粒的資料結構以指示視圖合成預測是否經啟用用於低階經寫碼單元，諸如個別圖片、圖塊、方塊或波前。視訊編碼器20可編碼PPS以指示視圖合成預測是否經啟用用於一圖片，如關於表3所論述。更特定言之，視訊編碼器20可編碼各種PPS，及寫碼一圖片之語法資訊(例如，圖片標頭或圖塊標頭)以參考該等PPS中之指示視圖合成預測是否經啟用(如上文所判定)的PPS之PPS識別符(PPS id)。類似地，如分別關於表4及表5論述，視訊編碼器20可編碼APS及/或圖塊標頭以指示視圖合成預測是否經啟用用於一圖塊。

當視圖合成預測未經啟用時(154之「否」分支)，視訊編碼器20可判定用於當前圖片之區塊的寫碼模式(156)。可用寫碼模式可包括框內預測、時間框間預測及視圖間預測(假定當前視圖為非基礎視圖)。如上文論述，視訊編碼器20可基於(例如)各種經測試寫碼模式之RDO效能來選擇一圖片或圖塊之每一區塊之寫碼模式。視訊編碼器20接著可使用各別所判定模式來編碼當前圖片之區塊(158)。以此方式，當視圖合成預測未經啟用時，視訊編碼器20可在不參考任何視圖合成圖片的情況下編碼當前圖片之區塊。

另一方面，當視圖合成預測經啟用時(154之「是」分支)，視訊編碼器20可判定用於執行視圖合成之一或多個參考視圖(160)。舉例而言，如上文論述，視訊編碼器20可使用view_id值及/或水平平移資訊來識別參考視圖。視訊編碼器20接著可相對於一或多個參考視圖圖片來產生一視圖合成圖片(162)。視訊編碼器20亦可編碼參考視圖識別資訊(164)。視訊編碼器20可進一步相對於視圖合成圖片來編碼當 前圖片之至少一部分(166)。詳言之，視訊編碼器20可選擇當前圖片之每一區塊的寫碼模式，其可包括視圖合成預測模式。因為視訊編碼器20啟用當前圖片之視圖合成預測，所以可相對於視圖合成參考圖片來編碼當前圖片之當前圖片之至少一部分(例如，圖塊、方塊、波前或一或多個區塊)。

以此方式，圖5之方法表示一方法之實例，該方法包括寫碼指示視圖合成預測是否經啟用用於視訊資料之資訊，且當該資訊指示視圖合成預測經啟用用於視訊資料時，使用該視訊資料產生一視圖合成圖片，及相對於該視圖合成圖片來寫碼當前圖片之至少一部分。另一方面，如上文所述，當該資訊指示視圖合成預測未經啟用用於視訊資料時，該方法可包括在不參考任何視圖合成圖片的情況下使用框內預測、時間框間預測及視圖間預測中之至少一者來寫碼當前圖片。

圖6為說明用於寫碼關於視圖合成預測之資訊之實例方法的流程圖。關於視訊解碼器30(圖1及圖3)來解釋圖6之方法。然而，應理解，其他視訊寫碼器件可經組態以執行一類似方法。此外，可以不同次序或並行地執行該方法中之某些步驟。類似地，在各種實例中，可省略某些步驟，且可添加其他步驟。

最初，視訊解碼器30可解碼指示視圖合成預測是否經啟用之資訊(200)。該資訊可包括資訊之階層配置，如關於表1至表5論述。舉例而言，若SPS指示視圖合成預測經啟用用於一圖片序列，則視訊解碼器30可針對該序列中之每一圖片(例如)使用對應PPS資料結構來判定視圖合成預測是否經啟用。另外或替代地，若視圖合成預測經啟用用於一圖片序列或序列中之個別圖片，則視訊解碼器30可(例如)使用在APS及/或圖塊標頭(或方塊標頭或波前標頭，或對應參數集資料結構)中信號傳輸之資料來進一步判定視圖合成預測是否經啟用用於一個別圖塊(或方塊或波前)。

當該資訊指示視圖合成預測未經啟用時(202之「否」分支)，視訊解碼器30可(例如)使用針對區塊而信號傳輸之語法資料來判定用於當前圖片之區塊的寫碼模式(204)。在此狀況下，視訊解碼器30無需產生一視圖合成參考圖片，此可節省處理資源及/或電池電力。視訊解碼器30接著可使用各別判定之寫碼模式(例如，框內預測、時間框間預測及/或視圖間預測)來解碼當前圖片之區塊(206)。以此方式，當該資訊指示視圖合成預測未經啟用用於視訊資料時，視訊解碼器30可在不參考任何視圖合成圖片的情況下使用框內預測、時間框間預測及視圖間預測中之至少一者來解碼當前圖片。

另一方面，當該資訊指示視圖合成預測經啟用時(202之「是」分支)，視訊解碼器30可解碼參考視圖識別資訊(例如，view_id及/或水平偏移資訊)(208)。藉由使用此識別資訊，視訊解碼器30可判定將用於視圖合成之一或多個參考視圖(210)。視訊解碼器30接著可相對於一或多個參考視圖之圖片來產生一視圖合成圖片(212)。視訊解碼器30可進一步相對於視圖合成圖片來解碼至少一部分(例如，一或多個區塊、圖塊、方塊、波前或甚至整個圖片)(214)。

以此方式，圖6之方法表示一方法之實例，該方法包括寫碼指示視圖合成預測是否經啟用用於視訊資料之資訊，且當該資訊指示視圖合成預測經啟用用於視訊資料時，使用該視訊資料產生一視圖合成圖片，及相對於該視圖合成圖片來寫碼當前圖片之至少一部分。另一方面，如上文所述，當該資訊指示視圖合成預測未經啟用用於視訊資料時，該方法可包括在不參考任何視圖合成圖片的情況下使用框內預測、時間框間預測及視圖間預測中之至少一者來寫碼當前圖片。

應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以一不同序列執行，可被增添、合併或完全省略(例如，並非所有所描述之動作或事件皆係對於實踐該等技術為必要 的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器同時而非順序地執行動作或事件。

在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體而傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括一電腦可讀媒體。

藉由實例而非限制，此類電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，任何連接可適當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纖纜線、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纖纜線、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是針對非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各 物之組合亦應包括於電腦可讀媒體之範疇內。

可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路之一或多個處理器來執行指令。因此，本文中所使用之術語「處理器」可指代上述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。

本發明之技術可實施於多種器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片集)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術的器件之功能態樣，但未必要求藉由不同硬體單元來實現。實情為，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合且結合適合軟體及/或韌體來提供該等單元。

已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。

Claims (48)

1. 一種寫碼視訊資料之方法，該方法包含：寫碼指示視圖合成預測是否經啟用用於視訊資料之一或多個圖片的資訊；基於該資訊指示視圖合成預測經啟用用於該視訊資料之該或該等圖片：使用該視訊資料之該或該等圖片產生一視圖合成圖片；寫碼表示該或該等圖片之一當前圖片之至少一部分的一選定寫碼模式的一值，該值指示是否使用一視圖合成預測寫碼模式預測該至少一部分，其中該值與指示視圖合成預測是否經啟用用於該或該等圖片之該資訊分開；及基於該值指示使用該視圖合成預測寫碼模式預測該至少一部分，相對於該視圖合成圖片寫碼該至少一部分。
2. 如請求項1之方法，其中寫碼該資訊包含寫碼對應於該當前圖片之該至少一部分之一參數集的一語法元素。
3. 如請求項2之方法，其中寫碼該語法元素包含寫碼對應於包括該或該等圖片之一圖片序列之一序列參數集的一語法元素，使得該語法元素指示視圖合成預測是否經啟用用於相對應的該圖片序列。
4. 如請求項2之方法，其中寫碼該語法元素包含寫碼對應於該當前圖片之一圖片參數集及對應於包含該當前圖片之該至少一部分的一圖塊之一存取單元層級參數集中之至少一者的一語法元素。
5. 如請求項4之方法，其中該存取單元層級參數集包含一調適參數 集及一深度參數集中之一者。
6. 如請求項1之方法，其中該當前圖片之該至少一部分包含一當前圖塊，且其中寫碼該資訊包含寫碼該當前圖塊之一圖塊標頭之一語法元素。
7. 如請求項1之方法，進一步包含寫碼用來產生該視圖合成圖片之一參考視圖之識別資訊，其中產生該視圖合成圖片包含相對於該參考視圖之一圖片來產生該視圖合成圖片。
8. 如請求項7之方法，其中寫碼該識別資訊包含基於該參考視圖之一視圖識別符(view_id)寫碼一值。
9. 如請求項7之方法，其中寫碼該識別資訊包含基於該參考視圖之水平平移資訊來寫碼一值。
10. 如請求項1之方法，進一步包含，基於該資訊指示視圖合成預測未經啟用用於該視訊資料，在不參考任何視圖合成圖片的情況下使用框內預測、時間框間預測及視圖間預測中之至少一者來寫碼該當前圖片。
11. 如請求項1之方法，其中當該資訊指示視圖合成預測未經啟用用於該視訊資料時，在寫碼該視訊資料的同時不產生視圖合成圖片。
12. 如請求項1之方法，其中寫碼該當前圖片之該至少一部分包含解碼該當前圖片之該至少一部分。
13. 如請求項1之方法，其中寫碼該當前圖片之該至少一部分包含編碼該當前圖片之該至少一部分。
14. 如請求項1之方法，其中該當前圖片之該至少一部分包含該當前圖片之一寫碼單元之一預測單元，及其中該值包含用於表示該預測單元之一寫碼模式之一語法元素的一值。
15. 一種用於寫碼視訊資料之器件，該器件包含： 經組態以儲存視訊資料之一記憶體；及一視訊寫碼器，該視訊寫碼器經組態以：寫碼指示視圖合成預測是否經啟用用於視訊資料之一或多個圖片之資訊，且基於該資訊指示視圖合成預測經啟用用於該視訊資料之該或該等圖片：使用該視訊資料之該或該等圖片產生一視圖合成圖片，寫碼表示該或該等圖片之一當前圖片之至少一部分的一選定寫碼模式的一值，該值指示是否使用一視圖合成預測寫碼模式預測該至少一部分，其中該值與指示視圖合成預測是否經啟用用於該或該等圖片之該資訊分開，及基於該值指示使用該視圖合成預測寫碼模式預測該至少一部分，相對於該視圖合成圖片來寫碼該至少一部分。
16. 如請求項15之器件，其中該視訊寫碼器經組態以寫碼對應於該當前圖片之該至少一部分之一參數集的一語法元素。
17. 如請求項16之器件，其中該視訊寫碼器經組態以寫碼對應於包括該或該等圖片之一圖片序列之一序列參數集的一語法元素，使得該語法元素指示視圖合成預測是否經啟用用於相對應的該圖片序列。
18. 如請求項16之器件，其中該視訊寫碼器經組態以寫碼對應於該當前圖片之一圖片參數集及對應於包含該當前圖片之該至少一部分的一圖塊之一存取單元層級參數集中之至少一者的一語法元素。
19. 如請求項15之器件，其中該當前圖片之該至少一部分包含一當前圖塊，且其中該視訊寫碼器經組態以寫碼該當前圖塊之一圖塊標頭之一語法元素。
20. 如請求項15之器件，其中該視訊寫碼器經進一步組態以寫碼用來產生該視圖合成圖片之一參考視圖之識別資訊，且其中該視訊寫碼器經組態以相對於該參考視圖之一圖片來產生該視圖合成圖片。
21. 如請求項20之器件，其中該視訊寫碼器經組態以寫碼該參考視圖之一視圖識別符(view_id)作為該識別資訊。
22. 如請求項20之器件，其中該視訊寫碼器經組態以寫碼該參考視圖之水平平移資訊作為該識別資訊。
23. 如請求項15之器件，其中當該資訊指示視圖合成預測未經啟用用於該視訊資料時，該視訊寫碼器經組態以在不參考任何視圖合成圖片的情況下使用框內預測、時間框間預測及視圖間預測中之至少一者來寫碼該當前圖片。
24. 如請求項15之器件，其中該視訊寫碼器包含一視訊解碼器。
25. 如請求項15之器件，其中該視訊寫碼器包含一視訊編碼器。
26. 如請求項15之器件，其中該器件包含以下各項中之至少一者：一積體電路；一微處理器；及一無線通信器件，其包括該視訊寫碼器。
27. 一種用於寫碼視訊資料之器件，該器件包含：用於寫碼指示視圖合成預測是否經啟用用於視訊資料之一或多個圖片的資訊的構件；用於基於該資訊指示視圖合成預測經啟用用於該視訊資料之該或該等圖片而使用該視訊資料之該或該等圖片產生一視圖合成圖片的構件；用於基於該資訊指示視圖合成預測經啟用用於該視訊資料之該或該等圖片而寫碼表示該或該等圖片之一當前圖片之至少一 部分的一選定寫碼模式的一值的構件，該值指示是否使用一視圖合成預測寫碼模式預測該至少一部分，其中該值與指示視圖合成預測是否經啟用用於該或該等圖片之該資訊分開；及用於基於該資訊指示視圖合成預測經啟用用於該視訊資料之該或該等圖片且基於該值指示使用該視圖合成預測寫碼模式預測該至少一部分而相對於該視圖合成圖片來寫碼該至少一部分的構件。
28. 如請求項27之器件，其中該用於寫碼該資訊的構件包含用於寫碼對應於該當前圖片之該至少一部分之一參數集的一語法元素的構件。
29. 如請求項28之器件，其中該用於寫碼該語法元素的構件包含用於寫碼對應於包括該或該等圖片之一圖片序列之一序列參數集的一語法元素的構件，使得該語法元素指示視圖合成預測是否經啟用用於相對應的該圖片序列。
30. 如請求項28之器件，其中該用於寫碼該語法元素的構件包含用於寫碼對應於該當前圖片之一圖片參數集及對應於包含該當前圖片之該至少一部分的一圖塊之一存取單元層級參數集中之至少一者的一語法元素的構件。
31. 如請求項27之器件，其中該當前圖片之該至少一部分包含一當前圖塊，且其中該用於寫碼該資訊的構件包含用於寫碼該當前圖塊之一圖塊標頭之一語法元素的構件。
32. 如請求項27之器件，進一步包含用於寫碼用來產生該視圖合成圖片之一參考視圖之識別資訊的構件，其中該用於產生該視圖合成圖片的構件包含用於相對於該參考視圖之一圖片來產生該視圖合成圖片的構件。
33. 如請求項32之器件，其中該用於寫碼該識別資訊的構件包含用 於寫碼該參考視圖之一視圖識別符(view_id)的構件。
34. 如請求項32之器件，其中該用於寫碼該識別資訊的構件包含用於寫碼該參考視圖之水平平移資訊的構件。
35. 如請求項27之器件，進一步包含用於當該資訊指示視圖合成預測未經啟用用於該視訊資料時在不參考任何視圖合成圖片的情況下使用框內預測、時間框間預測及視圖間預測中之至少一者來寫碼該當前圖片的構件。
36. 如請求項27之器件，其中該用於寫碼該當前圖片之該至少一部分的構件包含用於解碼該當前圖片之該至少一部分的構件。
37. 如請求項27之器件，其中該用於寫碼該當前圖片之該至少一部分的構件包含用於編碼該當前圖片之該至少一部分的構件。
38. 一種其上儲存有指令之電腦可讀儲存媒體，當執行該等指令時使一處理器進行以下動作：寫碼指示視圖合成預測是否經啟用用於視訊資料之一或多個圖片的資訊；基於該資訊指示視圖合成預測經啟用用於該視訊資料之該或該等圖片：使用該視訊資料之該或該等圖片產生一視圖合成圖片；寫碼表示該或該等圖片之一當前圖片之至少一部分的一選定寫碼模式的一值，該值指示是否使用一視圖合成預測寫碼模式預測該至少一部分，其中該值與指示視圖合成預測是否經啟用用於該或該等圖片之該資訊分開；及基於該值指示使用該視圖合成預測寫碼模式預測該至少一部分，相對於該視圖合成圖片寫碼該至少一部分。
39. 如請求項38之電腦可讀儲存媒體，其中使該處理器寫碼該資訊之該等指令包含使該處理器寫碼對應於該當前圖片之該至少一 部分之一參數集的一語法元素的指令。
40. 如請求項39之電腦可讀儲存媒體，其中使該處理器寫碼該語法元素之該等指令包含使該處理器寫碼對應於包括該或該等圖片之一圖片序列之一序列參數集的一語法元素的指令，使得該語法元素指示視圖合成預測是否經啟用用於相對應的該圖片序列。
41. 如請求項39之電腦可讀儲存媒體，其中使該處理器寫碼該語法元素之該等指令包含使該處理器寫碼對應於該當前圖片之一圖片參數集及對應於包含該當前圖片之該至少一部分的一圖塊之一存取單元層級參數集中之至少一者的一語法元素的指令。
42. 如請求項38之電腦可讀儲存媒體，其中該當前圖片之該至少一部分包含一當前圖塊，且其中使該處理器寫碼該資訊之該等指令包含使該處理器寫碼該當前圖塊之一圖塊標頭之一語法元素的指令。
43. 如請求項38之電腦可讀儲存媒體，進一步包含使該處理器寫碼用來產生該視圖合成圖片之一參考視圖之識別資訊的指令，其中使該處理器產生該視圖合成圖片之該等指令包含使該處理器相對於該參考視圖之一圖片來產生該視圖合成圖片的指令。
44. 如請求項43之電腦可讀儲存媒體，其中使該處理器寫碼該識別資訊之該等指令包含使該處理器寫碼該參考視圖之一視圖識別符(view_id)的指令。
45. 如請求項43之電腦可讀儲存媒體，其中使該處理器寫碼該識別資訊之該等指令包含使該處理器寫碼該參考視圖之水平平移資訊的指令。
46. 如請求項38之電腦可讀儲存媒體，進一步包含使該處理器基於該資訊指示視圖合成預測未經啟用用於該視訊資料而在不參考 任何視圖合成圖片的情況下使用框內預測、時間框間預測及視圖間預測中之至少一者來寫碼該當前圖片的指令。
47. 如請求項38之電腦可讀儲存媒體，其中使該處理器寫碼該當前圖片之該至少一部分之該等指令包含使該處理器解碼該當前圖片之該至少一部分的指令。
48. 如請求項38之電腦可讀儲存媒體，其中使該處理器寫碼該當前圖片之該至少一部分之該等指令包含使該處理器編碼該當前圖片之該至少一部分的指令。