TWI532365B

TWI532365B - 視訊寫碼中之目標輸出層

Info

Publication number: TWI532365B
Application number: TW102139401A
Authority: TW
Inventors: 陳盈; 王益魁
Original assignee: 高通公司
Priority date: 2012-10-30
Filing date: 2013-10-30
Publication date: 2016-05-01
Also published as: AP2015008435A0; ES2730876T3; CN104782131A; TW201433146A; US9936196B2; MA38045A1; BR112015008574A2; BR112015008574B1; KR20150079732A; CN104782131B; ECSP15021478A; KR101909331B1; JP6377623B2; US20140119437A1; SA515360352B1; JP2015537446A; EP2915334B1; EP2915334A1; WO2014070911A1; MA38045B1

Description

視訊寫碼中之目標輸出層

本申請案主張2012年10月30日申請之美國臨時專利申請案第61/720,364號之權利，該申請案之全部內容特此以引用之方式併入。

本發明係關於視訊寫碼。

數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板型電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主機、蜂巢式或衛星無線電電話、所謂的「智慧型手機」、視訊電話會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊寫碼技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分「進階視訊寫碼(AVC)」定義之標準、目前正在開發之高效率視訊寫碼(HEVC)標準及此等標準之擴展(諸如可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC))中所描述的彼等視訊寫碼技術。Bross等人之HEVC之工作草案(WD)的版本6「High efficiency video coding(HEVC)text specification draft 6」(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之關於視訊寫碼之聯合合作團隊(JCT-VC)，2012年2月1日至10日美國加利福尼亞聖荷西第8次會議)可自http：//phenix.it-sudparis.eu/jct/doc_end_user/current_document.php？id=5096獲得。視訊器件可藉由實施此等視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。

視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼而言，可將一視訊截塊(例如，一視訊圖像或一視訊圖像之一部分)分割為視訊區塊，該等視訊區塊亦可稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。圖像之框內寫碼(I)截塊中的視訊區塊係使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之框間寫碼(P或B)截塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本之時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。

空間預測或時間預測導致待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料來編碼框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致殘餘變換係數，可接著量化殘餘變換係數。可掃描最初配置成二維陣列之經量化之變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。

本發明之技術包括在多視圖視訊寫碼及/或可調式視訊寫碼中判定一或多個目標輸出層。舉例而言，如當前HEVC基本規範(如上文所提及之WD 6)中所定義之操作點可包括數個視訊資料層，使得一操作點係指具有視訊資料位元串流之一或多個層的層集合。在一些個例中，僅此等層之一子集可經解碼用於輸出(例如，顯示)。根據本發明之態樣，可定義具體地識別供輸出的目標視訊資料層的輸出操作點。

在一個實例中，一種解碼視訊資料之方法包括：自一多層位元串流獲得包括複數個層集合之複數個視訊資料層，其中每一層集合含有該複數個層中之一或多個視訊資料層；及基於該位元串流之一或多個語法元素來判定一或多個輸出操作點，其中每一輸出操作點係與該複數個層集合中之一層集合及該複數個層中之一或多個目標輸出層相關聯。

在另一實例中，一種用於編碼視訊資料之方法包括：編碼包括複數個層集合之複數個視訊資料層，其中每一層集合含有該複數個層中之一或多個視訊資料層；及編碼指示一或多個輸出操作點的一或多個語法元素，其中每一輸出操作點係與該複數個層集合中之一層集合及該複數個層中之一或多個目標輸出層相關聯。

在另一實例中，一種裝置包括一或多個處理器，該一或多個處理器經組態以對包含複數個視訊資料層之一多層位元串流進行寫碼，其中該複數個視訊資料層係與複數個層集合相關聯，且其中每一層集合含有該複數個層中之一或多個視訊資料層；及對該位元串流之指示一或多個輸出操作點的一或多個語法元素進行寫碼，其中每一輸出操作點係與該複數個層集合中之一層集合及該複數個層中之一或多個目標輸出層相關聯。

在另一實例中，一種用於寫碼視訊資料之器件包括：用於對包含複數個視訊資料層之一多層位元串流進行寫碼的構件，其中該複數個視訊資料層係與複數個層集合相關聯，且其中每一層集合含有該複數個層中之一或多個視訊資料層；及用於對該位元串流之指示一或多個輸出操作點的一或多個語法元素進行寫碼的構件，其中每一輸出操作點係與該複數個層集合中之一層集合及該複數個層中之一或多個目標輸出層相關聯。

在另一實例中，一種暫態式電腦可讀儲存媒體上面儲存有指令，該等指令在執行時使得用於對視訊資料進行寫碼之一器件的一處理器進行以下操作：對包含複數個視訊資料層之一多層位元串流進行寫碼，其中該複數個視訊資料層係與複數個層集合相關聯，且其中每一層集合含有該複數個層中之一或多個視訊資料層；及對該位元串流之指示一或多個輸出操作點的一或多個語法元素進行寫碼，其中每一輸出操作點係與該複數個層集合中之一層集合及該複數個層中之一或多個目標輸出層相關聯。

一或多個實例之細節闡述於隨附圖式及以下描述中。其他特徵、目標及優點將自該描述及該等圖式以及自申請專利範圍顯而易見。

10‧‧‧實例視訊編碼及解碼系統

12‧‧‧源器件

14‧‧‧目的地器件

16‧‧‧電腦可讀媒體

18‧‧‧視訊源

20‧‧‧視訊編碼器

22‧‧‧輸出介面

24‧‧‧傳輸器

28‧‧‧輸入介面

30‧‧‧視訊解碼器

32‧‧‧顯示器件

34‧‧‧伺服器/內容遞送網路

36‧‧‧路由器

40‧‧‧模式選擇單元

42‧‧‧運動估計單元

44‧‧‧運動補償單元

46‧‧‧框內預測單元

48‧‧‧分割單元

50‧‧‧求和器

52‧‧‧變換處理單元

54‧‧‧量化單元

56‧‧‧熵編碼單元

58‧‧‧反量化單元

60‧‧‧反變換單元

62‧‧‧求和器

64‧‧‧參考圖像記憶體

70‧‧‧熵解碼單元

72‧‧‧運動補償單元

74‧‧‧框內預測單元

76‧‧‧反量化單元

78‧‧‧反變換單元

82‧‧‧參考圖像記憶體

80‧‧‧求和器

S0‧‧‧視圖

S1‧‧‧視圖

S2‧‧‧視圖

S3‧‧‧視圖

S4‧‧‧視圖

S5‧‧‧視圖

S6‧‧‧視圖

S7‧‧‧視圖

T0‧‧‧時間位置

T1‧‧‧時間位置

T2‧‧‧時間位置

T3‧‧‧時間位置

T4‧‧‧時間位置

T5‧‧‧時間位置

T6‧‧‧時間位置

T7‧‧‧時間位置

T8‧‧‧時間位置

T9‧‧‧時間位置

T10‧‧‧時間位置

T11‧‧‧時間位置

圖1為根據本發明之態樣的說明可利用用於判定一或多個目標輸出層之技術的實例視訊編碼及解碼系統的方塊圖。

圖2為根據本發明之態樣的說明可實施用於判定一或多個目標輸出層之技術的視訊編碼器之實例的方塊圖。

圖3為根據本發明之態樣的說明可實施用於判定一或多個目標輸出層之技術的視訊解碼器30之實例的方塊圖。

圖4為說明實例MVC預測型樣的概念圖。

圖5為說明實例可調式視訊寫碼序列的概念圖。

圖6為根據本發明之態樣的說明用於編碼輸出操作點之實例程序的流程圖。

圖7為根據本發明之態樣的說明用於解碼輸出操作點之實例程序的流程圖。

本發明之技術包括在多視圖視訊寫碼及/或可調式視訊寫碼中判定一或多個目標輸出層。當前，運動圖像專家群組(MPEG)正基於即將來臨之高效率視訊寫碼(HEVC)標準開發三維視訊(3DV)標準。標準化努力之一部分亦包括基於HEVC之多視圖視訊編碼解碼器及可調式視訊編碼解碼器的標準化。舉例而言，一個標準化努力包括開發被稱作MV-HEVC之HEVC的多視圖擴展，且另一努力係稱作3D-HEVC之深度增強型基於HEVC的全3DV編碼解碼器。關於可調式視訊寫碼，視圖可調性及/或空間可調性亦可有助於三維視訊服務，因而此等可調性允許實現用於更多視圖之回溯相容擴展，及/或以允許由舊版器件進行解碼的方式增強視圖的解析度。

對於三維視訊資料，一般而言，每一視圖對應於藉以俘獲常見場景之對應視訊資料的不同視角或角度。經寫碼視圖可用於視訊資料之三維(3D)顯示。舉例而言，可使用不同偏振之光而同時或接近同時地顯示兩個視圖(例如，人類檢視者之左眼視圖及右眼視圖)，且檢視者可佩戴被動型偏光眼鏡，使得檢視者之眼睛中每一者接收到該等視圖中之一各別視圖。或者，檢視者可佩戴獨立地遮擋每一眼睛之主動型眼鏡，且顯示器可與眼鏡同步而在每一眼睛之影像之間快速交替。

藉由諸如如在ITU-TH.264標準(或者被稱作MPEG-4第10部分「進階視訊寫碼(AVC)標準」)之附錄H中所闡述之多視圖視訊寫碼(MVC)的多視圖寫碼，特定視圖之特定圖像被稱作視圖分量。亦即，視圖之視圖分量對應於視圖的特定時間執行個體。多視圖視訊可含有相對大量之視圖間統計相依性，此係由於用以俘獲多視圖資料之所有攝影機自不同視點俘獲同一場景。此等相依性可被利用於組合式時間及/或視圖間預測，其中不僅自時間上相鄰之影像而且自來自其他視.圖的對應影像來預測影像。亦即，可在同一存取單元中(亦即，在同一時間執行個體內)之圖像當中執行視圖間預測。

如上文所提及，可調式視訊寫碼亦可用以對多個視圖寫碼以提供視圖可調性及/或空間可調性。舉例而言，可調式視訊寫碼(SVC)在 H.264/AVC標準之附錄G中予以描述，且可用以對視訊資料的多個層進行寫碼。在一些個例中，每一層可對應於特定視圖。

如本文中所描述，視訊「層」可通常係指具有至少一共同特性(諸如視圖、圖框率、解析度或其類似者)的圖像之序列。舉例而言，層可包括與多視圖視訊資料之特定視圖相關聯的視訊資料。作為另一實例，層可包括與可調式視訊資料之特定層相關聯的視訊資料。因此，本發明可互換地提及視訊資料之層及視圖。

在任何狀況下，視訊寫碼器(諸如，如下文更詳細地描述之視訊編碼器或視訊解碼器)可使用一或多個參數集來描述或判定經寫碼視訊資料的多種特性。藉由參數集，不需要對於每一圖像或圖像序列重複很少改變之資訊，藉此增加寫碼效率。在一些個例中，參數集可形成視訊位元串流的一部分。在其他個例中，參數集可以其他方式由視訊解碼器來接收(例如，頻帶外傳輸、硬寫碼或其類似者)。經寫碼視訊序列與其相關聯參數集一起可表示視訊位元串流的可獨立解碼部分。

HEVC繼承H.264/AVC之參數集概念，但包括若干修改及添加。一般而言，序列參數集(SPS)含有應用至經寫碼視訊序列之所有截塊的資訊。在HEVC中，經寫碼視訊序列含有在第一瞬時解碼再新(instantaneous decoding refresh,IDR)圖像(包括於序列中)與之後的IDR圖像(不包括於序列中)或位元串流之結束(若第一IDR圖像係位元串流中之最後一個IDR圖像)之間的所有圖像。圖像參數集(PPS)含有可在圖像間改變的資訊。

HEVC亦包括視訊參數集(VPS)結構。一般而言，VPS描述經寫碼視訊序列的總體特性，包括時間子層之間的相依性。VPS可允許實現HEVC標準在系統層處的相容擴充性。舉例而言，VPS可提供關於可調式或多視圖位元串流結構的額外資訊，該資訊針對能夠解碼此等層之解碼器可係相關的，但允許舊版解碼器來解碼基本層並忽略此等層。

當多個視訊資料層包括於位元串流中時，操作點可用以對來自位元串流之某些層進行剖析或抽取。舉例而言，多層位元串流可包括複數個操作點以促進解碼並顯示所接收經編碼資料的子集。如本文中所描述，「操作點」可通常係指可包括一或多個視訊資料層的層集合。如上文所提及，層通常可指具有至少一共同特性(諸如視圖、圖框率、解析度或其類似者)的圖像之序列(例如，視訊資料之視圖、可調式視訊資料的層及其類似者)。因此，操作點可指具有一或多個視訊資料視圖、一或多個視訊資料層或其類似者的層集合。因而，本文中可互換地使用「操作點」與「層集合」。

使用不同操作點可允許各種用戶端器件來執行調適。亦即，具有不同呈現及解碼能力之用戶端器件可抽取不同視圖以顯示二維或三維視訊資料。用戶端器件亦可與伺服器器件協商以擷取具可變位元速率的資料以適應於具各種頻寬能力的輸送媒體。

因此，每一操作點可表示以可變時間圖框率及空間解析度編碼之多視圖視訊資料視圖之視圖的不同組合及/或可調式視訊資料層的不同組合(例如，不同層集合)。換言之，操作點可指在包括以下各者之三個維度上對多視圖視訊資料的編碼：視圖維度(反映視圖之數目)、時間維度(反映圖框率)及空間維度(反映空間解析度)。在一些個例中，一個以上操作點可係與同一位元串流子集相關聯。亦即，一個以上層集合可係與同一位元串流相關聯，使得位元串流包括一或多個層集合。

視訊編碼器可定義針對基本視圖/層與增強視圖/層之各種組合的數個層集合。特定層集合可包括數個視訊資料層，包括用於顯示的一或多個目標輸出層。舉例而言，目標輸出視圖可包括多視圖視訊資料的意欲輸出(例如，在顯示時可檢視)之一視圖。同樣，目標輸出層可包括意欲輸出之一可調式視訊資料層。如本文中所描述，可互換地使用目標輸出視圖與目標輸出層。

舉例而言，關於MVC，可在SPS中傳信(signal)操作點。MVC資料之目標輸出視圖可與MVC資料之目標最高時間層級一起經傳信。關於SVC，可根據操作點的(例如)具有最高dependency_id及quality_id之最高層來自動地選擇目標輸出層。關於HEVC，操作點可指定子位元串流，可基於該子位元串流之最高時間層級來抽取該子位元串流。HEVC亦可使用可被重命名為layer_id之nuh_reserved_zero_6bits值的清單。

當調適HEVC以供多個視訊資料層使用時，諸如針對HEVC之多視圖寫碼擴展(MV-HEVC)，可單獨地在VPS中傳信操作點。舉例而言，可針對每一操作點在VPS中傳信存在於位元串流(待解碼)中之視圖。關於HEVC之可調式擴展(HSVC或者替代性地SHVC)的標準化，預期到具有最高layer_id之層將係特定操作點的目標輸出層。

包括使用VPS結構之針對HEVC中之操作點的當前方法在藉由多個層寫碼時可具有缺陷。舉例而言，定義於HEVC中之操作點對於位元串流抽取用途可係足夠的，但VPS並不指定操作點的目標輸出視圖/層。亦即，VPS並不識別視訊資料的意欲顯示之特定層。

在不知曉哪些層係目標輸出層之情況下，不用於輸出之某些層的經解碼圖像可被保持於經解碼圖像緩衝器(DPB)中歷時比所需時間長的時間，藉此增加多視圖序列的儲存要求。此外，當多個視圖包括於子位元串流中時，內容提供者可能想要控制解碼哪些子位元串流並提供該等子位元串流作為至顯示器的輸出以控制觀看體驗。舉例而言，內容提供者可能不想允許使用者觀看來自某子位元串流或子位元串流之組合的圖像。在HEVC之當前VPS方案下，此控制可能不可用。

本發明之技術包括自包括數個層集合(各自含有一或多個視訊資料層)之複數個視訊資料層判定與數個層集合中之一層集合及一或多個目標輸出層相關聯的一或多個輸出操作點。舉例而言，本發明之技術包括判定輸出操作點，該輸出操作點識別多視圖視訊資料之一或多個目標輸出視圖及/或可調式視訊資料之一或多個目標輸出層。

本發明之技術亦包括藉由視訊編碼器傳信指示輸出操作點及/或目標輸出層的一或多個語法元素，及藉由視訊解碼器自經編碼位元串流剖析指示輸出操作點及/或目標輸出層的一或多個語法元素。提供並利用具有目標輸出層的輸出操作點的指示可使關於經解碼圖像緩衝器管理的效率增加，且可使關於指示待輸出(例如，顯示)之特定視圖及/或層的靈活性增加。

根據本發明之態樣，如當前HEVC基本規範(例如，如上文所提及之WD 6)中所定義之一個操作點可對應於一或多個輸出操作點，其中每一輸出操作點具有不同目標輸出視圖及/或層。舉例而言，在一些個例中，視訊寫碼器(諸如，視訊編碼器或視訊解碼器)可使用層集合中之數個視訊資料層來恰當地對視訊資料寫碼。然而，可能僅需將經解碼層之子集用於輸出(例如，顯示)。根據本發明之態樣，視訊寫碼器可判定具體地識別目標視訊資料層以供輸出的輸出操作點。在一些個例中，視訊寫碼器可判定層集合之一個以上輸出操作點(例如)以適應用於輸出的視訊資料層的不同組合。

在一實例中，出於說明之目的，假設層集合對於立體應用(例如，用於輸出的兩個視圖)包括基本視圖(視圖0)、第一視圖(視圖1)、第二視圖(視圖2)及第三視圖(視圖3)。進一步假設，視圖2及視圖3提供最佳立體輸出。在此實例中，視訊解碼器可使用基本視圖作為參考來解碼視圖2及視圖3。此外，若視訊解碼器符合某些習知寫碼標準(諸如，上文提及之H.264/AVC的MVC或SVC擴展)，則視訊解碼器可選擇輸出點的最高層級以供輸出(亦即，基本層)，而不管視圖2及視圖3係用於輸出的最佳視圖。

根據本發明之態樣，層集合指定經解碼之一或多個子位元串流，且輸出操作點指示在層集合內的待輸出之層的子集。因此，在以上實例中，視訊解碼器可解碼具有基本視圖、第一視圖、第二視圖及第三視圖的層集合。此外，視訊解碼器可判定層集合之輸出操作點，其中輸出操作點包括視圖2及視圖3。因此，視訊寫碼器可解碼並輸出視圖2及視圖3以供顯示。

如上文所描述，先前並未針對HEVC指定輸出操作點。此外，對H.264/AVC之MVC擴展並未遭遇判定操作點之哪些子位元串流意欲用於顯示的問題，此係因為MVC並不使用操作點的概念，且MVC位元串流之所有目標視圖由位元串流中的所有視圖指定。因此，雖然本發明之技術可以多種標準來實施，但本發明之態樣提供一種使用HEVC標準來指定操作點之特定目標輸出視圖的機制。

圖1為根據本發明之態樣的說明可利用用於判定一或多個目標輸出層之技術的實例視訊編碼及解碼系統10的方塊圖。如圖1中所展示，系統10包括源器件12，該源器件12提供待藉由目的地器件14在稍後時間解碼之經編碼視訊資料。詳言之，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者，該等器件包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂「智慧型」手機之電話手機、所謂「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主機、視訊串流器件，或其類似者。在一些狀況下，源器件12及目的地器件14可經配備以用於無線通信。

目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14之任何類型之媒體或器件。在一個實例中，電腦可讀媒體16可包含通信媒體以使得源器件12能夠將經編碼視訊資料即時地直接傳輸至目的地器件14。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)的部分。通信媒體可包括路由器、交換器、基地台，或可用以促進自源器件12至目的地器件14之通信的任何其他設備。

在一些實例中，可將經編碼資料自輸出介面22輸出至儲存器件。類似地，可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取式資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在其他實例中，儲存器件可對應於可儲存由源器件12產生之經編碼視訊的檔案伺服器或另一中間儲存器件。目的地器件14可經由串流傳輸或下載自儲存器件存取所儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)，或兩者之結合。經編碼視訊資料自儲存器件之傳輸可為串流傳輸、下載傳輸，或其組合。

本發明之技術未必限於無線應用或設定。該等技術可應用於支援諸如以下應用的多種多媒體應用中之任一者的視訊寫碼：空中電視廣播、有線電視傳輸、衛星電視傳輸、諸如HTTP動態自適應性串流(DASH)之網際網路串流視訊傳輸、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。

在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。根據本發明，源器件12之視訊編碼器20可經組態以應用用於判定一或多個目標輸出層的技術。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合式顯示器件。

圖1之所說明的系統10僅為一個實例。用於判定一或多個目標輸出層的技術可藉由任何數位視訊編碼及/或解碼器件來執行。雖然通常藉由視訊編碼器件執行本發明之技術，但亦可藉由視訊編碼器/解碼器(通常被稱為「編碼解碼器(CODEC)」)執行該等技術。此外，亦可藉由視訊預處理器來執行本發明之技術。源器件12及目的地器件14僅僅為此等寫碼器件之實例，在該等寫碼器件中，源器件12產生用於傳輸至目的地器件14之經寫碼視訊資料。在一些實例中，器件12、14可以實質對稱方式進行操作，使得器件12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸，例如，用於視訊串流、視訊播放、視訊廣播或視訊電話。

源器件12之視訊源18可包括諸如視訊攝影機之視訊俘獲器件、含有先前俘獲之視訊的視訊存檔，及/或自視訊內容提供者接收視訊之視訊饋入介面。作為另一替代例，視訊源18可產生基於電腦圖形之資料作為源視訊，或產生實況視訊、經封存視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源18為視訊攝影機，則源器件12及目的器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中所描述之技術可大體上適用於視訊寫碼，且可應用於無線及/或有線應用。在每一狀況下，經俘獲、預先俘獲或電腦產生之視訊可由視訊編碼器20來編碼。經編碼視訊資訊可接著由輸出介面22輸出於電腦可讀媒體16上。

電腦可讀媒體16可包括暫時性媒體，諸如，無線廣播或有線網路傳輸；或儲存媒體(亦即，暫態式儲存媒體)，諸如，硬碟、隨身碟、光碟(compact disc)、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(圖中未示)可自源器件12接收經編碼視訊資料，且(例如)經由網路傳輸將該經編碼視訊資料提供至目的地器件14。類似地，媒體生產設施(諸如，光碟壓印設施)之計算器件可自源器件12接收經編碼視訊資料且產生含有該經編碼視訊資料之光碟。因此，在各種實例中，可將電腦可讀媒體16理解成包括各種形式之一或多個電腦可讀媒體。

目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之亦由視訊解碼器30使用的語法資訊，該語法資訊包括描述區塊及其他經寫碼單元(例如，GOP)之特性及/或處理的語法元素。顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。

儘管未展示於圖1中，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX- DEMUX單元或其他硬體及軟體以處置共同資料串流或獨立資料串流中之音訊及視訊兩者的編碼。若適用，則MUX-DEMUX單元可符合ITU H.223多工器協定，或諸如使用者資料報協定(UDP)之其他協定。

視訊編碼器20及視訊解碼器30可各自實施為多種合適編碼器或解碼器電路中之任一者(在適用時)，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合。當該等技術部分地以軟體實施時，一器件可將用於軟體之指令儲存於合適的暫態式電腦可讀媒體中，且在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中之任一者可整合為組合式視訊編碼器/解碼器(CODEC)之部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件(諸如，蜂巢式電話)。

在展示於圖1中之實例中，系統10亦包括具有路由器36的伺服器/內容遞送網路34。在一些實例中，如上文所描述，源器件12可經由多種無線及/或有線傳輸或儲存媒體而與伺服器/內容遞送網路34通信。此外，雖然在圖1之實例中分離地展示，但在一些實例中，源器件12及伺服器/內容遞送網路34包含同一器件。伺服器/內容遞送網路34可儲存經寫碼視訊資料之一或多個版本(來自源器件12之視訊編碼器20)，且可使得此經寫碼視訊資料可供目的地器件14及視訊解碼器30存取。在一些實例中，路由器36可對以所請求之格式將經寫碼視訊資料提供至目的地器件14負責。

本發明可通常係指將某資訊「傳信」至另一器件(諸如視訊解碼器30)的視訊編碼器20及/或伺服器/內容遞送網路34。然而，應理解，視訊編碼器20及/或伺服器/內容遞送網路34可藉由使某語法元素與視訊資料之各種經編碼部分相關聯來傳信資訊。亦即，視訊編碼器20及/或伺服器/內容遞送網路34可藉由將某些語法元素儲存至視訊資料之各種經編碼部分的標頭中來「傳信」資料。在一些狀況中，可在由視訊解碼器30接收並解碼之前編碼並儲存此類語法元素(例如，儲存至儲存器件24)。因此，術語「傳信」可大體上係指用於解碼壓縮視訊資料之語法或其他資料的通信，而不論此類通信是即時抑或接近即時抑或在一時間範圍內發生，諸如當在編碼時將語法元素儲存至媒體，該等語法元素接著可在被儲存至此媒體之後的任何時間由解碼器件來擷取時可能發生。

視訊編碼器20及視訊解碼器30可根據被替代性地稱作MPEG-4第10部分「進階視訊寫碼(AVC)」之視訊壓縮標準(諸如，ITU-T H.264標準)或此等標準之擴展來操作。ITU-T H.264/MPEG-4(AVC)標準由ITU-T視訊寫碼專家群組(VCEG)連同ISO/IEC動畫專家群組(MPEG)一起作為被稱為聯合視訊團隊(JVT)之集體夥伴之產物而制訂。在一些態樣中，本發明中所描述之技術可應用於大體符合H.264標準之器件。H.264標準被描述於ITU-T研究群組在2005年3月公佈的ITU-T推薦H.264「用於一般視聽服務之進階視訊寫碼」中，其在本文中可被稱作H.264標準或H.264規範或H.264/AVC標準或規範。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。

雖然本發明之技術不限於任何特定寫碼標準，但技術可與HEVC標準相關。更具體而言，視訊編碼器20及視訊解碼器30可經組態以根據HEVC標準的擴展(例如，多視圖擴展或三維視訊(3DV)擴展，包括可調式視訊寫碼(SVC)擴展)來對視訊資料進行寫碼。

一般而言，HEVC允許視訊圖像被劃分成包括明度樣本及色度樣本兩者之樹型區塊或最大寫碼單元(LCU)的序列。位元串流內之語法資料可定義LCU之大小，LCU就像素之數目而言為最大寫碼單元。截塊包括數個連續寫碼樹型單元(CTU)。CTU中之每一者可包含明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用以對寫碼樹型區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個分離色彩平面之圖像中，CTU可包含單一寫碼樹型區塊及用以對寫碼樹型區塊之樣本進行寫碼的語法結構。

可將視訊圖像分割成一或多個截塊。每一樹型區塊可根據四分樹而分裂成數個寫碼單元(CU)。一般而言，四分樹資料結構每CU包括一個節點，其中根節點對應於樹型區塊。若將CU分裂成四個子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於該等子CU中之一者。CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列的圖像之明度樣本之寫碼區塊及色度樣本的兩個對應寫碼區塊，以及用以對寫碼區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個分離色彩平面之圖像中，CU可包含單一寫碼區塊及用以對寫碼區塊之樣本進行寫碼的語法結構。寫碼區塊係樣本之N×N區塊。

該四分樹資料結構中之每一節點可提供針對對應CU之語法資料。舉例而言，四分樹中之節點可包括分裂旗標，從而指示是否將對應於節點之CU分裂成子CU。可遞歸地定義用於CU之語法元素，且用於CU之語法元素可視CU是否分裂成子CU而定。若一CU未經進一步分裂，則其被稱作葉CU。在本發明中，即使不存在原始葉CU之顯式分裂，一葉CU之四個子CU亦被稱作葉CU。舉例而言，若16×16大小之CU未經進一步分裂，則四個8×8子CU亦被稱作葉CU，儘管16×16 CU從未經分裂。

除了CU不具有大小區別之外，CU之用途類似於H.264標準之巨集區塊之用途。舉例而言，樹型區塊可分裂成四個子節點(亦被稱作子CU)，且每一子節點又可為父節點並分裂成另外四個子節點。被稱作四分樹之葉節點之最終的未分裂子節點包含一寫碼節點，該寫碼節點亦被稱作葉CU。與經寫碼位元串流相關聯之語法資料可定義可分裂一樹型區塊之最大次數(其被稱作最大CU深度)，且亦可定義該等寫碼節點之最小大小。因而，位元串流亦可定義一最小寫碼單元(SCU)。本發明使用術語「區塊」來指HEVC之內容脈絡中之CU、PU或TU中的任一者，或其他標準之內容脈絡中之類似資料結構(例如，在H.264/AVC中之巨集區塊及其子區塊)。

CU包括一寫碼節點及與該寫碼節點相關聯之數個預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且形狀必須為正方形。CU之大小的範圍可自8×8像素直至具有最大64×64像素或大於64×64像素之樹型區塊的大小。每一CU可含有一或多個PU及一或多個TU。

一般而言，PU表示對應於對應CU之全部或一部分的空間區域，且可包括用於擷取PU之參考樣本的資料。此外，PU包括與預測有關之資料。舉例而言，當PU經框內模式編碼時，用於PU之資料可包括於殘餘四分樹(RQT)中，殘餘四分樹可包括描述對應於PU之TU之框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，PU可包括定義該PU之一或多個運動向量的資料。預測區塊可係同一預測應用至之樣本的矩形(亦即，正方形或非正方形)區塊。CU之PU可包含圖像之明度樣本之預測區塊、色度樣本的兩個對應預測區塊，及用以預測該等預測區塊樣本的語法結構。在單色圖像或具有三個分離色彩平面之圖像中，PU可包含單一預測區塊及用以對預測區塊樣本進行預測的語法結構。

TU可包括將(例如)以下各者之變換應用至殘餘視訊資料之後在變換域中的係數：離散餘弦變換(DCT)、整數變換、小波變換，或概念上類似之變換。殘餘資料可對應於未經編碼圖像之像素與對應於 PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且接著變換該等TU以產生CU之變換係數。變換區塊可係同一變換應用至之樣本的矩形區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊，及用以對變換區塊樣本進行變換的語法結構。在單色圖像或具有三個分離色彩平面之圖像中，TU可包含單一變換區塊及用以對變換區塊樣本進行變換的語法結構。

在使用CU之PU的框內預測性或框間預測性寫碼之後，視訊編碼器20可計算CU之TU的殘餘資料。PU可包含描述在空間域(亦稱作像素域)中產生預測性像素資料之方法或模式的語法資料，且TU可包含在將例如離散餘弦變換(DCT)、整數變換、小波變換或概念上類似之變換的變換應用至殘餘視訊資料之後在變換域中的係數。殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且接著變換該等TU以產生CU之變換係數。

在應用任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化大體係指如下程序：將變換係數量化以可能地減少用以表示該等係數之資料的量，從而提供進一步壓縮。該量化程序可減少與該等係數中之一些或全部相關聯的位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。

在量化之後，視訊編碼器可掃描變換係數，從而自包括經量化之變換係數之二維矩陣產生一維向量。掃描可經設計成將較高能量(且因此較低頻率)係數置於陣列前部，且將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數，以產生可經熵編碼的串列化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化之變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法而熵編碼該一維向量。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯的語法元素以供視訊解碼器30用於解碼視訊資料。

為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸之符號。該上下文可能係關於(例如)符號之相鄰值是否為非零。為了執行CAVLC，視訊編碼器20可針對待傳輸之符號選擇一可變長度碼。可建構VLC中之碼字使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，使用VLC可達成位元節省(與(例如)針對待傳輸之每一符號使用等長度碼字相比較)。機率判定可係基於指派給符號之上下文。

視訊編碼器20可進一步發送語法資料(諸如基於區塊之語法資料、基於圖像之語法資料，及基於圖像群組(GOP)之語法資料)至視訊解碼器30(例如，在圖像標頭、區塊標頭、截塊標頭或GOP標頭中)。GOP語法資料可描述各別GOP中之圖像數目，且圖像語法資料可指示用以編碼對應圖像之編碼/預測模式。

在一些實例中，視訊編碼器20可產生在解碼視訊資料時可使用的某些參數集，且視訊解碼器30可接收該等參數集。舉例而言，參數集可包括藉由分離地傳信很少改變之資訊來改良效率的SPS、PPS或VPS。此外，參數集之使用可允許實現重要標頭資訊之頻帶外傳輸，從而避免需要為了錯誤恢復進行冗餘傳輸。在頻帶外傳輸實例中，參數集網路抽象層(NAL)單元可在不同於諸如補充增強資訊(SEI)NAL單元之其他NAL單元的頻道上進行傳輸。

SEI NAL單元(稱作SEI訊息)可含有對於自VCL NAL單元解碼經寫碼圖像樣本不必要但可輔助與解碼、顯示、錯誤恢復及其他用途相關之程序的資訊。SEI訊息可含於非VCL NAL單元中。SEI訊息可包括於一些標準規範之規範性部分中，且因此對於順應標準的解碼器實施並非總是為強制的。SEI訊息可為序列層級SEI訊息或圖像層級SEI訊息。一些序列層級資訊可含於SEI訊息中，諸如，SVC之實例中之可調性資訊SEI訊息及MVC中之視圖可調性資訊SEI訊息中。

在HEVC中，視訊編碼器20可定義操作點以指示子位元串流，可基於該子位元串流之最高時間層級而自經編碼位元串流抽取該子位元串流：以及nuh_reserved_zero_6bits的清單。舉例而言，視訊編碼器20可傳信根據下文展示之表1的操作點：

在以上表1中，等於1之op_layer_id_included_flag[opIdx][i]可指定，針對layer_id值之第opIdx集合呈現具有等於i之layer_id的層。此外，等於1之op_layer_id_included_flag[opIdx][i]可指定，針對layer_id值之第opIdx集合不呈現具有等於i之layer_id的層。

視訊編碼器20亦可在VPS中傳信語法元素vps_max_nuh_reserved_zero_layer_id，其中vps_max_nuh_reserved_zero_layer_id指定操作點之OpLayerIdSet中的經寫碼視訊序列中之所有NAL單元的nuh_reserved_zero_6bits的最大值，視訊參數集中之opIdx-th hrd_parameters( )語法結構應用至所述操作點。

在一些個例中，視訊編碼器20可傳信操作點以供對HEVC之多視圖擴展(MV-HEVC)或3D-HEVC使用。MV-HEVC之多視圖擴展及3D-HEVC的最新工作草案分別指定於以下兩者中：在http：//phenix.it- sudparis.eu/jct2/doc_end_user/documents/1_Stockholm/wg11/JCT3V-A1004-v1.zip處可獲得之「MV-HEVC工作草案1」(ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之關於3D視訊寫碼擴展開發的聯合合作團隊，2012年7月16日至20日瑞典斯德哥爾摩第1次會議，JCT3V-A1004)，及在http：//phenix.int-evry.fr/jct2/doc_end_user/documents/1_Stockholm/wg11/JCT3V-A1005-v1.zip處可獲得之「3D-HEVC測試模型1」(ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之關於3D視訊寫碼擴展開發的聯合合作團隊，2012年7月16日至20日瑞典斯德哥爾摩第1次會議，JCT3V-A1005)。

MV-HEVC及/或3D0-HEVC之操作點可僅在視訊參數集中進行傳信。舉例而言，視訊編碼器20可傳信每一操作點的待呈現並解碼的視圖。

如上文所提及，定義於HEVC中之操作點對於位元串流抽取用途可係足夠的，但VPS不指定操作點的目標輸出視圖/層。亦即，VPS並不識別視訊資料的意欲被顯示之特定層。

在不知曉哪些層係目標輸出層之情況下，不用於輸出之某些層的經解碼圖像可能被保持於視訊編碼器20及/或視訊解碼器30之經解碼圖像緩衝器(DPB)中歷時比所需時間長的時間，藉此增加多視圖序列的儲存要求。此外，當多個視圖包括於子位元串流中時，與伺服器/內容遞送網路34相關聯之內容提供者可能想要控制哪些子位元串流由視訊解碼器30進行解碼且經提供作為至顯示器件32之輸出，以控制觀看體驗。此控制在當前VPS方案下可能不可用。

視訊編碼器20及視訊解碼器30可經組態以單獨或以任何組合執行本發明之各種技術中的一或多者。舉例而言，根據本發明之態樣，視訊編碼器20可藉由經編碼位元串流中之一或多個語法元素來指示資料，該資料指示具有複數個視訊資料層的操作點(例如，層集合)。此外，視訊編碼器20可編碼指示操作點之輸出操作點的一或多個語法元素，其中輸出操作點係與視訊資料之複數個層中的一或多個目標輸出層相關聯。

同樣，視訊解碼器30可自經編碼位元串流獲得資料，該資料指示具有複數個視訊資料層的操作點(例如，層集合)。此外，視訊解碼器30可基於經編碼位元串流之一或多個語法元素來判定操作點的輸出操作點，其中輸出操作點係與視訊資料之複數個層中的一或多個目標輸出層相關聯。

舉例而言，根據本發明之態樣，對於對HEVC之多視圖擴展(MV-HEVC)或對HEVC之三維視訊擴展(3DV，其可包括深度資料之一或多個層)，視訊編碼器20可在VPS或VPS擴展中傳信每一輸出操作點的目標輸出層。視訊解碼器30可接收此傳信，且判定每一輸出操作點的目標輸出層。

作為實例，關於MV-HEVC，輸出操作點可指一層集合，其具有屬於包括於該操作點中之視圖的經識別目標輸出視圖之清單。如以下表2之實例中所展示，視訊編碼器20可在VPS擴展中傳信輸出操作點：

在以上表2之實例中，num_layer_operation_points可指定存在於視訊參數集應用至之經寫碼視訊序列中的輸出操作點的最大數目。此外，op_point_index可識別操作點，基於該操作點，形成當前第i輸出操作點。此外，等於1之output_layer_flag[op_point_index][j]可指示具等於j之layer_id的層係當前第i輸出操作點的輸出目標。此外，等於0之output_layer_flag[j]可指示具等於j之layer_id的層並非當前第i輸出操作點的輸出目標。

作為另一實例，如以下表3之實例中所展示，視訊編碼器20可在VPS中傳信輸出操作點：

在以上表3之實例中，num_target_views可指定當前第i輸出操作點之目標輸出視圖的數目。此外，target_layer_id[i][j]可指定當前第i輸出操作點之第j目標輸出視圖的layer_id。

在再一實例中，視訊編碼器20可使用其他語法結構來傳信目標輸出視圖。舉例而言，視訊編碼器20可在SEI訊息中編碼指示目標輸出視圖的資料，或使用其他頻帶外傳信技術。

關於3D-HEVC，輸出操作點可指操作點(例如，層集合)，其具有屬於包括於該操作點中之視圖的所識別目標輸出紋理或深度視圖之清單。視訊編碼器20可使用類似於上文關於MV-HEVC所描述之彼等的語法及語義來傳信3D-HEVC的輸出操作點。然而，對於3D-HEVC，經傳信為目標輸出視圖的每一layer_id可對應於深度視圖抑或紋理視圖。

關於HSVC，操作點之目標輸出層可被導出為具有數值上最高之layer_id的層。舉例而言，輸出操作點可係操作點(例如，層集合)，其僅具有該操作點中的被考慮供輸出之具有最大layer_id之層。因此，視訊解碼器30可解碼layer_id語法元素以判定特定操作點的輸出操作點。

因此，根據本發明之態樣，如當前HEVC基本規範中所定義之一個操作點可對應於一或多個輸出操作點，其中每一輸出操作點具有不同目標輸出視圖及/或層。舉例而言，視訊編碼器20可在經編碼位元串流中傳信經解碼層之子集對於輸出(例如，顯示)可係所要的指示(且視訊解碼器30可藉由剖析經編碼位元串流來獲得該指示)。雖然上文關於視訊編碼器20進行了描述，但在一些實例中，伺服器/內容遞送網路34可負責進行此傳信。

舉例而言，伺服器/內容遞送網路34可判定位元串流之哪些層對於輸出係最佳的。在此實例中，伺服器/內容遞送網路34可負責產生及/或變更VPS、VPS擴展、SEI訊息或用於指示輸出操作點之目標輸出層的其他結構。

關於經解碼圖像緩衝器(如(例如)關於圖2及圖3所描述，亦稱作參考圖像記憶體)管理，根據本發明之態樣，當輸出操作點正被解碼時，視訊編碼器20及/或視訊解碼器30可自經解碼圖像緩衝器移除並非輸出目標的層之經解碼圖像，只要該圖像對於時間預測(例如，層或視圖內之框間預測)或層間/視圖間預測而言不再被需要便可。舉例而言，為了促進移除，視訊編碼器20可將並不屬於目標輸出視圖或層之層的每一視圖分量之PicOutputFlag設定為等於0。因此，視訊編碼器20及/或視訊解碼器30可判定哪些圖像不用於參考且不用於輸出，且基於該判定自經解碼圖像緩衝器移除此等圖像。

圖2為根據本發明之態樣的說明可實施用於判定一或多個目標輸出層之技術的視訊編碼器20之實例的方塊圖。視訊編碼器20可執行視訊截塊內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖像內之視訊中之空間冗餘。框間寫碼依賴於時間預測以減少或移除一視訊序列之鄰近圖像內之視訊中的時間冗餘。框內模式(I模式)可指若干基於空間之寫碼模式中的任一者。諸如單向預測(P模式)或雙向預測(B模式)的框間模式可指若干基於時間之寫碼模式中的任一者。

如上文所提及，視訊編碼器20可經調適以執行多視圖及/或可調式視訊寫碼。在一些個例中，視訊編碼器20可經組態以符合MV-HEVC視訊寫碼標準，使得一時間執行個體中之每一視圖可由諸如視訊解碼器30的解碼器來處理。在其他個例中，視訊編碼器20可經組態以符合3D-HEVC視訊寫碼標準，且可經組態以除編碼每一視圖之紋理圖(亦即，明度及色度值)外亦編碼每一視圖的深度圖。在再其他個例中，視訊編碼器20可經組態以根據HSVC視訊寫碼標準來編碼多個可調式視訊資料層。雖然參看特定寫碼標準，但應理解，該等技術並非特定針對任何一個寫碼標準，且可與將來及/或尚未開發出之標準一起實施。

在任何狀況下，如圖2中所展示，視訊編碼器20接收待編碼之視訊圖像內之當前視訊區塊。在圖2之實例中，視訊編碼器20包括模式選擇單元40、參考圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。對於視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。解塊濾波器(圖2中未展示)亦可被包括以對區塊邊界進行濾波從而自經重建構之視訊移除方塊效應假影。若需要，則解塊濾波器通常將對求和器62之輸出進行濾波。除解塊濾波器外，亦可使用額外濾波器(迴路內或迴路後)。為簡潔起見，未展示此等濾波器，但此等濾波器在需要時可對求和器50之輸出進行濾波(作為迴路內濾波器)。

在編碼程序期間，視訊編碼器20接收待寫碼之視訊圖像或截塊。可將圖像或截塊劃分成多個視訊區塊。運動估計單元42及運動補償單元44執行相對於一或多個參考圖像中之一或多個區塊的對所接收視訊區塊的框間預測性寫碼以提供時間預測。框內預測單元46可替代性地執行相對於在與待寫碼區塊相同之圖像或截塊中的一或多個相鄰區塊的對所接收視訊區塊的框內預測性寫碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次(例如)以針對視訊資料之每一區塊選擇適當寫碼模式。

此外，分割單元48可基於對先前寫碼遍次中之先前分割方案之評估而將視訊資料之區塊分割成子區塊。舉例而言，分割單元48可最初基於速率-失真分析(例如，速率-失真最佳化)將一圖像或截塊分割成LCU，且將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示LCU至子CU之分割的四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。

模式選擇單元40可(例如)基於錯誤結果而選擇寫碼模式(框內或框間)中之一者，且將所得框內或框間寫碼之區塊提供至求和器50以產生殘餘區塊資料，並提供至求和器62以重建構經編碼區塊來用作參考圖像。模式選擇單元40亦將語法元素(諸如運動向量、框內模式指示符、分割資訊及其他此語法資訊)提供至熵編碼單元56。

運動估計單元42及運動補償單元44可高度整合，但為概念目的而分離地說明。由運動估計單元42執行之運動估計為產生運動向量之程序，運動向量估計視訊區塊之運動。舉例而言，運動向量可指示當前圖像內之視訊區塊之PU相對於參考圖像內之預測性區塊(或其他經寫碼單元)的移位，該預測性區塊係相對於當前圖像內正被寫碼之當前區塊(或其他經寫碼單元)。預測性區塊為被發現在像素差方面緊密地匹配於待寫碼區塊的區塊，該像素差可藉由絕對差和(SAD)、平方差和(SSD)或其他差量度予以判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64中之參考圖像之次整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分率像素位置之值。因此，運動估計單元42可執行相對於全像素位置及分率像素位置之運動搜尋，且以分率像素精度輸出運動向量。

運動估計單元42藉由比較框間寫碼截塊中之視訊區塊的PU之位置與參考圖像之預測性區塊之位置而計算該PU之運動向量。參考圖像可自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)選擇，該等清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將經計算運動向量發送至熵編碼單元56及運動補償單元44。

由運動補償單元44執行之運動補償可涉及到基於由運動估計單元42判定之運動向量來提取或產生預測性區塊。再一次，在一些實例中，運動估計單元42及運動補償單元44可在功能上整合。在接收到當前視訊區塊之PU之運動向量時，運動補償單元44可將運動向量所指向的預測性區塊定位於參考圖像清單中之一者中。求和器50藉由自正被寫碼之當前視訊區塊的像素值減去預測性區塊之像素值從而形成像素差值來形成殘餘視訊區塊，如下文所論述。一般而言，運動估計單元42執行關於明度分量的運動估計，且運動補償單元44將基於該等明度分量所計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊截塊相關聯的語法元素以供視訊解碼器30用於解碼視訊截塊之視訊區塊。

作為由運動估計單元42及運動補償單元44執行之框間預測之替代例，框內預測單元46可框內預測當前區塊，如上文所描述。詳言之，框內預測單元46可判定用來編碼當前區塊的框內預測模式。在一些實例中，框內預測單元46可(例如)在分離之編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46(或在一些實例中，模式選擇單元40)可自所測試之模式選擇適當框內預測模式以使用。

舉例而言，框內預測單元46可使用對各種經測試之框內預測模式之速率-失真分析而計算速率-失真值，且在經測試之模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析通常判定經編碼區塊與經編碼以產生經編碼區塊的原始未經編碼區塊之間的失真(或錯誤)量，以及用以產生經編碼區塊之位元速率(亦即，位元數目)。框內預測單元46可根據各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現區塊之最佳速率-失真值。

在選擇區塊之框內預測模式之後，框內預測單元46可將指示區塊之所選擇框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選擇框內預測模式之資訊。視訊編碼器20可在經傳輸之位元串流中包括組態資料，其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦被稱作碼字映射表)、各種區塊之編碼上下文之定義及將用於該等上下文中之每一者之最有可能的框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。

視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成一殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將諸如離散餘弦變換(DCT)或概念上類似之變換的變換應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用小波變換、整數變換、子頻帶變換或其他類型之變換。

在任何狀況下，變換處理單元52將變換應用於殘餘區塊，從而產生殘餘變換係數之區塊。該變換可將殘餘資訊自像素值域轉換至變換域(諸如頻域)。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化該等變換係數以進一步減少位元速率。該量化程序可減少與該等係數中之一些或所有相關聯的位元深度。可藉由調整量化參數而修改量化程度。在一些實例中，量化單元54可接著執行包括經量化之變換係數之矩陣的掃描。或者，熵編碼單元56可執行該掃描。

在量化之後，熵編碼單元56熵寫碼經量化之變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼之狀況下，上下文可係基於相鄰區塊。在藉由熵編碼單元56進行熵寫碼之後，可將經編碼位元串流傳輸至另一器件(例如，視訊解碼器30)或經封存以供稍後傳輸或擷取。

反量化單元58及反變換單元60分別應用反量化及反變換以在像素域中重建構殘餘區塊，(例如)以供稍後用作參考區塊。運動補償單元44可藉由將殘餘區塊加至參考圖像記憶體64之圖像中之一者之預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構之殘餘區塊以計算次整數像素值以供用於運動估計中。求和器62將經重建構之殘餘區塊加至由運動補償單元44產生之運動補償預測區塊，以產生經重建構之視訊區塊以供儲存於參考圖像記憶體64中。經重建構之視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以對後續視訊圖像中之區塊進行框間寫碼。

視訊編碼器20可產生如上文所描述之數個語法元素，該等語法元素可由熵編碼單元56或視訊編碼器20的另一編碼單元來編碼。在一些實例中，視訊編碼器20可產生並編碼用於多視圖及/或多層位元串流的語法元素，如上文所描述。

舉例而言，根據本發明之態樣，熵編碼單元56可編碼經編碼位元串流中之一或多個語法元素，從而指示具有複數個視訊資料層的操作點(例如，層集合)。此外，熵編碼單元56可編碼一或多個語法元素從而指示層集合的輸出操作點，其中輸出操作點係與視訊資料之複數個層中的一或多個目標輸出層相關聯。

在一些實例中，根據本發明之態樣，視訊編碼器20可根據諸如MV-HEVC、3D-HEVC或HSVC的視訊寫碼標準來指示輸出操作點的目標輸出層。舉例而言，關於多視圖視訊寫碼(例如，MV-HEVC或3D-HEVC)，視訊編碼器20可編碼VPS擴展(例如，諸如關於以上表2之實例所展示並描述的該VPS擴展)、VPS(例如，諸如關於以上表3之實例展示並描述的VPS)、SEI訊息或其他訊息以指示一或多個輸出操作點，其中每一輸出操作點具有相關聯的目標輸出層。如上文所提及，當編碼深度視圖時，輸出操作點可指一操作點，其具有屬於包括於該操作點中之視圖的所識別目標輸出紋理或深度視圖之清單。

關於HSVC，視訊編碼器20可將layer_id編碼至每一視訊資料層，以識別每一視訊資料層(如(例如)關於以下圖5更詳細描述)。根據本發明之態樣，輸出操作點可係一操作點，其僅具有該操作點中之被考慮用於輸出之具有最大layer_id之層。

因此，根據本發明之態樣，如當前HEVC基本規範中所定義，一個操作點可對應於一或多個輸出操作點，其中每一輸出操作點具有不同目標輸出視圖及/或層。舉例而言，視訊編碼器20可在經編碼位元串流中傳信經解碼層之子集對於輸出(例如，顯示)可係所要的指示。

根據本發明之一些態樣，視訊編碼器20可基於所判定之輸出操作點及目標輸出層而自參考圖像記憶體64移除一或多個圖像。舉例而言，視訊編碼器20可自參考圖像記憶體64移除並非輸出目標且並不需要用於時間預測(例如，層或視圖內之框間預測)或層間/視圖間預測的圖像。

以此方式，視訊編碼器20表示經組態以編碼包括複數個層集合之複數個視訊資料層的視訊編碼器之一個實例，其中每一層集合含有複數個層中之一或多個視訊資料層。視訊編碼器20亦經組態以編碼位元串流之一或多個語法元素從而指示一或多個輸出操作點，其中每一輸出操作點係與該複數個層集合中之一層集合及該複數個層中之一或多個目標輸出層相關聯。

圖3為根據本發明之態樣的說明可實施用於判定一或多個目標輸出層之技術的視訊解碼器30之實例的方塊圖。在圖3之實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、反量化單元76、反變換單元78、參考圖像記憶體82及求和器80。

如上文所提及，視訊解碼器30可經調適以執行多視圖及/或可調式視訊寫碼。在一些個例中，視訊解碼器30可經組態以符合MV-HEVC視訊寫碼標準。在其他個例中，視訊解碼器30可經組態以符合3D-HEVC視訊寫碼標準，且可經組態以除編碼每一視圖之紋理圖(亦即，明度及色度值)外亦解碼每一視圖的深度圖。在再其他個例中，視訊解碼器30可經組態以根據HSVC視訊寫碼標準來解碼多個可調式視訊資料層。雖然參看特定寫碼標準，但應理解，該等技術並非特定針對任何一個寫碼標準，且可與將來及/或尚未開發出之標準一起實施。

在一些實例中，視訊解碼器30可執行一解碼遍次，該解碼遍次大體上與關於視訊編碼器20(圖2)所描述之編碼遍次互逆。運動補償單元72可基於自熵解碼單元70接收之運動向量而產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符而產生預測資料。

在解碼程序期間，視訊解碼器30自視訊編碼器20接收經編碼視訊位元串流，該視訊位元串流表示經編碼視訊截塊之視訊區塊及相關聯的語法元素。視訊解碼器30可接收視訊截塊層級及/或視訊區塊層級的語法元素。

熵解碼單元70解碼位元串流以產生經量化之係數、運動向量或框內預測模式指示符及其他語法元素。在一些實例中，熵解碼單元70或視訊解碼器之另一單元可剖析並解碼來自多視圖及/或多層位元串流的語法元素，如上文所描述。

根據本發明之態樣，熵解碼單元70可自經編碼位元串流獲得資料，該資料指示具有複數個視訊資料層的操作點(例如，層集合)。此外，熵解碼單元70可對指示操作點之輸出操作點的一或多個語法元素進行解碼，其中輸出操作點係與視訊資料之複數個層中的一或多個目標輸出層相關聯。視訊解碼器30可基於一或多個語法元素來判定輸出操作點及目標輸出層。

在一些實例中，根據本發明之態樣，視訊解碼器30可符合視訊寫碼標準，諸如MV-HEVC、3D-HEVC或HSVC。舉例而言，關於多視圖視訊寫碼(例如，MV-HEVC或3D-HEVC)，視訊解碼器30可基於指示於以下各者中之輸出操作點及目標輸出層來剖析來自所接收的經編碼位元串流的子位元串流：VPS擴展(例如，諸如關於以上表2之實例所展示並描述的VPS擴展)、VPS(例如，諸如關於以上表3之實例所展示並描述的VPS)、SEI訊息或其他訊息。當解碼深度視圖時，輸出操作點可指一操作點，其具有屬於包括於該操作點中之視圖的所識別目標輸出紋理或深度視圖之清單。

關於HSVC，熵解碼單元70可解碼每一視訊資料層的layer_id。根據本發明之態樣，視訊解碼器30可基於操作點中的具有最大layer_id之層推斷輸出操作點。

因此，根據本發明之態樣，如當前HEVC基本規範中所定義之一個操作點可對應於一或多個輸出操作點，其中每一輸出操作點具有不同目標輸出視圖及/或層。熵解碼單元70可基於自所接收之經編碼位元串流剖析並解碼得到之一或多個語法元素來解碼包括目標輸出層的子位元串流。

熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。對於特定輸出層，當視訊截塊經寫碼為框內寫碼(I)截塊時，框內預測單元74可基於經傳信之框內預測模式及來自當前圖像之先前經解碼區塊的資料而產生當前視訊截塊之視訊區塊的預測資料。當視訊圖像被寫碼為框間寫碼(亦即，B、P或GPB)截塊時，運動補償單元72基於自熵解碼單元70接收之運動向量及其他語法元素而產生當前視訊截塊之視訊區塊的預測性區塊。可自參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於參考圖像記憶體82中之參考圖像，使用預設建構技術來建構參考圖像清單(清單0及清單1)。

運動補償單元72藉由剖析運動向量及其他語法元素而判定當前視訊截塊之視訊區塊之預測資訊，且使用該預測資訊以產生正被解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元72使用一些所接收之語法元素以判定用以寫碼視訊截塊之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測截塊類型(例如，B截塊、P截塊或GPB截塊)、截塊之參考圖像清單中之一或多者的建構資訊、截塊之每一框間編碼視訊區塊之運動向量、截塊之每一框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊截塊中之視訊區塊之其他資訊。

運動補償單元72可使用經解碼運動向量以自先前經解碼圖像(例如，自參考圖像記憶體82)擷取資料。運動補償單元72亦可基於內插濾波器執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之次整數像素的內插值。在此狀況下，運動補償單元72可自所接收之語法元素判定由視訊編碼器20使用之內插濾波器，且使用該等內插濾波器來產生預測性區塊。

反量化單元76反量化(亦即，解量化)提供於位元串流中且由熵解碼單元70解碼的經量化變換係數。反量化程序可包括使用由視訊解碼器30針對視訊截塊中的每一視訊區塊計算之量化參數QP_Y來判定應該應用之量化程度且同樣反量化程度。反變換單元78將反變換(例如，反DCT、反整數變換或概念上類似之反變換程序)應用於變換係數，以便在像素域中產生殘餘區塊。

在運動補償單元72基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊之後，視訊解碼器30藉由將來自反變換單元78之殘餘區塊與由運動補償單元72產生的對應預測性區塊求和而形成經解碼之視訊區塊。求和器80表示執行此求和運算之(多個)組件。若需要，亦可應用解塊濾波器來對經解碼區塊濾波以便移除方塊效應假影。其他迴路濾波器(寫碼迴路內抑或寫碼迴路後)亦可用以使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖像中之經解碼之視訊區塊儲存於參考圖像記憶體82中，參考圖像記憶體82儲存用於後續運動補償之參考圖像。參考圖像記憶體82亦儲存經解碼之視訊以用於稍後在顯示器件(諸如，圖1之顯示器件32)上呈現。

根據本發明之一些態樣，視訊解碼器30可基於所判定之輸出操作點及目標輸出層而自參考圖像記憶體82移除一或多個圖像。舉例而言，視訊解碼器30可自參考圖像記憶體82移除並非輸出目標且不需要用於時間預測(例如，層或視圖內之框間預測)或層間/視圖間預測的圖像。視訊解碼器30可基於經解碼位元串流之一或多個語法元素來判定參考圖像記憶體82之圖像是否用於預測或包括於目標輸出層中。舉例而言，熵解碼單元70可解碼層之每一視圖分量的PicOutputFlag，該PicOutputFlag指示圖像是否屬於目標輸出視圖。視訊解碼器30可自參考圖像記憶體82移除並不屬於目標輸出視圖且在解碼期間被標記為「不用於參考」的圖像。

因此，在一實例中，視訊解碼器30可解碼與層集合相關聯之一或多個輸出部分點中的輸出操作點，以及解碼包括一或多個層的經解碼但不輸出層的集合，該一或多個層並非一或多個目標輸出層中的一者但屬於層集合。此外，視訊解碼器30可將包括於經解碼圖像緩衝器中之一或多個目標輸出層中的第一經解碼圖像標記為待用於輸出的圖像，且將包括於經解碼圖像緩衝器中的經解碼但並非輸出層之集合中的第二經解碼圖像標記為不用於輸出的圖像，使得不用於輸出之圖像被早於待用於輸出之圖像自經解碼圖像緩衝器移除。此外，視訊解碼器30可判定被標記為不用於輸出的圖像是否用於框間預測及層間預測中的一者，且在不用於輸出之圖像不用於框間預測及層間預測中之一者時自經解碼圖像緩衝器移除被標記為不用於輸出的圖像。

以此方式，視訊解碼器30表示可自多層位元串流獲得包括複數個層集合之複數個視訊資料層的視訊解碼器30之一個實例，其中每一層集合含有複數個層中之一或多個視訊資料層。視訊解碼器30亦可基於位元串流之一或多個語法元素來判定一或多個輸出操作點，其中每一輸出操作點係與該複數個層集合中之一層集合及複數個層中之一或多個目標輸出層相關聯。

圖4為說明實例MVC預測型樣的概念圖。雖然關於H.264/AVC及MVC描述圖4，但應理解，類似預測型樣可供包括MV-HEVC及3D-HEVC(多視圖加深度)的其他多視圖視訊寫碼方案使用。因此，以下對MVC之參考大體上應用至多視圖視訊寫碼，且並不限於H.264/MVC。

在圖4之實例中，說明八個視圖(具有視圖ID「S0」至「S7」)，且針對每一視圖說明十二個時間位置(「T0」至「T11」)。亦即，圖4中之每一列對應於一視圖，而每一行指示一時間位置。

儘管MVC具有可由H.264/AVC解碼器解碼之所謂基本視圖，且立體視圖對亦可由MVC支援，但MVC之優點為，其可支援使用兩個以上視圖作為3D視訊輸入並解碼由多個視圖表示之此3D視訊的實例。具有MVC解碼器之用戶端之呈現器可預期具有多個視圖的3D視訊內容。

在圖4中的每一列與每一行的交叉點處使用包括字母之畫有陰影之方塊來指示圖4中之圖像，該字母指明對應圖像經框內寫碼(亦即，I圖框)，抑或在一個方向上經框間寫碼(亦即，作為P圖框)，抑或在多個方向上經框間寫碼(亦即，作為B圖框)。一般而言，用箭頭指示預測，其中所指入(pointed-to)之圖像將所指出(point-from)之物件用於預測參考。舉例而言，自視圖S0之處於時間位置T0之I圖框來預測視圖S2之處於時間位置T0的P圖框。

如同單一視圖視訊編碼一樣，可關於不同時間位置處之圖像預測性地編碼多視圖視訊寫碼視訊序列之圖像。舉例而言，視圖S0之處於時間位置T1之b圖框具有自視圖S0之處於時間位置T0之I圖框指入其的箭頭，從而指示自該I圖框預測該b圖框。然而，另外，在多視圖視訊編碼之內容脈絡中，可對圖像進行視圖間預測。亦即，視圖分量可將其他視圖中之視圖分量用於參考。舉例而言，在MVC中，實現視圖間預測，就如同另一視圖中之視圖分量為框間預測參考一樣。潛在的視圖間參考在序列參數集(SPS)MVC擴展中加以傳信，且可藉由參考圖像清單建構程序來修改，此情形允許實現框間預測或視圖間預測參考的靈活排序。

在MVC中，允許在同一存取單元(亦即，具有同一時間執行個體)中之圖像當中的視圖間預測。通常，存取單元係包括針對共同時間執行個體之所有視圖分量(例如，所有NAL單元)的資料單元。因此，在MVC中，准許在同一存取單元中之圖像當中的視圖間預測。當對非基本視圖中之一者中的圖像進行寫碼時，在該圖像係在不同視圖中但具有同一時間執行個體(例如，同一POC值，且因此在同一存取單元中)的情況下，該圖像可被添加至參考圖像清單中。正如任何框間預測參考圖像一樣，視圖間預測參考圖像可被置放於參考圖像清單之任何位置中。

圖4提供視圖間預測之各種實例。在圖4之實例中，視圖S1之圖像被說明為係自視圖S1之不同時間位置處的圖像而預測得到，以及係自視圖S0及S2的在同一時間位置處的圖像而視圖間預測得到。舉例而言，自視圖S1之處於時間位置T0與T2的B圖框中之每一者以及自視圖S0與S2之處於時間位置T1之b圖框預測視圖S1之處於時間位置T1之b圖框。

在圖4之實例中，大寫字母「B」及小寫字母「b」意欲指示圖像之間的不同階層架構關係而非不同編碼方法。一般而言，大寫字母「B」圖像在預測階層架構上相較於小寫字母「b」圖像較高。圖4亦使用不同等級之陰影來說明預測階層架構之變化，其中較大量之陰影(亦即，相對較深)圖像在預測階層架構上高於具有較少陰影(亦即，相對較淺)的彼等圖像。舉例而言，以完全陰影來說明圖4中之所有I圖框，而P圖框具有稍微較淺之陰影，且B圖框(及小寫字母b圖框)具有相對於彼此之各種等級之陰影，但始終比P圖框及I圖框之陰影淺。

一般而言，預測階層架構係與視圖次序索引有關，此係因為應在解碼在預測階層架構中相對較低之圖像之前解碼在該階層架構中相對較高之圖像，使得該階層架構中的相對較高之彼等圖像可在解碼該階層架構中的相對較低之圖像期間被用作參考圖像。視圖次序索引為指示存取單元中之視圖分量之解碼次序的索引。如在H.264/AVC之附錄H(MVC修正)中所指定，視圖次序索引隱含於SPS MVC擴展中。在SPS中，對於每一索引i，傳信對應view_id。在一些實例中，視圖分量之解碼應遵循視圖次序索引之升序。若呈現所有視圖，則視圖次序索引係呈自0至num_views_minus_1的連續次序。

以此方式，用作參考圖像之圖像可在解碼參考該等參考圖像而編碼之圖像之前予以解碼。視圖次序索引為指示存取單元中之視圖分量之解碼次序的索引。對於每一視圖次序索引i，傳信對應view_id。視圖分量之解碼遵循視圖次序索引之升序。若呈現所有視圖，則視圖次序索引之集合可包含自零至比視圖之總數小一的連續排序之集合。

對於處於階層架構之相等層級的某些圖像而言，相對於彼此的解碼次序可能並不重要。舉例而言，視圖S0在時間位置T0處之I圖框被用作視圖S2在時間位置T0處之P圖框的參考圖像，該P圖框又用作視圖S4在時間位置T0處之P圖框的參考圖像。因此，視圖S0在時間位置T0處之I圖框應在視圖S2在時間位置T0處的P圖框之前進行解碼，視圖S2在時間位置T0處之P圖框應在視圖S4在時間位置T0處的P圖框之前進行解碼。然而，在視圖S1與S3之間，解碼次序並不重要，此係因為視圖S1及S3並不依賴於彼此以進行預測，而是僅自預測階層架構上的較高視圖進行預測。此外，視圖S1可在視圖S4之前經解碼，只要視圖S1在視圖S0及S2之後經解碼便可。

以此方式，階層架構排序可用以描述視圖S0至S7。使記法SA>SB意謂，視圖SA應在視圖SB之前經解碼。在圖4之實例中，使用此記法，S0>S2>S4>S6>S7。又，關於圖4之實例，S0>S1，S2>S1，S2>S3，S4>S3，S4>S5，且S6>S5。可能遵循不違反此等要求的視圖之任何解碼次序。因此，許多不同解碼次序係可能的。

根據本發明之態樣，視訊寫碼器(諸如，視訊編碼器20或視訊解碼器30)可判定具有一或多個目標輸出層的輸出操作點。舉例而言，視訊編碼器20可自展示於圖4中之多視圖結構來判定一或多個目標輸出層，且將指示目標輸出層之資料編碼於經編碼位元串流中。同樣，視訊解碼器30可基於自經編碼位元串流剖析並解碼得到的資料來判定包括一或多個目標輸出層的輸出操作點。

舉例而言，視訊編碼器20可編碼VPS擴展(例如，諸如關於以上表2之實例所展示並描述的VPS擴展)、VPS(例如，諸如關於以上表3之實例展示並描述的VPS)、SEI訊息或其他訊息以指示一或多個輸出操作點，其中每一輸出操作點具有相關聯的目標輸出層。如上文所提及，當編碼深度視圖時，輸出操作點可指一操作點，其具有屬於包括於操作點中之視圖的所識別目標輸出紋理或深度視圖之清單。

視訊解碼器30可接收資料，且判定用於顯示的目標輸出視圖。作為一實例，視訊解碼器30可接收一包括視圖S0、S2、S4及S6的操作點。視訊解碼器30可基於包括於位元串流中之語法元素來判定，立體輸出操作點之目標輸出視圖包括視圖S0及S4。視訊解碼器30可解碼S0、S2、S4及S6中的每一者，但可僅輸出視圖S0及S4。

圖5為說明可調式視訊寫碼的概念圖。雖然關於H.264/AVC及SVC來描述圖5，但應理解，可使用包括HSVC之其他多層視訊寫碼方案來寫碼類似層。因此，以下對SVC之參考可大體上應用至可調式視訊寫碼，且並不限於H.264/SVC。

在SVC中，在包括以下各者之三個維度上啟用可調性：(例如)空間、時間及品質(表示為位元速率或信雜比(SNR))。一般而言，通常可藉由添加至任何維度中之表示來達成更好的表示。舉例而言，在圖5之實例中，層0係以具有7.5Hz之圖框率及64千位元組/秒(KBPS)之位元速率的四分之一共同中間格式(Quarter Common Intermediate Format，QCIF)來寫碼。此外，層1係以具有15Hz之圖框率及64KBPS之位元速率的QCIF來寫碼，層2係以具有15Hz之圖框率及256KBPS之位元速率的CIF來寫碼，層3係以具有7.5Hz之圖框率及512KBPS之位元速率的QCIF來寫碼，且層4係以具有30Hz之圖框率及1兆位元組/秒(MBPS)之位元速率的4CIF來寫碼。應理解，僅為了舉例目的而提供展示於圖5中之層的特定數目、內容及配置。

在任何狀況下，一旦視訊編碼器(諸如，視訊編碼器20)已用一可調式方式編碼內容，視訊解碼器(諸如，視訊解碼器30)便可使用抽取器工具來根據應用要求調適實際遞送之內容，該等應用要求可取決於(例如)用戶端或傳輸頻道。

在SVC中，具有最低空間及品質層的圖像通常與H.264/AVC相容。在圖5之實例中，具有最低空間及品質層的圖像(層0及層1中之圖像，以QCIF解析度)可與H.264/AVC相容。在彼等圖像當中，具有最低時間層級之彼等圖像形成時間基本層(層0)。可藉由具有較高時間層級(層1)之圖像來增強此時間基本層(層0)。

除H.264/AVC相容層外，可添加若干空間及/或品質增強層以提供空間及/或品質可調性。每一空間或品質增強層自身可係時間上可調的，其與H.264/AVC相容層具有相同之時間可調性結構。

根據本發明之態樣，視訊寫碼器(諸如，視訊編碼器20或視訊解碼器30)可判定具有一或多個目標輸出層的輸出操作點。舉例而言，視訊編碼器20可判定一或多個目標輸出層，且將指示目標輸出層之資料編碼於經編碼位元串流中。同樣，視訊解碼器30可基於自經編碼位元串流剖析並解碼得到的資料來判定包括一或多個目標輸出層的輸出操作點。

在一些實例中，可基於操作點之layer_id來導出目標輸出層。舉例而言，視訊解碼器30可解碼包括層0、層1及層2的操作點。在此實例中，視訊解碼器30可基於最高layer_id(例如，層2)來判定輸出操作點。因而，視訊解碼器30可輸出層2之圖像作為目標輸出圖像。

圖6為根據本發明之態樣的說明用於編碼輸出操作點之實例程序的流程圖。儘管關於視訊編碼器20(圖1及圖2)進行描述，但應理解，其他器件可經組態以執行類似於圖6之方法的方法。

在此實例中，視訊編碼器20可編碼層集合之複數個視訊資料層(100)。舉例而言，視訊編碼器20可編碼多視圖位元串流(包括例如符合MV-HEVC標準或3D-HEVC標準之位元串流)的複數個視訊資料視圖。在此實例中，層集合可包括解碼位元串流所需之複數個視訊資料視圖以及意欲輸出(例如，由解碼位元串流之用戶端器件顯示)的視訊資料視圖。在另一實例中，視訊編碼器20可編碼可調式位元串流(包括例如符合HSVC標準之位元串流)的複數個可調式視訊資料層。在此實例中，層集合可包括僅為解碼位元串流所需之複數個視訊資料層(例如，「並非待輸出層」)以及意欲輸出之視訊資料層。

視訊編碼器20可判定複數個層中的哪些層係目標輸出層(102)。目標輸出層可包括意欲輸出之層，該等層在顯示時提供視訊資料的可檢視表示。可基於表示之所要品質、視訊寫碼器件之能力、頻寬考慮事項或其他因子來選擇目標輸出層。

視訊編碼器20可編碼指示輸出操作點之資料，該輸出操作點包括所判定之目標輸出層(104)。舉例而言，視訊編碼器20可編碼指示目標輸出層的一或多個語法元素，且將此等語法元素包括於參數集中。如上文關於表2及表3所描述，視訊編碼器20可將指示輸出操作點之資料編碼於VPS擴展或VPS中。在其他實例中，視訊編碼器20可將指示輸出操作點的資料編碼於SPS或其他訊息中。視訊編碼器20可接著輸出經熵編碼之資料(例如，以供儲存或傳輸至另一器件)(106)。

圖7為根據本發明之態樣的說明用於解碼輸出操作點之實例程序的流程圖。儘管關於視訊解碼器30(圖1及圖3)進行描述，但應理解，其他器件可經組態以執行類似於圖7之方法的方法。

最初，視訊解碼器30解碼層集合之複數個視訊資料層(120)。舉例而言，視訊解碼器30可解碼多視圖位元串流(包括例如符合MV-HEVC標準或3D-HEVC標準之位元串流)的複數個視訊資料視圖。在此實例中，層集合可包括解碼位元串流所需之複數個視訊資料視圖以及意欲輸出的視訊資料視圖。在另一實例中，視訊解碼器30可解碼可調式位元串流(包括例如符合HSVC標準之位元串流)之複數個可調式視訊資料層。在此實例中，層集合可包括解碼位元串流所需之複數個視訊資料層以及意欲輸出的視訊資料層。

視訊解碼器30亦可解碼指示輸出操作點之資料，該輸出操作點包括一或多個目標輸出層(122)。如上文所提及，目標輸出層可包括意欲輸出之層，該等層在顯示時提供視訊資料的可檢視表示。在一些實例中，目標輸出層可係已被解碼之複數個層的子集。

指示目標輸出層的資料可包括指示目標輸出層的一或多個語法元素。如上文所描述，此等語法元素可包括於VPS擴展、VPS、SPS或另一類型之訊息中。

視訊解碼器30可基於資料自位元串流抽取目標輸出層(124)。舉例而言，視訊解碼器30可自位元串流抽取含有目標輸出層的一或多個子位元串流。視訊解碼器30亦可解碼一或多個子位元串流。視訊解碼器30可接著輸出目標輸出層以供顯示(例如，由顯示器件32(圖1)來顯示)(126)。

因此，視訊解碼器30獲得包括複數個層集合之複數個視訊資料層，其中每一層集合含有複數個層中的一或多個視訊資料層；且基於位元串流之一或多個語法元素來判定一或多個輸出操作點，其中每一輸出操作點係與複數個層集合中的一層集合及複數個層中的一或多個目標輸出層相關聯。

應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以一不同序列執行、可經添加、合併或完全省略(例如，對於實踐該等技術而言並非所有所描述之動作或事件皆係必要的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器並行而非順序地執行動作或事件。

為了說明之目的，已關於開發中的HEVC標準而描述了本發明之某些態樣。然而，本發明中所描述之技術可用於其他視訊寫碼程序，包括尚未開發出之其他標準或專屬視訊寫碼程序。

如本發明中所描述之視訊寫碼器可指視訊編碼器或視訊解碼器。類似地，視訊寫碼單元可指視訊編碼器或視訊解碼器。同樣，在適用時，視訊寫碼可指視訊編碼或視訊解碼。

在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合予以實施。若以軟體予以實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)係暫態式的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括一電腦可讀媒體。

藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，任何連接可適當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纜、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而係針對暫態式有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。

可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路之一或多個處理器來執行指令。因此，本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。此外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技術可完全以一或多個電路或邏輯元件來實施。

本發明之技術可以多種器件或裝置予以實施，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片集)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術的器件之功能態樣，但未必要求藉由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體來提供該等單元。

已描述各種實例。此等及其他實例屬於以下申請專利範圍之範疇內。