TWI559744B - 允許平行處理之編碼器、解碼器、傳送解多工器、系統、儲存媒體、方法及電腦程式 - Google Patents

Description

允許平行處理之編碼器、解碼器、傳送解多工器、系統、儲存媒體、方法及電腦程式

本發明係有關於諸如於演進高效視訊編碼(HEVC)許可並列處理的編碼構想、一傳送解多工器及一視訊位元串流。

由於HEVC標準對處理要求的增高以及因視訊解析度預期的增高，編碼器與解碼器的並列化變得極為重要。多核心架構已經利用在寬廣範圍的近代電子裝置。結果要求有有效方法可使用多核心架構。

最大編碼單位(LCU)的編碼或解碼出現在光柵掃描，藉此CABAC概率適用於各個影像的規格。空間相依性存在於相鄰的LCU間。由於不同成分，例如移動向量、預測、內預測等，各個LCU取決於其左、上、左上及右上鄰近LCU。為了致能解碼的並行，此等相依性典型地在最新應用中需要被中斷。

曾經提出有些並列化構想，亦即使用熵截割片[3]的波前處理，使用子串流[2][4]、[11]的波前並行處理(WPP) 操作或拼貼塊[5]。後述者並非必然需要組合波前處理以許可在解碼器或編碼器的並列處理。由此觀點，拼貼塊係類似WPP子串流。發明人初始針對熵截割片構想進一步研究的動機係執行減低編碼效率損耗及如此減輕針對在編碼器及解碼器中的並列辦法在位元串流上的負擔。

為了更徹底瞭解，特別係對LCU的使用，首先可注意H.264/AVC[1]的結構。

H.264/AVC中的編碼視訊序列係由串列存取單位組成，其係收集在NAL單位串流且只使用一個序列參數集合。各個視訊序列可獨立地解碼。一編碼序列係由一序列編碼圖像組成。一編碼框可為一整框或單一欄。各個圖像被劃分成固定尺寸的巨集區塊(於HEVC[5]中：LCU)。數個巨集區塊或LCU可合併成一個截割片。因此一個圖像為一或多個截割片的集合。此項資料分開的目的係許可在圖像以截割片表示的該區的樣本獨立解碼而不使用來自其它截割片的資料。

一項俗稱「熵截割片」[3]的技術為傳統截割片分裂成額外子截割片。更明確言之，表示單一截割片的熵編碼資料的截割。在一截割片中的熵截割片的排列可有不同變化。最簡單者係使用在一圖框中的各列LCU/巨集區塊作為一個熵截割片。另外，欄或分開區可用作為熵截割片，其甚至可被中斷及開關，例如圖1的截割片1。

熵截割片的一項顯著目標係許可使用並列CPU/GPU及多核心架構以改良解碼處理的時間，亦即加速 處理。該目前截割片可被劃分成區劃，可無需參考其它截割片資料而被剖析與重建。雖然使用熵截割片辦法可達成多個優點，但因而合併若干犧牲。

如[2]、[10]、[11]所提示及部分整合於[5]，熵截割片構想已經進一步擴延至子串流波前處理(WPP)。此處定義子串流之一重複方案。比較熵截割片，確實具有改良的每線熵態初始化。

拼貼塊構想許可欲編碼圖像資訊的分開，各個拼貼塊具有其本身的光柵掃描順序。一拼貼塊係由一共通結構定義，該共通結構係在該圖框內重複。一拼貼塊也可具有某個欄寬及行高，以LCU或CU表示。標題也可獨立地編碼且也可以不要求與其它拼貼塊聯合處理的方式編碼，使得解碼器執行緒可完全處理一個存取單位的拼貼塊，或至少若干編碼操作步驟係以獨立方式進行，亦即熵編碼及變換編碼。

因此，一拼貼塊大為許可全部或部分獨立跑拼貼塊編碼器及解碼器，後述情況下，直至HEVC編解碼器的過濾階段。

在一視訊通訊系統或類似系統的捕集、編碼、傳輸、解碼及呈示鏈中為了完整使用並列技術，在通訊參與者間的資料之傳送及存取乃整個端對端延遲注入的一個要緊且耗時的步驟。若使用並列技術，諸如拼貼塊、子串流或熵截割片，此點尤其成問題。

WPP子串流的資料辦法暗示區劃的編碼資料若 經處理並不具有資料本地性，換言之，單一執行緒解碼該存取單元，需跨接潛在大型記憶體部分來存取下個WPP子串流線的資料。需等待多執行緒解碼系統來在某個資料上傳輸，亦即WPP子串流以便以完全並列化方式工作，以探索該波前處理。

於視訊串流化中，致能較高解析度(全HD、四分HD等)導致更高量資料須被傳輸。對時間敏感的景況，要求低延遲使用情況，諸如視訊會議(小於145毫秒)或遊戲應用(小於40毫秒)要求極低端對端延遲。因此，傳輸時間變成關鍵因素。考慮ADSL用於視訊會議應用的上傳鏈路。此處，所謂的隨機存取串流點，俗稱I-框，將為造成傳輸期間的瓶頸的候選因素。

HEVC許可在編碼器及解碼器端所謂的波前-處理及拼貼塊-處理。此點係使用熵截割片、WPP子串流、或甚至其組合而變成可能。藉由並列拼貼塊編碼及解碼也許可並列處理。

以「非並列靶定」為例，一整個截割片的資料將一次遞送，如此若截割片的最末CU已經被發射則可能由解碼器存取。若為單一執行緒解碼器，則如此不成問題。

但於多執行緒情況下，若使用多重CPU或核心，則一旦編碼資料已經到達波前-解碼器或拼貼塊-解碼器執行緒，解碼過程將可能即刻開始。

如此，較佳地係有在並列處理環境中許可減少編碼延遲而同時編碼效率的減低較不嚴重的構想。

因此，本發明有一目的係提許可於並列處理環境中更有效且低度延遲編碼的一編碼構想、一傳送解多工器構想及一視訊位元串流。

此項目的係藉隨附之申請專利範圍獨立項的主旨達成。

依據本案之一第一面向，一種以截割片、WPP子串流或拼貼塊描述一圖像且使用脈絡適應性二進制算術編碼編碼的原始位元組序列酬載係經細分或切碎成份額，具有該脈絡適應性二進制算術編碼概率適應性橫跨份額邊界。藉此措施，額外地導入截割片、WPP子串流或拼貼塊內部的份額邊界不會導致此等元體的熵編碼效率的減低。但相反地，份額係小於原先截割片、WPP子串流或拼貼塊，及因而，份額可比較未經切碎的原先實體亦即截割片、WPP子串流或拼貼塊更早傳輸，亦即具有更低的延遲。

依據另一面向，該面向係與第一面向可組合，子串流標記NAL單位係用在一視訊位元串流的一序列NAL單位內部以使得一傳送解多工器分派在NAL單位內部的截割片資料給相對應的子串流或拼貼塊，因而能夠並列地用作為具有相對應的子串流或拼貼塊的一多執行緒解碼器。

10‧‧‧編碼器

12‧‧‧圖像

14‧‧‧視訊

16‧‧‧輸入

18、60‧‧‧預測器

20‧‧‧預測殘差

22‧‧‧殘差決定器

24‧‧‧轉換/量化模組

26‧‧‧量化殘差

28‧‧‧熵編碼器

30‧‧‧解量化及重新變換殘差信號

31‧‧‧重新變換及再量化模組

32、66‧‧‧預測信號

33、56‧‧‧組合器

34、68‧‧‧重建信號

36、58‧‧‧濾波器

38‧‧‧參考圖像

40‧‧‧原始位元組序列酬載

50‧‧‧解碼器

52‧‧‧熵解碼器

54‧‧‧重新變換/解量化模組

62、65‧‧‧殘差信號

64‧‧‧編碼參數

70‧‧‧輸出

80、88、90‧‧‧步驟

82‧‧‧拼貼塊

84‧‧‧拼貼塊順序

86a-b、98a-b‧‧‧份額

92‧‧‧WPP子串流

94‧‧‧第二LCU

96‧‧‧波前

100‧‧‧邊界

110‧‧‧NAL單位

112‧‧‧NAL單位標頭

114‧‧‧傳送串流(TS)封包

116‧‧‧酬載區段

300、300a-b‧‧‧封包

302‧‧‧標頭

304‧‧‧標記

306‧‧‧低延遲特徵指標

308‧‧‧連續指標

MB‧‧‧多工器緩衝器(MB)

SB‧‧‧截割片緩衝器(SB)

TB‧‧‧傳送緩衝器(TB)

優異的體現為申請專利範圍各附屬項的主旨。又復，本發明之較佳實施例係參考附圖以進一步細節解說如下，附圖中 圖1顯示熵截割片的可能化合物之一示意說明圖；圖2顯示展開於三個截割片上方的三個拼貼塊之一示意說明圖；圖3顯示四可變長度份額循環交插體系的份額之一交插實例之一示意說明圖；圖4顯示熵截割片資料之編碼、分節、交插及解碼之一示意說明圖；圖5顯示四可變長度份額循環交插體系的份額之一交插實例之一示意說明圖，經常使用標記碼及實際截割片資料展開於多個NAL單位上方。即使分割為不存在，仍使用標記碼。如此可使用一份額識別符在該標記後方指示該份額號碼進一步增強。如此免除如循環模式所要求，經常性發送一標記的需要。

圖6顯示例示說明NAL單位語法的一假碼表；圖7顯示例示說明一序列參數集語法的一假碼表；圖8顯示例示說明一低延遲截割片層RBSP語法的一假碼表；圖9顯示例示說明一截割片標頭語法的一假碼表；圖10顯示例示說明一子串流標記語法的一假碼表；圖11顯示熵截割片資料的簡單包封之一實例之一示意說明圖(NAL為NAL單位標頭；Si為子串流#i之截割片；ES為元體串流；HDR為TS標頭；PES為封包化ES標頭；MKR為子串流標記；AF為MPEG-2 TS適應欄位；PID為封包ID(於TS標頭))；圖12顯示熵截割片資料的單一ES包封之另一實例之一示意說明圖； 圖13顯示熵截割片資料的堆積多重ES包封之另一實例之一示意說明圖；圖14顯示單一ES的一傳送解多工器之一示意方塊圖；圖15顯示多重ES的一傳送解多工器之一示意方塊圖；圖16顯示一編碼器之一示意方塊圖；圖17顯示一解碼器之一示意方塊圖；圖18顯示藉解碼器執行的步驟之一流程圖；及圖19顯示使用即時傳輸協定(RTP)的多重ES之一實例的示意說明圖(NAL為NAL單位標頭；Si為子串流#i之截割片；Hdr為IP+UDP標頭；RtpSi為RTP對話#i；RtpH為RTP標頭；MKR為子串流標記)。

為了縮短並列解碼器執行緒可開始及結束其圖框資料的時間，下列實施例使用結構化用於並列化之資料的分段，諸如藉低度延遲交插辦法而將一或多個拼貼塊資料或一或多個波前並行處理(WPP)子串流資料結構化成為小份額。

因此，透過從編碼器至解碼器的傳輸路徑，編碼器可相對應於一特定最大編碼單元(LCU)集合遞送資料，或至少呈一份額形式遞送一子串流或拼貼塊或其部分的位元組排齊部分。

由於該等份額係小於完整WPP子串流或拼貼塊，及/或可調整適應該傳輸路徑的實際最大移轉單位(MTU)，故在解碼端解碼的完整存取單位結束前，多個WPP子串流或拼貼塊的份額可配置成在編碼器與解碼器間的一 移轉單位，比較若使用一存取單位的該完整WPP子串流或拼貼塊之一循序傳輸，可顯著更早開始。

如此顯然地導致份額的更快傳輸及在解碼器的並列解碼處理更早開始。當隨後圖框的截割片或熵截割片已經解碼時，諸如由於可得圖框間參考，根據知曉解碼隨後圖框的一熵截割片要求的資訊，例如以波前方式，該辦法也可應用於圖框邊界。在解碼順序中接續的一圖框之該等已解碼資料可從該串流中的最大容許/發訊運動向量長度或額外資訊推衍得，指示資料部分對先前圖框的相依性；或一固定參考方案，指示在一序列固定位置諸如一參數集合中發訊使用的位置。

一圖像可以每個最大編碼單位(LCU)-列一個熵截割片，或使用WPP子串流編碼，或甚至呈每列一個WPP子串流的組合其可進一步含於一分開熵截割片。此種資料結構為在解碼器端利用波前處理技術所需。或拼貼塊可用以許可並列處理。

在編碼過程中，在編碼器與解碼器間的含有WPP串流或拼貼塊的資料之各個截割片的位元串流可劃分成可變大小的份額以便匹配最大移轉單位大小。然後所得份額經交插，且可送至傳輸及置於MTU大小的封包內。

在各個份額之前或之後，為了許可在解碼器端處理，可插入一標記碼。HEVC的適當標記碼可為「0x00 00 02」，其將甚至通過起始碼仿真防止。在接收包括多個份額的一個封包後，接收器或解碼器可在起始碼仿真防止處理期間剖析實際含有的位元串流而不要求額外剖析步驟。例如可有兩個份額識別模式。經常性可有份額的循環配置， 始於具有tranche_id(份額識別符)等於1的份額至具有tranche_id等於n的份額。可為對第一通用方法的安全發訊資料。另一方法可為繼於標記後方的一特定標頭，指示tranche_id例如呈8位元值。

交插份額資料的解交插可基於每個封包的份額數目之資訊施用，該封包可為NAL單位封包。因此可為額外地WPP子串流或拼貼塊映射至份額。此項映射可暗示地衍生自拼貼塊數目/WPP子串流數目，或可於SPS中直接發訊。該映射對解交插程序為要緊，故某些WPP子串流或拼貼塊資料可經識別且服務負責解碼該關注WPP子串流或拼貼塊的波前或並聯解碼器執行緒。

為了通知解碼器使用該交插方案用於低延遲包封，在NAL單位標頭可有一低延遲旗標low_delay_flag。

另一模式可為在傳送層上的交插及解交插，亦即在解碼處理外部，可能在RTP[8][9][13]或MPEG-2傳送串流[7]層：因此，一標頭可置於該封包前方，藉一旗標根據存在的份額包括以位元組表示的尺寸資訊來指示一份額的存在。因該傳送層係與解碼處理解耦，可能無需整合一標記碼，原因在於總之該傳送層的額外資訊須在該等資料發送至解碼器之前去除。然後傳送層也重新排序資料用於位元串流遞送至解碼器。

一可變長度標頭可用在額外多工化層上。此種多工化層也可為編解碼器的部分且可在實際原始位元組序列 資料(RBSP)存取之前導入解碼器。一個標頭體系可參考圖3。但也可有一標頭恰在各個份額前方指示長度及其指標。如前述，仍然需要映射指標至位元串流結構。

份額大小也可為恆定大小，如每個份額x位元組。如此導致簡單多工化體系，諸如圖4所示。

由於其可變長度，節段的恆定長度可能在位元串流的末端成問題。

也可能有兩個通用解決方案。第一者係產生循環x-位元組節段(通常截割片的位元串流表示型態為位元組-排齊)及藉各個解碼器-引擎控制位元組的耗用，亦即解碼器找出一熵截割片的完成或包括一標記碼。

第二方法係如圖所示，若在一標頭的份額係為具有可變長度，則傳訊份額長度。

節段及交插模式大小可於一個SEI-訊息或於SPS傳訊。

傳輸方案係顯示於圖4。

另一項關注方法係在該封包諸如NAL或截割片封包內該份額之集合的末端使用完成碼或標記碼。於此種情況下，可變長度節段係為可能，如此要求位元串流的完整剖析。此處為了限制記憶體的存取，此種針對多工化的額外剖析處理可組合起始碼仿真防止剖析，要求在存取含於一NAL單位中的RBSP資料前作為第一步驟。此種標記方案係顯示圖5。

此處的構想是以交插方式將一較高層級結構諸 如實際截割片、熵截割片等分裂成其所含的較低層級資料結構諸如WPP子串流或拼貼塊，同時將該資料交插成份額。此等份額各自屬於一較低層級結構，例如一特定WPP子串流或拼貼塊係交插成一低延遲封包，其可為一特定NAL單位，一NAL單位具有藉一低延遲交插旗標傳訊或甚至一截割片或輕量截割片標頭藉一旗標或該截割片型別指示該低延遲交插辦法，如對該圖中的「NAL單位#1」所示，如此解碼器被通知施加一重新排序功能用於一「單一」執行緒解碼器，亦即在該解碼器中以原先/解交插順序使用該等份額的一循序處理。為了在多個封包分裂一實際截割片的資料成為交插份額以獲得該低延遲特徵，一傳送層可將含有該低延遲交插資料的該NAL單位分段成具有最大MTU尺寸的網路封包。實際截割片資料分段成多個NAL單位也可直接藉編碼層施用，如此需要發訊含有一截割片的延續之此種型別的NAL單位，如於圖5顯示為「NAL單位#2」。為了檢測在多個封包諸如NAL單位中的交插資料的完成。可能需要一特定完成碼，在該圖中也針對「NAL單位#2」顯示或一旗標其在該截割片或NAL標頭指示該完成。

於遺失NAL封包之情況下，也需要檢測遺失。如此可藉在標頭中的額外資訊施用，例如輕量截割片標頭，諸如所含份額的第一MB，或只有一特定份額#1。具有資訊諸如WPP子串流的偏移值或該份額的實際大小，則也可使用此等大小值(一特定WPP子串流或拼貼塊的偏移值)而在接收具有該完成碼的NAL單位及先前NAL單位後進行健全 檢查。

換言之，如文所述，份額可經封包今成封包300使得各個封包300包含該圖像的各個WPP子串流或拼貼塊的一個份額T#，或該圖像的該等WPP子串流或拼貼塊之一子集(原因在於例如某個WPP子串流或拼貼塊已經藉先前封包完全傳遞)，以該等WPP子串流或拼貼塊間界定的順序#排列，各個封包含一標頭302包含資訊顯示份額T#封裝成個別封包300的位置及/或長度，或標記304分開在個別封包300內部的份額T#彼此，其中該解碼器可組配成當接收該原始位元組序列酬載時，使用包含該等標頭302或標記304的資訊因而存取該等封包內部的份額。依據在WPP子串流或拼貼塊間定義的順序，包含該圖像的該等WPP子串流或拼貼塊之第一份額的封包300a可包含一低延遲特徵指標306，及依據在WPP子串流或拼貼塊間定義的順序，包含該圖像的該等WPP子串流或拼貼塊之第二或隨後份額T#的封包300b可包含一連續指標308。該等封包300可為NAL單位或截割片。

於後文中，提供針對該低延遲交插成份額的語法及語義的一發訊實例。

雖言如此，如前述，份額資料諸如WPP子串流或拼貼塊之資料的分裂也可施用在截割片層級或以下。

現在顯示一種辦法其可組合針對起始碼仿真防止的剖析以減少額外處理步驟。因此於HEVC編碼器的RBSP層級施用交插。

一個份額可視為將RBSP資料分裂成多個區段欲交插在該NAL單位酬載區段以供低延遲資料存取。一個份額的完成可由碼0x000002指示，且可接著一8-位元份額識別符tranche_id。該等份額可以循環方式交插，使得該份額的端碼不接著該tranche_id，其係暗示地推衍。在一單一份額中的Rbsp資料係相對應於一拼貼塊資料、一子串流資料、一截割片資料、或一熵截割片資料。

於NAL單位語法中，如藉「低延遲包封旗標」指示，針對低延遲交插許可兩種模式，換言之，該等份額的循環排列以及透過一旗標諸如在NAL單位標頭中的「低延遲循環旗標」，透過在標記碼後方的一額外識別符「tranche_id」指示該份額。此二旗標也可存在於序列參數集合，或甚至APS。用於循環份額排列，在剖析期間仍然需要知曉份額的數目，諸如提供於SPS為「num_low_delay_tranches」。

於該NAL單位中，交插「LD_rbsp_byte」係藉剖析器讀取於NAL語法於最末正向迴圈中對該實際序列RBSP順序的一重新排序：for(i=0,i++,i<num_low_delay_tranches){ for(j=0,j++,j<NumBytesInRBSP[i]){ rbsp_byte[NumBytesInRBSP++]=LD_rbsp_byte[j][i] }

如於「low_delay_tranche_lenght_minus1」指示，在該SPS或APS中也可有針對循環排列的份額之一固定尺寸的一明確發訊。後者未曾用在NAL單位語法實例，但若 具有如圖4所示的封包化則可直捷瞭解。於圖6的NAL單位語法中，如圖5顯示的及如上討論的封包化乃其基礎。

為了許可橫跨多個封包諸如截割片及/或NAL單位的此種份額交插特徵，針對通用緩衝器諸如用於該等份額的LD_rbsp_byte陣列可有一要求以具有對已接收的NAL單位之RBSP資料的重複存取。

為了許可錯誤復原，在結收一完成碼後，或若針對一份額所接收的位元組之數目和係等於該份額尺寸，其可推衍自如針對所含的份額資料提供的偏移值，例如推衍自該關注份額乃其一部分的該個別WPP子串流或拼貼塊的相關資料。

針對於交插低延遲份額排列的WPP子串流，由份額n+1要求的一項重要要求為只存取得自份額n的資料，該資料係已提供在份額n且已儲存在或在解碼器為可得。

用於在截割片層面重新排序/解交插的低延遲截割片層RBSP語法可如下設計。更明確言之，於該種情況下，語法須幾乎具有與NAL單位層相同的表現，但重新排序須在截割片層面上定義。圖8顯示該低延遲截割片層RBSP語法。

當使用該截割片標頭用以包封該等交插份額時，可能要求在編解碼器層級指示是否接收一新截割片而不復置該CABAC狀態，原因在於例如WPP子串流的份額之熵截割片不應中斷。在一截割片不復置該CABAC係在該截割片標頭指示為「no_cabac_reset_flag」。所示該截割片標 頭係適用於低延遲截割片，如此也須存在有entropy_slice特徵。相對應的截割片標頭語法係顯示於圖9。

基於下述事實該傳送層許可前傳至該解碼器單元的資料排程之最佳化：在該編碼層的多個子串流/拼貼塊/份額(在傳送層上，假設一摘取實體可由具有相似功能的一子串流、一拼貼塊、一子串流或拼貼塊的一部分、或位元串流的一部分表示，亦即其許可並行解碼或徐緩解碼器更新)是否能夠獨立地處理。一項可能係以最小延遲開始並行地發送份額至數個解碼單元。該位置資訊係由一序列的NAL單位組成，該NAL單位乃個別地在傳送層上處理的最小項。結果，下述在傳送層上處理的方法係根據含在分開截割片或熵截割片NAL單位中的子串流/拼貼塊/份額。

根據下述事實編碼層是否使用徐緩解碼器再新，傳送層也應最佳化解碼器效能及錯誤復原。若該位元串流的先前部分例如因傳輸錯誤而未曾正確地接收，或例如因傳送通道間的切換而絲毫未曾接收，則一個選項係捨棄該位元串流的不相關部分。

為了許可此種探索/最佳化，不同資訊係在傳送層上發訊。

通用旁資訊係使用描述符發訊：

-子串流/拼貼塊的數目，於該處「1」表示只有一個串流/拼貼塊含有整個視訊框

-子串流/拼貼塊共通的資訊，例如，若全部子串流/拼貼塊具有相同尺寸或緩衝要求為相同

-有關各個子串流/拼貼塊的個別資訊，例如子串流/拼貼塊是否具有不同尺寸或其緩衝要求為不同

-徐緩解碼器再新步驟之數目，於該處「1」表示不使用徐緩解碼器再新

-旗標指示此等子串流/拼貼塊是否許可低延遲並行處理

若子串流/拼貼塊的數目大於1，則語法元體插入該串流中在含有某個子串流/拼貼塊的各個資料區塊前方。此等語法元體遵照NAL單位語法，但使用不由編碼層使用的一獨特NAL單位型別(例如nal_unit_type=0x19或nal_unit_type=0x1F)，後文中稱作為子串流標記。

此等語法元體係用作為標記且攜載有關隨後資料區塊的資訊其識別該子串流/拼貼塊的至少一個資料欄位。

若徐緩解碼器再新的數目大於1，則此等語法元體也攜載一旗標其指示該子串流/拼貼塊是否為內編碼(許可徐緩解碼器再新)。

相對應的語法係顯示於圖10。可施加下列限制：forbidden_zero_bit須等於0。

nal_ref_flag須等於0。

nal_unit_type須等於0x19。

substream_ID：針對屬於一圖像的第一截割片計數值始於0，以屬於該相同圖像的各個額外截割片或熵截割片遞增。

is_intra：若為「1」，則隨後NAL單位含有一內編碼截割片或熵內編碼截割片。

一種包封該視訊串流於一傳送多工之方法係顯示於圖11，於該處各個截割片或熵截割片係在整數數目的傳送串流封包內分開地傳送。若酬載的尺寸並不正確地匹配在固定尺寸TS封包內可用的位元組，則最末TS封包含有一適應欄位。

須注意MPEG-2傳輸串流的元體串流的相似表現也可由該即時傳送協定的一RTP對話或一RTP串流提供，如圖19例示說明。於RTP[8]中，一RTP串流(藉媒體型別及酬載型別識別，如於SDP[12]指示)可含在其本身的RTP對話中，於該處一RTP對話係由(IP)網址、(UDP)埠及來源識別符(SSRC)識別。如於SDP指示的一媒體對話可含有多個RTP對話，其各自含有一個不同媒體型別。但也可能在不同RTP串流中傳送相同媒體串流(例如視訊)，於該處該等RTP串流可含在相同RTP對話(類似後文1.)或可含在其本身的RTP對話(類似後文2.)。圖19例示說明情況2。

RTP酬載格式[9][13]具有一解碼順序號碼(DON)，若為了錯誤復原目的而NAL單位被蓄意地偏離解碼順序傳輸，則許可在該接收器回復該等NAL單位的解碼順序，如[9][13]所述。因此額外標記MKR為不需要。於WPP子串流或拼貼塊的傳送份額係在該順序的情況下，此時變成從編碼處理為可得，則在提供給單一解碼器之前，該DON也可用以回復份額的解碼順序。但於此種情況下，由於在解碼處理之前的分開解交插處理程序故，將在解碼器導入一額外延遲。當資料係到達接收器時，此處描述的 系統可提供編碼份額直接給不同WPP子串流或拼貼塊的解碼處理。與一WPP子串流或拼貼塊相聯結的該等份額之識別可藉在該截割片節段的該截割片節段標頭之截割片位址及由在該RTP標頭的該RTP序號所指示的該等封包之傳送順序推衍。於此種情況下，該DON係只用於反向可相容性，亦即用於當偏離解碼順序發送的WPP子串流或拼貼塊的份額到達時不提供增強的解碼能力的解碼器。偏離解碼順序發送的份額係只應用於WPP子串流及拼貼塊層面，亦即應用於傳輸資料，單一WPP子串流或拼貼塊的份額係以解碼順序傳輸，於該處不同WPP子串流或拼貼塊的資料係交插。

有兩個可能的選項：

1.全部截割片及熵截割片係含在相同元體串流中，亦即相同的PID係分派給該視訊位元串流的全部TS封包；後文中，此種方法係稱為單一ES包封。

2.不同的PID係分派給具有相同視訊位元串流的截割片及熵截割片；後文中，此種方法係稱為多重ES包封。

若藉由對全部ES設定相同的PID，第一選項被視為較為通用結構的一特例，則圖11對兩個選項皆為有效。

以單一ES包封的更有效方式係顯示於圖12。此處，每個圖像至多只需一個適應欄位。

以多重ES包封的更有效方式係顯示於圖13。此處，迴避適應欄位；取而代之，另一個截割片例如隨後圖像的並置拼貼塊即刻始於相同傳送串流封包。

具有一個單一元體串流(ES)靶定於一多執行緒 解碼器的用於包封的該傳送解多工器的一種可能結構係顯示於圖14。該圖中的熵截割片可含有一特定WPP子串流或拼貼塊的資料。

該傳送緩衝器(TB)收集屬於一傳送封包的資料，及前傳該資料給該多工器緩衝器(MB)。在該多工器緩衝器(MB)的輸出，評估該等NAL單位標頭及拋棄子串流標記，而攜載於該子串流標記中的資料則經儲存。各個截割片或熵截割片的資料係儲存於一分開截割片緩衝器(SB)，從該處一旦藉一多執行緒解碼器挽出，則可得一解碼器執行緒。

具有多重元體串流靶定於一多執行緒解碼器的用於包封的該傳送解多工器的一種可能結構係顯示於圖15。

前文摘述的構想係再度以其它字眼敘述如下。後文詳細說明部分因而係與前文詳細說明部分的額外細節可個別地組合。

圖16顯示依據本案之一實施例一編碼器之概略結構。編碼器10可體現為能夠以多執行緒方式操作與否，亦即僅只單執行緒。換言之，編碼器10例如能夠使用多重CPU核心體現。換言之，編碼器10可支援並列處理但非必要。本案的編碼構想許可並列處理編碼器以有效地施用並列處理，但不會有損壓縮效率。至於並列處理能力，相同陳述針對解碼器也有效，將就圖17容後詳述。

編碼器10為視訊編碼器，但通常編碼器10也可為圖像編碼器。一視訊14的一圖像12係顯示為在一輸入16進 入編碼器10。

該編碼器10為一混成編碼器，亦即圖像12係在一預測器18預測，及藉一殘差決定器22諸如一減法器所得的該預測殘差20係在一轉換/量化模組24接受變換，諸如頻譜分解諸如離散餘弦變換(DCT)，及接受量化。如此獲得的量化殘差26係在一熵編碼器28接受熵編碼，亦即脈絡適應性二進制算術編碼(CABAC)。針對該解碼器可得的殘差的可重建版本，亦即解量化及重新變換殘差信號30係藉一重新變換及再量化模組31復原，及藉組合器33與預測器18的該預測信號32組合，藉此導致圖像12的一重建34。但編碼器10係根據一區塊基礎操作。據此，重建信號34在區塊邊界有不連續問題，及據此，一濾波器36可施用至該重建信號34以獲得一參考圖像38，根據該參考圖像預測器18預測隨後編碼的圖像。但如圖16中之虛線顯示，預測器18也可無濾波器36而直接探索該重建信號34或一中間版本。以圖像編碼為例，濾波器36可被拋開。

預測器18可在不同預測模式間選擇以預測圖像12的某些區塊。可有一時間性預測模式，根據該模式一區塊係基於先前編碼的圖像預測；一空間性預測模式，根據該模式一區塊係基於該相同圖像的先前編碼區塊預測；層間預測模式，根據該模式在一較高層諸如在較高空間解析度或從一進一步觀點顯示該場景的一圖像的一區塊係基於在一較低層諸如在較低空間解析度或從另一觀點顯示此一場景的一相對應圖像預測。

某個語法係用來編譯量化殘差資料26，亦即變換係數位準及其它殘差資料、以及編碼模式資料例如包括如由預測器18決定的針對圖像12之個別區塊的預測模式及預測參數，此等語法元體接受藉熵編碼器28的熵編碼。如由熵編碼器28輸出的如此所得之資料串流係稱作原始位元組序列酬載40。

圖16之編碼器10的元體係互連，如圖16所示。

圖17顯示一解碼器其匹配圖16的編碼器，亦即能夠解碼原始位元組序列酬載。圖17的解碼器大致上係以參考符號50指示，及包含一熵解碼器52、一重新變換/解量化模組54、一組合器56、一濾波器58及一預測器60。熵解碼器42接收原始位元組序列酬載40及使用脈絡適應性二進制算術解碼進行熵解碼以回復殘差信號62及編碼參數64。重新變換/解量化模組54解量化及重新轉換殘差信號62，及前傳如此所得的殘差信號至組合器56。組合器56也從預測器60接收一預測信號66，該預測信號66又轉而使用該等編碼參數64，基於藉組合器56組合該預測信號66及該殘差信號65所決定的重組信號68而形成該預測信號66。如前文已經參照圖16解說，另外或此外，預測器60可使用重組信號68的過濾版本或其若干中間版本。最後在解碼器50的輸出70重製與輸出的圖像同樣地係在組合信號68的未過濾版本或其若干已過濾版本上決定。

依據拼貼塊構想，圖像12係細分為拼貼塊，及至少在此等拼貼塊內部的區塊預測係限於只使用同一個拼貼 塊相關資料作為空間預測的基礎。只用於舉例說明目的，圖16例示說明圖像12被細分成九個拼貼塊。各個拼貼塊再細分成九個區塊也僅供舉例說明之用，如圖16所示。又復，為求完整，注意分開地編碼拼貼塊的方式並非限於空間預測(間預測)。反而，橫跨拼貼塊的邊界之一個別拼貼塊的編碼參數之任何預測、及橫跨個別拼貼塊的邊界在一個別拼貼塊的熵編碼中的脈絡選擇的任何相依性也被禁止，以限制只與相同拼貼塊的資料有相依性。如此，解碼器能夠並列地亦即以拼貼塊為單位執行前述操作。

為了透過某個傳輸頻道傳輸，語法元體必須藉熵編碼器28逐一截割片熵編碼。為了達成此項目的，熵編碼器28掃描該等拼貼塊的該等區塊，以第一拼貼塊為最先橫過該等區塊，然後進行在拼貼塊順序中的下個拼貼塊的該等區塊等等。光柵掃描順序例如可用來分別地掃描在拼貼塊內部的該等區塊及該等拼貼塊。然後截割片堆積人NAL單位，NAL單位乃最小傳輸單位。在熵編碼一截割片之前，熵編碼器28初始化其CABAC概率，亦即用以算術編碼該截割片的該語法元體的該等概率。熵解碼器52亦同，亦即在截割片起點初始化其概率。但各個初始化對熵編碼效率產生負面影響，原因在於該等概率係連續地調整適應各個脈絡的實際符碼概率統計，及據此復置該CABAC概率表示偏離適應態。如熟諳技藝人士將瞭解，唯有當概率匹配該實際符碼概率統計時熵編碼才導至一最佳壓縮。

據此，依據本案之一實施例，一解碼器係如圖18 所示操作。於步驟80該解碼器接收描述呈拼貼塊82呈拼貼塊的份額之一圖像12的該原始位元組序列酬載。於圖18中，於拼貼塊順序84中的第一拼貼塊82係例示顯示為被切碎或分裂成兩個份額86a及86b，各自例示顯示為覆蓋在該拼貼塊內部的該序列拼貼塊之一子序列。然後於步驟82，該等份額86a及86b係經熵解碼。但於熵解碼份額86a及86b中，橫跨份額邊界仍然持續CABAC概率調適。換言之，在解碼份額86a期間，CABAC概率仍然繼續調整適應實際符碼統計，及於熵解碼份額86a結束時的狀態係適用以開始熵解碼份額86b。於步驟90，如此經熵解碼的原始位元組序列酬載係經解碼以獲得圖像12。

由於橫跨位在拼貼塊82內部的份額邊界92持續CABAC概率調整適應，此等份額邊界不會對熵編碼效率產生負面影響超越圖像12的細分成拼貼塊82。另一方面，拼貼塊並列處理仍然可能。此外，可能個別地傳輸該等份額，且因份額係小於完整拼貼塊82，於步驟90，一旦個別拼貼塊的該第一份額已經被接收且被熵解碼，係可能開始各個拼貼塊的解碼。

圖16至18的說明主要係有關拼貼塊的使用。如前文描述，拼貼塊係來自於一圖像的空間分割。類似拼貼塊，截割片也將一圖像空間細分。據此，截割片也是致能並列編碼/解碼的手段。類似截割片，預測及其類被禁止使得截割片可個別地解碼。據此，圖16至18的描述也可有效用以將截割片分裂成份額。

同理適用於使用WPP子串流時。WPP子串流也表示一圖像12的空間劃分，亦即分割成WPP子串流。與拼貼塊及截割片相反，WPP子串流對橫跨WPP子串流的預測及接觸選擇不加諸限制。如圖4所示，WPP子串流沿區塊列諸如最大編碼單位(LCU)列延伸，及為了致能並列處理，及有關以如WPP子串流(參考圖4)92間定義的順序有關CABAC熵編碼只做一項折衷，及針對各個WPP子串流92，但第一WPP子串流除外，CABAC概率不會完全復置，反而採用或設定為等於熵解碼緊接前方的WPP子串流直至其第二LCU 94後所得的CABAC概率，針對各個WPP子串流，LCU順序係始於圖像12的同側，諸如圖4例示說明的左側。因此，藉由在WPP子串流的序列間遵守某種編碼延遲，此等WPP子串流92係可並行地解碼，使得圖像12係並列地亦即併行解碼的該等部分形成一種波前96，其係以傾斜方式從左至右橫跨該圖像移動。

換言之，在將圖16至18的描述移轉至WPP子串流中，任何WPP子串流92(圖4)也可被細分成份額98a及98b而不干擾在個別WPP子串流92內部在此等份額98a及98b間中斷在邊界100的CABAC概率適應，藉此避免因份額98a及98b的個別傳輸導致犧牲熵編碼效率，反而維持使用波前並列處理的能力且使得更早開始此項波前並列處理，原因在於份額係比完整WPP子串流92更小之故。

如前文就圖1至15所述，有數種可能以傳輸封包化成NAL單位的份額。參考圖3，於該處拼貼塊或子串流或 此等拼貼塊或子串流的截割片已經在算術編碼域中分裂成份額，一標頭係在各個子串流或拼貼塊的第n份額前方且呈示資訊許可定位該等份額邊界。另一個實施例係呈示於圖9。於該處，拼貼塊或WPP子串流之細分成份額係藉略為改變截割片結構進行：截割片始於一拼貼塊或WPP子串流邊界，亦即始於一拼貼塊或WPP子串流的起點，具有no_cabac_reset_flag設定為零，藉此使得尋常CABAC概率初始化/復置。但始於一拼貼塊或WPP子串流內部的攜載份額的截割片具有no_cabac_reset_flag設定為1，藉此造成前述繼續CABAC概率適應。

至於有關解交插，解交插係在接收步驟80進行，針對各個份額，決定該個別份額係屬於哪個WPP子串流或拼貼塊。如上已經敘述不同的可能，諸如循環輪轉通過一目前圖像的WPP子串流或拼貼塊數目。另外，於使用截割片標頭以傳送該等份額之情況下，該等截割片標頭可包括一指示許可定位在該目前圖像12內部個別截割片的起點。

就此方面而言，注意該等截割片、WPP子串流或拼貼塊之分解成份額係沿在各個截割片、WPP子串流或拼貼塊內部定義的一解碼順序進行：換言之，在各個截割片、WPP子串流或拼貼塊內部，由該個別截割片、WPP子串流或拼貼塊空間涵蓋的該圖像部分係編碼成個別截割片、WPP子串流或拼貼塊，或以該解碼順序自其中解碼，及一個別截割片、WPP子串流或拼貼塊的各個份額涵蓋沿該解碼順序的該個別截割片、WPP子串流或拼貼塊之一連續部 分。藉此方式，在屬於相同截割片、WPP子串流或拼貼塊的份額間定義一順序，亦即編碼/解碼順序，及各個份額具有在該順序內部的一排序。當該圖像之細分成WPP子串流或拼貼塊係發訊給該解碼器時，該解碼器知曉有關該細分。因此，為了聯結各個份額與一個別WPP子串流或拼貼塊(舉例)，若各個份額具有一起始位址識別一起始位置即足，個別份額從該起始位置，使用個別份額屬於其中部分的該等拼貼塊/WPP子串流的編碼/解碼順序而連續地涵蓋該圖像。例如，即便在屬於某個拼貼塊或WPP子串流的該等份額間的順序可在一傳送解多工器重建，或藉該解碼器使用該等起始位置重建。但為了再分類，如前文就RTP傳輸所述的較低OSI層的傳送封包標頭之資訊也可使用，諸如解碼順序號碼，亦即DON。剛才前述型別的傳送解多工器可類似前文討論的傳送解多工器組配，以儲存相等WPP子串流或拼貼塊的份額資料於一個截割片緩衝器上，及儲存與不同WPP子串流或拼貼塊相聯結的WPP子串流或拼貼塊的份額資料於不同截割片緩衝器上。如前述，截割片結構亦即截割片標頭可用以傳遞份額。

其次將參考圖11至15之實施例以再度以不同字眼描述之。如此等圖式描述，截割片Si係封包化成NAL單位，各個NAL單位110(參考圖11)包含一NAL單位標頭112。須注意截割片Si可為正常截割片或依據圖9攜載份額的截割片。據此，此等截割片單獨攜載有關一目前圖像的一個WPP子串流或拼貼塊，亦即分別為第i個WPP子串流或拼貼 塊。透過分段，NAL單位110係透過傳送串流(TS)封包114亦即其酬載區段116傳送。如此，各個NAL單位110及相對應的截割片Si係前繼有個別子串流標記MKR指示i，亦即在緊接的NAL單位110的該緊接的截割片所屬WPP子串流或拼貼塊。

攜載屬於不同WPP子串流或拼貼塊的截割片的NAL單位110可分配在多於一個元體串流ES上或分配在相同元體串流上，如圖11至13解說。如前述，「元體串流」也可識別在其本身RTP對話中的一分開RTP串流。

如就圖14或15解說，一傳送解多工器可包含一多工器緩衝器(MB)、截割片緩衝器(SB)、及一傳送緩衝器(TB)。該等截割片緩衝器(SB)係藉一多執行緒解碼器(MTD)挽出其許可在WPP子串流或拼貼塊中的一圖像的並列解碼。傳送緩衝器(TB)係經組配以收集屬於一視訊位元串流的一預定元體串流的一TS封包，及前傳該資料給該多工器緩衝器(MB)。然後傳送解多工器係經組配以評估在該多工器緩衝器(MB)的輸出被封包今TS封包的一NAL單位序列的NAL單位的NAL單位標頭，拋棄子串流標記NAL單位MKR，伴以儲存攜載於子串流標記NAL單位內部的子串流標記資料，及儲存子串流或拼貼塊的截割片資料在NAL單位內部在子串流標記NAL單位後方，其一個資料欄位識別在一個亦即相同截割片緩衝器(SB)中的一相等WPP子串流或拼貼塊及在NAL單位內部在子串流標記NAL單位後方的WPP子串流或拼貼塊的截割片資料，其一個資料欄位識別 在不同截割片緩衝器(SB)中的不同WPP子串流或拼貼塊。如圖15所示，傳送解多工器可包含一解多工器，圖15中稱作TS解多工器，且係經組配來接收視訊位元串流，及將該視訊位元串流的TS封包分裂成不同的元體串流，亦即分配該視訊位元串流的TS封包至不同的元體串流。該解多工器根據含在TS封包的TS標頭內部的PID而執行此項分裂或分配，使得各個元體串流係由與其它元體串流的TS封包之PAD不同的一PAD之TS封包組成。

換言之，若相對應於就圖9之實施例的意義的份額之該等截割片，則一旦個別WPP子串流或拼貼塊的相對應於截割片緩衝器(SB)具有資料含在其中，MTD亦即多執行緒解碼器能夠開始處理一目前圖像的多於一個WPP子串流或拼貼塊，藉此減少延遲。

雖然已經以裝置的脈絡描述若干面向，但顯然此等面向也表示相對應方法的一描述，於該處一區塊或裝置係相對應於一方法步驟或一方法步驟的特徵。類似地，於一方法步驟脈絡中描述的面向也係表示一相對應裝置的一相對應於區塊或項目或特徵。部分或全部的此等方法步驟可藉(或使用)硬體裝置執行，例如微處理器、可規劃電腦、或電子電路。於若干實施例中，最重要方法步驟中之某一者或某多者可藉此種裝置執行。

本發明之編碼位元串流可儲存在一數位儲存媒體上或可在一傳輸媒體上傳輸，諸如無線傳輸媒體或有線傳輸媒體，諸如網際網路。

如此，此種前述貢獻描述如由新穎HEVC編碼標準所提供的結構化視訊資料之低延遲包封與傳輸等，諸如結構化成拼貼塊、波前並行處理(WPP)子串流、截割片或熵截割片。已經呈示多項技術其許可在並列化編碼器-發射器-接收器-解碼器環境中，透過熵截割片/截割片/拼貼塊/子串流的交插傳送而低延遲傳送。為了解決在本說明書的引言部分摘述的瓶頸問題，及最小化傳輸及解碼時間的延遲，亦即端對端延遲，已經呈示並傳輸與處理交插熵截割片方案等技術。

取決於某些體現要求，本發明之實施例可在硬體或軟體體現。該體現可使用數位儲存媒體執行，例如軟碟、DVD、藍光碟、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體具有可電子讀取控制信號儲存其上，其係與可規劃電腦系統協作(或能夠協作)使得執行個別方法。因此，該數位儲存媒體乃電腦可讀取。

依據本發明之若干實施例包含具有可電子讀取控制信號的一資料載體，其係與可規劃電腦系統能夠協作使得執行此處描述的方法中之一者。

概略言之，本發明之實施例可體現為具有一程式碼的一種電腦程式產品，當該電腦程式產品係在一電腦上跑時，該程式碼係可操作以執行該等方法中之一者。該程式碼例如可儲存在一機器可讀取載體上。

其它實施例包含儲存於一機器可讀取載體上用以執行此處描述的方法中之一者的電腦程式。

換言之，本發明方法之一實施例因而為一種電腦程式具有一程式碼，當該電腦程式係在一電腦上跑時，該程式碼係可操作以執行此處描述的方法中之一者。

因此，本發明方法之又一實施例為一種資料載體(或數位儲存媒體或電腦可讀取媒體)包含用以執行此處描述的方法中之一者的電腦程式記錄其上。資料載體、數位儲存媒體或記錄媒體典型地為具體有形及/或非過渡。

因此，本發明方法之又一實施例為一種資料串流或一序列之信號表示用以執行此處描述的方法中之一者的電腦程式。該資料串流或該序列之信號例如可經組配來透過一資料通訊連結，例如通過網際網路移轉。

又一實施例係包含經組配以或適用以執行此處描述的方法中之一者的一處理構件，例如一電腦或一可程式規劃邏輯裝置。

又一實施例包含一種電腦，具有用以執行此處描述的方法中之一者的電腦程式安裝其上。

依據本發明之又一實施例包含一種裝置或系統其係經組配來移轉(例如電氣或光學)用以執行此處描述的方法中之一者的電腦程式給一接收器。該接收器例如可為一電腦、一行動裝置、一記憶體等。該裝置或系統例如可包含將該電腦程式移轉給該接收器的一檔案伺服器。

於若干實施例中，一種可程式規劃邏輯裝置(例如可現場程式規劃閘陣列)可用以執行此處描述的方法功能中之一部分或全部。於若干實施例中，可現場程式規劃 閘陣列可與微處理器協作以執行此處描述的方法中之一者。一般而言，該等方法較佳係藉任一種硬體裝置執行。

前文描述之實施例係僅用以舉例說明本發明之原理。須瞭解此處描述的配置及細節的修改及變化為熟諳技藝人士所顯然易知。因此意圖僅受隨附的申請專利範圍各項之範圍所限而非受藉由描述及解說此處實施例所呈示的特定細節所限。

參考文獻

[1] Thomas Wiegand, Gary J. Sullivan, Gisle Bjontegaard, Ajay Luthra, ”Overview of the H.264/AVC Video Coding Standard”, IEEE Trans. Circuits Syst. Video Technol., vol. 13, N7, July 2003.

[2] JCTVC-E196, “Wavefront Parallel Processing”, 5th JCT-VC Meeting, Geneva 2011.

[3] JCTVC-D070, “Lightweight slicing for entropy coding”, 4th Meeting, Daegu, 2011.

[4] JCTVC-D073, “Periodic initialization for wavefront coding functionality”, 4th Meeting, Daegu, 2011.

[5] HEVC WD5: Working Draft 5 of High-Efficiency Video Coding JTCVC-G1103, 5th JCT-VC Meeting, Geneva Meeting November 2011.

[6] JTCVC-D243, "Analysis of entropy slices approaches", 4th Meeting, Daegu, 2011.

[7] ISO/IEC 13818-1/2011, MPEG-2 Transport Stream including AMDs 1 - 6.

[8] IETF Real-time transport protocol, RTP RFC 3550.

[9] IETF RTP Payload Format, IETF RFC 6184.

[10] JCTVC-F275, Wavefront and Cabac Flush: Different Degrees of Parallelism Without Transcoding, , Torino Meeting

[11] JCT-VC-F724, Wavefront Parallel Processing for HEVC Encoding and Decoding, Torino Meeting** at end of description

[12] IETF Session Description Protocol (SDP), RFC 4566

[13] IETF RTP Payload Format for High Efficiency Video Coding, draft-schierl-payload-h265

300、300a-b‧‧‧封包

304‧‧‧標記

306‧‧‧低延遲特徵指標

308‧‧‧連續指標

Claims (41)

1. 一種用以自原始位元組序列解碼圖像的解碼器，且其係經組配來從一編碼器接收呈截割片、波前平行處理(WPP)子串流或拼貼塊的份額形式的原始位元組序列酬載，其描述呈該等截割片、WPP子串流或拼貼塊形式且使用脈絡適應性二進制算術編碼技術(CABAC)來寫碼的一圖像；以橫跨份額邊界的連續CABAC概率適應來熵解碼該等份額；及解碼該原始位元組序列酬載以獲得該圖像。
2. 如申請專利範圍第1項之解碼器，其中該原始位元組序列酬載描述呈截割片形式的該圖像，且該解碼器係經組配以於解碼該原始位元組序列酬載中，分開地解碼各個截割片而不使用其它截割片資料。
3. 如申請專利範圍第1項之解碼器，其中該原始位元組序列酬載描述呈拼貼塊形式的該圖像，且該解碼器係經組配以於解碼該原始位元組序列酬載時，彼此獨立地執行該等拼貼塊的熵解碼及變換解碼。
4. 如申請專利範圍第1項之解碼器，其中該原始位元組序列酬載描述呈WPP子串流形式的該圖像，且該解碼器係經組配以於解碼該原始位元組序列酬載中，使用該WPP子串流的波前平行處理。
5. 如申請專利範圍第1至4中任一項之解碼器，其中該等份 額係使用截割片標頭封包化，及該解碼器係經組配以於接收該等份額中，一接收到一新截割片就應答在該新截割片的該截割片標頭中之一旗標、該新截割片之一截割片型別、或含有該新截割片的一網路抽象層(NAL)單位的一NAL單位型別，以便藉復置CABAC概率而中斷該CABAC概率適應或繼續該CABAC概率適應。
6. 如申請專利範圍第1至4中任一項之解碼器，其中該原始位元組序列酬載描述呈WPP子串流或拼貼塊形式的該圖像，該等WPP子串流或拼貼塊係進一步細分成該等份額。
7. 如申請專利範圍第6項之解碼器，其中該解碼器係經組配來在接收該等份額中，藉由針對各個份額識別該個別份額所屬哪個WPP子串流或拼貼塊，而解交插該等份額。
8. 如申請專利範圍第1至4中任一項之解碼器，其中該等份額係經封包化成封包，使得各個封包包含該圖像的各個WPP子串流或拼貼塊之一個份額、或該圖像的該等WPP子串流或拼貼塊之一子集，排列成在該等WPP子串流或拼貼塊間定義的一排序，各個封包係包含一標頭包含揭示堆積於該個別封包內的該等份額之位置及長度之至少一者，或在該個別封包內部分開該等份額彼此的標記，其中該解碼器係經組配來在接收該原始位元組序列酬載中，使用由該等標頭或該等標記所包含的資訊而存取在該等封包內部的該等份額。
9. 如申請專利範圍第8項之解碼器，其中依據在該等WPP子串流或拼貼塊間定義的該排序，包含該圖像的該等 WPP子串流或拼貼塊之第一份額的封包係包含一低延遲特徵指標，及依據在該等WPP子串流或拼貼塊間定義的該排序，包含該圖像的該等WPP子串流或拼貼塊之第二或其後份額的封包係包含一連續指標。
10. 如申請專利範圍第9項之解碼器，其中該等封包係為NAL單位或截割片。
11. 如申請專利範圍第1項之解碼器，其中該原始位元組序列對應於不同的觀點而在多個層中編碼有一場景。
12. 如申請專利範圍第1項之解碼器，其中該原始位元組序列以多個層被編碼入該圖像。
13. 一種傳送解多工器，其係包含一多工器緩衝器；用以藉一多執行緒解碼器挽出的截割片緩衝器許可呈波前平行處理(WPP)子串流或拼貼塊形式的一圖像平行解碼；一傳送緩衝器其係經組配以來收集屬於一視訊位元串流的一預定元體串流的一傳送串流(TS)封包的資料，及前傳該資料給該多工器緩衝器；其中該傳送解多工器係經組配來在該多工器緩衝器之一輸出，評估封包化成為該等TS封包的一網路抽象層(NAL)單位序列的NAL單位的NAL單位標頭，拋棄插入該NAL單位序列內部的子串流標記，儲存攜載於該等子串流標記內部的該子串流標記資料，及儲存子串流或拼貼塊的截割片資料在NAL單位內部子串流標記後 方，其一資料欄位識別在一個截割片緩衝器內一相等WPP子串流或拼貼塊，及子串流或拼貼塊的截割片資料在NAL單位內部子串流標記後方，其一資料欄位識別在不同截割片緩衝器內之不同WPP子串流或拼貼塊。
14. 如申請專利範圍第13項之傳送解多工器，其中該等子串流標記係為子串流標記NAL單位，其具有與在該等子串流或拼貼塊的該等截割片資料內部的NAL單位不同的一NAL單位型別。
15. 如申請專利範圍第13或14項之傳送解多工器，其係進一步包含一解多工器其係經組配來接收該視訊位元串流及依據含在該等TS封包的TS標頭內部的封包識別符(PID)將該視訊位元串流的TS封包分裂成不同元體串流，使得各個元體串流係由與其它元體串流的TS封包的PID不同的一PID的TS封包組成。
16. 如申請專利範圍第13項之傳送解多工器，其中該原始位元組序列對應於不同的觀點而在多個層中編碼有一場景。
17. 如申請專利範圍第13項之傳送解多工器，其中該原始位元組序列以多個層而被編碼入該圖像。
18. 一種包含如申請專利範圍第13或14項之傳送解多工器及多執行緒解碼器之系統，其中該多執行緒解碼器係用以自一原始位元組序列解碼一圖像之解碼器，其經組配來 從一編碼器接收呈份額形式的原始位元組序列酬載，其係描述呈WPP子串流形式且使用脈絡適應性二進制算術編碼技術(CABAC)來寫碼的該圖像，該圖像的每個最大編碼單位(LCU)列對應一WPP子串流，該等WPP子串流係藉由將多個份額邊界導入其內而被分段成該等份額，以橫跨導入該等WPP子串流中的該等份額邊界的連續CABAC概率適應來熵解碼該等份額，及解碼該原始位元組序列酬載以獲得該圖像，其中該等份額係使用截割片標頭封包化，及該解碼器係經組配以於接收該等份額中，一接收到一新截割片就應答在該新截割片的該截割片標頭中之一旗標、該新截割片之一截割片型別、或含有該新截割片的一NAL單位的一NAL單位型別，以便藉復置CABAC概率而中斷該CABAC概率適應或繼續該CABAC概率適應。
19. 一種經組配以接收一視訊位元串流的傳送解多工器，該視訊位元串流係包含原始位元組序列酬載描述呈截割片、波前平行處理(WPP)子串流或拼貼塊且係使用脈絡適應性二進制算術編碼技術(CABAC)寫碼的一圖像，該視訊位元串流係以橫跨份額邊界的連續CABAC概率適應分解成該等截割片、WPP子串流或拼貼塊的份額，其中各個該份額包含針對各個份額的識別該個別份額所屬哪個WPP子串流或拼貼塊之資訊，並使用該資訊聯結該等份額至該等截割片、WPP子串流或拼貼塊。
20. 如申請專利範圍第19項之傳送解多工器，其中針對各個份額，由該個別份額所包含的資訊係包含在該圖像內部之一起始位置之一位址，始於該個別份額連續地涵蓋該個別份額所屬之該截割片、WPP子串流或拼貼塊之一部分。
21. 如申請專利範圍第19或20項之傳送解多工器，其中該傳送解多工器係經組配以針對各個截割片、WPP子串流或拼貼塊，使用在該等份額被包封於其中之封包的封包標頭中的一解碼順序號碼而分類其份額。
22. 如申請專利範圍第19項之傳送解多工器，其中該原始位元組序列對應於不同的觀點而在多個層中編碼有一場景。
23. 如申請專利範圍第19項之傳送解多工器，其中該原始位元組序列以多個層被編碼入該圖像。
24. 一種用以將圖像編碼成原始位元組序列的編碼器，其係經組配來藉編碼一圖像而形成一原始位元組序列酬載，以使用脈絡適應性二進制算術編碼技術(CABAC)熵編碼該原始位元組序列來描述呈截割片、波前平行處理(WPP)子串流或拼貼塊形式的該圖像，傳輸呈多個份額之形式的該原始位元組序列，及於該熵編碼中繼續CABAC概率適應橫跨份額邊界。
25. 如申請專利範圍第24項之編碼器，其中該編碼器係經組配來得自該原始位元組序列使得該等份額係匹配一最 大移轉單元尺寸。
26. 如申請專利範圍第24項之編碼器，其中該原始位元組序列對應於不同的觀點而在多個層中編碼有一場景。
27. 如申請專利範圍第24項之編碼器，其中該原始位元組序列以多個層被編碼入該圖像。
28. 一種儲存傳輸包含網路抽象層(NAL)單位標頭的序列NAL單位之視訊位元串流的數位儲存媒體，該序列NAL單位具有子串流標記插入於其中，其中NAL單位攜載相等子串流或拼貼塊的截割片資料，跟隨在子串流標記後方，其一資料欄位係識別該等相等子串流或拼貼塊，且不同子串流或拼貼塊的截割片資料跟隨於不同子串流標記後方，其一資料欄位係識別該等不同子串流或拼貼塊。
29. 如申請專利範圍第28項之數位儲存媒體，其中該原始位元組序列對應於不同的觀點而在多個層中編碼有一場景。
30. 如申請專利範圍第28項之數位儲存媒體，其中該原始位元組序列以多個層被編碼入該圖像。
31. 一種儲存包含原始位元組序列酬載的視訊位元串流之一數位儲存媒體，該原始位元組序列酬載係描述呈截割片、波前平行處理(WPP)子串流或拼貼塊形式且使用脈絡適應性二進制算術編碼技術(CABAC)來寫碼的一圖像，該視訊位元串流係以橫跨份額邊界的連續CABAC概率適應被分解成該等截割片、WPP子串流或拼貼塊的 份額，其中各個份額係包括其在該等份額間的排序的一明確指示，該個別份額所屬的該截割片、WPP子串流或拼貼塊從而被分解入等份額間之中。
32. 如申請專利範圍第31項之數位儲存媒體，其中該等份額係經封包化成封包，使得各個封包包含該圖像的各個WPP子串流或拼貼塊之一個份額、或該圖像的該等WPP子串流或拼貼塊之一子集，排列成在該等WPP子串流或拼貼塊間定義的一排序，各個封包係包含一標頭包含揭示堆積於該個別封包內的該等份額之位置及長度之至少一者，或標記分開在該個別封包內部的該等份額彼此。
33. 如申請專利範圍第31或32項之數位儲存媒體，其中依據在該等WPP子串流或拼貼塊間定義的該排序，包含該圖像的該等WPP子串流或拼貼塊之第一份額的封包係包含一低延遲特徵指標，及依據在該等WPP子串流或拼貼塊間定義的該排序，包含該圖像的該等WPP子串流或拼貼塊之第二或其後份額的封包係包含一連續指標。
34. 如申請專利範圍第33項之數位儲存媒體，其中該等封包係為網路抽象層(NAL)單位或截割片。
35. 如申請專利範圍第31項之數位儲存媒體，其中該原始位元組序列對應於不同的觀點而在多個層中編碼有一場景。
36. 如申請專利範圍第31項之數位儲存媒體，其中該原始位元組序列以多個層被編碼入該圖像。
37. 一種用於解碼之方法，其係包含從一編碼器接收描述呈截割片、波前平行處理(WPP)子串流或拼貼塊形式且使用脈絡適應性二進制算術編碼技術(CABAC)來寫碼的一圖像之原始位元組序列酬載，其係呈該等截割片、WPP子串流或拼貼塊的份額形式；以橫跨份額邊界的連續CABAC概率適應來熵解碼該等份額；及解碼該原始位元組序列酬載以獲得該圖像。
38. 一種用於傳送解多工之方法，使用一多工器緩衝器、用以藉許可平行解碼呈波前平行處理(WPP)子串流或拼貼塊形式之一圖像的一多執行緒解碼器取出的多個截割片緩衝器、及經組配來收集屬於一視訊位元串流之一預定元體串流的一傳送串流(TS)封包之資料並前傳該資料給該多工器緩衝器的一傳送緩衝器，該方法係包含在該多工器緩衝器之一輸出，評估封包化成為該等TS封包的一網路抽象層(NAL)單位序列的NAL單位的NAL單位標頭，隨著儲存攜載於該等子串流標記NAL單位內部的該子串流標記資料，拋棄子串流標記NAL單位，及儲存在NAL單位內部在子串流標記NAL單位之後方的子串流或拼貼塊的截割片資料，其一資料欄位識別在一個截割片緩衝器內一相等WPP子串流或拼貼塊，以及儲存NAL單位內部在子串流標記NAL單位後方的 WPP子串流或拼貼塊的截割片資料，其一資料欄位識別在不同截割片緩衝器內不同的WPP子串流或拼貼塊。
39. 一種用於傳送解多工之方法，其係包含接收一視訊位元串流，該視訊位元串流係包含描述呈截割片、波前平行處理(WPP)子串流或拼貼塊形式且使用脈絡適應性二進制算術編碼技術(CABAC)編碼的一圖像的原始位元組序列酬載，該視訊位元串流係以橫跨份額邊界的連續CABAC概率適應分解成該等截割片、WPP子串流或拼貼塊的份額，其中各個該份額包含針對各個份額識別該個別份額所屬哪個WPP子串流或拼貼塊之資訊，及使用該資訊以聯結該等份額至該等截割片、WPP子串流或拼貼塊。
40. 一種用於編碼之方法，其係包含藉編碼一圖像而形成一原始位元組序列酬載，以使用脈絡適應性二進制算術編碼技術(CABAC)熵編碼該原始位元組序列來描述呈截割片、波前平行處理(WPP)子串流或拼貼塊該圖像，傳輸呈多個份額之形式的該原始位元組序列，及於該熵編碼中繼續CABAC概率適應橫跨份額邊界。
41. 一種具有一程式碼之電腦程式，當該電腦程式在一電腦上運行時用以執行如申請專利範圍第37至40項中任一項之方法。