TW201515440A - 多層內容脈絡中之影像塊及波前處理 - Google Patents

多層內容脈絡中之影像塊及波前處理 Download PDF

Info

Publication number
TW201515440A
TW201515440A TW103124335A TW103124335A TW201515440A TW 201515440 A TW201515440 A TW 201515440A TW 103124335 A TW103124335 A TW 103124335A TW 103124335 A TW103124335 A TW 103124335A TW 201515440 A TW201515440 A TW 201515440A
Authority
TW
Taiwan
Prior art keywords
image
syntax element
video
inter
layer
Prior art date
Application number
TW103124335A
Other languages
English (en)
Inventor
Krishnakanth Rapaka
Ye-Kui Wang
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201515440A publication Critical patent/TW201515440A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一視訊編碼器可產生一位元串流，其包括指示針對解碼視訊資料之一圖像之一影像塊是否啟用層間預測的一語法元素。類似地，一視訊解碼器可自一位元串流獲得指示層間預測是否被啟用的一語法元素。該視訊解碼器可基於該語法元素判定針對解碼視訊資料之一圖像之一影像塊是否啟用層間預測，且基於該判定而解碼該影像塊。

Description

多層內容脈絡中之影像塊及波前處理
本發明係關於視訊寫碼(亦即，視訊資料之編碼及/或解碼)。
本申請案主張2013年7月15日申請的美國臨時專利申請案第61/846,500號的權利，該申請案的全部內容係以引用的方式併入本文中。
數位視訊能力可併入至多種多樣的器件中，包括數位電視、數位導向廣播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)所定義的標準、目前正在開發的高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的視訊壓縮技術。視訊器件藉由實施此等視訊壓縮技術可更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(框內圖像)預測及/或時間(框間圖像)預測來減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可 將視訊片段(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊。圖像之經框內編碼(I)之片段中的視訊區塊係使用相對於同一圖像中的相鄰區塊中的參考樣本的空間預測來編碼。圖像的經框間編碼(P或B)片段中的視訊區塊可使用相對於同一圖像中的相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中的參考樣本的時間預測。圖像可被稱作訊框，且參考圖像可被稱作參考訊框。
空間或時間預測產生用於待編碼區塊的預測性區塊。殘餘資料表示待編碼原始區塊與預測性區塊之間的像素差。框間編碼區塊係根據指向形成預測性區塊的參考樣品的區塊的運動向量來編碼，且殘餘資料指示經寫碼區塊與預測性區塊之間的差。框內編碼區塊係根據框內編碼模式及殘餘資料編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致殘餘係數，接著可對殘餘係數進行量化。最初配置成二維陣列的經量化係數可經掃描以便產生係數的一維向量，且熵寫碼可應用以達成甚至更多壓縮。
一般而言，本發明係關於多層或多視圖視訊寫碼。更確切地說，視訊編碼器可產生位元串流，其包括指示針對解碼視訊資料之圖像的影像塊中的視訊資料是否啟用層間預測的語法元素。換言之，視訊寫碼器可產生位元串流，其包括指示影像塊中並不預測區塊係根據層間參考圖像預測的語法元素。類似地，視訊解碼器可自位元串流獲得語法元素。視訊解碼器可基於語法元素來判定針對解碼視訊資料之圖像的影像塊中之視訊資料是否啟用層間預測。
在另一實例中，本發明描述用於解碼視訊資料之方法，該方法包含：自一位元串流獲得一語法元素；基於該語法元素來判定針對解碼視訊資料之圖像的影像塊是否啟用層間預測，其中該圖像經分割成複數個影像塊且該圖像不在一基礎層中；及解碼該影像塊。
在另一實例中，本發明描述用於編碼視訊資料之方法，該方法包含：產生一位元串流，其包括指示針對解碼視訊資料之圖像的影像塊是否啟用層間預測的一語法元素，其中該圖像經分割成複數個影像塊且該圖像不在一基礎層中；及輸出該位元串流。
在另一實例中，本發明描述視訊解碼器件，其包含：經組態以儲存視訊資料之一電腦可讀媒體；及經組態以進行以下操作之一或多個處理器：自一位元串流獲得一語法元素；基於該語法元素來判定針對解碼視訊資料之圖像的影像塊是否啟用層間預測，其中該圖像經分割成複數個影像塊且該圖像不在一基礎層中；及解碼該影像塊。
在另一實例中，本發明描述視訊編碼器件，其包含：經組態以儲存視訊資料之一電腦可讀媒體；及經組態以進行以下操作的一或多個處理器：產生一位元串流，其包括指示針對解碼視訊資料之圖像的影像塊是否啟用層間預測之一語法元素，其中該圖像經分割成複數個影像塊且該圖像不在一基礎層中；及輸出該位元串流。
在另一實例中，本發明描述視訊解碼器件，其包含：用於自一位元串流獲得一語法元素的構件；用於基於該語法元素來判定針對解碼視訊資料之圖像的影像塊是否啟用層間預測的構件，其中該圖像經分割成複數個影像塊且該圖像不在一基礎層中；及用於解碼該影像塊的構件。
在另一實例中，本發明描述視訊編碼器件，其包含：用於產生一位元串流的構件，該位元串流包括指示針對解碼視訊資料之圖像的影像塊是否啟用層間預測的一語法元素，其中該圖像經分割成複數個影像塊且該圖像不在一基礎層中；及用於輸出該位元串流的構件。
在另一實例中，本發明描述電腦可讀資料儲存媒體(例如，非暫時性電腦可讀資料儲存媒體)，其上儲存有在執行時使得一或多個處理器進行以下操作的指令：自一位元串流獲得一語法元素；基於該語 法元素來判定針對解碼視訊資料之圖像的影像塊是否啟用層間預測，其中該圖像經分割成複數個影像塊且該圖像不在一基礎層中；及解碼該影像塊。
在另一實例中，本發明描述電腦可讀資料儲存媒體，其上儲存有在執行時使得一或多個處理器進行以下操作：產生一位元串流，其包括指示針對解碼視訊資料之圖像的影像塊是否啟用層間預測的一語法元素，其中該圖像經分割成複數個影像塊且該圖像不在一基礎層中；及輸出該位元串流。
在附圖及以下描述中闡述本發明的一或多個實例的細節。其他特徵、目標及優勢將自描述、圖式及申請專利範圍顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
50‧‧‧片段標頭
52‧‧‧片段資料
56‧‧‧片段標頭
58‧‧‧片段資料
100‧‧‧預測處理單元
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換處理單元
112‧‧‧重建構單元
114‧‧‧濾波器單元
116‧‧‧解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
122‧‧‧運動估計單元
124‧‧‧運動補償單元
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反變換處理單元
158‧‧‧重建構單元
160‧‧‧濾波器單元
162‧‧‧解碼圖像緩衝器
164‧‧‧運動補償單元
166‧‧‧框內預測處理單元
圖1為說明可利用本發明中所描述之技術的實例視訊寫碼系統的方塊圖。
圖2為說明當使用影像塊時的圖像之實例光柵掃描的概念圖。
圖3為說明圖像的波前並行處理之實例的概念圖。
圖4A為說明具有4個影像塊之增強層圖像中之寫碼樹單元(CTU)之實例光柵掃描次序的概念圖。
圖4B為說明對應於圖4A之增強層圖像的基礎層圖像中之CTU之實例光柵掃描次序的概念圖。
圖5A為說明當以根據遞增次序之影像塊識別之順序次序將每一影像塊寫入至位元串流中時的位元串流中之實例寫碼樹型區塊(CTB)次序的概念圖。
圖5B為說明當影像塊並非以根據遞增次序之影像塊識別之順序次序寫入至位元串流中時的位元串流中之實例CTB次序的概念圖。
圖6為說明可實施本發明中所描述之技術的實例視訊編碼器的方塊圖。
圖7為說明可實施本發明中所描述之技術的實例視訊解碼器的方塊圖。
圖8A為說明根據本發明之一或多個技術說明視訊編碼器之實例操作的流程圖。
圖8B為說明根據本發明之一或多個技術的視訊解碼器之實例操作的流程圖。
圖9A為說明根據本發明之一或多個技術說明視訊編碼器之實例操作的流程圖。
圖9B為說明根據本發明之一或多個技術的視訊解碼器之實例操作的流程圖。
圖10A為說明根據本發明之一或多個技術說明視訊編碼器之實例操作的流程圖。
圖10B為說明根據本發明之一或多個技術的視訊解碼器之實例操作的流程圖。
圖11A為說明根據本發明之一或多個技術說明視訊編碼器之實例操作的流程圖。
圖11B為說明根據本發明之一或多個技術的視訊解碼器之實例操作的流程圖。
一些視訊寫碼標準(諸如高效率視訊寫碼(HEVC))實施影像塊。圖像可包括一或多個影像塊。換言之，圖像可分割成一或多個影像塊。在至少一些實例中，影像塊為在影像塊之區塊(例如，CTB)光柵掃描中呈一個行及一個列排序的整數數目個區塊(例如，寫碼樹區塊(「CTB」)。圖像之影像塊可在圖像之影像塊光柵掃描中連續地寫碼。
影像塊之使用可改良寫碼效率，因為影像塊允許含有具有比影 像塊高的可能相關性之樣本的圖像分割形狀。另外，影像塊之使用可改良寫碼效率，因為影像塊可減少片段附加項。此外，在一些情況下，視訊編碼器可經組態以編碼圖像，以使得圖像之每一影像塊可獨立於圖像之每一其他影像塊進行解碼。因此，視訊寫碼器可能夠並行地寫碼圖像之影像塊。
此外，一些視訊寫碼標準或其擴展實施多層寫碼。舉例而言，多視圖3維(3D)視訊寫碼及HEVC之可擴充式視訊寫碼擴展實施多層寫碼。在多視圖及3D視訊寫碼中，該等層中之每一者對應於不同視圖。在可擴充式視訊寫碼中，該等層可包括基礎層及一或多個增強層。基礎層可包括基本視訊資料。增強層可包括額外資訊以增強視訊資料之視覺品質。
一般而言，不同層中之對應圖像之間存在相當大冗餘。舉例而言，在多視圖寫碼及3D視訊寫碼中，在不同視圖中(例如，自不同視點俘獲)但在同一時間執行個體中的圖像之間可存在相當大視覺類似性。層間預測利用不同層中之圖像之間的冗餘來減少表示圖像之資料的總量。然而，層間預測之使用引入不同層中之圖像之間的相依性。出於此原因，基於不同層中之圖像之資訊來編碼及解碼圖像(亦即，使用層間預測來編碼圖像)可防止圖像被並行地解碼。並行地解碼圖像可減少解碼圖像所需的時間量。
當視訊解碼器製備好解碼圖像之影像塊時，視訊解碼器可需要判定視訊解碼器是否可與其他影像塊並行地解碼影像塊。舉例而言視訊解碼器可需要能夠判定影像塊是否可與屬於不同層之圖像中的對應影像塊並行地解碼。在一些實例中，屬於不同層之圖像(亦即，層間參考圖像)中的對應影像塊係同置型影像塊(亦即，與當前正被寫碼之影像塊同置的影像塊)。為了判定影像塊是否可與不同層中之對應影像塊並行地解碼，視訊解碼器可需要能夠判定影像塊是否係使用層間 預測編碼。然而，視訊解碼器當前不可能在不解碼影像塊之情況下判定影像塊是否係使用層間預測編碼。
本發明的一或多個技術可處理此等問題。亦即，本發明的技術中之一或多者可用來使視訊解碼器能夠判定影像塊是否係使用層間預測編碼。舉例而言，視訊解碼器可自位元串流獲得語法元素。視訊解碼器可基於語法元素判定針對解碼視訊資料之圖像之影像塊是否啟用層間預測。在此實例中，影像塊不在基礎層中，且影像塊可為圖像之複數個影像塊中之一者。圖像之複數個影像塊在本文中可被稱作影像塊集。應用於個別影像塊的本發明之一些或全部技術亦可應用於包括多個影像塊之影像塊集。在另一實例中，視訊編碼器可產生位元串流，其包括指示針對解碼視訊資料之圖像之影像塊是否啟用層間預測的語法元素。視訊編碼器可輸出位元串流。
圖1為說明可利用本發明之技術的實例視訊寫碼系統10之方塊圖。如本文所使用，術語「視訊寫碼器」大體上係指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可大體上係指視訊編碼或視訊解碼。
如圖1中所展示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼視訊資料。因此，源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12產生的經編碼視訊資料。因此，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。
源器件12及目的地器件14可包含廣泛範圍之器件，包括桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、車載電腦，或其類似者。
目的地器件14可經由頻道16自源器件12接收經編碼視訊資料。頻道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的一或多個媒體或器件。在一個實例中，頻道16可包含使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14的一或多個通信媒體。在此實例中，源器件12可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且可將經調變視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路(例如，網際網路)的部分。一或多個通信媒體可包括路由器、交換器、基地台，或促進自源器件12至目的地器件14之通信的其他設備。
在另一實例中，頻道16可包括儲存由源器件12產生的經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可例如經由磁碟或卡存取來存取儲存媒體。儲存媒體可包括多種局部存取之資料儲存媒體，諸如Blu-ray碟片、DVD、CD-ROM、快閃記憶體，或用於儲存經編碼視訊資料之其他合適的數位儲存媒體。
在另一實例中，頻道16可包括儲存由源器件12產生的經編碼視訊資料的檔案伺服器或另一中間儲存器件。在此實例中，目的地器件14可經由串流或下載來存取儲存於檔案伺服器或其他中間儲存器件處的經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料並將經編碼視訊資料傳輸至目的地器件14之類型的伺服器。實例檔案伺服器包括web伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網路附加儲存(NAS)器件及本端磁碟機。
目的地器件14可經由標準資料連接(諸如，網際網路連接)來存取經編碼視訊資料。資料連接之實例類型可包括無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)、或適於存取儲存於檔 案伺服器上之經編碼視訊資料的兩者之組合。經編碼視訊資料自檔案伺服器的傳輸可為串流傳輸、下載傳輸或兩者的組合。
本發明之技術不限於無線應用或設定。該等技術可應用於支援多種多媒體應用之視訊寫碼，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸，例如經由網際網路編碼儲存於資料儲存媒體上的視訊資料、解碼儲存於資料儲存媒體上的視訊資料，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話等之應用。
圖1僅僅為實例，且本發明之技術可適用於未必包括編碼器件與解碼器件之間的任何資料通信的視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，自經由網路或類似者而串流之區域記憶體擷取資料。視訊編碼器件可編碼資料並將資料儲存至記憶體，及/或視訊解碼器件可自記憶體擷取資料並解碼資料。在許多實例中，由並不彼此通信，但簡單地將資料編碼至記憶體及/或自記憶體擷取資料並解碼資料之器件來執行編碼及解碼。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。視訊源18可包括例如視訊攝影機之視訊俘獲器件，含有先前所俘獲之視訊資料的視訊封存檔、用以自視訊內容提供者接收視訊資料的視訊饋入介面，及/或用於產生視訊資料之電腦圖形系統，或視訊資料之此等源的組合。
視訊編碼器20可編碼來自視訊源18之視訊資料。在一些實例中，源器件12經由輸出介面22直接將經編碼視訊資料傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可儲存於儲存媒體上或檔案伺服器上，以稍後供目的地器件14存取以用於解碼及/或播放。
在圖1之實例中，目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16接收經編碼視訊資料。顯示器件32可與目的地器件14整合或可在目的地器件外部。大體而言，顯示器件32顯示經解碼視訊資料。顯示器件32可包含多種顯示器件，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30各自可實施為多種合適電路中的任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。若部分地以軟體來實施技術，則器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中，且可在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。可將上述內容(包括硬體、軟體、硬體與軟體之組合等)中之任一者視為一或多個處理器。視訊編碼器20及視訊解碼器30中的每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中的任一者可整合為各別器件中的組合式編碼器/解碼器(CODEC，編解碼器)的部分。
本發明可大體上係指視訊編碼器20將某一資訊「發信」至另一器件(諸如，視訊解碼器30)。術語「發信」可大體上係指用於解碼經壓縮視訊資料的語法元素及/或其他資料之傳達。可即時或接近即時地發生此傳達。替代性地，可歷時時間跨度發生此傳達，諸如可於在編碼時間處將語法元素儲存至電腦可讀儲存媒體時發生，可接著在儲存至此媒體之後由解碼器件在任何時間擷取該等語法元素。
在一些實例中，視訊編碼器20及視訊解碼器30根據諸如以下各者的視訊壓縮標準而操作：ISO/IEC MPEG-4 Visual及ITU-T H.264(亦 稱為ISO/IEC MPEG-4 AVC)，包括其可擴充式視訊寫碼(SVC)擴展、多視圖視訊寫碼(MVC)擴展及基於MVC之三維視訊(3DV)擴展。在一些情況下，符合基於MVC之3DV的任何合法位元串流始終含有順應MVC設定檔(例如，立體聲高設定檔)的次位元串流。此外，存在持續努力以產生H.264/AVC之3DV寫碼擴展，即基於AVC之3DV。在其他實例中，視訊編碼器20及視訊解碼器30可根據以下各者而操作：ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264、ISO/IEC Visual。視訊寫碼標準的實例包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)，包括其可擴充式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。
在圖1之實例中，視訊編碼器20及視訊解碼器30可根據由ITU-T視訊寫碼專家群組(VCEG)及ISO/IEC運動圖像專家群組(MPEG)之視訊寫碼聯合合作小組(JCT-VC))開發的高效率視訊寫碼(HEVC)標準而操作。HEVC標準之草案，被稱作「HEVC工作草案10」，係描述於Bross等人的「高效率視訊寫碼(HEVC)文本規範草案10(針對FDIS及Last Call)」中，ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的視訊寫碼聯合合作小組(JCT VC)，第12次會議，Geneva，Switzerland，2013年1月。另一HEVC本文說明書草案，為簡單起見被稱作HEVC WD10，自2013年7月15日起自http：//phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M0432-v3.zip可獲得，該草案之全部內容係以引用的方式併入。亦可獲得HEVC標準之較新版本。
此外，存在持續努力來針對HEVC產生可擴充式視訊寫碼、多視圖寫碼及3DV擴展。HEVC的可擴充式視訊寫碼擴展可被稱作HEVC-SVC或SHEVC。HEVC之多視圖寫碼擴展可被稱作MV-HEVC。HEVC的3DV擴展可被稱作基於HEVC之3DV或3D-HEVC。下文的MV-HEVC WD 4之當前工作草案(WD)來自http：//phenix.int-evry.fr/jct2/doc_end_user/documents/4_Incheon/wg11/JCT3V-D1004-v2.zip，其全部內容係以引用的方式併入。同時，用於較高級3D視訊寫碼(3D-HEVC)及基於可擴充式視訊寫碼之HEVC(SHEVC)的兩種標準軌跡亦在開發中。3D-HEVC之測試模型描述可自http：//phenix.it-sudparis.eu/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-D1005-v2.zip得到，該描述之全部內容係以引用的方式併入。SHVC之測試模型描述可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-M1007-v3.zip得到，該描述之全部內容係以引用的方式併入。
在HEVC及其他視訊寫碼標準中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括三個樣本陣列，表示為SL、SCb及SCr。SL係明度樣本之二維陣列(亦即，區塊)。SCb係Cb色度樣本之二維陣列。SCr係Cr色度樣本之二維陣列。色度樣本在本文中亦可被稱作「色度」樣本。在其他情況下，圖像可係單色的，且可僅包括明度樣本陣列。
視訊編碼器20可產生一組寫碼樹單元(CTU)。CTU中之每一者可包含明度樣本之寫碼樹型區塊(CTB)、色度樣本之兩個對應寫碼樹型區塊，及用於寫碼寫碼樹型區塊之樣本的語法結構。在單色圖像或具有三個單獨彩色平面之圖像中，CTU可包含單一寫碼樹型區塊及用於寫碼該寫碼樹型區塊之樣本的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」 (LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他視訊寫碼標準的巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。片段可包括按掃描次序(例如，光柵掃描次序)連續排序的整數數目個CTU。
本發明可使用術語「視訊單元」、「視訊區塊」或簡言之「區塊」來指代樣本之一或多個區塊及用以寫碼樣本之該一或多個區塊之樣本的語法結構。視訊單元之實例類型可包括CTU、CU、PU、變換單元(TU)、巨集區塊、巨集區塊分區等等。
為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，之後命名為「寫碼樹單元」。寫碼區塊為樣本之N×N區塊。CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊，及色度樣本之兩個對應寫碼區塊，及用於寫碼該寫碼區塊之樣本的語法結構。在單色圖像或具有三個單獨彩色平面之圖像中，CU可包含單一寫碼區塊及用於寫碼該寫碼區塊之樣本的語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊可為經應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含圖像之明度樣本的預測區塊，圖像之色度樣本的兩個對應預測區塊，及用於對預測區塊樣本進行預測的語法結構。在單色圖像或具有三個單獨彩色平面之圖像中，PU可包含單一預測區塊，及用於對預測區塊樣本進行預測的語法結構。視訊編碼器20可產生CU之每一PU的明度預測區塊、Cb預測區塊及Cr預測區塊之預測性明度區塊、Cb區塊及Cr區塊。
視訊編碼器20可使用框內預測或框間預測，以產生PU之預測性區塊。若視訊編碼器20使用框內預測產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之經解碼樣本而產生PU之預測性 區塊。
若視訊編碼器20使用框間預測產生PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本而產生PU之預測性區塊。框間預測可為單向框間預測(亦即，單向預測)或雙向框間預測(亦即，雙向預測)。為執行單向預測或雙向預測，視訊編碼器20可產生當前片段之第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。參考圖像清單中之每一者可包括一或多個參考圖像。
當使用單向預測時，視訊編碼器20可搜尋RefPicList0及RefPicList1中之任一者或兩者中的參考圖像，以判定參考圖像內之參考位置。此外，當使用單向預測時，視訊編碼器20可至少部分基於對應於參考位置之樣本而產生PU之預測性樣本區塊。此外，當使用單向預測時，視訊編碼器20可產生指示PU之預測區塊與參考位置之間的空間移位之單一運動向量。為了指示PU之預測區塊與參考位置之間的空間移位，運動向量可包括指定PU之預測區塊與參考位置之間的水平移位之水平分量切可包括指定PU之預測區塊與參考位置之間的垂直移位之垂直分量。
當使用雙向預測編碼PU時，視訊編碼器20可判定RefPicList0中之參考圖像中的第一參考位置，及RefPicList1中之參考圖像中的第二參考位置。視訊編碼器20可接著至少部分基於對應於第一及第二參考位置之樣本而產生PU之預測性區塊。此外，當使用雙向預測編碼PU時，視訊編碼器20可產生指示PU之樣本區塊與第一參考位置之間的空間移位之第一運動向量，及指示PU之預測區塊與第二參考位置之間的空間移位之第二運動向量。
在視訊編碼器20產生CU之一或多個PU的預測性區塊(例如，預測性明度、Cb及Cr區塊)之後，視訊編碼器20可產生CU之殘餘區塊。殘 餘區塊中之每一樣本指示CU之預測性區塊中之一者中的樣本與CU之原始寫碼區塊中之一者中的對應樣本之間的差異。舉例而言，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之中一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中的每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。
此外，視訊編碼器20可使用四分樹分割將CU之殘餘區塊(例如，明度、Cb及Cr殘餘區塊)分解成一或多個變換區塊(例如，明度、Cb及Cr變換區塊)。變換區塊可為經應用相同變換的樣本之矩形區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊，及用於對變換區塊樣本進行變換之語法結構。在單色圖像或具有三個單獨彩色平面之圖像中，TU可包含單一變換區塊，及用於對變換區塊樣本進行變換的語法結構。因此，CU之每一TU可對應於(亦即，與以下各者相關聯)明度變換區塊、Cb變換區塊及Cr變換區塊。對應於TU(亦即，與之相關聯)的明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb變換區塊可為CU之Cb殘餘區塊的子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。
視訊編碼器20可將一或多個變換應用於TU之變換區塊以產生TU之係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。舉例而言，視訊編碼器20可將一或多個變換應用於TU之明度變換區塊以產生TU之明度係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊以產生TU之Cb係數區塊。視訊編碼器20可將 一或多個變換應用於TU之Cr變換區塊以產生TU之Cr係數區塊。
在產生係數區塊((例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化該係數區塊。量化大體上指對變換係數進行量化以可能減少用以表示變換係數的資料之量從而提供進一步壓縮的過程。此外，視訊編碼器20可反量化變換係數，且可將反變換應用於變換係數，以便重建構圖像之CU的TU之變換區塊。視訊編碼器20可使用CU之TU的經重建構變換區塊及CU之PU的預測性區塊，以重建構CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊編碼器20可重建構圖像。視訊編碼器20可將經重建構圖像儲存於經解碼圖像緩衝器(DPB)中。視訊編碼器20可使用DPB中之經重建構圖像以用於框間預測及框內預測。
在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文自適應性二進位算術寫碼(CABAC)。視訊編碼器20可在位元串流中輸出經熵編碼之語法元素。
視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。位元串流可包含一序列網路抽象層(NAL)單元。NAL單元中之每一者包括NAL單元標頭，且囊封原始位元組序列有效負載(RBSP)。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組的語法結構。在一些情況下，RBSP包括零位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封圖像參數集(PPS)之RBSP，第二類型之NAL單元可囊封經寫碼片段之RBSP，第三類型之NAL單元可囊封補充增強資訊(SEI)之RBSP，等等。PPS為可含有適用於零或多個完整經寫碼 圖像之語法元素的語法結構。囊封視訊寫碼資料之RBSP(相反於參數集及SEI訊息之RBSP)的NAL單元可被稱作視訊編碼層(VCL)NAL單元。囊封經寫碼片段之NAL單元在本文中可被稱作經寫碼片段NAL單元。經寫碼片段之RBSP可包括片段標頭及片段資料。片段標頭可包括關於片段之資料。片段之片段資料可包括片段之區塊的經編碼表示。一般而言，SEI含有解碼來自VCL NAL單元的經寫碼圖像之樣本未必需要的資訊。SEI RBSP含有一或多個SEI訊息。
HEVC及其他視訊寫碼標準提供多種類型之參數集。舉例而言，視訊參數集(VPS)係包含應用於零個或多個完整經寫碼視訊序列(CVS)之語法元素的語法結構。序列參數集(SPS)可含有應用於CVS之所有片段的資訊。SPS可包括識別VPS在SPS在作用中時在作用中的語法元素。因此，VPS之語法元素可比SPS之語法元素更一般化地可適用。PPS係包含應用於零個或多個經寫碼圖像之語法元素的語法結構。PPS可包括識別SPS在PPS在作用中時在作用中的語法元素。片段之片段標頭可包括指示PPS在片段正被寫碼時在作用中的語法元素。
視訊解碼器30可接收位元串流。另外，視訊解碼器30可剖析位元串流以自位元串流獲得(例如，解碼)語法元素。視訊解碼器30可至少部分基於自位元串流解碼之語法元素而重建構視訊資料之圖像。重建構視訊資料之過程可大體上與藉由視訊編碼器20執行之過程互逆。舉例而言，視訊解碼器30可使用PU之運動向量來判定當前CU之PU的預測性區塊。
另外，視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反變換，以重建構與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將當前CU之PU的預測性樣本區塊(亦即，預測性區塊)之樣本加至當前CU之TU的變換區塊之對應樣本來重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的 寫碼區塊，視訊解碼器30可重建構圖像。視訊解碼器30可將經解碼圖像儲存於經解碼圖像緩衝器中，以用於輸出及/或用於解碼其他圖像。
在MV-HEVC、3D-HEVC及SHEVC中，視訊編碼器可產生包含一系列NAL單元之位元串流。位元串流之不同NAL單元可與位元串流之不同層相關聯。可將層定義為具有相同層識別符的VCL NAL單元及相關聯非VCL NAL單元之集合。層可等效於多視圖視訊寫碼中之視圖。在多視圖視訊寫碼中，層可含有具有不同時間執行個體之相同層的所有視圖分量。每一視圖分量可為屬於特定時間執行個體之特定視圖的視訊場景之經寫碼圖像。在3D視訊寫碼之一些實例中，層可含有特定視圖之所有經寫碼深度圖像或特定視圖之經寫碼紋理圖像。在3D視訊寫碼之其他實例中，層可含有特定視圖之紋理視圖分量及深度視圖分量兩者。類似地，在可擴充式視訊寫碼之上下文中，層通常對應於具有不同於其他層中之經寫碼圖像之視訊特性的經寫碼圖像。此等視訊特性通常包括空間解析度及品質位準(信雜比)。在HEVC及其擴展中，藉由將具有特定時間位準的圖像之群組定義為子層，可在一個層內獲得時間可擴充性。
對於位元串流之每一各別層，可在不參考任何較高層中之資料之情況下解碼較低層中之資料。在可擴充式視訊寫碼中，例如，可在不參考增強層中之資料之情況下解碼基礎層中之資料。NAL單元僅囊封單一層之資料。因此，可自位元串流移除囊封位元串流之最高剩餘層之資料的NAL單元而不影響位元串流之剩餘層中之資料的可解碼性。在多視圖寫碼及3D-HEVC中，較高層可包括額外視圖分量。在SHEVC中，較高層可包括信雜比(SNR)增強資料、空間增強資料及/或時間增強資料。在MV-HEVC、3D-HEVC及SHEVC中，若視訊解碼器可在不參考任何其他層之資料之情況下解碼視圖中之圖像，則視圖可 被稱作「基礎層」。基礎層可符合基於HEVC之(例如，HEVC工作草案10)。
一般而言，本發明之技術提供HEVC擴展中的針對跨層之影像塊及波前處理之各種改良，且可應用於可擴充式寫碼具有或不具有深度之多視圖寫碼及HEVC及其他多層視訊編解碼器的其他擴展。HEVC含有用以使編解碼器更加並行友好的若干建議，包括影像塊及波前並行處理(WPP)。
HEVC WD10將影像塊定義為在影像塊之寫碼樹型區塊光柵掃描中連續排序的以一個行及一個列同時出現的整數數目個寫碼樹型區塊。將每一圖像劃分成影像塊為分割。圖像中之影像塊在圖像之影像塊光柵掃描中係連續排序的，如圖2所示。因此，圖2為說明使用影像塊時的圖像之實例光柵掃描之概念圖。
可針對整個序列或自圖像至圖像改變來定義影像塊之數目及影像塊之邊界之位置。類似於片段邊界，影像塊邊界斷開剖析及預測相依性，使得影像塊可獨立地進行處理，但迴圈內濾波器(解區塊及樣本適應性偏移(SAO))仍可跨影像塊邊界。HEVC WD10亦指定片段與影像塊之間的關係之一些約束。
HEVC工作草案10提供PPS中所指定的loop_filter_across_tiles_enabled_flag語法元素。等於1之loop_filter_across_tiles_enabled_flag指定，迴圈內濾波操作可參考PPS在圖像中跨影像塊邊界執行。等於0之loop_filter_across_tiles_enabled_flag指定，迴圈內濾波操作並非參考PPS在圖像跨影像塊邊界執行。迴圈內濾波操作包括解塊濾波器及樣本適應性偏移濾波器操作。當不存在時，推斷loop_filter_across_tiles_enabled_flag之值等於1。使用影像塊之優點在於影像塊並不需要用於熵解碼及運動補償重建構之處理器或處理器核 心之間的通信，但若loop_filter_across_tiles_enabled_flag經設定為1，則可能需要通信。與片段相比，影像塊具有較好寫碼效率，因為影像塊允許含有具有與片段相比潛在較高相關性之樣本的圖像分割形狀，且亦因為影像塊減少片段標頭附加項。
HEVC WD10中之影像塊設計可提供如下益處：1)實現並行處理及2)藉由允許相比於使用片段的CTU之變化解碼次序來改良寫碼效率，但主要益處為第一益處。當在單層寫碼中使用影像塊時，語法元素min_spatial_segmentation_idc可由解碼器使用以計算待由一個處理執行緒處理的明度樣本之最大數目，從而假設視訊解碼器30最大限度地利用並行解碼資訊。min_spatial_segmentation_idc在不等於0時建立對CVS之圖像中的獨特經寫碼空間分段區域之最大可能大小的限制。當min_spatial_segmentation_idc不存在時，推斷其等於0。在HEVC WD10中，不同執行緒之間可存在相同的圖像框間相依性，例如，歸因於熵寫碼同步或跨影像塊或片段邊界之解區塊濾波。HEVC WD10包括鼓勵編碼器將min_spatial_segmentation_idc之值設定為最高可能值的註解。
圖3為說明圖像的波前並行處理之實例的概念圖。當針對圖像啟用波前並行處理(WPP)時，圖像之每一CTU列係單獨分割。然而，與片段及影像塊相比，無寫碼相依性在CTU列邊界處斷開。此外，CABAC機率係自先前列之第二CTU傳播，以進一步減小寫碼損失(參見圖3)。此外，WPP並不改變常規光柵掃描次序。因為相依性未斷開，所以與非並行位元串流相比，WPP位元串流之速率失真損失通常很少。
當針對圖像啟用WPP時，高達CTU列之數目的多個處理器可並行地工作以處理CTU列(或行)。然而，波前相依性並不允許所有CTU列自圖像之開始處開始解碼。因此，CTU列亦無法在圖像結束之同時完 成解碼。此引入在使用較多數目個處理器時更明顯的並行化無效率。在圖3之實例中，WPP並行地處理CTB之列，每一列以在處理以上列之第二CTB之後可獲得的CABAC機率開始。
在以下分部中，提議HEVC擴展中的跨層之影像塊及波前處理的各種改良，該等改良可彼此獨立地或組合地應用且可應用於可擴充式寫碼、具有或不具有深度之多視圖寫碼及HEVC及其他視訊編解碼器之其他擴展。
影像塊通常用於HEVC及其擴展中之並行處理。在SHVC之多迴圈解碼構架中，指示層間預測是否用以特定影像塊可能有用。此指示可用於管線化當前圖像之區段/影像塊。舉例而言，若增強層圖像之特定影像塊不使用層間預測，則此影像塊之解碼可與參考層圖像/影像塊之解碼並行地排程。目前，在不解碼影像塊之情況下不可能知道非基礎層中之特定影像塊是否使用層間預測。若影像塊屬於圖像之基礎層，則不利用層間預測。
在本發明之一或多個實例技術中，基於影像塊之層間預測語法元素經引入以指定何時針對當前圖像中之特定影像塊啟用層間預測。提議之語法元素可在以下參數集VPS、SPS、PPS、片段標頭及其各自擴展中之任一者中發信。因此，在一些實例中，視訊編碼器20可產生以下各者中之一或多者：包括指示針對影像塊是否啟用層間預測之語法元素的VPS、包括該語法元素的SPS、包括該語法元素的PPS及/或包括該語法元素的片段標頭。類似地，在一些實例中，視訊解碼器30可獲得該語法元素，包含自以下各者中之一者獲得該語法元素：位元串流之VPS或VPS之擴展、位元串流之SPS或SPS之擴展、位元串流之PPS或PPS之擴展及/或位元串流之片段標頭或片段標頭之擴展。提議之語法元素亦可在一或多個SEI訊息中發信。
根據第一實例，本發明之技術係關於基於影像塊之層間預測發 信，視訊寫碼器可使用下文展示於表1中的pic_parameter_set_rbsp語法。pic_parameter_set_rbsp語法係用於PPS之RBSP的語法。在下表1中且遍及本發明，使用斜體字來指示本發明中所提議的當前標準(例如，HEVC WD 10)之變化。用粗體指示之元素係語法元素之名稱。
在表1及本發明之其他語法表中，具有形式u(n)之描述符的語法元素係使用n個位元之無正負號整數，其中n為整數。具有描述符ue(v)之語法元素係無正負號整數0階指數哥倫布寫碼語法元素，其以左邊位元開始。在至少一些實例中，ue(v)語法元素經熵寫碼，且u(n)語法元素未經熵寫碼。
在表1之實例中，等於1的inter_layer_pred_tile_enabled_flag[j][i]指定層間預測(樣本及/或運動)可用於解碼第j個影像塊行及第i個影像塊列。等於0的inter_layer_pred_tile_enabled_flag[j][i]指定層間預測未用於解碼第j個影像塊行及第i個影像塊列。當不存在時，推斷inter_layer_pred_tile_enabled_flag之值等於0。
語法元素inter_layer_pred_tile_enabled_flag可在以下參數集中之任一者中發信：VPS、SPS、PPS、片段標頭及其各自擴展。在一些實例中，語法元素inter_layer_pred_tile_enabled_flag亦可在SEI訊息中發信。在一些實例中，語法元素inter_layer_pred_tile_enabled_flag可在SEI訊息中發信，但不在參數集中發信。
根據第二實例，本發明之技術係關於基於影像塊之層間預測發信，視訊寫碼器可使用下文展示於表2中的pic_parameter_set_rbsp語法。如前所述，使用斜體字來指示在本發明中提議的對當前標準(例如，HEVC WD 10)之改變，且以粗體來展示語法元素之名稱。
在表2之實例中，等於1的inter_layer_sample_pred_tile_enabled_flag[j][i]指定層間樣本預測可用於解碼第j個影像塊行及第i個影像塊列。等於0的inter_layer_pred_tile_enabled_flag[j][i]指定層間樣本預測未用於 解碼第j個影像塊行及第i個影像塊列(亦即，第j個影像塊行及第i個行列中之影像塊)。在一些實例中，當不存在時，推斷inter_layer_sample_pred_tile_enabled_flag之值等於0。一般而言，層間樣本預測包含基於屬於不同視圖之圖像之區塊中的樣本之值來預測屬於當前視圖之圖像之區塊中的樣本之值。
此外，在表2之實例中，等於1的inter_layer_motion_pred_tile_enabled_flag[j][i]指定層間運動預測可用於解碼第j個影像塊行及第i個影像塊列。等於0的inter_layer_pred_tile_enabled_flag[j][i]指定層間運動預測未用於解碼第j個影像塊行及第i個影像塊列。在一些實例中，當不存在時，推斷inter_layer_motion_pred_tile_enabled_flag之值等於0。一般而言，層間運動預測包含基於屬於不同視圖之圖像之區塊的運動資訊來預測屬於當前視圖之圖像之區塊(例如，PU)的運動資訊(例如，運動向量、參考索引等)。
所提議語法元素inter_layer_sample_pred_tile_enabled_flag及inter_layer_motion_pred_tile_enabled_flag可在以下參數集中之任一者中發信：VPS、SPS、PPS、片段標頭及其各自擴展。所提議語法元素(例如inter_layer_sample_pred_tile_enabled_flag、inter_layer_motion_pred_tile_enabled_flag等)亦可在一或多個SEI訊息中發信。
在第三實例中，本發明之技術係關於基於影像塊之層間預測發信，層間預測是否用於影像塊的指示係在SEI訊息中發信。在一個實例中，如下文表3中所示地發信SEI訊息。
下文之表4係SEI訊息之另一實例。在表4中inter_layer_pred_tile_enabled_flag可適用於影像塊之集合(亦即，影像塊集)。
在表4之實例中，num_tile_in_set_minus1指定影像塊集中的影像塊之矩形區域之數目，其在0至(num_tile_columns_minus1+1)*(num_tile_rows_minus1+1)-1之範圍中(包括性)。
在表3及表4之影像塊層間預測資訊SEI訊息中，sei_pic_parameter_set_id指定用於PPS的pps_pic_parameter_set_id之值，其由與影像塊層間預測資訊SEI訊息相關聯之圖像參考。sei_pic_parameter_set_id之值應在0至63之範圍中(包括性)。pps_pic_parameter_set_id識別PPS以供其他語法元素參考。以此方式，影像塊層間預測資訊SEI訊息可識別可經應用影像塊層間預測資訊SEI訊息的圖像(亦即，與該圖像相關聯)。
此外，在表3之影像塊層間預測資訊SEI訊息中，等於1的inter_layer_pred_tile_enabled_flag[i][j]指定層間預測(樣本及/或運動)可用於解碼第i個影像塊行及第j個影像塊列(亦即，第i個影像塊行及第j個影像塊列中之影像塊)。等於0的inter_layer_pred_tile_enabled_flag[i][j]指定層間預測(樣本及/或運動)未用於解碼第i個影像塊行及第j個影像塊列(亦即，第i個影像塊行 及第j個影像塊列中之影像塊)。在一些實例中，當不存在時，推斷inter_layer_pred_tile_enabled_flag之值等於1。
在一替代實例中，針對運動及樣本預測之單獨指示係在SEI訊息中發信。根據此實例之SEI訊息可如下文之表5中所示地發信。
在表5之實例中，等於1的inter_layer_sample_pred_tile_enabled_flag[i][j]指定層間樣本預測可用於解碼第i個影像塊行及第j服務影像塊列(亦即，第i個影像塊行及第j服務影像塊列中之影像塊)。等於0的inter_layer_sample_pred_tile_enabled_flag[i][j]指定層間樣本預測未用於解碼第i個影像塊行及第j個影像塊列(亦即，第i個影像塊行及第j個影像塊列中之影像塊)。在一些實例中，當不存在時，推斷inter_layer_sample_pred_tile_enabled_flag之值等於1。
此外，在表5之實例中，等於1的inter_layer_motion_pred_tile_enabled_flag[i][j]指定層間語法預測可用於解碼第i個影像塊行及第j個影像塊列(亦即，第i個影像塊行及第j個影像塊列中之影像塊)。等於0的inter_layer_motion_pred_tile_enabled_flag[i][j]指定層間語法預測未用於解碼第i個影像塊行及第j個影像塊列(亦即，第i個影像塊行及第j個影像塊列中之影像塊)。在一些實例中，當inter_layer_motion_pred_tile_enabled_flag不存在時，推斷 inter_layer_motion_pred_tile_enabled_flag之值等於1。
以此方式。視訊編碼器20可產生一位元串流，其第一複數個語法元素(例如，inter_layer_sample_pred_tile_enabled_flag語法元素)及第二複數個語法元素(例如，inter_layer_motion_pred_tile_enabled_flag語法元素)。該第一複數個語法元素指示針對圖像之影像塊是否啟用層間樣本預測。該第二複數個語法元素指示針對圖像之影像塊是否啟用層間運動預測。類似地，視訊解碼器30可自該位元串流獲得第一複數個語法元素(例如，inter_layer_sample_pred_tile_enabled_flag語法元素)及第二複數個語法元素(例如，inter_layer_motion_pred_tile_enabled_flag語法元素)。視訊解碼器30可基於該第一複數個語法元素來判定針對圖像之複數個影像塊(例如，影像塊集)中之每一影像塊是否啟用層間樣本預測。另外，視訊解碼器30可基於該第二複數個語法元素來判定針對圖像之複數個影像塊中之每一影像塊是否啟用層間運動預測。
在第四實例中，本發明之技術係關於基於影像塊之層間預測發信，層間預測是否用於特定影像塊的指示係在具有下文展示於表6中之語法及語義的SEI訊息中發信。
在表6之實例中，影像塊層間預測資訊SEI訊息係首碼SEI訊息且可與每一經寫碼圖像相關聯。HEVC工作草案10將首碼SEI訊息定義為含於首碼SEI NAL單元中之SEI訊息。此外，HEVC工作草案10將首碼SEI NAL單元定義為具有等於PREFIX_SEI_NUT之nal_unit_type的NAL單元。若影像塊層間預測資訊SEI訊息係非巢套SEI訊息，則相關 聯經寫碼圖像係含有VCL NAL單元的經寫碼圖像，該VCL NAL單元係含有影像塊層間預測資訊SEI訊息之SEI NAL單元之相關聯VCL NAL單元。否則(SEI訊息係巢套SEI訊息)，相關聯經寫碼圖像係藉由含有可擴充式巢套SEI訊息來指定。
在表6之實例中，等於1的inter_layer_pred_tile_enabled_flag[i][j]指定層間預測可用於解碼第i個影像塊行及第j個影像塊列。等於0的inter_layer_pred_tile_enabled_flag[i][j]指示層間運動預測未用於解碼第i個影像塊行及第j個影像塊列。在一些實例中，當inter_layer_pred_tile_enabled_flag不存在於影像塊層間預測資訊SEI訊息中時，推斷inter_layer_pred_tile_enabled_flag之值等於1。
SPS中之vui_parameters語法結構可包括tile_boundaries_aligned_flag語法元素。等於1的tile_boundaries_aligned_flag可指示，當存取單元中之一個圖像的任何兩個樣本屬於一個影像塊時，同一存取單元中之另一圖像中的共置樣本(若存在)屬於一個影像塊，且當存取單元中之一個圖像的任何兩個樣本屬於不同影像塊時，同一存取單元中之另一圖像的共置樣本應屬於不同影像塊。等於0的tile_boundaries_aligned_flag可指示此限制可能或可不適用。換言之，tile_boundaries_aligned_flag指示影像塊邊界是否跨存取單元中之圖像對準。
根據本發明之一些實例，當tile_boundaries_aligned_flag等於1時，可(例如，藉由視訊解碼器30)來推斷影像塊參數。換言之，諸如視訊解碼器30之視訊寫碼器可判定當語法元素指示圖像之影像塊邊界在存取單元對準時的特定影像塊參數之值。一般而言，影像塊參數係提供關於一或多個影像塊之資訊的參數。
在第一實例中，本發明之技術係關於當tile_boundaries_aligned_flag等於1時自參考層推斷影像塊參數，如下 文之表7及表8中所示，影像塊參數係在tile_boundaries_aligned_flag等於1時自參考層推斷。
在此實例中，視訊編碼器20可產生一位元串流，其包括一第一 語法元素(例如，tile_boundaries_aligned_flag)，該第一語法元素指示圖像之影像塊邊界是否跨存取單元中之圖像對準。此外，視訊編碼器20可至少部分基於該第一語法元素而判定是否將一第二語法元素(例如，num_tile_columns_minus1、num_tile_rows_minus1、uniform_spacing_flag、column_width_minus1、row_height_minus1、num_entry_point_offsets、offset_len_minus1、entry_point_offset_minus1)之值包括於該位元串流中，該第二語法元素為一影像塊參數。
類似地，視訊解碼器30可自一位元串流獲得一第一語法元素，該第一語法元素指示圖像之影像塊邊界是否跨存取單元中之圖像對準。視訊解碼器30可至少部分基於第一語法元素而判定是否推斷第二語法元素之值，第二語法元素為一影像塊參數。
如上所述，HEVC WD10支援將圖框分割成一或多個影像塊。以如圖4A及圖4B中所展示之圖像光柵掃描次序，每一影像塊與自0開始至圖像中之影像塊之最大數目減1的tileId相關聯。亦即，圖4A為說明具有4個影像塊之增強層圖像中之CTU之實例光柵掃描次序的概念圖。圖4B為說明對應於圖4A之增強層圖像的基礎層圖像中之CTU之實例光柵掃描次序的概念圖。
圖5A為說明當以根據遞增次序之影像塊識別之順序次序將每一影像塊寫入至位元串流中時的位元串流中之實例CTB次序的概念圖。圖5B為說明當影像塊並非以根據遞增次序之影像塊識別之順序次序寫入至位元串流中時的位元串流中之實例CTB次序的概念圖。在一些實例中，以根據遞增次序之影像塊識別之順序次序(亦即，對於如圖5A中所示的自影像塊0至影像塊3之以上實例)將來自每一影像塊之經寫碼資料寫入至輸出位元串流中。
如圖5A之實例中所示，CTU 0至15屬於一片段。該片段包括片段標頭50，其包括各種語法元素，該等語法元素包括指示經寫碼影像塊 在片段之片段資料52內的位置之入口點偏移語法元素。CTU 0至3屬於第一影像塊，CTU 4至7屬於第二影像塊，CTU 8至11屬於第三影像塊，且CTU 12至15屬於第四影像塊。CTU 0至3之經寫碼表示在CTU 4至7之經寫碼表示之前位於片段資料52中，CTU 4至7在CTU 8至11之經寫碼表示之前位於片段資料52中，CTU 8至11在CTU 12至15之經寫碼表示之前位於片段資料52中。
歸因於變化的層間相依性及影像塊組態，命令影像塊之經寫碼資料始終以順序次序寫入至位元串流中在多層內容脈絡中可能並非高效的。在展示於圖4A及圖4B中之實例影像塊組態中，圖5B中所說明之輸出次序可減少延遲。
在一個實例中，本發明之技術係關於增強層處之異步影像塊輸出，以減少當影像塊係並行地編碼時的輸出延遲，位元串流中之經寫碼影像塊之資料的次序係寬鬆，以使得位元串流中之經寫碼影像塊之資料的次序不必始終為順序次序。利用此寬鬆次序，影像塊之經寫碼資料可在編碼期間根據其可獲得的次序異步地輸出/寫入至位元串流中。圖5B展示此寬鬆次序之實例。
如圖5B之實例中所示，CTU 0至15屬於一片段。該片段包括片段標頭56，其包括各種語法元素，該等語法元素包括指示經寫碼影像塊在片段之片段資料58內的位置之入口點偏移語法元素。CTU 0至3屬於第一影像塊，CTU 4至7屬於第二影像塊，CTU 8至11屬於第三影像塊，且CTU 12至15屬於第四影像塊。CTU 0至3之經寫碼表示在CTU 8至11之經寫碼表示之前位於片段資料58中，CTU 8至11在CTU 4至7之經寫碼表示之前位於片段資料58中，CTU 4至7在CTU 12至15之經寫碼表示之前位於片段資料58中。
下文之表9說明片段區段標頭之一實例語法。如表9中所示，片段區段標頭可包括與入口點偏移語法元素相關聯之tile_id_map語法元 素。tile_id_map語法元素可指定與入口點偏移語法元素相關聯之影像塊之識別符。以此方式，片段區段標頭可指定片段之影像塊之入口點及該等影像塊之識別。指定影像塊之識別以及影像塊之入口點可使影像塊之經寫碼資料能夠在影像塊之經寫碼資料在編碼期間變得可獲得時異步地輸出/寫入至位元串流中。
在表9之實例中，tile_id_map[i]指定與entry_point_offset_minus1[i]相關聯之影像塊識別符(亦即，tile_id)。tile_id_map[i]應藉由log2((num_tile_columns_minus1+1)*(num_tile_rows_minus1+1))來描述。offset_tile_id[i]應自0變至(num_tile_columns_minus1+1)*(num_tile_rows_minus1+1)-1(包括性)。Entry_point_offset_minus1[i]加1指定以位元組計的第i個入口點偏移，且由(offset_len_minus1加1)個位元來表示。num_tile_columns_minus1加1指定分割圖像的影像塊行之數目。 num_tile_rows_minus1加1指定分割圖像的影像塊列之數目。
以此方式，視訊解碼器30可自一位元串流獲得與一圖像之複數個影像塊相關聯的資料之集合，其中與該複數個影像塊相關聯的資料之該等集合在該位元串流中並不根據該複數個影像塊之影像塊識別符之順序次序而排序。視訊解碼器30解碼圖像。此外，該複數個影像塊可包括與圖像之一片段相關聯的特定影像塊。視訊解碼器30可自該位元串流獲得圖像之一片段的一片段區段標頭中之一第一語法元素，該第一語法元素指示與特定影像塊相關聯的一組資料之入口點偏移。當圖像不在基礎層中時，視訊解碼器30可自該位元串流獲得圖像之一片段的片段區段標頭中之語法元素，該語法元素指示與該片段相關聯的影像塊之識別符。
類似地，視訊編碼器20可產生一位元串流，其包括與一圖像之複數個影像塊相關聯的資料之集合，其中與該複數個影像塊相關聯的資料之該等集合在該位元串流中並不根據該複數個影像塊之影像塊識別符之順序次序而排序。該複數個影像塊可包括與圖像之片段相關聯的特定影像塊。視訊編碼器20可將圖像之一片段的一片段區段標頭中之一第一語法元素包括於該位元串流中，該第一語法元素指示與特定影像塊相關聯的一組資料之入口點偏移。當圖像不在基礎層中時，視訊編碼器20可將圖像之一片段的片段區段標頭中之語法元素包括於該位元串流中，該語法元素指示與該片段相關聯的影像塊之識別符。
圖6為說明可實施本發明之技術的實例視訊編碼器20之方塊圖。出於解釋之目的而提供圖6，且不應將該圖視為對如本發明中所廣泛例示及描述之技術的限制。出於解釋之目的，本發明在HEVC寫碼之內容脈絡中描述視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖6之實例中，視訊編碼器20包括預測處理單元100、殘餘產 生單元102、變換處理單元104、量化單元106、反量化單元108、反變換處理單元110、重建構單元112、濾波器單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120包括運動估計單元122及運動補償單元124。在其他實例中，視訊編碼器20可包括較多、較少或不同功能之組件。
視訊編碼器20可接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之片段中的每一CTU。CTU中之每一者可與圖像之相等大小的明度寫碼樹型區塊(CTB)及對應色度CTB相關聯。作為編碼CTU之部分，預測處理單元100可執行四分樹分割以將CTU之CTB劃分成逐漸較小的區塊。該等較小區塊可為CU之寫碼區塊。舉例而言，預測處理單元100可將對應於CTU(亦即，與之相關聯)的CTB分割成4個相等大小的子區塊、將該等子區塊中之一或多者分割成4個相等大小的子子區塊等。
視訊編碼器20可編碼CTU之CU以產生該等CU之經編碼表示(亦即，經寫碼CU)。作為編碼CU之部分，預測處理單元100可分割CU之一或多個PU中的CU之寫碼區塊(亦即，與之相關聯)。因此，每一PU可具有明度預測區塊及對應的色度預測區塊(亦即，與該等區塊相關聯)。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測區塊的大小。假定特定CU之大小為2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。
框間預測處理單元120可藉由對CU之每一PU執行框間預測而產 生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及針對PU之運動資訊。取決於PU係在I片段中、P片段中抑或B片段中，框間預測處理單元120可針對CU之PU執行不同操作。在I片段，所有PU經框內預測。因此，若PU在I片段中，則框間預測處理單元120不對PU執行框間預測。
P片段中之PU可經框內預測或單向框間預測。舉例而言，若PU在P片段中，則運動估計單元122可在RefPicList0中之參考圖像中搜尋用於PU之參考區域。用於PU之參考區域可為在參考圖像內、含有最緊密地對應於PU之預測區塊的樣本區塊之區域。運動估計單元122可產生指示含有用於PU之參考區域的參考圖像之RefPicList0中之位置的參考索引。另外，運動估計單元122可產生指示PU之預測區塊與相關聯於參考區域之參考位置之間的空間移位之運動向量。舉例而言，運動向量可為提供自當前經解碼圖像中之座標至參考圖像中之座標的偏移之二維向量。運動估計單元122可將參考索引及運動向量輸出為PU之運動資訊。運動補償單元124可基於由PU之運動向量指示的參考位置處之實際樣本或內插樣本而產生PU之預測性區塊。
B片段中之PU可經框內預測、單向框間預測或雙向框間預測。因此，若PU在B片段中，則運動估計單元122可針對PU執行單向預測或雙向預測。為了針對PU執行單向預測，運動估計單元122可在RefPicList0或RefPicList1之參考圖像中搜尋用於PU之參考區域。運動估計單元122可將指示含有參考區域之參考圖像的RefPicList0或RefPicList1中之位置的參考索引、指示PU之預測性區塊與相關聯於參考區域之參考位置之間的空間移位之運動向量及指示參考圖像係在RefPicList0中抑或在RefPicList1中之一或多個預測方向指示符輸出為PU之運動資訊。運動補償單元124可至少部分基於由PU之運動向量指示的參考位置處之實際樣本或內插樣本而產生PU之預測性區塊。
為針對PU執行雙向框間預測，運動估計單元122可在用於PU之參考區域的RefPicList0中搜尋參考圖像，且亦可在用於PU之另一參考區域的RefPicList1中搜尋參考圖像。運動估計單元122可產生指示含有參考區域之參考圖像的RefPicList0及RefPicList1中之位置的參考索引。另外，運動估計單元122可產生指示與參考區域相關聯之參考位置與PU之樣本區塊之間的空間移位之運動向量。PU之運動資訊可包括PU之參考索引及運動向量。運動補償單元124可至少部分基於由PU之運動向量指示的參考位置處之實際樣本或內插樣本而產生PU之預測性區塊。
框內預測處理單元126可藉由對PU執行框內預測而產生用於PU之預測性資料。用於PU之預測性資料可包括用於PU之預測性區塊及各種語法元素。框內預測處理單元126可對I片段中、P片段及B片段中之PU執行框內預測。
為對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式來產生用於PU之預測性資料的多個集合。框內預測處理單元126可基於來自空間鄰近PU之樣本區塊的樣本而產生PU之預測性區塊。假定對於PU、CU及CTUs採用自左至右、自上至下的編碼次序，空間鄰近PU可在PU的上方、右上方、左上方或左方。框內預測處理單元126可使用各種數目之框內預測模式，例如，33個定向框內預測模式。在一些實例中，框內預測模式之數目可取決於PU之預測區塊的大小。
預測處理單元100可自由框間預測處理單元120針對PU產生的預測性資料或由框內預測處理單元126針對PU產生的預測性資料中選擇用於CU之PU的預測性資料。在一些實例中，預測處理單元100基於預測性資料之集合的比率/失真量度而選擇用於CU之PU的預測性資料。選定預測性資料之預測性區塊在本文中可被稱作選定預測性區塊。
殘餘產生單元102可基於CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)及CU之PU之選定預測性區塊(例如，預測性明度、Cb及Cr區塊)而產生CU之殘餘區塊(例如，明度、Cb及Cr殘餘區塊)。舉例而言，殘餘產生單元102可產生CU之殘餘區塊，以使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中的樣本與CU之PU之對應選定預測性區塊中的對應樣本之間的差的值。
變換處理單元104可執行四分樹分割以將與CU相關聯之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此，TU可對應於明度變換區塊及兩個色度變換區塊(亦即，與該等區塊相關聯)。CU之TU的明度變換區塊及色度變換區塊的大小及位置可以或可不基於CU之PU的預測區塊之大小及位置。
藉由將一或多個變換應用於TU之變換區塊，變換處理單元104可產生用於CU之每一TU的係數區塊。變換處理單元104可將各種變換應用於相關聯於TU的變換區塊。舉例而言，變換處理單元104可將離散餘弦變換(DCT)、定向變換或概念上類似之變換應用於變換區塊。在一些實例中，變換處理單元104不將變換應用於變換區塊。在此等實例中，變換區塊可被視為係數區塊。
量化單元106可量化係數區塊中之變換係數。量化過程可減少與變換係數中之一些或全部相關聯的位元深度。舉例而言，可在量化期間將n位元變換係數降值捨位至m位元變換係數，其中n大於m。量化單元106可基於與CU相關聯之量化參數(QP)值來量化與CU之TU相關聯的係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整應用於相關聯於CU之係數區塊的量化程度。量化可引入資訊丟失，因此經量化之變換係數可具有比原始變換係數低之精度。
反量化單元108及反變換處理單元110可分別將反量化及反變換應用於係數區塊，以自係數區塊重建構殘餘區塊。重建構單元112可將 經重建構之殘餘區塊添加至來自由預測處理單元100產生之一或多個預測性區塊的對應樣本，以產生與TU相關聯的經重建變換區塊。藉由以此方式重建構CU之每一TU的變換區塊，視訊編碼器20可重建構CU之寫碼區塊。
濾波器單元114可執行一或多個解區塊操作以減少與CU相關聯之寫碼區塊中的區塊假影。在濾波器單元114對經重建構寫碼區塊執行一或多個解區塊操作之後，經解碼圖像緩衝器116可儲存經重建構寫碼區塊。框間預測處理單元120可使用含有經重建構寫碼區塊之參考圖像來對其他圖像之PU執行框間預測。另外，框內預測處理單元126可使用經解碼圖像緩衝器116中之經重建構寫碼區塊來對與CU位於相同圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作，以產生經熵編碼資料。舉例而言，熵編碼單元118可對資料執行CABAC操作、上下文自適應性可變長度寫碼(CAVLC)操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元118產生之經熵編碼資料的位元串流。位元串流亦可包括未經熵編碼之語法元素。
根據本發明之一或多個實例，視訊編碼器20可在位元串流中發信指示針對圖像之特定影像塊是否啟用層間預測的語法元素。此外，在一些實例中，視訊編碼器20可產生單獨語法元素以指示針對圖像之特定影像塊是否啟用層間樣本預測及層間運動預測。
在一些實例中，視訊編碼器20可產生位元串流，其包括指示圖 像之影像塊邊界是否跨存取單元中之圖像對準的tile_boundaries_aligned_flag語法元素。此外，視訊編碼器20可至少部分基於第一語法元素而判定是否將影像塊參數語法元素之值包括於位元串流中。在一些實例中，影像塊參數語法元素在圖像參數集中且指示影像塊行之數目、影像塊列之數目、影像塊是否均勻地隔開、影像塊之行寬度或影像塊之列高度。在其他實例中，影像塊參數語法元素在片段區段標頭中且指示影像塊之入口點偏移之數目。
另外，在一些實例中，視訊編碼器20可產生包括與圖像之複數個影像塊相關聯之資料之集合的位元串流，其中與複數個影像塊相關聯之資料之集合並非根據複數個影像塊之影像塊識別符之順序次序在位元串流中排序。
圖7為說明可實施本發明中所描述之技術的實例視訊解碼器30的方塊圖。出於解釋之目的而提供圖7，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明在HEVC寫碼之內容脈絡中描述視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖7之實例中，視訊解碼器30包括熵解碼單元150、預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158、濾波器單元160及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及框內預測處理單元166。在其他實例中，視訊解碼器30可包括較多、較少或不同功能之組件。
熵解碼單元150可接收位元串流之NAL單元且可剖析該等NAL單元以自位元串流獲得語法元素。熵解碼單元150可對NAL單元中之經熵編碼語法元素進行熵解碼。預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158及濾波器單元160可基於自位元串流獲得的語法元素而產生經解碼視訊資料。
位元串流之NAL單元可包括經寫碼片段NAL單元。作為解碼位元串流之部分，熵解碼單元150可對來自經寫碼片段NAL單元之語法元素進行熵解碼。經寫碼片段中之每一者可包括片段標頭及片段資料。片段標頭可含有關於片段之語法元素。片段標頭中之語法元素可包括識別與含有片段之圖像相關聯之PPS的語法元素。
除解碼來自位元串流之語法元素之外，視訊解碼器30亦可對CU執行重構操作。為對CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由對CU之每一TU執行重建構操作，視訊解碼器30可重建構CU之殘餘區塊。
作為對CU之TU執行重建操作的部分，反量化單元154可反量化(亦即，解量化)與TU相關聯的係數區塊。反量化可增加用以表示變換係數的資料之量。反量化單元154可使用與TU之CU相關聯的QP值來判定反量化單元154應用的量化程度及反量化程度。
在反量化單元154反量化係數區塊之後，反變換處理單元156可將一或多個反變換應用於係數區塊以便產生與TU相關聯之殘餘區塊。舉例而言，反變換處理單元156可將反DCT、反整數變換、反Karhunen-Loeve變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。
若PU係使用框內預測編碼，則框內預測處理單元166可執行框內預測以產生用於PU之預測性區塊。框內預測處理單元166可使用框內預測模式，以基於空間鄰近PU之預測區塊而產生用於PU之預測性區塊(例如，預測性明度、Cb及Cr區塊)。框內預測處理單元166可基於自位元串流解碼之一或多個語法元素而判定用於PU之框內預測模式。
預測處理單元152可基於自位元串流提取之語法元素而建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此 外，若PU係使用框間預測編碼，則熵解碼單元150可判定用於PU之運動資訊。運動補償單元164可基於PU之運動資訊而判定用於PU之一或多個參考區域。運動補償單元164可基於用於PU之該一或多個參考區域處之樣本而產生用於PU之預測性區塊(例如，預測性明度、Cb及Cr區塊)。
重建構單元158可使用CU之TU(亦即，與之相關聯)的變換區塊(例如，明度、Cb及Cr變換區塊)及CU之PU的預測性區塊(例如，預測性明度、Cb及Cr區塊)(亦即，可適用的框內預測資料或框間預測資料)來重建構CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)。舉例而言，重建構單元158可將變換區塊(例如，明度、Cb及Cr變換區塊)之樣本添加至預測性區塊(例如，預測性明度、Cb及Cr區塊)之對應樣本，以重建構CU之寫碼區塊(例如，明度、Cb及寫碼區塊)。
濾波器單元160可執行解區塊操作以減少與CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)相關聯之區塊假影。視訊解碼器30可將CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)儲存於經解碼圖像緩衝器162中。經解碼圖像緩衝器162可提供參考圖像以用於後續運動補償、框內預測及在顯示器件(諸如圖1之顯示器件32)上的呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器162中之區塊(例如，明度、Cb及Cr區塊)而對其他CU之PU執行框內預測或框間預測操作。
在本發明之一些實例中，視訊解碼器30可自位元串流獲得語法元素，其指示針對解碼圖像之影像塊是否啟用層間預測。因此，視訊解碼器30可基於語法元素來判定針對解碼視訊資料之圖像之影像塊是否啟用層間預測。視訊解碼器30可接著解碼影像塊以重建構與影像塊相關聯之像素樣本值。在一些實例中，視訊解碼器可獲得自位元串流獲得指示針對影像塊是否啟用層間樣本預測的語法元素及指示針對同一影像塊是否啟用層間運動預測的另一語法元素。
此外，在本發明之一些實例中，視訊解碼器30可自位元串流獲得指示圖像之影像塊邊界是否跨存取單元中之圖像對準的tile_boundaries_aligned_flag語法元素。另外，視訊解碼器30可至少部分基於tile_boundaries_aligned_flag語法元素而判定是否推斷影像塊參數語法元素之值。舉例而言，視訊解碼器30可至少部分基於tile_boundaries_aligned_flag語法元素而判定是否在不自位元串流獲得影像塊參數語法元素之情況下推斷影像塊參數語法元素之值。在一些實例中，影像塊參數語法元素在圖像參數集中且指示影像塊行之數目、影像塊列之數目、影像塊是否均勻地隔開、影像塊之行寬度或影像塊之列高度。在其他實例中，影像塊參數語法元素在片段區段標頭中且指示影像塊之入口點偏移之數目。
在本發明之一些實例中，視訊解碼器30可自位元串流獲得與圖像之複數個影像塊相關聯的資料之集合。在此等實例中，與該複數個影像塊相關聯的資料之集合可以或可不以根據該複數個影像塊之影像塊識別符之順序次序而在位元串流中排序。
圖8A為說明根據本發明之一或多個技術的視訊編碼器20之實例操作的流程圖。圖8A及本發明之其他流程圖係作為實例而提供。根據本發明之技術的視訊寫碼器之其他實例操作可包括更多、更少或不同動作。
在圖8A之實例中，視訊編碼器20產生包括指示針對解碼視訊資料之圖像之影像塊是否啟用層間預測之語法元素(例如，inter_layer_pred_tile_enabled_flag)的位元串流(250)。圖像可分割成複數個影像塊。此外，在一些情況下，圖像不在基礎層(例如，基礎視圖)中。確切地說，圖像可在增強層或不同視圖中。在一些實例中，層間預測包含層間樣本預測。此外，在一些實例中，層間預測包含層間運動預測。在一些實例中，視訊編碼器20可產生一位元串流，以使 得該位元串流包括指示針對圖像之每一影像塊是否啟用層間預測的複數個語法元素(例如，inter_layer_pred_tile_enabled_flag語法元素、inter_layer_sample_pred_tile_enabled_flag語法元素、inter_layer_motion_pred_tile_enabled_flag語法元素)。
在一些實例中，視訊編碼器20可產生以下各者中之一或多者：包括語法元素之VPS、包括語法元素之SPS、包括語法元素之PPS及/或包括語法元素之片段標頭。在一些實例中，視訊編碼器20可產生包括語法元素之SEI訊息。在一些實例中，SEI訊息包括指定由圖像參考的PPS之PPS識別符之值的語法元素(例如，sei_pic_parameter_set_id)。此外，在一些實例中，SEI訊息係與圖像相關聯之首碼SEI訊息。
另外，視訊編碼器20可輸出位元串流(252)。在一些實例中，輸出位元串流包含將位元串流輸出至一或多個媒體或器件。此等媒體或器件可能夠將經編碼視訊資料移動至目的地器件(例如，目的地器件14)。在一些實例中，該一或多個媒體可包括電腦可讀資料儲存媒體或通信媒體。
圖8B為說明根據本發明之一或多個技術的視訊解碼器30之實例操作的流程圖。在圖8B之實例中，視訊解碼器30自位元串流獲得語法元素(例如，inter_layer_pred_tile_enabled_flag)(270)。在位元串流中獲得之語法元素可指定針對影像塊是否啟用層間預測。在一些實例中，層間預測包含層間樣本預測。此外，在一些實例中，層間預測包含層間運動預測。在一些實例中，視訊解碼器30可自位元串流獲得複數個語法元素(例如，inter_layer_pred_tile_enabled_flag語法元素、inter_layer_sample_pred_tile_enabled_flag語法元素、inter_layer_motion_pred_tile_enabled_flag語法元素)且可基於該複數個語法元素而判定針對圖像之該複數個影像塊中之每一影像塊是否啟 用層間預測。
為了自位元串流獲得語法元素，視訊解碼器30可剖析位元串流以判定語法元素之值。在一些實例中，剖析位元串流以判定語法元素之值可涉及熵解碼位元串流之資料。在一些實例中，視訊解碼器30可自以下各者中之一者獲得語法元素：位元串流之VPS或VPS之擴展、位元串流之SPS或SPS之擴展、位元串流之PPS或PPS之擴展，或位元串流之片段標頭或片段標頭之擴展。
在一些實例中，視訊解碼器30自位元串流之SEI訊息獲得語法元素。此外，在一些此等實例中，視訊解碼器30可自SEI訊息獲得指定由圖像所參考之圖像參數集的圖像參數集識別符之值的語法元素(例如，sei_pic_parameter_set_id)。此外，在一些實例中，SEI訊息係與圖像相關聯之首碼SEI訊息。
在圖8B之實例中，視訊解碼器30可基於語法元素來判定針對解碼視訊資料之圖像之影像塊是否啟用層間預測(272)。圖像可分割成複數個影像塊。此外，在一些情況下，圖像不在基礎層中。視訊解碼器30可解碼影像塊(274)。一般而言，解碼影像塊可涉及重建構影像塊之區塊(例如，CTU、CU等)之樣本值。在一些實例中，視訊解碼器30可基於針對解碼影像塊是否啟用層間預測而判定如何解碼影像塊。舉例而言，當影像塊不使用層間預測時，視訊解碼器30可與參考層圖像或影像塊並行地解碼影像塊。舉例而言，不同處理核心及/或執行緒可與參考層圖像之一部分(例如，參考層圖像之影像塊)並行地解碼影像塊。當視訊解碼器30使用層間預測解碼影像塊時，視訊解碼器30可不能夠於視圖間參考圖像(或其部分)並行地解碼影像塊。如本發明中別處所指示，當視訊解碼器30解碼影像塊時，視訊解碼器30可判定影像塊之像素之值。
圖9A為說明根據本發明之一或多個技術的視訊編碼器20之實例 操作的流程圖。在圖9A之實例中，視訊編碼器20產生包括第一語法元素(例如，inter_layer_sample_pred_tile_enabled_flag)及第二語法元素(例如，inter_layer_motion_pred_tile_enabled_flag)之位元串流(300)。第一語法元素指示針對解碼視訊資料之圖像之影像塊是否啟用層間樣本預測。第二語法元素指示針對解碼影像塊是否啟用層間運動預測。此外，在圖9A之實例中，視訊編碼器20可輸出位元串流(302)。
在一些實例中，當視訊編碼器20產生位元串流時，視訊編碼器20可產生包括第一及第二語法元素之VPS。此外，在一些實例中，當視訊編碼器20產生位元串流時，視訊編碼器20可產生包括第一及第二語法元素之SPS。另外，在一些實例中，當視訊編碼器20產生位元串流時，視訊編碼器20可產生包括第一及第二語法元素之PPS。在一些實例中，當視訊編碼器20產生位元串流時，視訊編碼器20可產生包括第一及第二語法元素之片段標頭。
在一些實例中，當視訊編碼器20產生位元串流時，視訊編碼器20可產生包括第一及第二語法元素之SEI訊息。在一些此等實例中，SEI訊息包含指定參數集之識別符的第三語法元素(例如，sei_pic_parameter_set_id)。參數集可為PPS或另一類型之參數集。
圖9B為說明根據本發明之一或多個技術的視訊解碼器30之實例操作的流程圖。在圖9B之實例中，視訊解碼器30自位元串流獲得第一語法元素(例如，inter_layer_sample_pred_tile_enabled_flag)及第二語法元素(例如，inter_layer_motion_pred_tile_enabled_flag)(320)。視訊解碼器30可基於第一語法元素而判定針對解碼視訊資料之圖像之影像塊是否啟用層間樣本預測(322)。另外，視訊解碼器30可基於第二語法元素而判定針對解碼影像塊是否啟用層間運動預測(324)。視訊解碼器30可接著解碼影像塊(326)。在一些實例中，當視訊解碼器30 判定針對影像塊未啟用層間樣本預測及層間運動預測時，視訊解碼器30可與一或多個視圖間參考圖像(例如，屬於同一存取單元之圖像及不同於當前圖像之視圖)或其影像塊並行地解碼影像塊。當視訊解碼器30判定針對影像塊啟用層間樣本預測及/或層間運動預測時，視訊解碼器30可不能夠與其他視圖間參考圖像(例如，屬於同一存取單元之圖像及不同於當前圖像之視圖)或其影像塊並行地解碼影像塊。
在一些實例中，視訊解碼器30自位元串流之VPS或VPS之擴展獲得第一及第二語法元素。在一些實例中，視訊解碼器30自位元串流之SPS或SPS之擴展獲得第一及第二語法元素。此外，在一些實例中，視訊解碼器30自位元串流之PPS或PPS之擴展獲得語法元素。另外，在一些實例中，視訊解碼器30自位元串流之片段標頭或片段標頭之擴展獲得第一及第二語法元素。
在一些實例中，視訊解碼器30自位元串流之SEI訊息獲得第一及第二語法元素。在一些此等實例中，SEI訊息包含指定參數集之識別符的第三語法元素。參數集可為PPS或另一類型之參數集。
圖10A為說明根據本發明之一或多個技術的視訊編碼器20之實例操作的流程圖。在圖10A之實例中，視訊編碼器20產生包括指示圖像之影像塊邊界是否跨存取單元中之圖像對準之第一語法元素(例如，tile_boundaries_aligned_flag)的位元串流(350)。視訊編碼器20可至少部分基於第一語法元素而判定是否將第二語法元素之值包括於位元串流中，第二語法元素係影像塊參數(352)。換言之，視第一語法元素之值而定，視訊編碼器20可依靠該值來包括或不包括第二語法元素。舉例而言，當第一語法元素指示圖像之影像塊邊界跨存取單元中之圖像不對準時，視訊編碼器20可包括第二語法元素。當第一語法元素指示圖像之影像塊邊界跨存取單元中之圖像對準時，視訊編碼器20可不包括第二語法元素。在一些實例中，第二語法元素可為圖像參數集之 語法元素，且第二語法元素指示以下各者中之一者：影像塊行之數目、影像塊列之數目、影像塊是否均勻地隔開、影像塊之行寬度或影像塊之列高度。在一些實例中，第二語法元素係片段區段標頭之語法元素且第二語法元素指示影像塊之入口點偏移之數目。
圖10B為說明根據本發明之一或多個技術的視訊解碼器30之實例操作的流程圖。在圖10B之實例中，視訊解碼器30自位元串流獲得指示圖像之影像塊邊界是否跨存取單元中之圖像對準之第一語法元素(例如，tile_boundaries_aligned_flag)(370)。視訊解碼器30可至少部分基於第一語法元素而判定是否推斷第二語法元素之值，第二語法元素為一影像塊參數(372)。在一些實例中，第二語法元素係圖像參數集之語法元素，且第二語法元素指示以下各者中之一者：影像塊行之數目、影像塊列之數目、影像塊是否均勻地隔開、影像塊之行寬度或影像塊之列高度。在一些實例中，第二語法元素係片段區段標頭之語法元素且第二語法元素指示影像塊之入口點偏移之數目。
如上所指示，視訊解碼器30可推斷第二語法元素之值。舉例而言，第二語法元素可為num_tile_columns_minus1語法元素，且視訊解碼器30可推斷num_tile_columns_minus1語法元素之值等於0。在另一實例中，第二語法元素可為num_tile_rows_minus1語法元素，且視訊解碼器30可推斷num_tile_rows_minus1語法元素之值等於0。在另一實例中，第二語法元素可為uniform_spacing_flag語法元素，且視訊解碼器30可推斷uniform_spacing_flag語法元素之值等於1。在另一實例中，第二語法元素可為num_entry_point_offsets語法元素，且視訊解碼器30可推斷num_entry_point_offsets語法元素之值等於0。
圖11A為說明根據本發明之一或多個技術的視訊編碼器20之實例操作的流程圖。在圖11A之實例中，視訊編碼器20產生包括與圖像之複數個影像塊相關聯的資料之集合的位元串流(400)。與複數個影像 塊相關聯的資料之該等集合並不根據複數個影像塊之影像塊識別符(例如，tileId)之順序次序在位元串流中排序。實情為，資料集合可根據當視訊編碼器20編碼影像塊時經編碼影像塊變得可獲得的次序來排序。視訊編碼器20可輸出位元串流(402)。在一些實例中，複數個影像塊包括與圖像之片段相關聯的特定影像塊。在此等實例中，視訊編碼器20可將圖像之片段的片段區段標頭中之第一語法元素(例如，first_slice_segment_in_pic_flag)包括於位元串流中。該第一語法元素指示與特定影像塊相關聯的一組資料之入口點偏移。此外，在此等實例中，當圖像不在基礎層中時，視訊編碼器20可將圖像之片段的片段區段標頭中之語法元素(例如tile_id_map)包括於位元串流中。此語法元素(例如，tile_id_map)指示與片段相關聯之影像塊的識別符。
圖11B為說明根據本發明之一或多個技術的視訊解碼器30之實例操作的流程圖。在圖11B之實例中，視訊解碼器30可自位元串流獲得與圖像之複數個影像塊相關聯的資料之集合(420)。與複數個影像塊相關聯的資料之集合並不根據複數個影像塊之影像塊識別符之順序次序在位元串流中排序。視訊解碼器30解碼圖像(424)。
在一些實例中，複數個影像塊包括與圖像之片段相關聯的特定影像塊。此外，在此等實例中，視訊解碼器30可自位元串流獲得圖像之片段之片段區段標頭中之第一語法元素(例如，first_slice_segment_in_pic_flag)。該第一語法元素指示與特定影像塊相關聯的一組資料之入口點偏移。當圖像不在基礎層中時，視訊解碼器30可自位元串流獲得圖像之片段之片段區段標頭中之語法元素(例如，tile_id_map)，該語法元素指示與片段相關聯之影像塊的識別符。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或碼 而在電腦可讀媒體上儲存或傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於有形媒體，諸如資料儲存媒體，或包括促進將電腦程式自一處傳送至另一處(例如，根據一通信協定)的任何媒體的通信媒體。以此方式，電腦可讀媒體大體上可對應於(1)非暫時形的有形電腦可讀儲存媒體，或(2)通信媒體，諸如信號或載波。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、碼及/或資料結構的任何可獲得媒體。電腦程式產品可包括電腦可讀媒體。
借助於實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體或可用來儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。此外，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫態媒體，而是實際上關於非暫態有形儲存媒體。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及Blu-ray光碟，其中磁碟通常以磁性方式再現資料，而光碟用雷射以光學方式再現資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效的整合或離散邏輯電路。因此，如本文中所使用的術語「處理器」可指上述結構或適合於 實施本文中所描述之技術的任何其他結構中的任一者。另外，在一些態樣中，本文中所述的功能性可在經組態用於編碼及解碼的專用硬體和/或軟體模組內提供，或併入於組合式編解碼器中。此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可在廣泛多種器件或裝置中實施，包括無線手機、積體電路(IC)或一組IC(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必需要藉由不同硬體單元之實現。確切地說，如上所述，各種單元可與合適的軟體及/或韌體一起組合在編解碼器硬體單元中或由互操作硬體單元之集合提供，硬件單元包括如上所述的一或多個處理器。
已描述各種實例。此等及其他實例或其組合在以下申請專利範圍之範疇內。

Claims (44)

  1. 一種解碼視訊資料之方法，該方法包含：自一位元串流獲得一語法元素；基於該語法元素來判定針對解碼該視訊資料之一圖像之一影像塊是否啟用層間預測，其中該圖像經分割成複數個影像塊且該圖像不在一基礎層中；及解碼該影像塊。
  2. 如請求項1之方法，其中該語法元素指定針對該影像塊是否啟用層間預測。
  3. 如請求項1之方法，其中獲得該語法元素包含自該位元串流之一補充增強資訊(SEI)訊息獲得該語法元素。
  4. 如請求項3之方法，其中：該語法元素係一第一語法元素，且該方法進一步包含自該SEI訊息獲得一第二語法元素，該第二語法元素指定由該圖像所參考之一圖像參數集的一圖像參數集識別符之一值。
  5. 如請求項3之方法，其中該SEI訊息係與該圖像相關聯之一首碼SEI訊息。
  6. 如請求項1之方法，其中：該語法元素係一第一語法元素，且該方法進一步包含：自該位元串流獲得包括該第一語法元素之複數個語法元素；及基於該複數個語法元素來判定針對該圖像之該複數個影像塊中之每一影像塊是否啟用層間預測。
  7. 如請求項1之方法，其中層間預測包含層間樣本預測。
  8. 如請求項1之方法，其中層間預測包含層間運動預測。
  9. 如請求項1之方法，其中獲得該語法元素包含自以下各者中之一者獲得該語法元素：該位元串流之一視訊參數集(VPS)或該VPS之一擴展、該位元串流之一序列參數集(SPS)或該SPS之一擴展、該位元串流之一圖像參數集(PPS)或該PPS之一擴展或該位元串流之一片段標頭或該片段標頭之一擴展。
  10. 如請求項1之方法，其中解碼該影像塊包含，在該影像塊不使用層間預測時，與一參考層圖像或影像塊並行地解碼該影像塊。
  11. 一種用於編碼視訊資料之方法，該方法包含：產生一位元串流，其包括指示針對解碼該視訊資料之一圖像之一影像塊是否啟用層間預測的一語法元素，其中該圖像經分割成複數個影像塊且該圖像不在一基礎層中；及輸出該位元串流。
  12. 如請求項11之方法，其中產生該位元串流包含產生包括該語法元素之一補充增強資訊(SEI)訊息。
  13. 如請求項12之方法，其中：該語法元素係一第一語法元素，且該方法進一步包含將一第二語法元素包括於該SEI訊息中，該第二語法元素指定由該圖像所參考之一圖像參數集的一圖像參數集識別符之一值。
  14. 如請求項12之方法，其中該SEI訊息係與該圖像相關聯之一首碼SEI訊息。
  15. 如請求項11之方法，其中：該語法元素係一第一語法元素，且產生該位元串流包含，產生該位元串流，以使得該位元串流 包括指示針對該圖像之每一影像塊是否啟用層間預測的複數個語法元素，該複數個語法元素包括該第一語法元素。
  16. 如請求項11之方法，其中層間預測包含層間樣本預測。
  17. 如請求項11之方法，其中層間預測包含層間運動預測。
  18. 如請求項11之方法，其中產生該位元串流包含產生以下各者中之一或多者：包括該語法元素之一視訊參數集(VPS)、包括該語法元素之一序列參數集(SPS)、包括該語法元素之一圖像參數集(PPS)或包括該語法元素之一片段標頭。
  19. 一種視訊解碼器件，其包含：一電腦可讀媒體，其經組態以儲存視訊資料；及一或多個處理器，其經組態以：自一位元串流獲得一語法元素；基於該語法元素來判定針對解碼該視訊資料之一圖像之一影像塊是否啟用層間預測，其中該圖像經分割成複數個影像塊且該圖像不在一基礎層中；及解碼該影像塊。
  20. 如請求項19之視訊解碼器件，其中該語法元素指定針對該影像塊是否啟用層間預測。
  21. 如請求項19之視訊解碼器件，其中該一或多個處理器經組態以自該位元串流之一補充增強資訊(SEI)訊息獲得該語法元素。
  22. 如請求項21之視訊解碼器件，其中：該語法元素係一第一語法元素，且該一或多個處理器經組態以自該SEI訊息獲得一第二語法元素，該第二語法元素指定由該圖像所參考之一圖像參數集的一圖像參數集識別符之一值。
  23. 如請求項21之視訊解碼器件，其中該SEI訊息係與該圖像相關聯 之一首碼SEI訊息。
  24. 如請求項19之視訊解碼器件，其中：該語法元素係一第一語法元素，且該一或多個處理器經組態以：自該位元串流獲得包括該第一語法元素之複數個語法元素；及基於該複數個語法元素來判定針對該圖像之該複數個影像塊中之每一影像塊是否啟用層間預測。
  25. 如請求項19之視訊解碼器件，其中層間預測包含層間樣本預測。
  26. 如請求項19之視訊解碼器件，其中層間預測包含層間運動預測。
  27. 如請求項19之視訊解碼器件，其中該一或多個處理器經組態以自以下各者中之一者獲得該語法元素：該位元串流之一視訊參數集(VPS)或該VPS之一擴展、該位元串流之一序列參數集(SPS)或該SPS之一擴展、該位元串流之一圖像參數集(PPS)或該PPS之一擴展或該位元串流之一片段標頭或該片段標頭之一擴展。
  28. 如請求項19之視訊解碼器件，其中該一或多個處理器經組態以在該影像塊不使用層間預測時，與一參考層圖像或影像塊並行地解碼該影像塊。
  29. 一種視訊編碼器件，其包含：一電腦可讀媒體，其經組態以儲存視訊資料；及一或多個處理器，其經組態以：產生一位元串流，其包括指示針對解碼該視訊資料之一圖像之一影像塊是否啟用層間預測的一語法元素，其中該圖像經分割成複數個影像塊且該圖像不在一基礎層中；及 輸出該位元串流。
  30. 如請求項29之視訊編碼器件，其中產生該位元串流包含產生包括該語法元素之一補充增強資訊(SEI)訊息。
  31. 如請求項30之視訊編碼器件，其中：該語法元素係一第一語法元素，且該一或多個處理器經組態以將一第二語法元素包括於該SEI訊息中，該第二語法元素指定由該圖像所參考之一圖像參數集的一圖像參數集識別符之一值。
  32. 如請求項30之視訊編碼器件，其中該SEI訊息係與該圖像相關聯之一首碼SEI訊息。
  33. 如請求項29之視訊編碼器件，其中：該語法元素係一第一語法元素，且該一或多個處理器經組態以產生該位元串流，以使得該位元串流包括指示針對該圖像之每一影像塊是否啟用層間預測的複數個語法元素，該複數個語法元素包括該第一語法元素。
  34. 如請求項29之視訊編碼器件，其中層間預測包含層間樣本預測。
  35. 如請求項29之視訊編碼器件，其中層間預測包含層間運動預測。
  36. 如請求項29之視訊編碼器件，其中該一或多個處理器經組態以產生以下各者中之一或多者：包括該語法元素之一視訊參數集(VPS)、包括該語法元素之一序列參數集(SPS)、包括該語法元素之一圖像參數集(PPS)或包括該語法元素之一片段標頭。
  37. 一種視訊解碼器件，其包含：用於自一位元串流獲得一語法元素的構件；用於基於該語法元素來判定針對解碼視訊資料之一圖像之一 影像塊是否啟用層間預測的構件，其中該圖像經分割成複數個影像塊且該圖像不在一基礎層中；及用於解碼該影像塊的構件。
  38. 如請求項37之視訊解碼器件，其中該語法元素指定針對該影像塊是否啟用層間預測。
  39. 如請求項37之視訊解碼器件，其中獲得該語法元素包含自該位元串流之一補充增強資訊(SEI)訊息獲得該語法元素。
  40. 如請求項37之視訊解碼器件，其中解碼該影像塊包含，在該影像塊不使用層間預測時，與一參考層圖像或影像塊並行地解碼該影像塊。
  41. 一種視訊編碼器件，其包含：用於產生包括指示針對解碼視訊資料之一圖像之一影像塊是否啟用層間預測的一語法元素之一位元串流的構件，其中該圖像經分割成複數個影像塊且該圖像不在一基礎層中；及用於輸出該位元串流的構件。
  42. 如請求項41之視訊編碼器件，其中產生該位元串流包含產生包括該語法元素之一補充增強資訊(SEI)訊息。
  43. 一種上面儲存有指令之電腦可讀資料儲存媒體，該等指令在執行時使一或多個處理器：自一位元串流獲得一語法元素；基於該語法元素來判定針對解碼視訊資料之一圖像之一影像塊是否啟用層間預測，其中該圖像經分割成複數個影像塊且該圖像不在一基礎層中；及解碼該影像塊。
  44. 一種上面儲存有指令之電腦可讀資料儲存媒體，該等指令在執行時使一或多個處理器： 產生包括指示針對解碼視訊資料之一圖像之一影像塊是否啟用層間預測的一語法元素之一位元串流，其中該圖像經分割成複數個影像塊且該圖像不在一基礎層中；及輸出該位元串流。
TW103124335A 2013-07-15 2014-07-15 多層內容脈絡中之影像塊及波前處理 TW201515440A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361846500P 2013-07-15 2013-07-15
US14/331,054 US20150016503A1 (en) 2013-07-15 2014-07-14 Tiles and wavefront processing in multi-layer context

Publications (1)

Publication Number Publication Date
TW201515440A true TW201515440A (zh) 2015-04-16

Family

ID=52277075

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103124335A TW201515440A (zh) 2013-07-15 2014-07-15 多層內容脈絡中之影像塊及波前處理

Country Status (3)

Country Link
US (1) US20150016503A1 (zh)
TW (1) TW201515440A (zh)
WO (1) WO2015009712A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI690197B (zh) * 2016-02-17 2020-04-01 美商高通公司 在分層高效視訊寫碼檔案格式中之位元串流網路抽象層之結束的處理及對高效視訊寫碼及分層高效視訊寫碼頻塊軌跡之改良

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105723712B (zh) * 2013-10-14 2019-06-28 韩国电子通信研究院 基于多层的图像编码/解码方法和设备
KR102111436B1 (ko) * 2014-01-06 2020-05-18 에스케이 텔레콤주식회사 다중 영상의 단일 비트 스트림 생성방법 및 생성장치
US10091532B2 (en) 2014-06-26 2018-10-02 Qualcomm Incorporated Bitstream conformance constraints in scalable video coding
CN107534781B (zh) * 2015-02-05 2020-11-06 弗劳恩霍夫应用研究促进协会 支持分量间预测的3d视频编解码器
CN106303673B (zh) * 2015-06-04 2021-01-22 中兴通讯股份有限公司 码流对齐、同步处理方法及发送、接收终端和通信系统
CN107071424B (zh) * 2017-03-17 2018-09-25 山东科技大学 一种基于编码时间预测模型的负载均衡方法
WO2018191224A1 (en) * 2017-04-11 2018-10-18 Vid Scale, Inc. 360-degree video coding using face continuities
ES2971545T3 (es) * 2018-04-03 2024-06-05 Huawei Tech Co Ltd Señalización de formato de archivo de mitigación de errores en una codificación de vídeo dependiente del área de visualización basada en flujos de bits de subimágenes
US11509937B2 (en) * 2018-04-09 2022-11-22 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding video
GB2572770B (en) * 2018-04-09 2022-11-02 Canon Kk Method and apparatus for encoding or decoding video data with frame portions
KR102644707B1 (ko) * 2018-07-02 2024-03-06 노키아 테크놀로지스 오와이 비디오 코딩에서 타일 관련 어드레싱을 위한 방법 및 장치
US11606575B2 (en) 2018-07-10 2023-03-14 Qualcomm Incorporated Multiple history based non-adjacent MVPs for wavefront processing of video coding
US10375416B1 (en) * 2018-09-05 2019-08-06 Tencent America LLC Segment types in video coding
CN112690004B (zh) * 2018-09-14 2023-01-13 华为技术有限公司 一种视频译码中的基于分块的寻址方法，译码器以及视频译码设备
US11140403B2 (en) 2018-12-20 2021-10-05 Tencent America LLC Identifying tile from network abstraction unit header
US11290734B2 (en) * 2019-01-02 2022-03-29 Tencent America LLC Adaptive picture resolution rescaling for inter-prediction and display
WO2020162609A1 (ja) * 2019-02-08 2020-08-13 シャープ株式会社 動画像符号化装置および動画像復号装置
US11012710B2 (en) 2019-03-06 2021-05-18 Tencent America LLC Techniques for intra prediction for 360 image and video coding
CN111726630B (zh) * 2019-03-18 2024-03-15 华为技术有限公司 基于三角预测单元模式的处理方法及装置
WO2021061033A1 (en) * 2019-09-23 2021-04-01 Telefonaktiebolaget Lm Ericsson (Publ) Segment position signalling with subpicture slice position deriving
CN115211130B (zh) * 2020-02-21 2024-04-09 抖音视界有限公司 基于条带和片图片分割的信令通知的处理视频数据的方法
EP4128767A4 (en) 2020-04-01 2024-05-01 HFI Innovation Inc. METHOD AND APPARATUS FOR SIGNALING SLICE PARTITION INFORMATION FOR IMAGE AND VIDEO CODING
CN114125464B (zh) * 2020-08-27 2024-02-06 扬智科技股份有限公司 视频解码方法与视频解码装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060280242A1 (en) * 2005-06-13 2006-12-14 Nokia Corporation System and method for providing one-pass rate control for encoders
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
FR2932050B1 (fr) * 2008-06-03 2010-05-21 Canon Kk Procede et dispositif de transmission de donnees video
CN103003775A (zh) * 2010-06-28 2013-03-27 Tp视觉控股有限公司 增强内容观看体验
TWI616087B (zh) * 2012-01-31 2018-02-21 Ｖｉｄ衡器股份有限公司 可縮放高效率視訊編碼（ｈｅｖｃ）參考圖集（ｒｐｓ）傳訊
US10178400B2 (en) * 2012-11-21 2019-01-08 Dolby International Ab Signaling scalability information in a parameter set
US9900609B2 (en) * 2013-01-04 2018-02-20 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
KR20140091494A (ko) * 2013-01-10 2014-07-21 삼성전자주식회사 멀티 레이어 비디오의 복호화 방법 및 장치, 멀티 레이어 비디오의 부호화 방법 및 장치
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
CN105325003B (zh) * 2013-04-17 2019-05-28 诺基亚技术有限公司 用于视频编码和解码的装置、方法
WO2014171770A1 (ko) * 2013-04-17 2014-10-23 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI690197B (zh) * 2016-02-17 2020-04-01 美商高通公司 在分層高效視訊寫碼檔案格式中之位元串流網路抽象層之結束的處理及對高效視訊寫碼及分層高效視訊寫碼頻塊軌跡之改良

Also Published As

Publication number Publication date
US20150016503A1 (en) 2015-01-15
WO2015009712A1 (en) 2015-01-22

Similar Documents

Publication Publication Date Title
KR102384092B1 (ko) 비디오 코딩에서 파티셔닝 방식들에 대한 가상 참조 디코더 파라미터들의 적합성을 테스트하기 위한 방법 및 디바이스
EP3058743B1 (en) Support of multi-mode extraction for multi-layer video codecs
TWI533674B (zh) 處理視訊資料及編碼視訊資料之方法，視訊處理器件，視訊編碼器件及其電腦可讀取儲存媒體
TW201515440A (zh) 多層內容脈絡中之影像塊及波前處理
TWI523492B (zh) 在視訊寫碼中之非巢套式補充增強資訊訊息
TWI559743B (zh) 使用顏色成分間取樣預測之視訊寫碼
TW201340723A (zh) 用於三維視訊寫碼之網路抽象層單元標頭設計