TW201424389A - 用於視訊寫碼之參數集合的指示及啓用 - Google Patents

用於視訊寫碼之參數集合的指示及啓用 Download PDF

Info

Publication number
TW201424389A
TW201424389A TW102130901A TW102130901A TW201424389A TW 201424389 A TW201424389 A TW 201424389A TW 102130901 A TW102130901 A TW 102130901A TW 102130901 A TW102130901 A TW 102130901A TW 201424389 A TW201424389 A TW 201424389A
Authority
TW
Taiwan
Prior art keywords
video
sei message
spss
sps
vps
Prior art date
Application number
TW102130901A
Other languages
English (en)
Other versions
TWI507018B (zh
Inventor
Ye-Kui Wang
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201424389A publication Critical patent/TW201424389A/zh
Application granted granted Critical
Publication of TWI507018B publication Critical patent/TWI507018B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

在一些實例中,一視訊編碼器包括在一SEI訊息中之多個序列參數集合(SPS)ID,使得可向一視訊解碼器指示多個有效SPS。在一些實例中,一視訊解碼器經由參考一SEI訊息(例如,基於將該VPS ID及一或多個SPS ID包括於該SEI訊息中)而啟用一視訊參數集合(VPS)及/或一或多個SPS。作為實例,該SEI訊息可為一有效參數集合SEI訊息或一緩衝週期SEI訊息。

Description

用於視訊寫碼之參數集合的指示及啟用
本申請案主張2012年9月21日申請之美國臨時申請案第61/704,214號之權利,該案之全部內容以引用之方式併入本文中。
本發明係關於視訊寫碼,且更特定言之,係關於用於視訊寫碼之參數集合。
數位視訊能力可併入至廣泛範圍之器件中,該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電傳會議器件、視訊串流器件,及其類似者。數位視訊器件實施視訊寫碼技術(諸如,在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC)(H.264/AVC))、目前在開發中的高效率視訊寫碼(HEVC)標準定義之標準及此等標準之擴展中所描述的視訊寫碼技術)。作為實例,H.264/AVC具有可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。視訊器件可藉由實施此等視訊寫碼技術更有效率地傳輸、接收、編碼、解碼,及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼,可將一視訊切片(亦即,圖像或圖像之一部分)分割成多個視訊區塊,其亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框內寫碼(I)切片中的視訊區塊。圖像之框間寫碼(P或B)切片中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本之時間預測。
空間預測或時間預測導致寫碼用於區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為了進一步壓縮,可將殘餘資料自像素域變換至變換域,從而導致接著可被量化的殘餘變換係數。可掃描最初配置成二維陣列之經量化之變換係數以便產生變換係數之一維向量,且可應用熵寫碼以達成甚至更多壓縮。
大體而言,本發明描述用於指示哪些參數集合有效地用於視訊寫碼及在一些實例中支援此等參數集合之啟用的技術。在一些實例中,視訊編碼器包括在SEI訊息(例如,有效參數集合SEI訊息或緩衝週期SEI訊息)中之多個序列參數集合(SPS)指示符(ID),使得多個有效SPS可經指示給一視訊解碼器。在一些實例中,視訊解碼器經由參考一SEI訊息(例如,基於將VPS ID及一或多個SPS ID包括於SEI訊息中)而啟用一視訊參數集合(VPS)及/或一或多個SPS。SEI訊息可為(例如)緩衝週期SEI訊息之有效參數集合SEI訊息。
在一實例中,一解碼視訊資料之方法包含解碼一包括視訊資料 及用於解碼視訊資料之語法資訊的位元串流,其中語法資訊包含一補充增強資訊(SEI)訊息,且其中該SEI訊息指示一或多個序列參數集合(SPS)及一視訊參數集合(VPS)。該方法進一步包含基於SEI訊息中之該一或多個SPS及該VPS的指示來啟用用於解碼視訊資料之該一或多個SPS及該VPS,及基於該一或多個經啟用SPS及該經啟用VPS來解碼視訊資料。
在另一實例中,一編碼視訊資料之方法包含編碼一包括視訊資料及用於解碼視訊資料之語法資訊的位元串流,其中語法資訊包含一補充增強資訊(SEI)訊息,且其中該SEI訊息指示一或多個序列參數集合(SPS)及一視訊參數集合(VPS)。該方法進一步包含基於SEI訊息中指示的該一或多個SPS及該VPS來編碼視訊資料。編碼該位元串流以包括SEI訊息包含編碼該位元串流,使得一視訊解碼器回應於SEI訊息內之該一或多個SPS及該VPS的指示而啟用用於解碼視訊資料之該一或多個SPS及該VPS。
在另一實例中,一器件包含一經組態以解碼一包括視訊資料及用於解碼視訊資料之語法資訊的位元串流的視訊解碼器,其中語法資訊包含一補充增強資訊(SEI)訊息,且其中該SEI訊息指示一或多個序列參數集合(SPS)及一視訊參數集合(VPS)。該視訊解碼器經進一步組態以基於SEI訊息中之該一或多個SPS及該VPS的指示來啟用用於解碼視訊資料之該一或多個SPS及該VPS,並基於該一或多個經啟用SPS及該經啟用VPS來解碼視訊資料。
在另一實例中,一器件包含一經組態以編碼一包括視訊資料及用於解碼視訊資料之語法資訊的位元串流的視訊編碼器,其中語法資訊包含一補充增強資訊(SEI)訊息,且其中該SEI訊息指示一或多個序列參數集合(SPS)及一視訊參數集合(VPS)。該視訊編碼器經進一步組態以基於SEI訊息中指示的該一或多個SPS及該VPS來編碼視訊資料。 該視訊編碼器編碼該位元串流以包括SEI訊息,使得一視訊解碼器回應於SEI訊息中之該一或多個SPS及該VPS的指示而啟用用於解碼視訊資料之該一或多個SPS及該VPS。
在另一實例中,一用於寫碼視訊資料之器件包含用於寫碼一包括視訊資料及用於解碼視訊資料之語法資訊的位元串流的構件,其中語法資訊包含一補充增強資訊(SEI)訊息,且其中該SEI訊息指示一或多個序列參數集合(SPS)及一視訊參數集合(VPS)。該器件進一步包含用於基於SEI訊息中之該一或多個SPS及該VPS的指示來啟用用於寫碼視訊資料之該一或多個SPS及該VPS的構件,及用於基於該一或多個經啟用SPS及該經啟用VPS來寫碼視訊資料的構件。
在另一實例中,一電腦可讀儲存媒體具有上面儲存之指令,該等指令當由一視訊寫碼器之一或多個處理器執行時使該視訊寫碼器寫碼一包括視訊資料及用於解碼視訊資料之語法資訊的位元串流,其中語法資訊包含一補充增強資訊(SEI)訊息,且其中該SEI訊息指示一或多個序列參數集合(SPS)及一視訊參數集合(VPS)。該等指令進一步使該視訊寫碼器基於SEI訊息中之該一或多個SPS及該VPS的指示來啟用用於寫碼視訊資料之該一或多個SPS及該VPS;及基於該一或多個SPS及該VPS來寫碼視訊資料。
本發明之一或多個態樣的細節陳述於隨附圖式及下文之描述中。本發明中所描述之技術的其他特徵、目標及優點將自描述及圖式且自申請專利範圍而顯而易見。
10‧‧‧實例視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
35‧‧‧分割單元
36‧‧‧儲存器件
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧逆量化單元
60‧‧‧逆變換處理單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測處理單元
86‧‧‧逆量化單元
88‧‧‧逆變換處理單元
90‧‧‧求和器
92‧‧‧參考圖像記憶體
100‧‧‧網路
102‧‧‧伺服器器件
104A‧‧‧路由器件
104B‧‧‧路由器件
106‧‧‧轉碼器件
108‧‧‧用戶端器件
圖1為說明可利用本發明中所描述之用於指示有效參數集合及啟用參數集合的技術之一實例視訊編碼及解碼系統的方塊圖。
圖2為更詳細地說明圖1之實例中所示的視訊編碼器之方塊圖。
圖3為更詳細地說明圖1之實例中所示的視訊解碼器之方塊圖。
圖4為說明形成網路之部分的器件之實例集合的方塊圖。
圖5為說明一用於編碼一位元串流以包括一補充增強資訊(SEI)訊息的實例方法之流程圖,該補充增強資訊(SEI)訊息將用於解碼位元串流中之經編碼視訊資料的一有效視訊參數集合(VPS)及複數個有效序列參數集合(SPS)指示給一視訊解碼器。
圖6為說明一用於解碼一包括一指示用於解碼位元串流之視訊資料的一有效VPS及複數個有效SPS之SEI訊息的位元串流的實例方法之流程圖。
圖7為說明一用於編碼一位元串流以包括一SEI訊息的實例方法之流程圖,該SEI訊息將待由一視訊解碼器啟用以用於解碼位元串流之視訊資料的一VPS及一或多個SPS指示給一視訊解碼器。
圖8為說明一用於解碼一包括一SEI訊息之位元串流及基於參考SEI訊息中之一VPS及一或多個SPS而啟用用於解碼位元串流之視訊資料的該VPS及一或多個SPS的實例方法之流程圖。
大體而言,本發明描述用於指示哪些參數集合有效地用於視訊寫碼及在一些實例中支援此等參數集合之啟用的技術。在一些實例中,視訊編碼器包括SEI訊息(例如,有效參數集合SEI訊息或緩衝週期SEI訊息)中之多個序列參數集合(SPS)指示符(ID),使得多個有效SPS可經指示給一視訊解碼器。在一些實例中,經寫碼視訊資料可包含複數個層及/或視圖,且該等SPS中之每一者可用於寫碼(例如,編碼或解碼)該等層及/或視圖中之各別一或多者。在其中有效SPS與各別層相關聯之一些實例中,有效SPS可稱作有效層SPS。多個SPS ID包括於SEI訊息中可促進多視圖、3D視訊(3DV)及/或可調式視訊寫碼。
在一些實例中,一視訊解碼器經由參考一SEI訊息(例如,基於將 VPS ID及一或多個SPS ID包括於SEI訊息中)而啟用一視訊參數集合(VPS)及/或一或多個SPS。SEI訊息可為(例如)有效參數集合SEI訊息。在此等實例中,由視訊編碼器提供之有效參數集合SEI訊息不僅指示有效VPS及該一或多個有效SPS,而且使一視訊解碼器啟用其以用於解碼視訊資料。
在其他實例中,編碼器可不提供一有效參數集合SEI訊息,且改為可包括在緩衝週期SEI訊息(其根據當前HEVC規格可能已經包括一單一SPS ID)中之作為第一語法元素的VPS ID。在此等實例中,視訊編碼器可包括在緩衝週期SEI訊息中之多個SPS ID,且視訊解碼器可經由參考緩衝週期SEI訊息而啟用該VPS及該一或多個SPS。再次,經寫碼視訊資料可包含複數個層及/或視圖,且複數個SPS中之每一者可用於寫碼(例如,編碼或解碼)該等層及/或視圖中之各別一或多者。在此等實例中,經由參考SEI訊息(例如,藉由視訊解碼器)啟用多個SPS可促進多視圖、3DV及/或可調式視訊寫碼。
本發明之技術可實施於根據多種視訊寫碼標準中之任一者而操作的視訊寫碼器(例如,視訊編碼器及視訊解碼器)中。舉例而言,本發明之技術可實施於根據目前在開發中之HEVC標準(其亦可稱作H.265)操作的視訊寫碼器中。HEVC標準亦可稱作ISO/IEC 23008-HEVC,其意欲為HEVC之交付版本之標準編號。該等標準化努力係基於稱作HEVC測試模型(HM)的視訊寫碼器件之模型。HM假定視訊寫碼器件相對於根據先前寫碼標準(諸如,ITU-T H.264/AVC)操作之器件的若干不同能力。舉例而言,儘管H.264提供九個框內預測編碼模式,但HM提供多達三十五個框內預測編碼模式。
HEVC之最近工作草案(WD)(稱作「HEVC工作草案6」或「WD6」)描述於2012年2月美國加利福利亞聖何塞,ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的視訊寫碼之聯合協作小組(JCT- VC),第8次會議,Bross等人之「High-Efficiency Video Coding(HEVC)text specification draft 6」文獻JCTVC-H1003中,該文獻以引用之方式全文併入本文中,且自2013年5月13日起,該文獻可自http://phenix.int-evry.fr/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H1003-v22.zip下載。
此外,HEVC之另一最近工作草案(工作草案8,稱作「HEVC工作草案8」或「WD8」)描述於2012年7月瑞典斯德哥爾摩,ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的JCT-VC,第10次會議,Bross等人之「High Efficiency Video Coding(HEVC)Text Specification draft 8」文獻HCTVC-J1003_d7中,該文獻以引用之方式全文併入本文中,且自2013年5月13日起,該文獻可自http://phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip下載。
HEVC標準繼續演進,且稱作「HEVC工作草案10」或「WD10」的標準之一較新草案描述於2013年1月14日至23日瑞士日內瓦,ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的視訊寫碼之聯合協作小組(JCT-VC),第12次會議,Bross等人之「High Efficiency Video Coding(HEVC)Text Specification Draft 10」文獻JCTVC-L1003_v18中,自2013年5月13日起,該文獻可自http://phenix.it-sudparis.eu/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v18.zip下載。WD10之全部內容特此以引用之方式併入。
H.264/AVC引入參數集合之概念作為一傳達語法資訊之方式,該語法資訊促進自視訊編碼器至視訊解碼器之數位視訊資訊的寫碼。若一圖像經分割成多個區段(例如,切片)且彼等區段在其自身輸送單元(例如,即時輸送協定(RTP)封包)中輸送,則回應於序列標頭及圖像 標頭之丟失的負面效應而在H.264/AVC中引入參數集合。將一圖像分割成在其自身輸送單元中輸送的區段係最大傳送單元(MTU)大小匹配所需要的。然而,圖像之第一封包(其不僅攜載第一圖像區段資料而且攜載圖像標頭,且有時圖像之群組(GOP)及序列標頭)的丟失可導致藉由一視訊解碼器不正確重建構圖像且有時亦不正確重建構後續圖像。在一些狀況下,即使所有其他封包未丟失,不正確重建構仍可能發生。若具有圖像標頭之封包丟失,則一些視訊解碼器實施甚至將不會嘗試解碼圖像之所接收封包。
在H.264/AVC之前,作為解決此易損性之最初嘗試,引入基於輸送層之機制。舉例而言,用於H.263之RTP有效負載格式(RFC 2429中指定)允許在與由視訊編碼器或封包化器選擇之封包一樣多的封包中攜載圖像標頭之冗餘複本。然而,在H.264/AVC之設計期間,應認識到藉由將語法資訊包括於圖像標頭中引起的易損性為視訊編碼解碼器自身之架構問題,而非輸送問題。回應於此實現,參數集合作為一傳達語法資訊之方式而引人H.264/AVC中。
參數集合為一包括允許一視訊解碼器重建構經編碼視訊之語法元素的語法結構。基於語法元素預期改變所藉以的頻率而將不同語法元素包括於不同參數集合中。舉例而言,序列參數集合(SPS)包括預期維持圖像之序列不改變的語法元素,而圖像參數集合(PPS)包括可能在序列中圖像與圖像之間變化的語法元素。
視訊編碼器可產生並輸出參數集合。視訊解碼器可接收該等參數集合,並在解碼來自經編碼位元串流之視訊資料時使用該等參數集合。視訊編碼器可將參數集合作為視訊位元串流之部分來提供,或經由頻帶外傳輸使用一在視訊編碼器與解碼器之間的可靠頻道來提供參數集合。在其他實例中,參數集合可在編碼器及解碼器中經硬寫碼。
參數集合含有一識別(「ID」),其直接地或間接地自切片標頭參 考。舉例而言,每一SPS可包括一SPS ID,且每一PPS可包括一PPS ID並藉由額外地包括一SPS ID而參考一SPS。此外,每一切片標頭可使用PPS ID來參考PPS。因此,基於切片標頭中之PPS ID,視訊解碼器可啟用一PPS。視訊解碼器亦可基於PPS中之SPS ID而啟用一SPS。因為依據資訊在位元串流中之位置而隱含地啟用(如常見於視訊編碼解碼器之語法元素)在參數集合由視訊解碼器經由頻帶外傳輸而接收的狀況下係不可用的,以及其他原因,所以引入經由參考而啟用的概念。
類似於H.264/AVC,HEVC利用參數集合來傳達促進數位視訊資訊之寫碼的語法資訊。然而,HEVC引入一額外參數集合(視訊參數集合(VPS))。其中,VPS可用以輸送可適用於多層(以及子層)及/或多個視圖之資訊。因此,VPS可促進寫碼包括(例如)用於可調式視訊寫碼之多層或(例如)用於多視圖或3D視訊寫碼之多個視圖的視訊資料。給定視訊序列之每一層或視圖可(但不係必須)根據各別SPS來寫碼。然而,給定視訊序列之每一層或視圖(無關於其具有相同還是不同之SPS)參考相同之VPS。
H.264/AVC不含有類似於VPS之參數集合,且改為需要分層結構之複雜模型用於諸如容量交換及會話協商的目的。在H.264/AVC之可調式視訊寫碼(SVC)擴展中,可調性資訊補充增強資訊(SEI)訊息提供與HEVC之VPS大致相同之內容。然而,由於其本質為SEI訊息,所以可調性資訊SEI訊息中多數相同資訊必須在H.264/AVC SPS(其在一些應用情況下亦需要經頻帶外傳輸)中被重複,且因此引起增加之初始延遲,尤其在重新傳輸用以保證頻帶外傳輸之可靠性時。在使用參數集合之頻帶內傳輸的廣播及多播狀況下,相同資訊之此重複導致顯著額外負擔,因為參數集合需要在每一隨機存取點處被重複以用於調諧及頻道切換。HEVC之VPS可解決此等缺陷,以及實現多層編碼解碼 器之清潔及可擴展高階設計。
可在VPS中輸送之資訊包括(例如):(1)由多個層或操作點共用以便避免不必要複製之共同語法元素;(2)會話協商所需要的操作點之必要資訊,包括(例如)設定檔及層級;及(3)其他操作點特定資訊,其不屬於一SPS,例如用於多個層或子層的假設之參考解碼器(HRD)參數。每一操作點之必要資訊的剖析不需要可變長度寫碼,且因此被認為對於多數網路元件係輕便的。預期VPS擴展(其可在HEVC擴展中指定)可含有比當前VPS中之語法元素更多的語法元素,以用於有效率參數發信、靈活及輕便會話協商以及進階位元串流調適(例如,基於3DV擴展中之視圖識別符)。根據HEVC WD8,某一資訊係在屬於層之VPS與SPS之間複製。引入此複製以允許版本1解碼器忽視VPS網路抽象層(NAL)單元且仍使解碼位元串流所需之所有資訊可用。
根據H.264/AVC,以及在HEVC中,SPS含有應用於經寫碼視訊序列(例如,圖像之序列)之所有切片的資訊。在HEVC中,經寫碼視訊序列自一瞬時解碼刷新(IDR)圖像,或斷鏈存取(BLA)圖像,或為位元串流中之第一圖像的清潔隨機存取(CRA)圖像起始。經寫碼視訊序列包括不係IDR或BLA圖像的所有後續圖像。位元串流由一或多個經寫碼視訊序列組成。
SPS之內容可經粗略地再分為六個種類:(1)自參考,例如,其自身ID;(2)與解碼器操作點相關之資訊,例如設定檔、層級、圖像大小,及子層之數目;(3)設定檔內某些工具的允用旗標,及在允用工具狀況下的相關聯之寫碼工具參數;(4)限制結構及變換係數寫碼之靈活性的資訊;(5)時間可調性控制,其可類似於H.264/SVC;及(6)視覺可用性資訊(VUI),其包括HRD資訊。
HEVC PPS含有可在圖像與圖像之間變化的此資訊。PPS包括大概類似於為H.264/AVC中之PPS之部分的資訊之資訊,包括(1)自參 考,例如其自身ID;(2)初始圖像控制資訊,諸如初始量化參數(QP)、指示切片標頭中之某些工具或控制資訊之使用或存在的旗標之數目;及(3)影像塊資訊。
切片標頭含有可在切片與切片之間變化的資訊,以及僅用於某些切片或圖像類型之相對較小或有關的此圖像相關資訊。切片標頭之大小可引人注目地大於PPS,尤其當切片標頭中存在影像塊或波前入口點偏移且參考圖像選擇、預測權重或參考圖像清單修改經顯式地發信中時。
HEVC中之參數集合的啟用類似於H.264/AVC。切片標頭含有PPS之參考。PPS接著含有SPS之參考,且SPS含有VPS之參考。用於參數集合之一共同實施策略係將給定類型(PPS、SPS及VPS)之所有參數集合保持於表中,表的最大大小間接地由參數集合ID之編號範圍所指定。在此實施策略之下,參數集合之啟用可藉由以下方式完成:(1)基於切片標頭中之資訊(例如,PPS ID)存取PPS表,及將經發現用於PPS表中之PPS的資訊複製至相關解碼器資料結構中;(2)在PPS中對SPS表中之相關SPS的參考(例如,SPS ID)之後,及將經發現用於SPS表中之SPS的資訊複製至相關解碼器資料結構中;及(3)在SPS中對VPS表中之相關VPS的參考(例如,VPS ID)之後,及將經發現用於VPS表中之VPS的資訊複製至相關解碼器資料結構中。因為可需要每一圖像(至多)僅一次地執行此等操作,所以操作可被認為輕便。
根據HEVC標準之提議,SPS亦可藉由在緩衝週期SEI訊息中參考而啟用。對於藉由在緩衝週期SEI訊息中參考而啟用SPS,緩衝週期SEI訊息可包括待被啟用的SPS之SPS ID。額外地,HEVC WD8指定有效參數集合SEI訊息。根據HEVC WD8,有效參數集合SEI訊息可(例如)藉由包括用於當前有效之VPS及SPS的VPS ID及SPS ID而指示當前有效之VPS及當前有效之SPS。根據HEVC WD8,視訊解碼器藉由在 有效參數集合SEI訊息中參考而不啟用VPS及SPS。確切言之,視訊編碼器包括在位元串流中之有效參數集合SEI訊息以指示視訊解碼器當前應使哪些參數集合有效以用於解碼視訊資料,且藉此允許視訊解碼器確認適當解碼操作。
如上文所論述,視訊編碼器可將參數集合作為視訊位元串流之部分提供至一視訊解碼器,或經由頻帶外傳輸使用一在視訊編碼器與解碼器之間的可靠頻道來提供參數集合。視訊解碼器可將所接收參數集合儲存於資料結構(例如,用於每一參數集合類型(PPS、SPS及VPS)之各別表)中,當稍後藉由參考而啟用時自表中擷取用於每一類型之參數集合中之一或多者,及將所擷取參數集合載入至各別解碼資料結構中以用於解碼位元串流中之視訊資料。在一些實例中,視訊編碼器可包括在參數集合網路抽象層(NAL)單元中之參數集合。
參數集合NAL單元之接收的處置(無關於其類型)可係直接的,原因在於參數集合NAL單元無需含有剖析依賴性,此意謂參數集合NAL單元為自含式的且不需要自用於剖析之其他NAL單元導出的內容脈絡。儘管不具有剖析依賴性之NAL單元的產生可花費再多幾個位元,但可實現參數集合之直接剖析及參數集合在其各別表條目中的儲存。參數集合之每一類型可含有擴展機制,其可允許在不破壞回溯相容性情況下及在不建立一與VPS及SPS中攜載之設定檔/層級資訊的剖析依賴性情況下在HEVC之將來版本中擴展參數集合。
視訊寫碼標準大體上包括視訊緩衝模型之規格。在H.264/AVC及HEVC中,緩衝模型稱作假想參考解碼器(HRD)。HRD包括經寫碼圖像緩衝器(CPB)及經解碼圖像緩衝器(DPB)兩者之一緩衝模型,且算術地指定CPB及DPB行為。HRD將約束條件直接強加於不同時序、緩衝器大小及位元率上,並將約束條件間接強加於位元串流特性及統計上。完整HRD參數集合包括五個基本參數:初始CPB移除延遲,CPB 大小,位元率、初始DPB輸出延遲及DPB大小。
在H.264/AVC及HEVC中,位元串流符合性及解碼器符合性經指定為HRD規格之部分。儘管名稱HRD暗示HRD為解碼器,但HRD通常在編碼器側採用以保證位元串流符合性,且通常無需在解碼器側。HRD指定位元串流或HRD符合性之兩種類型-亦即,類型I及類型II。又,HRD指定兩種類型解碼器符合性-亦即,輸出時序解碼器符合性及輸出次序解碼器符合性。
在H.264/AVC及HEVC HRD模型中,解碼或CPB移除係基於存取單元,且假定圖像解碼係瞬時的。在實際應用中,若符合解碼器嚴格地遵照(例如,在圖像時序SEI訊息中)發信之解碼時間以起始存取單元之解碼,則輸出一特定解碼之圖像的最早可能時間等於彼特定圖像之解碼時間加上解碼彼特定圖像所需之時間。實際應用中解碼圖像所需之時間不可能等於零。
在HEVC WD8中,HRD係在附錄C中指定。在HEVC WD8中,HRD依賴於HRD參數。HRD參數可以hrd_parameters( )語法結構在位元流中提供。hrd_parameters( )語法結構可包括於(作為實例)VPS及/或SPS、緩衝週期SEI訊息及圖像時序SEI訊息中。
如上文所論述,HEVC允許SPS待由時序解碼器藉由在緩衝週期SEI訊息中被參考(例如,藉由其SPS ID)而啟用。以此方式,緩衝週期SEI訊息允許無關於PPS經由切片標頭中之參考的啟用而啟用SPS。HEVC WD8亦指定一允許視訊編碼器向視訊解碼器指示有效VPS及有效SPS的有效參數集合SEI訊息。然而,存在與用於啟用參數集合及指示有效參數集合的此等現有技術相關聯之問題。
舉例而言,在HEVC之多視圖、3DV及/或可調式視訊寫碼擴展中,可在任何給定時間存在多個有效SPS。詳言之,視訊寫碼器(例如,視訊編碼器或視訊解碼器)可使用不同SPS來寫碼(例如,編碼或 解碼)一些層及/或視圖之視訊資料。在其中視訊寫碼器根據不同有效SPS寫碼不同層的實例中,有效SPS中之一些可稱作有效層SPS。然而,儘管經提議用於HEVC標準之有效參數集合SEI訊息可由視訊編碼器使用以向視訊解碼器指示有效VPS及單一有效SPS,但當前不可能經由有效參數集合SEI訊息或任何其他SEI訊息指示多個有效SPS。
作為另一實例,在HEVC WD8中,雖然HRD參數可包括於VPS中,但緩衝週期SEI訊息可含有SPS ID但不含有VPS ID。因此,在一些狀況下,HRD可自一含有緩衝週期SEI訊息之存取單元初始化,但用於HRD操作之所選HRD參數中之至少一些包括於VPS中,不同於SPS,VPS不由緩衝週期SEI啟用。在此等狀況下,視訊解碼器剖析緩衝週期SEI訊息中之一些語法元素之能力將取決於VPS中之資訊。因此,視訊寫碼器將需要基於對自緩衝週期SEI訊息啟用的SPS中之VPS的參考而在SPS之後間接地啟用VPS。在此等狀況下需要隨後及間接地啟用VPS可係視訊解碼器之計算上低效的實施。
本發明描述用於指示哪些參數集合有效地用於視訊寫碼及(在一些實例中)支援此等參數集合之啟用的技術,該等技術可解決上述問題。在一些實例中,視訊編碼器包括在一SEI訊息(例如,有效參數集合SEI訊息或緩衝週期SEI訊息)中之多個SPS ID,使得多個有效SPS可經指示給視訊解碼器。在一些實例中,經寫碼視訊資料可包含複數個層及/或視圖,且SPS中之每一者可用於寫碼(例如,編碼或解碼)該等層及/或視圖中之各別一或多者。在其中有效SPS與各別層相關聯的一些實例中,有效SPS可稱作有效層SPS。將多個SPS ID包括於SEI訊息中可促進用於多視圖、3DV及/或可調式視訊寫碼之有效參數集合的更完整指示。
在一些實例中,視訊解碼器經由參考SEI訊息(例如,基於將VPS ID及一或多個SPS ID包括於SEI訊息中)而啟用一VPS及一或多個 SPS。SEI訊息可為(例如)有效參數集合SEI訊息。在此等實例中,藉由視訊編碼器在位元串流中提供的有效參數集合SEI訊息不僅指示該有效VPS及該一或多個有效SPS,而且使視訊解碼器啟用其以用於解碼位元串流之視訊資料。在此等實例中,視訊編碼器可自緩衝週期SEI訊息中移除SPS ID。此外,視訊編碼器可在此等實例中產生位元串流,使得對於包括一緩衝週期SEI訊息之每一存取單元,亦存在一為存取單元之第一SEI NAL單元中之第一SEI訊息的有效參數集合SEI訊息。
在其他實例中,視訊編碼器可不提供一有效參數集合SEI訊息,且改為可包括在緩衝週期SEI訊息中之(例如)作為第一語法元素的一VPS ID,其可經固定長度寫碼(例如,具有四個位元)。根據HEVC標準之提議,緩衝週期SEI訊息可包括單一SPS ID。在根據本發明之實例中,視訊編碼器可在緩衝週期SEI訊息中包括多個SPS ID(例如,連同VPS ID一起)。額外地,在一些實例中,視訊解碼器可經由參考緩衝週期SEI訊息來啟用該VPS及該一或多個SPS。再次,經寫碼視訊資料可包含複數個層及/或視圖,且複數個SPS中之每一者可用於寫碼(例如,編碼或解碼)該等層及/或視圖中之各別一或多者。在此等實例中,(例如)藉由一視訊解碼器經由參考緩衝週期SEI訊息啟用多個SPS可促進多視圖、3DV及/或可調式視訊寫碼。
圖1為說明可利用用於指示有效參數集合及啟用本發明中描述之參數集合的技術之實例視訊編碼及解碼系統10的方塊圖。如圖1中所展示,系統10包括一源器件12,源器件12產生稍後待由目的地器件14解碼之經編碼視訊資料。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者,包括桌上型電腦、筆記型(亦即,膝上型)電腦、平板電腦、機上盒、電話手機(諸如,所謂「智慧型」電話)、所謂「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控 制台,視訊串流器件,或其類似者。在一些狀況下,源器件12及目的地器件14可為無線通信而裝備。
目的地器件14可經由鏈路16接收待解碼之經編碼視訊資料。鏈路16可包含能夠將經編碼之視訊資料自源器件12移至目的地器件14之任何類型的媒體或器件。在一實例中,鏈路16可包含用以使源器件12能夠將經編碼之視訊資料直接即時傳輸至目的地器件14之通信媒體。可根據通信標準(諸如,無線通信協定)調變經編碼之視訊資料,且將經編碼之視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體,諸如,射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如,區域網路、廣域網路或諸如網際網路之全域網路)的部分。通信媒體可包括路由器、交換器、基地台,或可用以促進自源器件12至目的地器件14之通信的任何其他設備。
或者,經編碼資料可自輸出介面22輸出至儲存器件36。類似地,可藉由目的地器件14之輸入介面28自儲存器件36存取經編碼資料。儲存器件36可包括多種分佈式或本端存取之資料儲存媒體,諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體,揮發性或非揮發性記憶體,或用於儲存經編碼視訊資料之任一其他合適之數位儲存媒體。在另一實例中,儲存器件36可對應於保存由源器件12產生之經編碼視訊資料的檔案伺服器或另一中間儲存器件。目的地器件14可經由串流傳輸或下載自儲存器件36存取所儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料並將彼經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括web伺服器(例如,用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼之視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼之視訊資料的無線頻道(例如,Wi-Fi連接)、有線連接(例如,DSL、 纜線數據機,等等),或兩者之組合。經編碼視訊資料自儲存器件36之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用(諸如,(例如)經由網際網路之空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸)中之任一者之視訊寫碼、供儲存於資料儲存媒體上之數位視訊之編碼、儲存於資料儲存媒體上之數位視訊之解碼,或其他應用。在一些實例中,系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中,源器件12包括一視訊源18、視訊編碼器20及一輸出介面22。在一些狀況下,輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。在源器件12中,視訊源18可包括諸如視訊俘獲器件(例如,視訊攝影機)、含有先前俘獲之視訊的視訊封存檔、用以自視訊內容提供者接收視訊之視訊饋入介面及/或用於產生電腦圖形資料作為源視訊之電腦圖形系統之源,或此等源之組合。作為一實例,若視訊源18為視訊攝影機,則源器件12與目的地器件14可形成所謂的攝影機電話或視訊電話。然而,一般來說,本發明中所描述之技術可適用於視訊寫碼,且可應用於無線及/或有線應用。
經俘獲、經預先俘獲或經電腦產生之視訊可由視訊編碼器20來編碼。可經由源器件12之輸出介面22將經編碼之視訊資料直接傳輸至目的地器件14。亦可(或替代地)將經編碼之視訊資料儲存於儲存器件36上以供目的地器件14或其他器件隨後存取以用於解碼及/或播放。
目的地器件14包括一輸入介面28、一視訊解碼器30及一顯示器件32。在一些狀況下,輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16接收經編碼之視訊資料。經由鏈路16傳達或在儲存器件36上提供之經編碼視訊資料可包括由視訊編碼器 20產生之各種語法元素,其供諸如視訊解碼器30的視訊解碼器在解碼該視訊資料時使用。此等語法元素可包括於在通信媒體上傳輸、儲存於儲存媒體上或儲存於檔案伺服器上之經編碼之視訊資料中。
顯示器件32可與目的地器件14整合或在目的地器件14外部。在一些實例中,目的地器件14可包括整合式顯示器件,且亦經組態以與外部顯示器件介接。在其他實例中,目的地器件14可為顯示器件。一般而言,顯示器件32向使用者顯示經解碼之視訊資料,且可包含多種顯示器件中之任一者,諸如,液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如,目前在開發中的高效率視訊寫碼(HEVC)標準)而操作,且可符合HEVC測試模型(HM)。或者,視訊編碼器20及視訊解碼器30可根據其他專有或行業標準(諸如,替代地稱作MPEG-4第10部分(進階視訊寫碼(AVC))之ITU-T H.264標準)或此等標準之擴展(例如,多視圖視訊寫碼(MVC)或可調式視訊寫碼(SVC)擴展)來操作。然而,本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。
儘管未展示於圖1中,但在一些態樣中,視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合,且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或獨立資料串流中之音訊及視訊兩者的編碼。若可適用,則在一些實例中,MUX-DEMUX單元可遵照ITU H.223多工器協定,或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30可各自實施為各種合適編碼器電路中之任一者,諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟 體、硬體、韌體或其任何組合。當該等技術部分地在軟體中實施時,一器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中,且在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,其中任一者可整合為各別器件中之組合式編碼器/解碼器(編碼解碼器(CODEC))的部分。
一般而言,HM之工作模型描述視訊圖框或圖像可劃分成包括明度樣本及色度樣本兩者之樹型區塊或最大寫碼單元(LCU)序列。樹型區塊具有與H.264標準之巨集區塊之目的類似的目的。切片包括按寫碼次序之數個連續樹型區塊。可將視訊圖框或圖像分割成一或多個切片。每一樹型區塊可根據四分樹而分裂成若干寫碼單元(CU)。舉例而言,樹型區塊(作為四分樹之根節點)可分裂成四個子節點,且每一子節點可又為父節點,且分裂成另外四個子節點。最後未分裂之子節點(作為四分樹之葉節點)包含一寫碼節點,亦即,經寫碼之視訊區塊。與經寫碼之位元串流相關聯之語法資料可定義樹型區塊可分裂之最大次數,且亦可定義寫碼節點之最小大小。
CU包括一寫碼節點及與該寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小,且形狀必定為正方形。CU之大小的範圍可自8×8像素直至具有最大64×64像素或大於64×64像素之樹型區塊之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可視CU係經跳過或直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼而不同。PU之形狀可分割成非正方形。與CU相關聯之語法資料亦可描述(例如)CU根據四分樹至一或多個TU之分割。TU之形狀可為正方形或非正方形。
HEVC標準允許根據TU之變換,該變換對於不同CU可不同。通 常基於針對經分割LCU所定義之給定CU內之PU的大小而設定TU大小,但可能並非總是如此狀況。TU通常具有與PU相同的大小,或小於PU。在一些實例中,可使用已知為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為更小之單元。RQT之葉節點可被稱作變換單元(TU)。可變換與TU相關聯之像素差值以產生可量化之變換係數。
一般而言,PU包括與預測程序有關之資料。舉例而言,當將該PU以框內模式編碼時,該PU可包括描述該PU的框內預測模式之資料。作為另一實例,當將該PU以框間模式編碼時,該PU可包括定義該PU的運動向量之資料。定義該PU的運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如,四分之一像素精度或八分之一像素精度)、運動向量指向的參考圖像,及/或用於運動向量之參考圖像清單(例如,清單0或清單1)。
一般而言,TU係用於變換程序及量化程序。具有一或多個PU之給定CU亦可包括一或多個變換單元(TU)。在預測之後,視訊編碼器20可計算對應於PU之殘餘值。殘餘值包含可變換成使用TU而量化且掃描以產生串列化變換係數以用於熵寫碼的變換係數之像素差值。本發明通常使用術語「視訊區塊」來指CU之寫碼節點。在一些特定狀況下,本發明亦可使用術語「視訊區塊」來指包括一寫碼節點及若干PU及TU的樹型區塊(亦即,LCU或CU)。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)通常包含一系列視訊圖像中之一或多者。GOP可在GOP之標頭、圖像中之一或多者之標頭中或在別處包括描述包括於GOP中之圖像數目的語法資料。圖像之每一切片可包括描述該各別切片之編碼模式的切片語法資料。視訊編碼器20通常對個別視訊切片內之視訊區塊進行操作,以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可 具有固定或變化之大小,且可根據指定寫碼標準而在大小方面不同。
作為一實例,HM支援以各種PU大小進行預測。假定特定CU之大小為2N×2N,則HM支援以2N×2N或N×N之PU大小進行框內預測,及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行框間預測之不對稱分割。在不對稱分割中,CU之一方向未分割,而另一方向分割成25%及75%。CU之對應於25%分割之部分由「n」繼之以「上」、「下」、「左」或「右」之指示來指示。因此,例如,「2N×nU」係指在水平方向上以頂部2N×0.5N PU及底部2N×1.5N PU分割之2N×2N CU。
在本發明中,「N×N」與「N乘N」可互換地使用以指視訊區塊在垂直尺寸與水平尺寸方面之像素尺寸,例如,16×16像素或16乘16像素。大體而言,16×16區塊在垂直方向中將具有16個像素(y=16)且在水平方向中將具有16個像素(x=16)。同樣地,N×N區塊通常在垂直方向上具有N個像素,且在水平方向上具有N個像素,其中N表示非負整數值。可按列及行來配置區塊中之像素。另外,區塊未必需要在水平方向中與在垂直方向中具有相同數目個像素。舉例而言,區塊可包含N×M個像素,其中M未必等於N。
在使用CU之PU進行框內預測性或框間預測性寫碼之後,視訊編碼器20可計算CU之TU之殘餘資料。PU可包含空間域(亦稱作像素域)中之像素資料,且TU可包含在將例如離散餘弦變換(DCT)、整數變換、小波變換或概念上類似之變換的變換應用於殘餘視訊資料之後的變換域中之係數。殘餘資料可對應於未經編碼之圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU,且接著變換該等TU以產生CU之變換係數。
在應用任何變換以產生變換係數之後,視訊編碼器20可執行變 換係數之量化。量化一般係指如下程序:將變換係數量化以可能地減少用以表示該等係數之資料之量,從而提供進一步壓縮。該量化程序可減少與該等係數中之一些或所有相關聯的位元深度。舉例而言,可在量化期間將n位元值降值捨位至m位元值,其中n大於m
在一些實例中,視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數,以產生可經熵編碼的串列化向量。在其他實例中,視訊編碼器20可執行自適應性掃描。在掃描該等量化轉換係數以形成一維向量之後,視訊編碼器20可熵編碼該一維向量,例如根據內容脈絡自適應性可變長度寫碼(CAVLC)、內容脈絡自適應性二進位算術寫碼(CABAC)、基於語法之內容脈絡自適應性二進位算術寫碼(SBAC)、幾率區間分割熵(PIPE)寫碼或另一熵編碼方法。視訊編碼器20亦可熵編碼與經編碼之視訊資料相關聯的語法元素以供視訊解碼器30用於解碼視訊資料。
為了執行CABAC,視訊編碼器20可將內容脈絡模型內之內容脈絡指派給待傳輸之符號。該內容脈絡可能係關於(例如)符號之相鄰值是否為非零。為了執行CAVLC,視訊編碼器20可針對待傳輸之符號選擇一可變長度碼。可將VLC中之碼字建構成使得相對較短碼對應於更有可能的符號,而較長碼對應於較不可能的符號。以此方式,使用VLC可達成位元節省(與(例如)針對待傳輸之每一符號使用等長度碼字相比較)。機率判定可基於指派給符號之內容脈絡而進行。
視訊編碼器20可進一步發送語法資料(諸如,基於區塊之語法資料、基於圖框之語法資料,及基於GOP之語法資料)至視訊解碼器30(例如,在圖框標頭、區塊標頭、切片標頭或GOP標頭中)。GOP語法資料可描述各別GOP中的圖框之數目,且圖框語法資料可指示用以編碼對應圖框之編碼/預測模式。
另外,視訊編碼器20可(例如)藉由逆量化及逆變換殘餘資料來解 碼經編碼之圖像,並組合殘餘資料與預測資料。以此方式,視訊編碼器20可模擬由視訊解碼器30執行之解碼程序。因此,視訊編碼器20及視訊解碼器30兩者將有權存取實質上相同之經解碼圖像以用於圖像間預測。
一般而言,視訊解碼器30可執行一為由視訊編碼器執行之編碼程序之逆的解碼程序。舉例而言,視訊解碼器30可使用由視訊編碼器使用以熵編碼經量化視訊資料之熵編碼技術的逆來執行熵解碼。視訊解碼器30可使用由視訊編碼器20使用的量化技術之逆來進一步逆量化視訊資料,且可執行由視訊編碼器20使用以產生經量化變換係數之變換的逆。視訊解碼器30接著可將所得殘餘區塊應用於相鄰參考區塊(框內預測)或來自另一圖像之參考區塊(框間預測)以產生用於最後顯示之視訊區塊。視訊解碼器30可經組態、指示控制或引導以基於由視訊編碼器20提供之語法元素與由視訊解碼器30接收的位元串流中之經編碼視訊資料執行由視訊編碼器20執行的各種程序之逆。
在一些實例中,視訊編碼器20及視訊解碼器30可採用用於多視圖視訊寫碼(例如,包括兩個或兩個以上視圖之視訊資料的寫碼)的技術。在此等實例中,視訊編碼器20可編碼一包括用於兩個或兩個以上視圖之經編碼視訊資料的位元串流,且視訊解碼器30可解碼經編碼視訊資料以提供兩個或兩個以上視圖(例如)至顯示器件32。在一些實例中,視訊解碼器30可提供視訊資料之多個視圖以使顯示器件32能夠顯示3D視訊。在一些實例中,視訊編碼器20及視訊解碼器30可遵照HEVC標準之3D-HEVC擴展,例如,其中使用多視圖寫碼或多視圖加深度寫碼程序。3D-HEVC寫碼程序之HEVC擴展目前正在開發中,且如目前所提議,利用多視圖寫碼或多視圖加深度寫碼程序。
HEVC之3DV擴展可稱作基於HEVC之3DV或3D-HEVC。3D-HEVC至少部分地基於2011年11月/12月,瑞士日內瓦,文獻 MPEG11/M22570(下文中「m22570」),ISO/IEC JTC1/SC29/WG11,Schwarz等人之「Description of 3D Video Coding Technology Proposal by Fraunhofer HHI(HEVC compatible configuration A)」及2011年11月/12月,瑞士日內瓦,文獻MPEG11/M22571(下文中「m22571」),ISO/IEC JTC1/SC29/WG11,Schwarz等人之「Description of 3D Video Coding Technology Proposal by Fraunhofer HHI(HEVC compatible configuration B)」中提議的解決方案。用於3D-HEVC之參考軟體描述在2012年2月,美國聖何塞,ISO/IEC JTC1/SC29/WG11 MPEG2011/N12559,Schwarz等人之「Test Model under Consideration for HEVC based 3D video coding」處可得到。自2013年5月21日起,參考軟體(亦即,HTM版本3.0)可自https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-3.0/得到。
多視圖或3D視訊寫碼可涉及兩個或兩個以上紋理視圖及/或包括紋理及深度分量之視圖之寫碼。在一些實例中,由視訊編碼器20編碼並由視訊解碼器30解碼的視訊資料包括在任一給定時間執行個體(亦即,在「存取單元」內)之兩個或兩個以上圖像,或可導出在任一給定時間執行個體之兩個或兩個以上圖像的資料。
在一些實例中,器件(例如,視訊源18)可藉由(例如)使用兩個或兩個以上空間上偏移之攝影機(或其他視訊俘獲器件)來俘獲一共同場景而產生兩個或兩個以上圖像。自稍微不同的水平位置同時(或幾乎同時)俘獲之相同場景的兩個圖像可用以產生三維效應。在一些實例中,視訊源18(或源器件12之另一組件)可使用深度資訊或視差資訊自給定時間執行個體處之第一視圖之第一圖像產生在給定時間執行個體處的第二(或其他額外)視圖之第二(或其他額外)圖像。在此狀況下,存取單元內之視圖可包括一對應於第一視圖之紋理分量及一可與紋理 分量一起使用以產生第二視圖的深度分量。深度或視差資訊可藉由一俘獲第一視圖之視訊俘獲器件(例如)基於攝影機參數或其他已知關於視訊俘獲器件之組態及第一視圖之視訊資料之俘獲的資訊來判定。可額外地或替代地(例如)藉由視訊源18或源器件12之另一組件自攝影機參數及/或第一視圖中之視訊資料來計算深度或視差資訊。
為呈現3D視訊,顯示器件32可同時或幾乎同時顯示與共同場景之不同視圖相關聯的兩個圖形,該共同場景被同時或幾乎同時地俘獲。在一些實例中,目的地器件14之使用者可佩戴主動式眼鏡以迅速地及替代地關上左透鏡及右透鏡,且顯示器件32可與主動式眼鏡同步迅速地在左視圖與右視圖之間切換。在其他實例中,顯示器件32可同時顯示兩個視圖,且使用者可佩戴被動式眼鏡(例如,具有偏光透鏡),其過濾視圖以使適當視圖通過直至使用者之眼睛。在其他實例中,顯示器件32可包含自動立體顯示器,其不需要眼鏡供使用者感知3D效應。
在多視圖寫碼之狀況下(例如,在3D-HEVC中),圖像間預測可包括當前視訊區塊(例如,PU)根據時間上不同之圖像(亦即,來自一與當前圖像不同之存取單元)中之另一視訊區塊的預測,以及根據與當前圖像相同之存取單元中的但與當前圖像不同之視圖相關聯的不同圖像的預測。在後一狀況下,框間預測可稱作視圖間寫碼。當寫碼非基礎視圖(例如,依賴視圖)之圖像時,來自相同存取單元但不同視圖(例如,不同於參考視圖)之圖像可經添加至一參考圖像清單。視圖間參考圖像可經置於參考圖像清單之任一位置中,任一框間預測(例如,時間或視圖間)參考圖像通常就是這樣。
在多視圖寫碼中,存在兩種預測向量。一種係一指向時間參考圖像中之區塊的運動向量,且對應框間預測稱作運動補償預測(MCP)。另一類型之預測向量為視差向量,其指向在與當前圖像相同 之存取單元中的但不同視圖之圖像中的區塊。在視差向量情況下,對應框間預測稱作視差補償預測(DCP)。
在一些實例中,視訊編碼器20及視訊解碼器30可採用用於可調式視訊寫碼(例如,寫碼一亦含有一或多個子集位元串流之高品質視訊位元串流)之技術。子集視訊位元串流可藉由自較大高品質視訊位元串流丟棄封包以減少子集位元串流所需之頻寬而導出。子集位元串流可表示一較低空間解析度(較小螢幕)、較低時間解析度(較低圖框速率),或較低品質視訊信號。各種位元串流可稱作層及子層。可調式視訊寫碼可包括定義或建構當該等層以各種組織呈現時的操作點。在一些實例中,視訊編碼器20及視訊解碼器30可遵照視訊寫碼標準(諸如HEVC)之可調式視訊寫碼擴展。
可調式視訊寫碼可包括針對具有不同解析度之層的時間可調性。對於可調式視訊寫碼,GOP可包括所謂的關鍵圖像,且所有圖像以輸出/顯示次序位於此關鍵圖像與先前關鍵圖像之間。關鍵圖像可在規則或不規則間隔內被寫碼,且可使用前一關鍵圖像作為運動補償預測之參考來框內寫碼或框間寫碼。非關鍵圖像可自具有較低時間層級之圖像而階層式預測,且關鍵圖像可具有最低時間層級。
可調式視訊寫碼亦可包括基於紋理、殘餘及運動針對空間及信雜比(SNR)可調性之層間預測。空間可調性可經概括為兩個層之間的任一解析度比。SNR可調性可藉由粗粒度可調性(CGS)、中粒度可調性(MGS)或精細粒度可調性(FGS)而實現。兩個空間或CGS層可屬於不同依賴性層,而兩個MGS層可在同一依賴性層中。可調式視訊寫碼可提供可用以減少層間冗餘的層間預測方法。其經概括為層間紋理預測、層間冗餘預測,及層間運動預測。
視訊編碼器20產生一用於由視訊解碼器30接收及/或擷取之位元串流。該位元串流可包括經編碼資料(例如,經編碼視訊資料及語法 資訊),且可稱作經編碼位元串流。視訊編碼器20可將該位元串流中之視訊資料組織成網路抽象層(NAL)單元,其中之每一者可實際上為具有整數數目個位元組之封包。視訊編碼器20、輸出介面22、源器件12之另一組件,或另一器件可將NAL單元框或囊封於系統輸送協定封包(例如,網際網路協定(IP)或即時輸送協定(RTP)封包)中以經由鏈路16來傳輸或儲存於儲存器件36中。
NAL單元可包括視訊寫碼層(VCL)NAL單元及非VCL NAL單元。VCL NAL單元包括經編碼視訊資料,其如上文所論述可包括複數個層及/或視圖。非VCL NAL單元可包括任何相關聯之用以輔助視訊解碼器30解碼及/或顯示由經編碼視訊資料表示之視訊圖像或提供錯誤回復的額外資訊(諸如,語法資訊)。
由視訊編碼器20提供之語法資訊可包括如上文描述之參數集合,諸如PPS、SPS及VPS。在一些實例中,視訊編碼器20可(例如)在參數集合經由非VCL NAL單元所應用於的VCL NAL單元之前經由頻道提供參數集合,該頻道攜載參數集合所應用於的VCL NAL單元,此可稱作參數集合之「頻帶內」傳輸。在其他實例中,視訊編碼器20可經由一不同輸送機制(例如,「頻帶外」,其可比視訊頻道自身更可靠)提供參數集合至視訊解碼器30。在其他實例中,視訊編碼器20及/或視訊解碼器30可藉由參數集合硬寫碼。
如上文所描述,視訊解碼器30可將參數集合儲存於用於每一參數集合類型的各別資料結構(例如,包括複數個PPS之PPS表,包括複數個SPS之SPS表,及包括複數個VPS之VPS表)中,該等資料結構中之一者中的每一參數集合包括用於參數集合之不同值。視訊解碼器30可(例如)藉由將參數集合之資料複製至各別解碼資料結構中及應用解碼結構中之資料以解碼經編碼視訊資料而在任一給定時刻啟用每一類型之一或多個參數集合以解碼經編碼視訊資料。
視訊解碼器30可回應於在VCL NAL單元中之一或多者中(例如,在VCL NAL單元之切片標頭中)直接或間接參考參數集合而啟用參數集合以解碼一或多個VCL NAL單元之視訊資料。如上文所論述,每一參數集合可包括一ID,其亦可在另一參數集合中被參考(例如,SPS中參考之VPS ID及PPS中參考之SPS ID),或在切片標頭或VCL NAL單元內之別處內被參考。視訊解碼器30可基於對切片標頭或VCL NAL單元內之別處中之其PPS ID之參考來啟用PPS,基於對經啟用PPS中之其SPS ID的參考來啟用SPS,並基於對經啟用SPS中之其VPS ID的參考來啟用VPS。
視訊編碼器20提供至視訊解碼器30的語法資訊亦可包括補充增強資訊(SEI)訊息。一些SEI訊息為序列層級(例如,與經寫碼圖像群組(GOP)或經寫碼視訊圖像之其他序列相關),而其他SEI訊息可與特定寫碼之圖像相關。SEI訊息通常與特定經寫碼圖像一起傳輸。亦即,為擷取SEI訊息,視訊解碼器通常需要擷取包括SEI訊息之經編碼圖像。一或多個SEI訊息可包括於非VCL NAL單元(其可稱作SEI NAL單元)中。
呈指定形式之NAL單元集合可稱作存取單元。藉由視訊解碼器30解碼每一存取單元可導致一或多個經解碼圖像或圖框。在多視圖視訊寫碼狀況下,藉由視訊解碼器30解碼每一存取單元可導致在相同(或實質上相同)時間執行個體與各別視圖相關聯的兩個或兩個以上圖像或圖框。在可調式視訊寫碼狀況下,每一存取單元可包括用於單一圖像或圖框之視訊資料之複數個層及/或子層。由視訊編碼器20產生之存取單元可包括一或多個VCL NAL單元,及含有由視訊解碼器使用以解碼存取單元之VCL NAL單元內之視訊資料的語法資訊(例如,SEI訊息)之一或多個非VCL NAL單元(例如,SEI NAL單元)。
如上文所論述,由視訊編碼器20包括於經編碼位元串流中之SEI 訊息可包括(作為實例)有效參數集合SEI訊息及緩衝週期SEI訊息。根據HEVC標準之提議,除由在PPS中參考而啟用外,SPS還可由在緩衝週期SEI訊息中參考來啟用。在此等實例中,視訊編碼器20可寫碼緩衝週期SEI訊息,使得其包括待被啟用之SPS之SPS ID。視訊解碼器30啟用與經解碼緩衝週期SEI訊息中之SPS ID相關聯的SPS。
額外地,根據HEVC WD8,視訊編碼器20可編碼一有效參數集合SEI訊息以(例如)藉由將用於當前有效之VPS及SPS的VPS ID及SPS ID包括於有效參數集合SEI訊息中而指示當前有效之VPS及當前有效之SPS。根據HEVC WD8,視訊解碼器30不會藉由在有效參數集合SEI訊息中參考VPS及SPS而啟用VPS及SPS。實情為,視訊編碼器20可包括在經編碼位元串流中之有效參數集合SEI訊息以向視訊解碼器30指示視訊解碼器當前應使哪些參數集合有效以用於解碼視訊資料,且藉此允許視訊解碼器確認適當解碼操作。
一般而言,由HEVC WD8指定的有效參數集合SEI訊息指示哪一VPS為有效的及哪一SPS為有效的以用於與有效參數集合SEI訊息相關聯的存取單元之VCL NAL單元,例如,有效參數集合SEI訊息包括於存取單元之VCL NAL單元中。有效參數集合SEI訊息亦可提供其他資訊。根據HEVC WD8,一有效參數集合SEI訊息按解碼次序在視訊資料之第一部分(例如,在存取單元中之第一VCL NAL單元)之前,例如,該有效參數集合SEI訊息在一在存取單元中之第一VCL NAL單元之前的非VCL NAL單元內。
HEVC WD8規格中之有效參數集合SEI訊息的語法及語義如下:
active_vps_id指示對於與有效參數集合SEI訊息相關聯的存取單元之VCL NAL單元為有效的VPS。
active_seq_param_set_id指示對於與有效參數集合SEI訊息相關聯的存取單元之VCL NAL單元為有效的單一SPS之識別符。active_seq_param_set_id之值可在0至31(包括0及31)之範圍內。
active_param_set_sei_extension_flag當等於0時指示在有效參數集合SEI訊息內沒有額外資料跟隨。active_param_set_sei_extension_flag之值應等於0係位元串流符合性的需要。active_param_set_sei_extension_flag之值1經保留以供ITU-T|ISO/IEC在未來使用。解碼器應忽略有效參數集合SEI訊息中之active_param_set_sei_extension_flag之值且應忽略在有效參數集合SEI訊息內跟隨在active_param_set_sei_extension_flag之值1之後的所有資料。
如上文所論述,在根據本發明之一些實例中,視訊編碼器20可在SEI訊息中包括多個SPS ID,使得可指示多個有效SPS(其中之一些可稱作有效層SPS)。在一些實例中,視訊編碼器20可在有效參數集合SEI訊息中包括多個SPS ID,而非由HEVC WD8指定的單一SPS ID。視訊編碼器20可指示多個有效SPS,其中之每一者可由視訊解碼器30使用以解碼一或多個層及/或視圖,以促進多視圖、3DV或可調式視訊寫碼。在其中視訊編碼器20在有效參數集合SEI訊息中包括多個SPS ID的實例中,有效參數集合SEI訊息指示哪一VPS係有效的及哪些SPS係有效的以用於與有效參數集合SEI訊息相關聯的存取單元之VCL NAL單元。
在下文描述的根據本文中所描述之本發明的各種實例中,假定所有SPS共用用於其SPS ID之相同值空間且不同層或視圖可共用SPS。若不同層或視圖不共用SPS,則亦需要發信一層ID或視圖ID, 或該層ID或視圖ID除SPS ID外還可經隱含地導出以識別SPS。舉例而言,若SPS僅應用於基礎層或基礎視圖,則層ID或視圖ID可經隱含地導出為等於0。因此,視訊寫碼器可基於層或視圖相對於其他層或視圖之階層位置而導出一層ID。
可由視訊編碼器20提供以根據本發明之技術指示多個SPS的有效參數集合SEI訊息之語法及語義的一實例如下:
active_vps_id指示對於與有效參數集合SEI訊息相關聯的存取單元之VCL NAL單元為有效的VPS。
active_seq_param_set_id指示對於與SEI訊息相關聯的存取單元之VCL NAL單元為有效的一SPS之識別符。active_seq_param_set_id之值可在0至31(包括0及31)之範圍內。
bit_equal_to_one等於1。此語法元素總是等於一以用於回溯相容性。
num_additional_sps_ids_minus1加1指定對於與SEI訊息相關聯的存取單元之VCL NAL單元為有效的額外SPS(其亦可稱作有效層SPS)之數目。num_additional_sps_ids_minus1之值可在0至30(包括0及30)之範圍內。
additional_active_sps_id[i]指定對於與有效參數集合SEI訊息相關聯的存取單元之VCL NAL單元為有效的第i個額外SPS之識別符。additional_active_sps_id[i]之值可在0至31(包括0及31)之範圍內。
active_param_set_sei_extension2_flag當等於0時,指示在有效參數集合SEI訊息內沒有額外資料跟隨。active_param_set_sei_extension2_flag之值應等於0係位元串流符合性的需要。active_param_set_sei_extension2_flag之值1經保留以供ITU-T|ISO/IEC在未來使用。解碼器應忽略有效參數集合SEI訊息中之active_param_set_sei_extension2_flag之值且應忽略在有效參數集合SEI訊息內跟隨在active_param_set_sei_extension2_flag之值1之後的所有資料。
作為另一實例,有效參數集合SEI訊息之語法及語義(其可根據本發明之技術由視訊編碼器20在基礎HEVC規格及擴展HEVC規格兩者中提供以(例如)用於多視圖、3DV或可調式視訊寫碼)可為如下:
active_vps_id識別對於與有效參數集合SEI訊息相關聯的存取單元之VCL NAL單元為有效的VPS。
num_sps_ids_minus1加1指定對於與有效參數集合SEI訊息相關聯的存取單元之VCL NAL單元為有效的SPS(其中之一些亦可稱作有效層SPS)之數目。num_sps_ids_minus1之值可在0至31(包括0及31)之範圍內。
active_sps_id[i]指定對於與SEI訊息相關聯的存取單元之VCL NAL單元為有效的第i個SPS之識別符。active_sps_id[i]之值可在0至31(包括0及31)之範圍內。
active_param_set_sei_extension_flag,當等於0時,指示在有效 參數集合SEI訊息內沒有額外資料跟隨。active_param_set_sei_extension_flag之值應等於0係位元串流符合性的需要。active_param_set_sei_extension_flag之值1經保留以供ITU-T|ISO/IEC在未來使用。解碼器應忽略有效參數集合SEI訊息中之active_param_set_sei_extension_flag之值且應忽略在有效參數集合SEI訊息內跟隨在active_param_set_sei_extension_flag之值1之後的所有資料。
如其中視訊編碼器20提供一指示一有效VPS及一或多個有效SPS之有效參數集合SEI訊息的上述實例中,參數集合啟用可與HEVC WD8中相同。舉例而言,視訊解碼器30可基於藉由視訊編碼器20在經編碼位元串流中提供的切片標頭中之PPS ID而啟用一PPS。視訊解碼器30可基於在如此啟用之PPS中的SPS ID(或由視訊編碼器20提供緩衝週期SEI訊息)而進一步啟用一或多個SPS,且可基於經啟用SPS中之VPS ID而啟用一VPS。
在其中編碼器20提供一指示一有效VPS及一或多個有效SPS之SEI訊息的其他實例中,視訊解碼器30可基於在SEI訊息中參考一VPS及/或一或多個SPS而啟用該VPS及/或該等SPS。在此等實例中,SEI訊息不僅指示有效VPS及有效SPS,而且啟用有效VPS及有效SPS。因此,在此等實例中,與HEVC WD8中的VPS及SPS之啟用相比,VPS及SPS之啟用被改變。
舉例而言,視訊編碼器20可提供一指示一有效VPS及一或多個有效SPS之有效參數集合SEI訊息,且視訊解碼器30可基於在SEI訊息中參考VPS及/或一或多個SPS而啟用VPS及/或該一或多個SPS。另外,在此等實例中,SPS ID可自緩衝週期SEI訊息中移除,亦即,視訊編碼器20可編碼緩衝週期SEI訊息,使得其排除任何SPS ID。在此等實例中,視訊編碼器20可編碼位元串流,使得對於包括一緩衝週期SEI 訊息之每一存取單元,亦應存在一有效參數集合SEI訊息,且該有效參數集合SEI訊息應為存取單元之第一SEI NAL單元中的第一SEI訊息。
可根據其中SPS ID自緩衝週期SEI訊息中移除之技術由視訊編碼器20提供的緩衝週期SEI訊息之語法及語義如下:
緩衝週期SEI訊息語法及語義相對於HEVC WD8之變化係移除了seq_parameter_set_id語法元素。
可根據其中有效參數集合SEI訊息啟用一VPS及一或多個SPS且SPS ID自緩衝週期SEI訊息中移除的技術由視訊編碼器20提供的有效參數集合SEI訊息之語法及語義的實例如下:
active_vps_id指示對於與有效參數集合SEI訊息相關聯的存取單元之VCL NAL單元為有效的VPS。
active_seq_param_set_id指示對於與SEI訊息相關聯的存取單元之VCL NAL單元為有效的一SPS之識別符。active_seq_param_set_id之值可在0至31(包括0及31)之範圍內。
bit_equal_to_one等於1。
num_additional_sps_ids_minus1加1指定對於與SEI訊息相關聯的存取單元之VCL NAL單元為有效的額外SPS(其亦可稱作有效層SPS)之數目。num_additional_sps_ids_minus1之值可在0至30(包括0及30)之範圍內。
additional_active_sps_id[i]指定對於與有效參數集合SEI訊息相關聯的存取單元之VCL NAL單元為有效的第i個額外SPS之識別符。additional_active_sps_id[i]之值可在0至31(包括0及31)之範圍內。
active_param_set_sei_extension2_flag當等於0時,指示在有效參數集合SEI訊息內沒有額外資料跟隨。active_param_set_sei_extension2_flag之值應等於0係位元串流符合性的需要。active_param_set_sei_extension2_flag之值1經保留以供ITU-T|ISO/IEC在未來使用。解碼器應忽略有效參數集合SEI訊息中之active_param_set_sei_extension2_flag之值且應忽略在有效參數集合SEI訊息內跟隨在active_param_set_sei_extension2_flag之值1之後的所有資料。
作為另一實例,有效參數集合SEI訊息之語法及語義(其可根據本發明之技術根據其中有效參數集合SEI訊息啟用一VPS及一或多個SPS且SPS ID自緩衝週期SEI訊息中移除的技術由視訊編碼器20在基礎HEVC規格及擴展HEVC規格兩者中提供以(例如)用於多視圖、3DV或可調式視訊寫碼)可為如下:
active_vps_id識別對於與有效參數集合SEI訊息相關聯的存取單元之VCL NAL單元為有效的VPS。
num_sps_ids_minus1加1指定對於與有效參數集合SEI訊息相關聯的存取單元之VCL NAL單元為有效的SPS(其中之一些亦可稱作有效層SPS)之數目。num_sps_ids_minus1之值可在0至31(包括0及31)之範圍內。
active_sps_id[i]指定對於與SEI訊息相關聯的存取單元之VCL NAL單元為有效的第i個SPS之識別符。active_sps_id[i]之值可在0至31(包括0及31)之範圍內。
active_param_set_sei_extension_flag當等於0時,指示在有效參數集合SEI訊息內沒有額外資料跟隨。active_param_set_sei_extension_flag之值應等於0係位元串流符合性的需要。active_param_set_sei_extension_flag之值1經保留以供ITU-T|ISO/IEC在未來使用。解碼器應忽略有效參數集合SEI訊息中之active_param_set_sei_extension_flag之值且應忽略在有效參數集合SEI訊息內跟隨在active_param_set_sei_extension_flag之值1之後的所有資 料。
在其他實例中,視訊編碼器20提供一指示一有效VPS及一或多個有效SPS的緩衝週期SEI訊息,而非有效參數集合SEI訊息,且視訊解碼器30可基於緩衝週期SEI訊息中參考VPS及/或一或多個SPS而啟用VPS及/或一或多個SPS。在此等實例中,有效參數集合SEI訊息可被移除,例如,視訊編碼器20可編碼位元串流,使得包括啟用PPS及一或多個SPS之緩衝週期SEI訊息的存取單元不包括提供語法資訊至視訊解碼器30以用於解碼存取單元之視訊資料的任何有效參數集合SEI訊息。另外,緩衝週期SEI訊息可包括複數個SPS ID以及VPS ID而非單一SPS ID及無VPS ID(如HEVC WD8中指定)。
可由視訊編碼器20提供以啟用VPS及一或多個SPS的緩衝週期SEI訊息之語法及語義之一實例如下:
下文未提及的彼等語法元素之語義與HEVC WD8中相同。
active_vps_id識別對於與緩衝週期SEI訊息相關聯的存取單元之VCL NAL單元為有效的VPS。
num_sps_ids_minus1加1指定對於與緩衝週期SEI訊息相關聯的存取單元之VCL NAL單元為有效的SPS(其中之一些亦可稱作有效層序列參數集合)之數目。num_sps_ids_minus1之值可在0至31(包括0及31)之範圍內。
active_sps_id[i]指定對於與緩衝週期SEI訊息相關聯的存取單元之VCL NAL單元為有效的第i個SPS之識別符。active_sps_id[i]之值可在0至31(包括0及31)之範圍內。
可由視訊編碼器20提供以啟用VPS及一或多個SPS的緩衝週期SEI訊息之語法及語義的另一實例如下:
下文未提及的彼等語法元素之語義與HEVC WD8中相同。
video_parameter_set_id識別對於與緩衝週期SEI訊息相關聯的存取單元之VCL NAL單元為有效的VPS。
num_additional_sps_ids指定對於與緩衝週期SEI訊息相關聯的存取單元之VCL NAL單元為有效的額外SPS(其亦可稱作有效層SPS)之數目。num_additional_sps_ids之值可在0至31(包括0及31)之範圍內。
sps_id_additional[i]指定對於與緩衝週期SEI訊息相關聯的存取單元之VCL NAL單元為有效的第i個額外SPS之識別符。sps_id_additional[i]之值可在0至31(包括0及31)之範圍內。
用以啟用PPS及一或多個SPS之緩衝週期SEI訊息的第一實例語法及語義可(例如)用於(例如)HEVC之擴展規格以用於可調式視訊寫碼之多視圖。用以啟用PPS及一或多個SPS之緩衝週期SEI訊息的第二實例語法及語義可(例如)用於(例如)HEVC之基礎規格或擴展規格。在一些實例中,緩衝週期SEI訊息之第二實例語法及語義的語法元素num_addtional_sps_ids及sps_id_additional[i]僅在擴展規格中呈現,且不在(例如)HEVC之基礎規格中呈現。在一些實例中,在基礎規格中,第二實例之語法元素num_addtional_sps_ids之值需要等於0。在其中此等語法元素未呈現於基礎規格中的實例中,可能在擴展中需要新緩衝週期SEI訊息,抑或可需要一新的不同類型之SEI訊息來輸送額外 SPS ID。
在根據本發明之其中VPS及一或多個SPS由視訊解碼器30基於在SEI訊息中參考而啟用的實例(例如,上文關於有效參數集合SEI訊息及緩衝週期SEI訊息所描述的實例)中,根據一些實例,啟用可如下。SPS原始位元組序列有效負載(RBSP)包括可由一或多個PPS RBSP或含有SEI訊息(例如,有效參數集合或緩衝週期SEI訊息)之一或多個SEI NAL單元參考的參數。每一SPS RBSP(例如,儲存於表或SPS之其他資料結構中)最初被認為在解碼程序之操作起始時非有效。至多一SPS RBSP可被認為針對特定層或視圖在解碼程序操作期間的任一給定時刻有效,且任一特定SPS RBSP之啟用導致用於特定層或視圖的先前有效之SPS RBSP(若存在)之停用。
當特定SPS RBSP(具有特定SPS ID值(例如,seq_parameter_set_id之值))尚未有效,且特定SPS RBSP由PPS RBSP之啟用(例如,使用彼SPS ID值)而參考,或由含有一SEI訊息之SEI NAL單元(例如,使用彼SPS ID值)參考時,特定SPS RBSP經啟用以用於如由包括於含有參考PPS RBSP之SEI訊息或VCL NAL單元的存取單元之VCL NAL單元中的層ID或視圖ID識別的該特定層或視圖。SEI訊息可為有效參數集合SEI訊息或緩衝週期SEI訊息,如上文所論述。此SPS RBSP稱為用於特定層或視圖之有效SPS RBSP直至其藉由用於相同層或視圖之另一SPS RBSP之啟用而停用為止。視訊編碼器20可在解碼程序及SPS啟用之前提供一具有彼特定SPS ID值(例如,seq_parameter_set_id之值)之SPS RBSP至解碼器30。舉例而言,除非SPS經由外部構件提供至解碼器30,否則編碼器可藉由包括於具有等於0之TemporalId的至少一存取單元中而提供SPS。用於特定層或視圖之經啟用SPS RBSP應在整個經寫碼視訊序列中維持有效以用於該特定層。
除非含有用於經寫碼視訊序列之特定層或視圖之有效SPS RBSP 的SPS ID值(例如,seq_parameter_set_id之值)之任一SPS NAL單元在經寫碼視訊序列之最後存取單元之後並在另一經寫碼視訊序列的第一VCL NAL單元及含有SEI訊息(例如,有效參數集合或緩衝週期SEI訊息(若存在))之第一SEI NAL單元之前,否則任一SPS NAL單元應具有與用於經寫碼視訊序列之該層或視圖之有效SPS RBSP之內容相同的內容。
VPS RBSP包括可由一或多個SPS RBSP或(根據本發明之技術)含有SEI訊息之一或多個SEI NAL單元參考的參數。SEI訊息可為有效參數集合SEI訊息或緩衝週期SEI訊息,如上文所論述。每一VPS RBSP最初被認為在解碼程序之操作起始時非有效。至多一VPS RBSP可被認為在解碼程序之操作期間的任一給定時刻有效,且任一特定VPS RBSP之啟用導致先前有效之VPS RBSP(若存在)之停用。
當具有特定VPS ID值(例如,video_parameter_set_id之值)之VPS RBSP尚未有效,且其由SPS RBSP之啟用(例如,使用彼VPS ID值)而參考,或根據本發明之技術由含有一SEI訊息之SEI NAL單元(例如,使用彼VPS ID值)參考時,該VPS RBSP經啟用。如上文所論述,作為實例,SEI訊息可為有效參數集合或緩衝週期SEI訊息。具有特定VPS ID值之VPS RBSP稱作有效VPS RBSP直至其由另一VPS RBSP之啟用而停用為止。除非VPS經由外部構件提供至解碼器30,否則具有彼特定VPS ID值之VPS RBSP應在其啟用之前可用於視訊解碼器30,且包括於具有等於0之TemporalId的至少一存取單元中。經啟用VPS RBSP應在整個經寫碼視訊序列中維持有效。除非含有用於經寫碼視訊序列之有效VPS RBSP的VPS ID值(例如,video_parameter_set_id之值)之VPS NAL單元在經寫碼視訊序列之最後存取單元之後並在另一經寫碼視訊序列的第一VCL NAL單元及第一序列參數集合NAL單元之前,否則該VPS NAL單元應具有與用於經寫碼視訊序列之有效VPS RBSP 之內容相同的內容。
視訊編碼器20及視訊解碼器30可各自實施為多種合適編碼器或解碼器電路中之任一者(在適用時),諸如,一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,其中之任一者可整合為組合式視訊編碼器/解碼器(CODEC)之部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件(諸如,蜂巢式電話)。
圖2為說明視訊編碼器20之實例組態的方塊圖,視訊編碼器20可實施根據本發明之用於啟用參數集合並指示哪些參數集合有效地用於視訊寫碼的技術。視訊編碼器20可執行視訊切片內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減小或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減小或移除視訊序列之鄰近圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中之任一者。諸如單向預測(P模式)或雙向預測(B模式)之框間模式可指若干基於時間之壓縮模式中之任一者。
在圖2之實例中,視訊編碼器20包括分割單元35、預測處理單元41、參考圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測處理單元46。對於視訊區塊重建構,視訊編碼器20亦包括逆量化單元58、逆變換處理單元60及求和器62。解區塊濾波器(圖2中未展示)亦可經包括以濾波區塊邊界以自經重建構之視訊中移除方塊效應假影。若需要,則該解區塊濾波器通常將濾波求和器62之輸出。除解區塊濾波器以外,亦可使用額外的迴路濾波器(迴路內或迴 路後)。
如圖2中所示,視訊編碼器20接收視訊資料,且分割單元35將資料分割成視訊區塊。此分割亦可包括分割成切片、影像塊或較大單元,以及(例如)根據LCU及CU之四分樹結構的視訊區塊分割。圖2中說明之視訊編碼器20之實例組態大體上說明編碼待編碼之視訊切片內之視訊區塊的組件。切片可被劃分成多個視訊區塊(且可能被劃分成稱作影像塊之視訊區塊之集合)。
預測處理單元41可基於錯誤結果(例如,寫碼位元率及失真之程度)選擇複數個可能寫碼模式中之一者(諸如複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者)用於當前視訊區塊。預測處理單元41可提供所得框內或框間寫碼區塊至求和器50以產生殘餘區塊資料及提供至求和器62以重建構經編碼區塊以用作一參考圖像。
預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於在與待寫碼之當前區塊相同之圖框或切片內的一或多個相鄰區塊的框內預測性寫碼以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊的框間預測性寫碼,以提供時間壓縮。
運動估計單元42可經組態以根據視訊序列之預定型樣判定視訊切片之框間預測模式。預定型樣可將序列中之視訊切片指定為P切片、B切片或GPB切片。運動估計單元42及運動補償單元44可高度整合,但為概念目的而分別說明。由運動估計單元42執行之運動估計為產生運動向量之程序,運動向量估計視訊區塊之運動。運動向量(例如)可指示當前視訊圖框或圖像內之視訊區塊之PU相對於參考圖像內之預測性區塊的移位。
預測性區塊為被發現與待寫碼之視訊區塊在像素差方面緊密匹配之區塊,可藉由絕對差和(SAD)、平方差和(SSD)或其他差量度來 判定像素差。在一些實例中,視訊編碼器20可計算儲存於參考圖像記憶體64中之參考圖像之次整數像素位置的值。舉例而言,視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分率像素位置之值。因此,運動估計單元42可執行相對於全像素位置及分率像素位置之運動搜尋,且以分率像素精度輸出運動向量。
運動估計單元42藉由比較框間寫碼切片中之視訊區塊的PU之位置與參考圖像之預測性區塊之位置而計算該PU之運動向量。參考圖像可自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)選擇,該等清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將經計算運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計判定之運動向量提取或產生預測性區塊,可能執行至子像素精度之內插。在接收到當前視訊區塊之PU之運動向量時,運動補償單元44可將運動向量所指向的預測性區塊定位於參考圖像清單中之一者中。視訊編碼器20藉由自正寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊,從而形成像素差值。像素差值形成區塊之殘餘資料,且可包括明度差分量與色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。
運動補償單元44亦可產生與視訊區塊及視訊切片相關聯的供由視訊解碼器30用於解碼視訊切片之視訊區塊的語法元素。舉例而言,運動補償單元44可根據本發明之技術產生參數集合及SEI訊息。在其他實例中,運動估計單元42、框內預測處理單元46、預測處理單元41及/或視訊編碼器20之另一組件可根據本發明之技術產生參數集合、SEI訊息及本文中描述之其他語法資訊。
如上文所描述,作為由運動估計單元42及運動補償單元44執行 之框間預測的替代例,框內預測處理單元46可對當前區塊進行框內預測。詳言之,框內預測處理單元46可判定一框內預測模式以用來編碼當前區塊。在一些實例中,框內預測處理單元46可(例如)在獨立編碼遍次期間使用各種框內預測模式編碼一當前區塊,且框內預測處理單元46(或模式選擇單元(未圖示),在一些實例中)可自所測試模式中選擇一適當框內預測模式以使用。舉例而言,框內預測處理單元46可使用對各種經測試之框內預測模式之位元率-失真分析而計算位元率-失真值,且在經測試模式當中選擇具有最佳位元率-失真特性之框內預測模式。位元率-失真分析通常判定經編碼之區塊與經編碼以產生經編碼區塊之原始的未經編碼之區塊之間的失真(或誤差)之量,以及用以產生經編碼區塊之位元率(亦即,位元數目)。框內預測處理單元46可自失真及位元率計算各種經編碼區塊之比率以判定哪一框內預測模式展現區塊之最佳位元率-失真值。
在任一狀況下,在選擇一框內預測模式用於一區塊後,框內預測處理單元46可提供指示用於該區塊之所選框內預測模式的資訊至熵編碼單元56。熵編碼單元56可編碼指示所選框內預測模式之資訊。視訊編碼器20可包括所傳輸位元串流中之組態資料。組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦稱作碼字映射表),各種區塊之編碼內容脈絡之定義,以及最可能框內預測模式、框內預測模式索引表及用於內容脈絡中之每一者的經修改框內預測模式索引表的指示。
在預測處理單元41經由框間預測或框內預測產生當前視訊區塊之預測性區塊之後,視訊編碼器20藉由自當前視訊區塊減去預測性區塊而形成一殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可經包括於一或多個TU中並應用於變換處理單元52。變換處理單元52使用一變換(諸如離散餘弦變換(DCT)或概念上類似之變換)將殘餘視訊資料變換 成殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域(諸如頻域)。
變換處理單元52可將所得的變換係數發送至量化單元54。量化單元54量化該等變換係數以進一步減少位元率。該量化程序可減少與該等係數中之一些或所有相關聯的位元深度。可藉由調整量化參數而修改量化程度。在一些實例中,量化單元54可接著執行包括經量化之變換係數之矩陣的掃描。或者,熵編碼單元56可執行該掃描。
在量化之後,熵編碼單元56對經量化之變換係數進行熵編碼。舉例而言,熵編碼單元56可執行內容脈絡自適應性可變長度寫碼(CAVLC)、內容脈絡自適應性二進位算術寫碼(CABAC)、基於語法之內容脈絡自適應性二進位算術寫碼(SBAC)、幾率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在藉由熵編碼單元56進行熵編碼之後,經編碼位元串流可經傳輸至視訊解碼器30,或經存檔以用於稍後傳輸或由視訊解碼器30擷取。熵編碼單元56亦可對正被寫碼之當前視訊切片的運動向量、其他運動資訊及其他語法元素進行熵編碼。
逆量化單元58及逆變換處理單元60分別應用逆量化及逆變換,以在像素域中重建構殘餘區塊供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊與參考圖像清單中之一者內的參考圖像中之一者之預測性區塊相加來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構之殘餘區塊以計算次整數像素值以供用於運動估計中。求和器62將經重建構之殘餘區塊添加至由運動補償單元44所產生之運動補償預測區塊,以產生參考區塊以供儲存於參考圖像記憶體64中。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以對後續視訊圖框或圖像中之區塊進行框間預測。
如上文所論述,運動補償單元44、運動估計單元42、框內預測處理單元46、預測處理單元41及/或視訊編碼器20之另一組件可產生 由視訊解碼器30使用以解碼由視訊編碼器20編碼之視訊資料的語法資訊。語法資訊可包括參數集合,諸如VPS、SPS及PPS。語法資訊亦可包括根據本發明之技術而組態的SEI訊息,諸如根據本文中描述之技術而組態的有效參數集合SEI訊息及緩衝週期SEI訊息。熵編碼單元56可編碼SEI訊息,或以其他方式包括作為經編碼位元串流之部分的SEI訊息。
以此方式,圖2之視訊編碼器20表示經組態以執行以下動作的視訊編碼器之一實例:編碼一包括視訊資料及用於編碼視訊資料之語法資訊之位元串流,其中語法資訊包含一SEI訊息,其中該SEI訊息指示複數個SPS及一VPS;及基於SEI訊息中所指示的該複數個SPS及該VPS來編碼視訊資料。
圖2之視訊編碼器20亦表示經組態以執行以下動作的視訊編碼器之一實例:編碼一包括視訊資料及用於解碼視訊資料之語法資訊的位元串流,其中語法資訊包含一SEI訊息,且其中該SEI訊息指示一或多個SPS及一VPS;及基於SEI訊息中所指示的該一或多個SPS及該VPS來編碼視訊資料。視訊編碼器20可編碼位元串流以包括該SEI訊息,使得一視訊解碼器回應於SEI訊息中之該一或多個SPS及該VPS的指示而啟用該一或多個SPS及該VPS以用於解碼視訊資料。
視訊編碼器20編碼一SEI訊息以使視訊解碼器30啟用參數集合,或向視訊解碼器30指示哪些參數集合係有效的。視訊編碼器20亦基於SEI訊息中指示的該一或多個SPS及該VPS而編碼視訊資料。舉例而言,視訊編碼器20可使用各種參數之特定值來編碼視訊資料,且接著可選擇參數集合以供視訊解碼器30用於基於用以編碼視訊資料之參數值來解碼視訊資料。視訊編碼器20接著可編碼一或多個SEI訊息以使視訊解碼器30啟用參數集合,或向視訊解碼器30指示哪些參數集合係有效的。
圖3為說明根據本發明的可實施用於啟用參數集合及指示哪些參數集合有效地用於視訊寫碼之技術的視訊解碼器30之實例的方塊圖。在圖3之實例中,視訊解碼器30包括一熵解碼單元80、預測處理單元81、逆量化單元86、逆變換處理單元88、求和器90及參考圖像記憶體92。預測處理單元81包括運動補償單元82及框內預測處理單元84。在一些實例中,視訊解碼器30可執行一通常與關於來自圖2之視訊編碼器20描述的編碼遍次互逆的解碼遍次。
在解碼程序期間,視訊解碼器30接收一表示經編碼視訊切片之視訊區塊及相關聯語法資訊(例如,來自視訊編碼器20之語法元素)的經編碼視訊位元串流。視訊解碼器30之熵解碼單元80對位元串流進行熵解碼以產生經量化係數、運動向量、其他運動資訊及其他語法資訊。熵解碼單元80轉遞運動資訊及其他語法元素至預測處理單元81。作為實例,視訊解碼器30可接收在視訊切片層級及/或視訊區塊層級處的語法資訊。
當視訊切片經寫碼為框內寫碼(I)切片時,預測處理單元81之框內預測處理單元84可基於用信號表示之框內預測模式及來自當前圖框或圖像之先前經解碼之區塊之資料而產生當前視訊切片之視訊區塊之預測資料。當該視訊圖框經寫碼為一框間寫碼(亦即,B、P或GPB)切片時,預測處理單元81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素來產生當前視訊切片之一視訊區塊的預測性區塊。可根據在參考圖像清單中之一者內的參考圖像中之一者產生該等預測性區塊。視訊解碼器30可基於儲存於參考圖像記憶體92中之參考圖像使用預設建構技術來建構參考圖框清單,清單0及清單1。
運動補償單元82藉由剖析運動向量及其他語法資訊而判定當前視訊切片之視訊區塊的預測資訊,並使用該預測資訊來產生正被解碼之當前視訊區塊的預測性區塊。舉例而言,運動補償單元82使用一些 所接收之語法資訊來判定用以寫碼視訊切片之視訊區塊之預測模式(例如,框內預測或框間預測)、框間預測切片類型(例如,B切片、P切片或GPB切片)、切片之參考圖像清單中之一或多者之建構資訊、切片之每一框間編碼視訊區塊之運動向量、切片之每一框間寫碼視訊區塊之框間預測狀態,及用以解碼當前視訊切片中之視訊區塊的其他資訊。
運動補償單元82亦可基於內插濾波器執行內插。運動補償單元82可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器,以計算參考區塊之次整數像素的內插值。在此狀況下,運動補償單元82可根據接收之語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。
逆量化單元86將位元串流中所提供且由熵解碼單元80解碼的經量化之變換係數逆量化(亦即,解量化)。逆量化程序可包括使用由視訊編碼器20所計算之視訊切片中之每一視訊區塊的量化參數,以判定量化程度及(同樣)應該應用之逆量化的程度。逆變換處理單元88將逆變換(例如,逆DCT、逆整數變換或概念上類似之逆變換程序)應用於變換係數,以便在像素域中產生殘餘區塊。
在運動補償單元82基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊之後,視訊解碼器30藉由對來自逆變換處理單元88之殘餘區塊與由運動補償單元82所產生的對應預測性區塊求和而形成經解碼之視訊區塊。求和器90表示執行此加法運算之一或多個組件。若需要,亦可應用解區塊濾波器來對經解碼區塊濾波以便移除方塊效應假影。其他迴路濾波器(寫碼迴路中或寫碼迴路後)亦可用以使像素轉變平滑,或以其他方式改良視訊品質。接著將給定圖框或圖像中之經解碼之視訊區塊儲存於參考圖像記憶體92中,參考圖像記憶體92儲存用於後續運動補償之參考圖像。參考圖像記憶體92亦儲存經解碼之 視訊以用於稍後在顯示器件(諸如,圖1之顯示器件32)上呈現。
根據本發明之技術,熵解碼單元80可解碼(例如,熵解碼)一包括視訊資料及語法資訊之經編碼位元串流。語法資訊可包括一或多個SEI訊息,諸如有效參數集合及緩衝週期SEI訊息,如本文中所論述。預測處理單元81(例如,運動補償單元82及/或框內預測單元84)可基於在SEI訊息中之至少一者中參考一或多個參數集合而啟用該一或多個參數集合(例如,VPS及一或多個SPS)。在其他實例中,SEI訊息可向預測處理單元81(例如,運動補償單元82及/或框內預測單元84)指示哪些參數集合(例如,哪些VPS及一或多個SPS)係有效的。在任一狀況下,預測處理單元81(例如,運動補償單元82及/或框內預測單元84)可使用有效參數集合以用於解碼經編碼位元串流內之視訊資料。
以此方式,圖3之視訊解碼器30表示一經組態以執行以下動作的視訊解碼器之一實例:解碼一包括視訊資料及用於解碼視訊資料之語法資訊的位元串流,其中語法資訊包含一SEI訊息,其中該SEI訊息指示複數個SPS及一VPS;及基於SEI訊息中指示的該複數個SPS及該VPS來解碼視訊資料。
視訊解碼器30亦表示一經組態以執行以下動作之視訊解碼器之實例:解碼一包括視訊資料及用於解碼視訊資料之語法資訊之位元串流,其中語法資訊包含一SEI訊息,且其中該SEI訊息指示一或多個SPS及VPS;基於SEI訊息中之該一或多個SPS及該VPS的指示而啟用用於解碼視訊資料之該一或多個SPS及該VPS;及基於該一或多個經啟用SPS及該經啟用VPS來解碼該視訊資料。
圖4為說明形成網路100之部分的器件之實例集合之方塊圖。在此實例中,網路10包括路由器件104A、104B(路由器件104)及轉碼器件106。路由器件104及轉碼器件106意欲表示可形成網路100之部分的少數器件。其他網路器件(諸如,交換器、集線器、閘道器、防火 牆、橋接器及其他此等器件)亦可包括於網路100中。在一些實例中,具有媒體感知的網路器件(亦即,所謂之媒體感知網路元件(MANE))可實施或使用本文中描述之參數集合發信技術中之一或多者。此外,可沿一在伺服器器件102與用戶端器件108之間的網路路徑提供額外網路器件。在一些實例中,伺服器器件102可對應於源器件12(圖1),而用戶端器件108可對應於目的地器件14(圖1)。
一般而言,路由器件104實施一或多個路由協定以經由網路100交換網路資料。在一些實例中,路由器件104可經組態以執行代理或快取操作。因此,在一些實例中,路由器件104可稱作代理器件。一般而言,路由器件104執行路由協定以發現經由網路100之路由。藉由執行此等路由協定,路由器件104B可發現一自其自身經由路由器件104A至伺服器器件102的網路路由。
本發明之技術可藉由諸如路由器件104及轉碼器件106之網路器件來實施,但亦可藉由用戶端器件108來實施。以此方式,路由器件104、轉碼器件106及用戶端器件108表示經組態以執行本發明之技術的器件之實例,該等技術包括:寫碼一包括視訊資料及用於寫碼視訊資料之語法資訊的位元串流,其中語法資訊包含一用於視訊資料之存取單元的SEI訊息,其中該SEI訊息指示複數個SPS及一VPS;基於SEI訊息中之該一或多個SPS及該VPS的指示來啟用用於寫碼存取單元之視訊資料的該一或多個SPS及該VPS;及/或基於SEI訊息中指示的該複數個SPS及該VPS來寫碼存取單元之視訊資料。此外,圖1之源器件12及目的地器件14、圖2中所示之視訊編碼器20及圖3中所示之視訊解碼器30亦為可經組態以執行本發明之技術的實例器件,該等技術包括:寫碼一包括視訊資料及用於寫碼視訊資料之語法資訊的位元串流,其中語法資訊包含一用於視訊資料之存取單元的SEI訊息,其中該SEI訊息指示複數個SPS及一VPS;基於SEI訊息中之該一或多個SPS 及該VPS的指示來啟用用於寫碼存取單元之視訊資料的該一或多個SPS及該VPS;及/或基於SEI訊息中指示的該複數個SPS及該VPS來寫碼存取單元之視訊資料。其他網路元件(諸如,MANE)亦可使用本發明之技術來改良視訊資料至其他器件的傳達或遞送。
圖5為說明用於編碼一位元串流以包括一補充增強資訊(SEI)訊息之實例方法的流程圖,該補充增強資訊(SEI)訊息向視訊解碼器指示用於解碼位元串流中之經編碼視訊資料的一有效視訊參數集合(VPS)及複數個有效序列參數集合(SPS)。根據圖5之實例,視訊編碼器(例如,圖2之視訊編碼器20)基於一VPS及複數個SPS來編碼(例如)存取單元之視訊資料(120)。視訊資料可包含(例如)用於可調式視訊寫碼之複數個層。視訊資料可額外地或替代地包含(例如)用於多視圖或3D視訊寫碼之複數個視圖。該複數個SPS中之每一者可與該複數個層及/或視圖中之各別一或多者的視訊資料相關聯(例如,用以編碼該視訊資料)。
視訊編碼器可將VPS、SPS及其他參數集合維持於資料結構中,並以一類似於本文中關於視訊解碼器(例如,視訊解碼器30)描述之方式的方式來啟用參數集合以用於編碼視訊資料及解碼視訊資料。在其他實例中,視訊編碼器不必以類似於視訊解碼器之方式維持並啟用參數集合。在一些實例中,視訊編碼器根據對應於由視訊解碼器維持的參數集合(例如,VPS及SPS)之參數值或設定來編碼視訊資料,且以此方式,視訊編碼器根據參數集合來編碼視訊資料。
根據圖5之實例,視訊編碼器可進一步(例如)在編碼視訊資料之後編碼一具有VPS ID及複數個SPS ID的SEI訊息,以(例如)向視訊解碼器指示用於解碼存取單元之視訊資料的有效VPS及SPS(122)。在一些實例中,SEI訊息為有效參數集合SEI訊息。在其他實例中,SEI訊息為另一SEI訊息,諸如緩衝週期SEI訊息。視訊編碼器包括在(例如)待提供至視訊解碼器30之經編碼位元串流中的經編碼SEI訊息及經編 碼視訊資料(124)。在一些實例中,視訊編碼器可包括在存取單元之VCL NAL單元中的經編碼視訊資料,且包括在存取單元之SEI NAL單元中的SEI資訊。
圖6為說明用於解碼一位元串流的實例方法的流程圖,該位元串流包括一指示用於解碼該位元串流之視訊資料的一有效VPS及複數個有效SPS的SEI資訊。根據圖6之實例方法,視訊解碼器(例如,圖3之視訊解碼器30)接收一包括經編碼視訊資料及SEI訊息的經編碼位元串流(130)。經編碼位元串流可包含複數個存取單元,其中之每一者可包括(例如)在一或多個VCL NAL單元中之視訊資料及(例如)在一或多個SEI NAL單元中之一或多個SEI訊息。
視訊資料可包含(例如)用於可調式視訊寫碼之複數個層。視訊資料可額外地或替代地包含(例如)用於多視圖或3D視訊寫碼之複數個視圖。SEI訊息可為有效參數集合SEI訊息,或另一SEI訊息(諸如,緩衝週期SEI訊息)。
根據圖6之實例方法,視訊解碼器基於用於存取單元之一有效VPS及複數個有效SPS來解碼存取單元之視訊資料(132)。該複數個SPS中之每一者可與該複數個層及/或視圖中之各別一或多者的視訊資料相關聯(例如,用以解碼該視訊資料)。視訊解碼器亦解碼SEI訊息(134)。SEI訊息可包括一指示用於解碼存取單元之視訊資料之有效VPS的VPS ID。SEI訊息亦可包括指示用於解碼存取單元之該複數個層及/或視圖的有效SPS的複數個SPS ID。視訊解碼器可使用SEI訊息中之VPS及SPS的指示以(例如)確認適當VPS及SPS已或正用以解碼存取單元之視訊資料。
圖7為說明用於編碼一位元串流以包括一SEI訊息之實例方法的流程圖,該SEI訊息向視訊解碼器指示待由視訊解碼器啟用以用於解碼該位元串流之視訊資料的一VPS及一或多個SPS。根據圖7之實例方 法,視訊編碼器(例如,圖3之視訊編碼器20)基於一VPS及一或多個SPS來編碼(例如)存取單元之視訊資料(140)。視訊資料可包含(例如)用於可調式視訊寫碼之複數個層。視訊資料可額外地或替代地包含(例如)用於多視圖或3D視訊寫碼的複數個視圖。複數個SPS中之每一者可與該複數個層及/或視圖中之各別一或多者的視訊資料相關聯(例如,用以編碼該視訊資料)。
根據圖7之實例,視訊編碼器可進一步(例如)在編碼視訊資料之後,編碼一具有VPS ID及一或多個SPS ID的SEI訊息以使一視訊解碼器啟用用於解碼存取單元之視訊資料之該VPS及該一或多個SPS(142)。在一些實例中,SEI訊息為一有效參數集合SEI訊息。在其他實例中,SEI訊息為另一SEI訊息,諸如緩衝週期SEI訊息。
視訊編碼器包括在(例如)待提供至視訊解碼器30之經編碼位元串流中的經編碼SEI訊息及經編碼視訊資料(144)。在一些實例中,視訊編碼器可包括在存取單元之VCL NAL單元中之經編碼視訊資料,且包括在存取單元之SEI NAL單元中的SEI訊息。在其中視訊解碼器啟用參數集合以解碼存取單元之視訊資料所基於的SEI訊息為一有效參數集合SEI訊息的實例中,視訊編碼器可編碼一用於存取單元之緩衝週期SEI訊息,使得其排除任何SPS ID。額外地,在其中SEI訊息為有效參數集合SEI訊息的實例中,視訊編碼器可編碼位元串流,使得包括一緩衝週期SEI訊息之每一存取單元亦包括一為存取單元之第一SEI NAL單元中之第一SEI訊息的有效參數集合SEI訊息。在其中視訊解碼器啟用參數集合以解碼存取單元之視訊資料所基於的SEI訊息為一緩衝週期SEI訊息的實例中,視訊編碼器可產生經編碼位元串流(例如,位元串流內之存取單元)以排除任何有效參數集合SEI訊息。
圖8為說明用於解碼一包括一SEI訊息之位元串流及基於參考SEI訊息中之一VPS及一或多個SPS而啟用用於解碼位元串流之視訊資料 的該VPS及一或多個SPS的實例方法之流程圖。根據圖8之實例方法,視訊解碼器(例如,圖3之視訊解碼器30)接收一包括經編碼視訊資料及SEI訊息的經編碼位元串流(150)。經編碼位元串流可包含複數個存取單元,其中之每一者可包括(例如)在一或多個VCL NAL單元中之視訊資料及(例如)在一或多個SEI NAL單元中之一或多個SEI訊息。
視訊資料可包含(例如)用於可調式視訊寫碼之複數個層。視訊資料可額外地或替代地包含(例如)用於多視圖或3D視訊寫碼之複數個視圖。SEI訊息可為有效參數集合SEI訊息,或另一SEI訊息(諸如,緩衝週期SEI訊息)。
根據圖8之實例方法,視訊解碼器解碼SEI訊息(152)。SEI訊息可包括於存取單元中之一者內,且藉此與彼存取單元相關聯。視訊解碼器接著基於在SEI訊息中參考VPS及一或多個SPS(例如,基於將VPS及SPS之VPS ID及SPS ID包括於SEI訊息中)而啟用該VPS及該一或多個SPS(154)。視訊解碼器接著基於用於存取單元之一有效VPS及該一或多個有效SPS來解碼存取單元之視訊資料(156)。在其中SEI訊息包括複數個SPS ID之實例中,該複數個經參考SPS中之每一者可與複數個層及/或視圖中之各別一或多者之視訊資料相關聯(例如,用以解碼該視訊資料)。
應認識到,取決於實例,本文中所描述之技術中之任一者的某些動作或事件可以一不同序列執行、可增添、合併或完全省略(例如,對於實踐該等技術而言並非所有所描述之動作或事件皆係必要的)。此外,在某些實例中,可(例如)經由多執行緒處理、中斷處理或多個處理器同時而非順序地執行動作或事件。
在一或多個實例中,所描述功能可以硬體、軟體、韌體或其任何組合予以實施。若以軟體予以實施,則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸, 且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體,通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式,電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體,或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括一電腦可讀媒體。
藉由實例而非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體,或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又,任何連接適當地稱為電腦可讀媒體。舉例而言,若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如,紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令,則同軸電纜、光纜、雙絞線、DSL或無線技術(諸如,紅外線、無線電及微波)包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而實情為,係有關非暫時性有形儲存媒體。如本文中所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟,其中磁碟通常以磁性方式再生資料,而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路之一或多個處理器來執行指令。因此,如本文中所使用之術語「處理器」可指上述結構或適於實施本文中所描述之技術的 任何其他結構中之任一者。另外,在一些態樣中,可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內,或併入於組合式編碼解碼器中。又,該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以多種器件或裝置予以實施,該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如,晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術的器件之功能態樣,但未必要求藉由不同硬體單元來實現。而是,如上文所描述,可將各種單元組合於編碼解碼器硬體單元中,或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例屬於以下申請專利範圍之範疇內。

Claims (76)

  1. 一種解碼視訊資料之方法,該方法包含:解碼一包括視訊資料及用於解碼該視訊資料之語法資訊的位元串流,其中該語法資訊包含一補充增強資訊(SEI)訊息,且其中該SEI訊息指示一或多個序列參數集合(SPS)及一視訊參數集合(VPS);基於該SEI訊息中之該一或多個SPS及該VPS的該指示來啟用用於解碼該視訊資料之該一或多個SPS及該VPS;及基於該一或多個經啟用SPS及該經啟用VPS來解碼該視訊資料。
  2. 如請求項1之方法,其中該SEI訊息指示複數個SPS,啟用該一或多個SPS包含基於該SEI訊息中之該複數個SPS的該指示而啟用該複數個SPS,且基於該一或多個經啟用SPS來解碼該視訊資料包含基於該複數個經啟用SPS來解碼該視訊資料。
  3. 如請求項2之方法,其中該視訊資料包含複數個層或複數個視圖中之至少一者,其中該複數個SPS中之每一者與該複數個層或複數個視圖中之一各別一或多者相關聯,且其中基於該複數個SPS來解碼該視訊資料包含對於該等層或視圖中之每一者,基於與該層或視圖相關聯的該SPS來解碼該層或視圖之該視訊資料。
  4. 如請求項1之方法,其中該SEI訊息包括一指示該複數個SPS中之一第一SPS的第一語法元素,一指定該SEI訊息中指示的額外SPS之一數目的第二語法元素,及分別指示該等額外SPS之一或多個額外語法元素。
  5. 如請求項4之方法,其中該第一語法元素包含一active_seq_param_set_id語法元素,該第二語法元素包含一num_additional_sps_ids_minus1語法元素,且該一或多個額外語法元素包含additional_active_sps_id[i]語法元素,for i=0;inum_additional_sps_ids_minus1;i++。
  6. 如請求項1之方法,其中該SEI訊息包括一指定該複數個SPS之一數目的第一語法元素,及分別指示該複數個SPS之一或多個額外語法元素。
  7. 如請求項6之方法,其中該第一語法元素包含一num_sps_ids_minus1語法元素,且該一或多個額外語法元素包含active_sps_id[i]語法元素,for i=0;inum_additional_sps_ids_minus1;i++。
  8. 如請求項1之方法,其中該SEI訊息包含一有效參數集合SEI訊息。
  9. 如請求項8之方法,其中該語法資訊進一步包含一排除了該一或多個SPS之任一指示的緩衝週期SEI訊息。
  10. 如請求項8之方法,其中該有效參數集合SEI訊息為包含該有效參數集合SEI訊息及該視訊資料的一存取單元之一第一SEI網路抽象層單元中的一第一SEI訊息。
  11. 如請求項8之方法,其中該有效參數集合SEI訊息按解碼次序在包含該有效參數集合SEI訊息及該視訊資料的一存取單元之該視訊資料的一第一部分之前。
  12. 如請求項1之方法,其中該SEI訊息包含一緩衝週期SEI訊息。
  13. 如請求項12之方法,其中該位元串流不包括用於包含該視訊資料及該緩衝週期SEI訊息的一存取單元之任一有效參數集合SEI訊息。
  14. 如請求項12之方法,其中該緩衝週期SEI訊息進一步包含假想參考解碼器參數。
  15. 如請求項1之方法,其中基於該SEI訊息中之該一或多個SPS及該VPS的該指示而啟用用於解碼該視訊資料之該一或多個SPS及該VPS包含:基於該SEI訊息中之該指示而識別用於該一或多個SPS及該VPS之原始位元組序列有效負載(RBSP);及將該等RBSP複製至各別視訊解碼器資料結構中,其中基於該一或多個經啟用SPS及該經啟用VPS而解碼該視訊資料包含基於該等視訊解碼器資料結構中之該等RBSP而解碼該視訊資料。
  16. 一種編碼視訊資料之方法,該方法包含:編碼一包括視訊資料及用於解碼該視訊資料之語法資訊的位元串流,其中該語法資訊包含一補充增強資訊(SEI)訊息,且其中該SEI訊息指示一或多個序列參數集合(SPS)及一視訊參數集合(VPS);及基於該SEI訊息中指示之該一或多個SPS及該VPS來編碼該視訊資料,其中編碼該位元串流以包括該SEI訊息包含編碼該位元串流而使得一視訊解碼器回應於該SEI訊息中之該一或多個SPS及該VPS的該指示而啟用用於解碼該視訊資料之該一或多個SPS及該VPS。
  17. 如請求項16之方法,其中該SEI訊息指示複數個SPS,基於該一或多個SPS來編碼該視訊資料包含基於該複數個SPS來編碼該視訊資料,且其中編碼該位元串流使得該視訊解碼器啟用該一或多個SPS及該VPS包含編碼該位元串流而使得一視訊解碼器回應 於該SEI訊息中之該複數個SPS及該VPS的該指示而啟用該複數個SPS及該VPS。
  18. 如請求項17之方法,其中該視訊資料包含複數個層或複數個視圖中之至少一者,其中該複數個SPS中之每一者與該複數個層或複數個視圖中之一各別一或多者相關聯,且其中基於該複數個SPS來編碼該視訊資料包含對於該等層或視圖中之每一者,基於與該層或視圖相關聯的該SPS來編碼該層或視圖之該視訊資料。
  19. 如請求項16之方法,其中該SEI訊息包括一指示該複數個SPS中之一第一SPS的第一語法元素,一指定該SEI訊息中指示的額外SPS之一數目的第二語法元素,及分別指示該等額外SPS之一或多個額外語法元素。
  20. 如請求項19之方法,其中該第一語法元素包含一active_seq_param_set_id語法元素,該第二語法元素包含一num_additional_sps_ids_minus1語法元素,且該一或多個額外語法元素包含additional_active_sps_id[i]語法元素,for i=0;inum_additional_sps_ids_minus1;i++。
  21. 如請求項16之方法,其中該SEI訊息包括一指定該複數個SPS之一數目的第一語法元素,及分別指示該複數個SPS之一或多個額外語法元素。
  22. 如請求項21之方法,其中該第一語法元素包含一num_sps_ids_minus1語法元素,且該一或多個額外語法元素包含active_sps_id[i]語法元素,for i=0;inum_additional_sps_ids_minus1;i++。
  23. 如請求項16之方法,其中該SEI訊息包含一有效參數集合SEI訊 息。
  24. 如請求項23之方法,其中該語法資訊進一步包含一緩衝週期SEI訊息,該方法進一步包含編碼該緩衝週期SEI訊息以排除該一或多個SPS之任一指示。
  25. 如請求項23之方法,其中編碼該位元串流包含編碼該位元串流而使得該有效參數集合SEI訊息為包含該視訊資料及該有效參數集合SEI訊息的一存取單元之一第一SEI網路抽象層單元中的一第一SEI訊息。
  26. 如請求項23之方法,其中該位元串流包含複數個存取單元及複數個有效參數集合SEI訊息,且編碼該位元串流包含編碼該位元串流而使得包括一緩衝週期SEI訊息之該等存取單元中之每一者亦包括該等有效參數集合SEI訊息中之一者。
  27. 如請求項23之方法,其中編碼該位元串流包含編碼該位元串流而使得該有效參數集合SEI訊息按編碼次序在包含該視訊資料及該有效參數集合SEI訊息的一存取單元之視訊資料之一第一部分之前。
  28. 如請求項16之方法,其中該SEI訊息包含一緩衝週期SEI訊息。
  29. 如請求項28之方法,其中編碼該位元串流包含編碼該位元串流以排除用於包含該視訊資料及該緩衝週期SEI訊息之一存取單元的任一有效參數集合SEI訊息。
  30. 如請求項28之方法,其中該緩衝週期SEI訊息進一步包含假想參考解碼器參數。
  31. 一種包含一視訊解碼器之器件,該視訊解碼器經組態以執行以下動作:解碼一包括視訊資料及用於解碼該視訊資料之語法資訊的位元串流,其中該語法資訊包含一補充增強資訊(SEI)訊息,且其 中該SEI訊息指示一或多個序列參數集合(SPS)及一視訊參數集合(VPS);基於該SEI訊息中之該一或多個SPS及該VPS的該指示來啟用用於解碼該視訊資料之該一或多個SPS及該VPS;及基於該一或多個經啟用SPS及該經啟用VPS來解碼該視訊資料。
  32. 如請求項31之器件,其中該SEI訊息指示複數個SPS,且該視訊解碼器經組態以基於該SEI訊息中之該複數個SPS的該指示而啟用該複數個SPS,並基於該複數個經啟用SPS來解碼該視訊資料。
  33. 如請求項32之器件,其中該視訊資料包含複數個層或複數個視圖中之至少一者,其中該複數個SPS中之每一者與該複數個層或複數個視圖中之一各別一或多者相關聯,且其中對於該等層或視圖中之每一者,該視訊解碼器經組態以基於與該層或視圖相關聯的該SPS來解碼該層或視圖之該視訊資料。
  34. 如請求項31之器件,其中該SEI訊息包括一指示該複數個SPS中之一第一SPS的第一語法元素,一指定該SEI訊息中指示的額外SPS之一數目的第二語法元素,及分別指示該等額外SPS之一或多個額外語法元素。
  35. 如請求項34之器件,其中該第一語法元素包含一active_seq_param_set_id語法元素,該第二語法元素包含一num_additional_sps_ids_minus1語法元素,且該一或多個額外語法元素包含additional_active_sps_id[i]語法元素,for i=0;inum_additional_sps_ids_minus1;i++。
  36. 如請求項31之器件,其中該SEI訊息包括一指定該複數個SPS之一數目的第一語法元素,及分別指示該複數個SPS之一或多個額外語法元素。
  37. 如請求項36之器件,其中該第一語法元素包含一num_sps_ids_minus1語法元素,且該一或多個額外語法元素包含active_sps_id[i]語法元素,for i=0;inum_additional_sps_ids_minus1;i++。
  38. 如請求項31之器件,其中該SEI訊息包含一有效參數集合SEI訊息。
  39. 如請求項38之器件,其中該語法資訊進一步包含一排除了該一或多個SPS之任一指示的緩衝週期SEI訊息。
  40. 如請求項38之器件,其中該有效參數集合SEI訊息為包含該視訊資料及該有效參數集合SEI訊息的一存取單元之一第一SEI網路抽象層單元中的一第一SEI訊息。
  41. 如請求項38之器件,其中該有效參數集合SEI訊息按解碼次序在包含該視訊資料及該有效參數集合SEI訊息的一存取單元之視訊資料的一第一部分之前。
  42. 如請求項31之器件,其中該SEI訊息包含一緩衝週期SEI訊息。
  43. 如請求項42之器件,其中該位元串流不包括用於包含該視訊資料及該緩衝週期SEI訊息的一存取單元之任一有效參數集合SEI訊息。
  44. 如請求項42之器件,其中該緩衝週期SEI訊息進一步包含假想參考解碼器參數。
  45. 如請求項31之器件,其中為基於該SEI訊息中之該一或多個SPS及該VPS的該指示而啟用用於解碼該視訊資料之該一或多個SPS及該VPS,該視訊解碼器經組態以執行以下動作: 基於該SEI訊息中之該指示而識別用於該一或多個SPS及該VPS之原始位元組序列有效負載(RBSP);及將該等RBSP複製至各別視訊解碼器資料結構中,其中該視訊解碼器經組態以基於該等視訊解碼器資料結構中之該等RBSP而解碼該視訊資料。
  46. 如請求項31之器件,其中該器件包含以下各物中之至少一者:一積體電路,其實施該視訊解碼器;一微處理器,其實施該視訊解碼器;及一無線通信器件,其包括該視訊解碼器。
  47. 一種包含一視訊編碼器之器件,該視訊編碼器經組態以執行以下動作:編碼一包括視訊資料及用於解碼該視訊資料之語法資訊的位元串流,其中該語法資訊包含一補充增強資訊(SEI)訊息,且其中該SEI訊息指示一或多個序列參數集合(SPS)及一視訊參數集合(VPS);及基於該SEI訊息中指示之該一或多個SPS及該VPS來編碼該視訊資料,其中該視訊編碼器編碼該位元串流以包括該SEI訊息而使得一視訊解碼器回應於該SEI訊息中之該一或多個SPS及該VPS的該指示而啟用用於解碼該視訊資料之該一或多個SPS及該VPS。
  48. 如請求項47之器件,其中該SEI訊息指示複數個SPS,該視訊編碼器經組態以基於該複數個SPS來編碼該視訊資料,且該視訊編碼器編碼該位元串流而使得該視訊解碼器回應於該SEI訊息中之該複數個SPS的該指示而啟用該複數個SPS。
  49. 如請求項48之器件,其中該視訊資料包含複數個層或複數個視圖中之至少一者, 其中該複數個SPS中之每一者與該複數個層或複數個視圖中之一各別一或多者相關聯,且其中對於該等層或視圖中之每一者,該視訊編碼器經組態以基於與該層或視圖相關聯的該SPS來編碼該層或視圖之該視訊資料。
  50. 如請求項47之器件,其中該SEI訊息包括一指示該複數個SPS中之一第一SPS的第一語法元素,一指定該SEI訊息中指示的額外SPS之一數目的第二語法元素,及分別指示該等額外SPS之一或多個額外語法元素。
  51. 如請求項50之器件,其中該第一語法元素包含一active_seq_param_set_id語法元素,該第二語法元素包含一num_additional_sps_ids_minus1語法元素,且該一或多個額外語法元素包含additional_active_sps_id[i]語法元素,for i=0;inum_additional_sps_ids_minus1;i++。
  52. 如請求項47之器件,其中該SEI訊息包括一指定該複數個SPS之一數目的第一語法元素,及分別指示該複數個SPS之一或多個額外語法元素。
  53. 如請求項52之器件,其中該第一語法元素包含一num_sps_ids_minus1語法元素,且該一或多個額外語法元素包含active_sps_id[i]語法元素,for i=0;inum_additional_sps_ids_minus1;i++。
  54. 如請求項47之器件,其中該SEI訊息包含一有效參數集合SEI訊息。
  55. 如請求項54之器件,其中該語法資訊進一步包含一緩衝週期SEI訊息,且該視訊編碼器經組態以編碼該緩衝週期SEI訊息以排除該一或多個SPS之任一指示。
  56. 如請求項54之器件,其中該視訊編碼器經組態以編碼該位元串流而使得該有效參數集合SEI訊息為包含該視訊資料及該有效參數集合SEI訊息的一存取單元之一第一SEI網路抽象層單元中的一第一SEI訊息。
  57. 如請求項54之器件,其中該位元串流包含複數個存取單元及複數個有效參數集合SEI訊息,且該視訊編碼器經組態以編碼該位元串流而使得包括一緩衝週期SEI訊息之該等存取單元中之每一者亦包括該等有效參數集合SEI訊息中之一者。
  58. 如請求項54之器件,其中該視訊編碼器經組態以編碼該位元串流而使得該有效參數集合SEI訊息按編碼次序在包含該視訊資料及該有效參數集合SEI訊息的一存取單元之視訊資料之一第一部分之前。
  59. 如請求項47之器件,其中該SEI訊息包含一緩衝週期SEI訊息。
  60. 如請求項59之器件,其中該視訊編碼器經組態以編碼該位元串流以排除用於包含該視訊資料及該緩衝週期SEI訊息之一存取單元的任一有效參數集合SEI訊息。
  61. 如請求項59之器件,其中該緩衝週期SEI訊息進一步包含假想參考解碼器參數。
  62. 如請求項47之器件,其中該器件包含以下各物中之至少一者:一積體電路,其實施該視訊編碼器;一微處理器,其實施該視訊編碼器;及一無線通信器件,其包括該視訊編碼器。
  63. 一種用於寫碼視訊資料之器件,該器件包含:用於寫碼一包括視訊資料及用於解碼該視訊資料之語法資訊的位元串流之構件,其中該語法資訊包含一補充增強資訊(SEI)訊息,且其中該SEI訊息指示一或多個序列參數集合(SPS)及一視 訊參數集合(VPS);用於基於該SEI訊息中之該一或多個SPS及該VPS的該指示而啟用用於寫碼該視訊資料之該一或多個SPS及該VPS的構件;及用於基於該一或多個經啟用SPS及該經啟用VPS而寫碼該視訊資料的構件。
  64. 如請求項63之器件,其中該SEI訊息指示複數個SPS,該用於啟用該一或多個SPS之構件包含用於基於該SEI訊息中之該複數個SPS的該指示而啟用該複數個SPS的構件,且該用於基於該一或多個SPS而寫碼該存取單元之該視訊資料的構件包含用於基於該複數個SPS而寫碼該存取單元之該視訊資料的構件。
  65. 如請求項64之器件,其中該視訊資料包含複數個層或複數個視圖中之至少一者,其中該複數個SPS中之每一者與該複數個層或複數個視圖中之一各別一或多者相關聯,且其中該用於基於該複數個SPS而寫碼該視訊資料的構件包含對於該等層或視圖中之每一者用於基於與該層或視圖相關聯的該SPS來寫碼該層或視圖之該視訊資料的構件。
  66. 如請求項63之器件,其中該SEI訊息包含一有效參數集合SEI訊息。
  67. 如請求項63之器件,其中該SEI訊息包含一緩衝週期SEI訊息。
  68. 如請求項63之器件,其中該用於寫碼該位元串流之構件包含用於解碼該位元串流之構件,且該用於寫碼該視訊資料之構件包含用於解碼該視訊資料之構件。
  69. 如請求項63之器件,其中該用於寫碼該位元串流之構件包含用於編碼該位元串流之構件,且該用於寫碼該視訊資料之構件包含用於編碼該視訊資料之構件。
  70. 一種上面儲存有指令之電腦可讀儲存媒體,該等指令當由一視訊寫碼器之一或多個處理器執行時使該視訊寫碼器執行以下動作:寫碼一包括視訊資料及用於解碼該視訊資料之語法資訊的位元串流,其中該語法資訊包含一補充增強資訊(SEI)訊息,且其中該SEI訊息指示一或多個序列參數集合(SPS)及一視訊參數集合(VPS);基於該SEI訊息中之該一或多個SPS及該VPS的該指示而啟用用於寫碼該視訊資料之該一或多個SPS及該VPS;及基於該一或多個SPS及該VPS而寫碼該視訊資料。
  71. 如請求項70之電腦可讀儲存媒體,其中該SEI訊息指示複數個SPS,該等使該視訊寫碼器啟用該一或多個SPS之指令包含使該視訊寫碼器基於該SEI訊息中之該複數個SPS的該指示而啟用該複數個SPS的指令,且該等使該視訊寫碼器基於該一或多個SPS而寫碼該存取單元之該視訊資料的指令包含使該視訊寫碼器基於該複數個SPS而寫碼該存取單元之該視訊資料的指令。
  72. 如請求項71之電腦可讀儲存媒體,其中該視訊資料包含複數個層或複數個視圖中之至少一者,其中該複數個SPS中之每一者與該複數個層或複數個視圖中之一各別一或多者相關聯,且其中該等使該視訊寫碼器基於該複數個SPS而寫碼該視訊資料的指令包含使該視訊寫碼器對於該等層或視圖中之每一者基於與該層或視圖相關聯的該SPS來寫碼該層或視圖之該視訊資料的指令。
  73. 如請求項70之電腦可讀儲存媒體,其中該SEI訊息包含一有效參數集合SEI訊息。
  74. 如請求項70之電腦可讀儲存媒體,其中該SEI訊息包含一緩衝週期SEI訊息。
  75. 如請求項70之電腦可讀儲存媒體,其中該等使該視訊寫碼器寫碼該位元串流之指令包含使該視訊寫碼器解碼該位元串流之指令,且該等使該視訊寫碼器寫碼該視訊資料之指令包含使該視訊寫碼器解碼該視訊資料之指令。
  76. 如請求項70之電腦可讀儲存媒體,其中該等使該視訊寫碼器寫碼該位元串流之指令包含使該視訊寫碼器編碼該位元串流之指令,且該等使該視訊寫碼器寫碼該視訊資料之指令包含使該視訊寫碼器編碼該視訊資料之指令。
TW102130901A 2012-09-21 2013-08-28 用於視訊寫碼之參數集合的指示及啓用 TWI507018B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261704214P 2012-09-21 2012-09-21
US13/964,688 US9554146B2 (en) 2012-09-21 2013-08-12 Indication and activation of parameter sets for video coding

Publications (2)

Publication Number Publication Date
TW201424389A true TW201424389A (zh) 2014-06-16
TWI507018B TWI507018B (zh) 2015-11-01

Family

ID=50338843

Family Applications (2)

Application Number Title Priority Date Filing Date
TW102130901A TWI507018B (zh) 2012-09-21 2013-08-28 用於視訊寫碼之參數集合的指示及啓用
TW102130900A TWI521953B (zh) 2012-09-21 2013-08-28 用於視訊寫碼之參數集合的指示及啓用

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW102130900A TWI521953B (zh) 2012-09-21 2013-08-28 用於視訊寫碼之參數集合的指示及啓用

Country Status (25)

Country Link
US (2) US9426462B2 (zh)
EP (2) EP2898691B1 (zh)
JP (2) JP6092396B2 (zh)
KR (2) KR102148546B1 (zh)
CN (2) CN104662904B (zh)
AR (2) AR093237A1 (zh)
AU (2) AU2013318522B2 (zh)
BR (2) BR112015006440B1 (zh)
CA (2) CA2884288C (zh)
DK (2) DK2898690T3 (zh)
ES (2) ES2596266T3 (zh)
HK (2) HK1205842A1 (zh)
HU (2) HUE030338T2 (zh)
IL (2) IL237363A (zh)
MY (2) MY170706A (zh)
PH (2) PH12015500421A1 (zh)
PL (1) PL2898691T3 (zh)
PT (2) PT2898691T (zh)
RU (2) RU2646381C2 (zh)
SG (2) SG11201501412VA (zh)
SI (2) SI2898691T1 (zh)
TW (2) TWI507018B (zh)
UA (2) UA114929C2 (zh)
WO (2) WO2014046812A2 (zh)
ZA (1) ZA201502301B (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104185992A (zh) * 2012-02-08 2014-12-03 汤姆逊许可公司 用于使用假设参考解码器的超低延迟模式的方法和装置
KR20130116782A (ko) 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US9426462B2 (en) * 2012-09-21 2016-08-23 Qualcomm Incorporated Indication and activation of parameter sets for video coding
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
WO2015009108A1 (ko) * 2013-07-18 2015-01-22 삼성전자 주식회사 비디오 포멧 파라미터 전달을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
JP6300114B2 (ja) * 2014-08-06 2018-03-28 パナソニックIpマネジメント株式会社 送信方法、受信方法、送信装置及び受信装置
US10244249B2 (en) 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10129558B2 (en) * 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
US10200690B2 (en) * 2015-09-22 2019-02-05 Qualcomm Incorporated Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
FR3047094B1 (fr) * 2016-01-26 2019-11-22 Raoul Parienti Assistant numerique personnel emboitant un ordiphone, clavier et tablette capable de prendre des prises de vues 3d
US10397443B2 (en) * 2016-03-01 2019-08-27 Qualcomm Incorporated Methods and systems for generating color remapping information supplemental enhancement information messages for video
US10249019B2 (en) 2016-05-06 2019-04-02 Mediatek Inc. Method and apparatus for mapping omnidirectional image to a layout output format
TWI637356B (zh) * 2016-06-30 2018-10-01 聯發科技股份有限公司 將全向圖像映射到佈局輸出格式的方法和裝置
US11381621B2 (en) * 2018-04-11 2022-07-05 Samsung Electronics Co., Ltd. Device and method for processing data in multimedia system
CN109151505B (zh) * 2018-11-07 2021-02-26 深圳市网心科技有限公司 一种视频转码方法、系统、装置及计算机可读存储介质
KR20200055596A (ko) * 2018-11-13 2020-05-21 삼성전자주식회사 차량에 탑재되는 단말 장치가 영상을 전송하는 방법 및 차량의 주행을 제어하는 원격 제어 장치가 영상을 수신하는 방법
WO2020118287A1 (en) 2018-12-07 2020-06-11 Interdigital Vc Holdings, Inc. Managing coding tools combinations and restrictions
EP3932074B1 (en) * 2019-03-11 2024-05-01 Huawei Technologies Co., Ltd. Interpolation filter clipping for sub-picture motion vectors
CN113994704B (zh) * 2019-06-18 2024-05-17 松下电器(美国)知识产权公司 编码装置、解码装置、编码方法和解码方法
EP3994892A1 (en) * 2019-07-02 2022-05-11 VID SCALE, Inc. Dynamic adaptation of volumetric content component sub-bitstreams in streaming services
JP7494289B2 (ja) 2019-08-15 2024-06-03 バイトダンス インコーポレイテッド 異なるパーティション構造をもつパレット・モード
KR20220044279A (ko) 2019-08-15 2022-04-07 바이트댄스 아이엔씨 팔레트 이스케이프 심벌에 대한 엔트로피 코딩
WO2021055782A1 (en) 2019-09-19 2021-03-25 Bytedance Inc. Quantization parameter derivation for palette mode
MX2022003550A (es) * 2019-09-24 2022-06-02 Huawei Tech Co Ltd Pruebas de conformidad hrd en ols.
BR112022004873A2 (pt) * 2019-09-24 2022-06-07 Huawei Tech Co Ltd Método implementado por decodificador, mídia legível por computador não transitória e dispositivo de decodificação
WO2021057869A1 (en) * 2019-09-24 2021-04-01 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods
US11265357B2 (en) * 2019-10-10 2022-03-01 Microsoft Technology Licensing, Llc AV1 codec for real-time video communication
US11563947B2 (en) 2019-12-31 2023-01-24 Tencent America LLC Signaling output picture size for reference picture resampling
US11962936B2 (en) 2020-09-29 2024-04-16 Lemon Inc. Syntax for dependent random access point indication in video bitstreams
US11683514B2 (en) * 2020-12-22 2023-06-20 Tencent America LLC Method and apparatus for video coding for machine
JP2024514323A (ja) * 2021-04-12 2024-04-01 テレフオンアクチーボラゲット エルエム エリクソン(パブル) メッセージ参照
CN117917075A (zh) * 2021-06-28 2024-04-19 抖音视界有限公司 扩展依赖随机访问点补充增强信息的增强信令通知
US20230097425A1 (en) * 2021-09-29 2023-03-30 Tencent America LLC Techniques for signaling multiview view positions in sei message
CN114745600B (zh) * 2022-06-10 2022-09-27 中国传媒大学 一种基于sei的视频标签标注方法及装置
WO2024072750A1 (en) * 2022-09-27 2024-04-04 Bytedance Inc. Enhanced signalling of lost or corrupted samples in a media file

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2229174C2 (ru) * 1994-06-03 2004-05-20 Конинклийке Филипс Электроникс Н.В. Запись информационных сигналов в формате mpeg на носитель информации и их воспроизведение
US7551672B1 (en) * 1999-02-05 2009-06-23 Sony Corporation Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method
AU2003247605A1 (en) 2002-07-02 2004-01-23 Conexant Systems, Inc. Hypothetical reference decoder for compressed image and video
EP1529400A4 (en) 2002-07-16 2009-09-23 Korea Electronics Telecomm DEVICE AND METHOD FOR ADAPTING A TWO-DIMENSIONAL AND THREE-DIMENSIONAL STEREOSCOPIC VIDEO SIGNAL
CA2547891C (en) * 2003-12-01 2014-08-12 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding and decoding
US7415069B2 (en) 2003-12-09 2008-08-19 Lsi Corporation Method for activation and deactivation of infrequently changing sequence and picture parameter sets
CN101848389A (zh) 2004-08-31 2010-09-29 松下电器产业株式会社 运动图像编码、解码方法及装置、记录介质的记录方法
KR100878809B1 (ko) 2004-09-23 2009-01-14 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 이의 장치
CN1845611A (zh) 2005-04-08 2006-10-11 华为技术有限公司 基于h.264的视频传输保护方法
CN100459717C (zh) 2005-04-20 2009-02-04 华为技术有限公司 基于h.264的压缩视频传输误码消除方法
JP4311570B2 (ja) * 2005-07-01 2009-08-12 株式会社ソニー・コンピュータエンタテインメント 再生装置、ビデオ復号装置および同期再生方法
US7725593B2 (en) 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
CN101228794B (zh) 2005-07-21 2011-05-11 汤姆森许可贸易公司 针对加权预测的可分级视频编码方法及设备
US8306112B2 (en) 2005-09-20 2012-11-06 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
CN1859576A (zh) 2005-10-11 2006-11-08 华为技术有限公司 对空间分层编码视频图象的上采样方法及其系统
CN100456834C (zh) 2005-10-17 2009-01-28 华为技术有限公司 H.264多媒体通信的服务质量监测方法
JP5587552B2 (ja) * 2005-10-19 2014-09-10 トムソン ライセンシング スケーラブル映像符号化を用いた多視点映像符号化
JP5199123B2 (ja) 2006-01-12 2013-05-15 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理
US20070230564A1 (en) 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
EP2039168A2 (en) * 2006-07-05 2009-03-25 Thomson Licensing Methods and apparatus for multi-view video encoding and decoding
JP4793366B2 (ja) 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
EP2418854A3 (en) * 2006-10-24 2012-06-06 Thomson Licensing Picture identification for multi-view video coding
DK2103136T3 (en) 2006-12-21 2017-12-04 Thomson Licensing METHODS AND APPARATUS FOR IMPROVED SIGNALING USING HIGH-LEVEL SYNTHOLOGY FOR MULTIVIEW VIDEO AND DECODING
EP2116063B1 (en) * 2007-01-04 2017-03-08 Thomson Licensing Methods and apparatus for multi-view information conveyed in high level syntax
ES2941888T3 (es) * 2007-04-12 2023-05-26 Dolby Int Ab Organización en mosaico en codificación y decodificación de vídeo
JP5026584B2 (ja) 2007-04-18 2012-09-12 トムソン ライセンシング 符号化システム
US20140072058A1 (en) * 2010-03-05 2014-03-13 Thomson Licensing Coding systems
US20100142613A1 (en) 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
WO2008140190A1 (en) 2007-05-14 2008-11-20 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
EP2009828B1 (en) 2007-06-28 2016-01-27 Alcatel Lucent Method for providing unequal error protection to data packets in a burst transmission system
JP5583578B2 (ja) 2007-06-28 2014-09-03 トムソン ライセンシング 多視点符号化映像のシングルループ復号化を支援するエンコーダ及びデコーダでの方法及び装置
US20090168680A1 (en) 2007-12-27 2009-07-02 Motorola, Inc. Multiple multicast data stream delivery in a communication network
KR20100105877A (ko) * 2008-01-11 2010-09-30 톰슨 라이센싱 비디오 및 깊이 코딩
US8136736B2 (en) * 2008-12-09 2012-03-20 Vasco Data Security, Inc. Slim electronic device with detector for unintentional activation
US20100189182A1 (en) 2009-01-28 2010-07-29 Nokia Corporation Method and apparatus for video coding and decoding
US8767840B2 (en) * 2009-02-11 2014-07-01 Taiwan Semiconductor Manufacturing Company, Ltd. Method for detecting errors and recovering video data
CN105657404B (zh) 2009-02-19 2018-06-08 汤姆逊许可证公司 视频编码和解码的装置
EP2404451B1 (en) 2009-03-04 2016-05-11 Telefonaktiebolaget LM Ericsson (publ) Processing of multimedia data
JP5072893B2 (ja) * 2009-03-25 2012-11-14 株式会社東芝 画像符号化方法および画像復号化方法
US8731053B2 (en) * 2009-11-18 2014-05-20 Tektronix, Inc. Method of multiplexing H.264 elementary streams without timing information coded
WO2012052968A1 (en) * 2010-10-20 2012-04-26 Nokia Corporation Method and device for video coding and decoding
US20120144433A1 (en) 2010-12-07 2012-06-07 Electronics And Telecommunications Research Institute Apparatus and method for transmitting multimedia data in wireless network
CN102972024A (zh) 2011-05-11 2013-03-13 松下电器产业株式会社 动态图像发送装置以及动态图像发送方法
WO2013002709A1 (en) 2011-06-30 2013-01-03 Telefonaktiebolaget L M Ericsson (Publ) Indicating bit stream subsets
US9451284B2 (en) 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
US20130114694A1 (en) 2011-11-08 2013-05-09 Qualcomm Incorporated Parameter set groups for coded video data
EP2868092A4 (en) * 2012-07-02 2016-05-04 Nokia Technologies Oy METHOD AND DEVICE FOR VIDEO CODING
US9426462B2 (en) * 2012-09-21 2016-08-23 Qualcomm Incorporated Indication and activation of parameter sets for video coding

Also Published As

Publication number Publication date
AU2013318521A1 (en) 2015-03-19
US20140086317A1 (en) 2014-03-27
MY169417A (en) 2019-04-02
KR101719079B1 (ko) 2017-03-22
IL237387A0 (en) 2015-04-30
CN104662904B (zh) 2018-01-26
HK1206522A1 (zh) 2016-01-08
WO2014046812A3 (en) 2014-06-05
KR20150060774A (ko) 2015-06-03
PT2898691T (pt) 2016-10-12
US20140086337A1 (en) 2014-03-27
SG11201501409VA (en) 2015-04-29
HUE030338T2 (en) 2017-05-29
IL237363A0 (en) 2015-04-30
KR20150058370A (ko) 2015-05-28
CN104641639A (zh) 2015-05-20
JP2015529436A (ja) 2015-10-05
JP2015529437A (ja) 2015-10-05
MY170706A (en) 2019-08-27
AU2013318522A1 (en) 2015-03-19
SI2898691T1 (sl) 2016-12-30
EP2898691B1 (en) 2016-07-06
EP2898690B1 (en) 2017-05-17
TWI507018B (zh) 2015-11-01
AR093237A1 (es) 2015-05-27
HK1205842A1 (zh) 2015-12-24
PH12015500421B1 (en) 2015-04-20
IL237363A (en) 2017-03-30
CA2884288A1 (en) 2014-03-27
ES2637515T3 (es) 2017-10-13
AU2013318521B2 (en) 2017-08-31
AU2013318522B2 (en) 2017-08-24
ZA201502301B (en) 2017-11-29
US9554146B2 (en) 2017-01-24
CN104662904A (zh) 2015-05-27
BR112015006440A2 (pt) 2017-07-04
PT2898690T (pt) 2017-08-23
BR112015006441A2 (pt) 2017-07-04
WO2014046813A3 (en) 2014-06-05
WO2014046813A2 (en) 2014-03-27
CA2883802C (en) 2020-03-24
BR112015006440B1 (pt) 2023-04-11
TW201421997A (zh) 2014-06-01
HUE032801T2 (en) 2017-11-28
EP2898690A2 (en) 2015-07-29
EP2898691A2 (en) 2015-07-29
KR102148546B1 (ko) 2020-08-26
US9426462B2 (en) 2016-08-23
CA2883802A1 (en) 2014-03-27
RU2015114561A (ru) 2016-11-10
PL2898691T3 (pl) 2017-02-28
CA2884288C (en) 2018-08-28
AR097127A1 (es) 2016-02-24
JP6195930B2 (ja) 2017-09-13
PH12015500421A1 (en) 2015-04-20
UA114339C2 (uk) 2017-05-25
BR112015006441B1 (pt) 2023-03-14
DK2898690T3 (en) 2017-08-21
RU2646381C2 (ru) 2018-03-02
RU2646382C2 (ru) 2018-03-02
WO2014046812A2 (en) 2014-03-27
SI2898690T1 (sl) 2017-09-29
CN104641639B (zh) 2018-03-06
TWI521953B (zh) 2016-02-11
UA114929C2 (uk) 2017-08-28
PH12015500456B1 (en) 2015-04-20
SG11201501412VA (en) 2015-05-28
IL237387B (en) 2018-04-30
PH12015500456A1 (en) 2015-04-20
ES2596266T3 (es) 2017-01-05
JP6092396B2 (ja) 2017-03-08
RU2015114595A (ru) 2016-11-10
DK2898691T3 (en) 2016-08-22

Similar Documents

Publication Publication Date Title
TWI507018B (zh) 用於視訊寫碼之參數集合的指示及啓用
US10178397B2 (en) Generic use of HEVC SEI messages for multi-layer codecs
JP6125643B2 (ja) 付加拡張情報メッセージコーディング
KR102388861B1 (ko) 다중 계층 비디오 코딩