TWI540884B - 在視訊寫碼中具有時間可擴充性支援之漸進式改良 - Google Patents

在視訊寫碼中具有時間可擴充性支援之漸進式改良 Download PDF

Info

Publication number
TWI540884B
TWI540884B TW102148238A TW102148238A TWI540884B TW I540884 B TWI540884 B TW I540884B TW 102148238 A TW102148238 A TW 102148238A TW 102148238 A TW102148238 A TW 102148238A TW I540884 B TWI540884 B TW I540884B
Authority
TW
Taiwan
Prior art keywords
progressive
image
video
segment
improvement
Prior art date
Application number
TW102148238A
Other languages
English (en)
Other versions
TW201440498A (zh
Inventor
王益魁
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201440498A publication Critical patent/TW201440498A/zh
Application granted granted Critical
Publication of TWI540884B publication Critical patent/TWI540884B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Description

在視訊寫碼中具有時間可擴充性支援之漸進式改良
本申請案主張2012年12月30日申請的美國臨時申請案第61/747,347號的權利,該申請案之全部內容以引用之方式併入本文中。
本發明係關於視訊寫碼,且更特定而言,係關於用於漸進式改良視訊資料之技術。
數位視訊能力可併入至廣泛範圍之器件中,該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主機、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電傳會議器件、視訊串流器件,及其類似者。數位視訊器件實施視訊壓縮技術,諸如描述於由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)定義之標準、目前正開發之高效率視訊寫碼(HEVC)標準,及此等標準之擴展中之彼等技術。視訊器件可藉由實施此等視訊壓縮技術而較有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測,以 減少或移除視訊序列中所固有之冗餘。對於基於區塊之視訊寫碼,可將視訊圖塊(亦即,視訊圖框或視訊圖框之一部分)分割為視訊區塊,其亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。使用相對於相同圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)圖塊中的視訊區塊。圖像之經框間寫碼(P或B)圖塊中之視訊區塊可使用相對於相同圖像中之相鄰區塊中之參考樣本的空間預測,或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框,且參考圖像可被稱作參考圖框。
空間預測或時間預測導致待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量,及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼經框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼經框內寫碼區塊。為了進行進一步壓縮,可將殘餘資料自像素域變換至變換域,從而產生可接著進行量化之殘餘變換係數。可掃描最初配置成二維陣列的經量化變換係數,以便產生變換係數之一維向量,且可應用熵寫碼以達成更多壓縮。
大體而言,本發明描述具有時間可擴充性的用於漸進式改良視訊位元串流中之視訊資料的技術。
在一實例中,一種解碼視訊資料之方法包括:接收指示一經編碼位元串流中之一漸進式改良區段中的複數個圖像之一最後圖像的一圖像次序計數(POC)值的資訊,及基於該所接收之資訊而根據一漸進式改良操作解碼該漸進式改良區段中之該等圖像中的至少一些。
在另一實例中,一種編碼視訊資料之方法包括:根據一漸進式改良操作編碼一漸進式改良區段中之複數個圖像中的至少一些圖像,及產生指示一經編碼位元串流中之該漸進式改良區段的一最後圖像之 一圖像次序計數(POC)值的資訊。
在另一實例中,一種用於寫碼視訊資料之器件包括一視訊寫碼器,其經組態以進行如下操作:判定指示一經編碼位元串流中之一漸進式改良區段中的複數個圖像之一最後圖像的一圖像次序計數(POC)值的資訊,及根據一漸進式改良操作寫碼該漸進式改良區段中之該等圖像中的至少一些。
在另一實例中,一種電腦可讀儲存媒體具有儲存於其上的指令,該等指令在執行時使得一計算器件之一可程式化處理器進行如下操作:判定指示一經編碼位元串流中之一漸進式改良區段中的複數個圖像之一最後圖像的一圖像次序計數(POC)值的資訊,及根據一漸進式改良操作寫碼該漸進式改良區段中之該等圖像中的至少一些。
在另一實例中,一種用於寫碼視訊資料之器件包括:用於判定指示一經編碼位元串流中之一漸進式改良區段中的複數個圖像之一最後圖像的一圖像次序計數(POC)值的資訊之構件,及用於根據一漸進式改良操作寫碼該漸進式改良區段中之該等圖像中的至少一些的構件。
在隨附圖式及以下描述中闡述一或多個實例之細節。自該描述及該等圖式及自申請專利範圍,將顯而易見其他特徵、目標及優勢。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
31‧‧‧儲存器件
32‧‧‧顯示器件
40‧‧‧預測處理單元/模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換單元
62‧‧‧求和器
64‧‧‧參考圖框記憶體
68‧‧‧網路元件
70‧‧‧熵解碼單元
71‧‧‧預測單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
76‧‧‧反量化單元
78‧‧‧反變換單元
80‧‧‧求和器
82‧‧‧參考圖像記憶體
90‧‧‧圖像序列
92‧‧‧基底圖像
94‧‧‧漸進式改良區段
94A‧‧‧漸進式改良圖像
94B‧‧‧漸進式改良圖像
94N‧‧‧漸進式改良圖像
100‧‧‧解碼經編碼視訊資料的實例程序
120‧‧‧編碼視訊資料的實例程序
圖1為說明可實施本發明中所描述之一或多個技術的實例視訊編碼及解碼系統之方塊圖。
圖2為說明可實施本發明中所描述之一或多個技術的實例視訊編碼器的方塊圖。
圖3為說明可實施本發明中所描述之一或多個技術的實例視訊解碼器的方塊圖。
圖4為說明實例漸進式改良區段及對應基底圖像的概念圖。
圖5為說明根據本發明之一或多個態樣的實例程序之流程圖,視訊解碼器及/或視訊解碼器之組件可執行該實例程序以解碼具有漸進式改良之經編碼視訊資料。
圖6為說明根據本發明之一或多個態樣的實例程序之流程圖,視訊編碼器及/或視訊編碼器之組件可執行該實例程序以編碼具有漸進式改良之視訊資料。
大體而言,本發明之技術係關於使用漸進式改良來寫碼視訊資料,同時支援經寫碼視訊資料之時間可擴充性。根據本發明之各種實例,視訊寫碼器件可使用由AVC標準及HEVC標準兩者支援的補充增強資訊(SEI)機制提供的訊息來實現漸進式改良,同時支援時間可擴充性。以此方式,本發明之技術可提供使得視訊寫碼器件能夠利用現存之硬體、軟體及通信基礎架構,同時增強基於漸進式改良之寫碼以支援時間可擴充性的潛在優勢。
HEVC標準之最近草案(被稱作「HEVC工作草案10」或「WD10」)描述於文件JCTVC-L1003v34中Bross等人之「High Efficiency Video Coding(HEVC)Text Specification Draft 10(for FDIS & Last Call)」(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作小組(JCT-VC),第12次會議,Geneva,CH,2013年1月14日至23日)中,自2013年6月6日起可自http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip下載該文件。WD10之全部內容特此以引用的方式併入本文中。AVC(ITU-T)H.264標準描述於ITU-T研究小組於2005年3月發佈之ITU-T推薦H.264(用於一般視聽服務之進階視訊寫碼)中,其在本文中可被稱作H.264標準或H.264規範或H.264/AVC標準或規範。聯合視訊小組(JVT)繼續致力於對H.264/MPEG-4 AVC之擴展。
可自http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCT-VC-K1003-v8.zip獲得HEVC之另一最近工作草案(WD),且下文中其被稱作HEVC WD9。HEVC WD9(BROSS等人之「High efficiency video coding(HEVC)text specification draft 9」(文件JCTVC-K1003_v7,第11次會議:中國上海,2012年10月10日至19日,第290頁))之全部內容以引用的方式併入本文中。
AVC標準及HEVC標準兩者皆支援使用漸進式改良之視訊資料寫碼。漸進式改良可使得器件能夠寫碼圖像之集合,諸如以解碼次序配置的一序列圖像或一系列圖像。此一序列圖像在本文中被稱作「漸進式改良區段」。漸進式改良區段可包括各自表示特定圖像(例如,「基底圖像」)之經改良版本的兩個或兩個以上經編碼圖像。可在品質或諸如空間格式之其他特性方面改良圖像。大體而言,不可使用基於運動之預測而自基底圖像預測漸進式改良區段的經編碼圖像。視訊寫碼器件可使用特定的SEI訊息判定漸進式改良區段之界限,該等SEI訊息諸如「漸進式改良區段開始」SEI訊息及「漸進式改良區段結束」SEI訊息。
另外,AVC標準及HEVC標準兩者皆支援視訊位元串流之時間可擴充性。時間可擴充性可使得視訊寫碼器件能夠判定可自經編碼視訊資料之完整位元串流摘取經編碼視訊資料之子集。根據時間可擴充性而自完整位元串流所摘取的經編碼視訊資料(例如,經編碼圖像)之此子集可被稱作「時間子集」。又,如由AVC標準及HEVC標準支援之時間可擴充性可使得視訊寫碼器件能夠自完整位元串流判定多個時間子集,使得各種時間子集包括不同數目之經編碼圖像。較低或「較粗糙」之時間子集可包括來自完整位元串流的較小數目之經編碼圖像,且可表示較低的圖像速率或圖框速率。相反地,較高或「更精細」之時間子集可包括來自完整位元串流的較大數目之經編碼圖像,且可表 示較高的圖像速率或圖框速率。
經組態以將基於漸進式改良之寫碼的現存實施應用於時間可擴充的位元串流的視訊寫碼器件可遇到或呈現關於漸進式改良區段的一或多個潛在不準確性。舉例而言,根據漸進式改良之現存實施,包括於漸進式改良區段開始SEI訊息中的語法元素可指示形成漸進式改良區段的連續經編碼圖像之數目。
因此,在傳信時間子集的情況下,如由SEI訊息之語法元素指示的漸進式改良區段中之連續經編碼圖像的數目可係不準確的。更特定而言,因為時間子集表示相比於完整位元串流較小數目之經編碼圖像,所以可缺乏原始漸進式改良區段之一或多個經編碼圖像。然而,不能動態地更新指示漸進式改良區段中之圖像數目的語法元素來反映所摘取時間子集之對應漸進式改良區段中的經編碼圖像之數目減少。因此,形成位元串流之漸進式改良區段的連續經編碼圖像之數目與彼位元串流之時間子集之對應區段中的連續經編碼圖像之數目之間可存在失配。
為了緩解或潛在地消除關於時間可擴充位元串流的基於漸進式改良之寫碼的此不準確性,本發明之技術可使得視訊寫碼器件能夠使用指示漸進式改良區段之最後經編碼圖像的圖像次序計數(POC)值的資訊來判定漸進式改良區段的界限。舉例而言,漸進式改良區段之每一經編碼圖像可與靜態POC值相關聯。結果,不管區段是否包括於完整位元串流之時間子集中,資訊(例如,語法元素)皆可提供對區段之最後經編碼圖像的準確識別。在該等技術之一實施中,資訊可指示基底圖像與漸進式改良區段之最後經編碼圖像的各別POC值之間的差(或「delta_POC」)。根據該等技術之另一實施,資訊可指示基底圖像與漸進式改良區段之最後經編碼圖像的各別POC值之各別最低有效位元(LSB)之間的差。
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統10之方塊圖。如圖1中所展示,系統10包括源器件12,其產生稍後待由目的地器件14解碼之經編碼視訊資料。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者,包括桌上型電腦、筆記型(亦即,膝上型)電腦、平板電腦、機上盒、電話手機(諸如,所謂的「智慧型」電話)、所謂的「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主機、視訊串流器件或其類似者。在一些狀況下,源器件12及目的地器件14可經配備以進行無線通信。
目的地器件14可經由鏈路16接收待解碼之經編碼視訊資料。鏈路16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一實例中,鏈路16可包含用以使源器件12能夠將經編碼視訊資料直接即時地傳輸至目的地器件14的通信媒體。可根據通信標準(諸如,無線通信協定)調變經編碼視訊資料,並將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體,諸如,射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如,區域網路、廣域網路或諸如網際網路之全球網路)的部分。通信媒體可包括路由器、交換器、基地台,或可用以促進自源器件12至目的地器件14之通信的任何其他設備。
替代性地,可將經編碼資料自輸出介面22輸出至儲存器件31。類似地,可由輸入介面自儲存器件31存取經編碼資料。儲存器件31可包括多種分散式或本端存取式資料儲存媒體中之任一者,諸如,硬碟機、Blu-ray光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體,或用於儲存經編碼視訊資料的任何其他合適之數位儲存媒體。在另外實例中,儲存器件31可對應於可保持由源器件12產生的經編碼視訊之檔案伺服器或另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件31存取所儲存之視訊資料。檔案伺服器可為能夠 儲存經編碼視訊資料,及將彼經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如,用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機等),或兩者之組合。經編碼視訊資料自儲存器件31之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術未必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼,該等應用諸如,空中電視廣播、有線電視傳輸、衛星電視傳輸、(例如)經由網際網路之串流視訊傳輸、供儲存於資料儲存媒體上之數位視訊的編碼、儲存於資料儲存媒體上之數位視訊的解碼,或其他應用。在一些實例中,系統10可經組態以支援單向或雙向視訊傳輸,以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中,源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些狀況下,輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。在源器件12中,視訊源18可包括諸如(例如)視訊攝影機之視訊捕獲器件、含有先前所捕獲之視訊的視訊存檔、用以自視訊內容提供者接收視訊的視訊饋入介面,及/或用於產生作為源視訊的電腦圖形資料的電腦圖形系統之源,或此等源之組合。作為一實例,若視訊源18為視訊攝影機,則源器件12與目的地器件14可形成所謂的攝影機電話或視訊電話。然而,一般而言,本發明中所描述之技術可適用於視訊寫碼,且可應用於無線及/或有線應用。
可由視訊編碼器20編碼經捕獲、經預先捕獲或電腦產生之視訊。可經由源器件12之輸出介面22將經編碼視訊資料直接傳輸至目的 地器件14。亦可(或替代地)將經編碼視訊資料儲存於儲存器件31上,以由目的地器件14或其他器件隨後存取,以用於解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些狀況下,輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16接收經編碼視訊資料。經由鏈路16傳達或在儲存器件31上提供之經編碼視訊資料可包括由視訊編碼器20產生的多種語法元素,以供諸如視訊解碼器30之視訊解碼器在解碼視訊資料時使用。此等語法元素可與在通信媒體上傳輸、儲存於儲存媒體上或儲存於檔案伺服器上之經編碼視訊資料包括在一起。
顯示器件32可與目的地器件14整合在一起,或在目的地器件外部。在一些實例中,目的地器件14可包括整合式顯示器件,且亦經組態以與外部顯示器件介接。在其他實例中,目的地器件14可為顯示器件。大體而言,顯示器件32向使用者顯示經解碼視訊資料,且可包含多種顯示器件中之任一者,諸如,液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如,目前在開發中的高效率視訊寫碼(HEVC)標準)而操作,且可符合HEVC測試模型(HM)。替代性地,視訊編碼器20及視訊解碼器30可根據諸如ITU-T H.264標準(替代性地被稱作MPEG-4第10部分,進階視訊編碼(AVC))之其他專屬或工業標準,或此等標準之擴展而操作。然而,本發明之技術並不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。
儘管圖1中未展示,但在一些態樣中,視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合,且可包括適當MUX-DEMUX單元或其他硬體及軟體,以處置共同資料串流或獨立資料串流中之音訊及視訊兩者的編碼。若適用,則在一些實例中,MUX-DEMUX單元 可符合ITU H.223多工器協定,或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30可各自實施為各種合適編碼器電路中之任一者,諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當在軟體中部分地實施該等技術時,器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中,且在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,兩者皆可整合為各別器件中之組合式編碼器/解碼器(編碼解碼器(CODEC))的部分。
JCT-VC致力於HEVC標準之開發。HEVC標準化努力係基於視訊寫碼器件之演進模型,該模型被稱作HEVC測試模型(HM)。HM假設視訊寫碼器件相對於根據(例如)ITU-T H.264/AVC之現有器件的若干額外能力。舉例而言,H.264提供九個框內預測編碼模式,而HM可提供多達三十三個框內預測編碼模式。
大體而言,HM之工作模型描述視訊圖框或圖像可劃分成包括明度樣本及色度樣本兩者之樹型區塊或最大寫碼單元(LCU)之序列。樹型區塊具有與H.264標準之巨集區塊之用途類似的用途。圖塊包括按寫碼次序之數個連續樹型區塊。可將視訊圖框或圖像分割成一或多個圖塊。每一樹型區塊可根據四分樹而分裂成寫碼單元(CU)。舉例而言,樹型區塊(作為四分樹之根節點)可分裂成四個子節點,且每一子節點又可為父節點,並分裂成另外四個子節點。最後的未分裂之子節點(作為四分樹之葉節點)包含寫碼節點,亦即,經寫碼視訊區塊。與經寫碼位元串流相關聯之語法資料可定義樹型區塊可分裂之最大次數,且亦可定義寫碼節點之最小大小。
CU可包括一明度寫碼區塊及兩個色度寫碼區塊。CU可具有相關聯之預測單元(PU)及變換單元(TU)。PU中之每一者可包括一個明度預測區塊及兩個色度預測區塊,且TU中之每一者可包括一個明度變換區塊及兩個色度變換區塊。寫碼區塊中之每一者可分割成一或多個預測區塊,其包含應用相同預測之樣本的區塊。寫碼區塊中之每一者亦可分割成一或多個變換區塊,其包含應用相同變換之樣本的區塊。
CU之大小大體上對應於寫碼節點之大小,且通常為正方形形狀。CU之大小的範圍可自8×8像素直至具有最大64×64像素或大於64×64像素之樹型區塊的大小。每一CU可定義一或多個PU及一或多個TU。包括於CU中之語法資料可描述(例如)寫碼區塊至一或多個預測區塊的分割。分割模式可在CU係經跳過或直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼之間不同。預測區塊可經分割成正方形或非正方形形狀。包括於CU中之語法資料亦可描述(例如)寫碼區塊根據四分樹至一或多個變換區塊的分割。變換區塊可經分割成正方形或非正方形形狀。
HEVC標準允許根據TU之變換,該變換對於不同CU可不同。通常基於針對經分割LCU定義的給定CU內之PU的大小而設定TU之大小,但可能並非總是如此狀況。TU通常具有與PU相同的大小,或小於PU。在一些實例中,可使用稱為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為較小之單元。RQT之葉節點可表示TU。可變換與TU相關聯之像素差值,以產生可被量化之變換係數。
大體而言,PU包括與預測程序相關之資料。舉例而言,當以框內模式編碼PU時,PU可包括描述該PU的框內預測模式之資料。作為另一實例,當以框間模式編碼PU時,PU可包括定義該PU的運動向量之資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分 量、運動向量之垂直分量、運動向量之解析度(例如,四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖像,及/或運動向量之參考圖像清單(例如,清單0、清單1或清單C)。
大體而言,TU係用於變換程序及量化程序。具有一或多個PU之給定CU亦可包括一或多個TU。在預測之後,視訊編碼器20可根據PU,自由寫碼節點識別之視訊區塊計算殘餘值。接著,更新寫碼節點以參考殘餘值而非原始視訊區塊。殘餘值包含像素差值,可使用TU中所指定之變換及其他變換資訊將該等像素差值變換成變換係數,將其量化及掃描,以產生串列化變換係數以用於熵寫碼。可再次更新寫碼節點,以參考此等串列化變換係數。本發明通常使用術語「視訊區塊」來指CU之寫碼節點。在一些具體狀況下,本發明亦可使用術語「視訊區塊」來指樹型區塊(亦即,LCU),或包括一寫碼節點及若干PU及TU的CU。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)通常包含一系列一或多個視訊圖像。GOP可在GOP之標頭中、圖像中之一或多者之標頭中或在別處包括描述包括於GOP中之圖像數目的語法資料。圖像之每一圖塊可包括描述該各別圖塊之編碼模式的圖塊語法資料。視訊編碼器20通常對個別視訊圖塊內之視訊區塊進行操作,以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小,且可根據指定寫碼標準而在大小方面不同。
作為一實例,HM支援以各種PU大小進行預測。假定特定CU之大小為2N×2N,則HM支援以2N×2N或N×N之PU大小進行框內預測,及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行框間預測。HM亦支援不對稱分割從而以2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行框間預測。在不對稱分割中,未對CU之一個方向進行分割,而將另一方向分割成25%及75%。CU之對應於25%分割區之部分由 「n」繼之以「上」、「下」、「左」或「右」之指示來指示。因此,例如,「2N×nU」係指在水平方向上分割成頂部2N×0.5N PU及底部2N×1.5N PU之2N×2N CU。
在本發明中,「N×N」與「N乘N」可互換地使用以指視訊區塊在垂直維度與水平維度上之像素尺寸,例如,16×16像素或16乘16像素。大體而言,16×16區塊在垂直方向上將具有16個像素(y=16)且在水平方向上將具有16個像素(x=16)。同樣地,N×N區塊通常在垂直方向上具有N個像素,且在水平方向上具有N個像素,其中N表示非負整數值。可按列及行來配置區塊中之像素。另外,區塊未必需要在水平方向上具有與垂直方向上相同數目個像素。舉例而言,區塊可包含N×M個像素,其中M未必等於N。
在使用CU之PU進行框內預測性寫碼或框間預測性寫碼之後,視訊編碼器20可計算殘餘資料,由CU之TU指定之變換被應用於該殘餘資料。殘餘資料可對應於未經編碼圖像之像素與對應於CU之預測值之間的像素差。視訊編碼器20可形成CU之殘餘資料,且接著變換該殘餘資料以產生變換係數。
在進行任何變換以產生變換係數之後,視訊編碼器20可執行變換係數之量化。量化大體上指如下程序:將變換係數量化以可能地減少用以表示該等係數之資料的量,從而提供進一步壓縮。量化程序可減少與係數中之一些或所有相關聯的位元深度。舉例而言,可在量化期間將n位元值降值捨位至m位元值,其中n大於m
在一些實例中,視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數,以產生可經熵編碼的串列化向量。在其他實例中,視訊編碼器20可執行自適應性掃描。在掃描經量化之變換係數以形成一維向量之後,視訊編碼器20可(例如)根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法 之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法來熵編碼一維向量。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯之語法元素,以由視訊解碼器30在解碼視訊資料時使用。
為了執行CABAC,視訊編碼器20可將上下文模型內之上下文指派給待傳輸之符號。該上下文可係關於(例如)符號之相鄰值是否為非零。為了執行CAVLC,視訊編碼器20可針對待傳輸之符號選擇可變長度碼。可建構VLC中之碼字使得相對較短碼對應於更有可能的符號,而較長碼對應於較不可能的符號。以此方式,使用VLC可達成位元節省(與(例如)針對待傳輸之每一符號使用相等長度碼字相比較)。機率判定可基於指派給符號之上下文而進行。
視訊編碼器20及視訊解碼器30中之一者或兩者可實施本發明之技術,以使用漸進式改良來寫碼視訊資料,同時支援時間可擴充位元串流。視訊編碼器20可經組態或可以其他方式操作以編碼一系列或一序列圖像,以形成漸進式改良區段。隨後,視訊編碼器20可將漸進式改良區段作為經編碼視訊位元串流之部分傳信至視訊解碼器30。
視訊編碼器20及視訊解碼器30中之一者或兩者可將漸進式改良區段識別為在解碼次序上緊接著基底圖像的一序列圖像。為了識別漸進式改良區段,視訊編碼器20及/或視訊解碼器30可判定漸進式改良區段開始SEI訊息緊接著基底圖像。另外,未使用運動資訊而自基底圖像直接或間接地預測漸進式改良區段的圖像。在一些實例中,漸進式改良區段之每一圖像表示相對於漸進式改良序列中之前一圖像的經定義之遞增品質改良。
舉例而言,漸進式改良區段之第一圖像可表示相比於基底圖像的具有經定義之增量的品質改良。又,漸進式改良區段之第二圖像可表示相對於漸進式改良區段之第一圖像的具有經定義之增量的品質改 良。在各種實例中,經定義之增量可貫穿漸進式改良區段而保持相同,或其可在漸進式改良區段內之不同圖像轉變處發生變化。以此方式,作為整體考慮之漸進式改良區段可表示相對於基底圖像的一系列一致之品質改良。
視訊編碼器20可編碼圖像,且又可藉由將遞增之品質改良應用於後面緊接著漸進式改良區段之每一圖像的經編碼圖像而編碼漸進式改良區段。另外,視訊編碼器20可使用一或多個補充增強資訊(SEI)訊息而傳信漸進式改良區段之界限。舉例而言,視訊編碼器20可(例如)緊接著漸進式改良區段中之第一圖像之前,使用「漸進式改良區段開始」SEI訊息傳信漸進式改良區段之開始界限。類似地,視訊編碼器20可(例如)緊接著漸進式改良區段中之最後圖像之後,使用「漸進式改良區段結束」SEI訊息傳信漸進式改良區段的結束界限。以下之表1中說明如HEVC工作草案(例如,「WD9」)中所支援的SEI訊息之概述。
以下之語法表1中說明如HEVC WD9中所支援的漸進式改良區段開始SEI訊息的語法及語義。
如所描述,視訊編碼器20可編碼漸進式改良區段開始SEI訊息,以指定漸進式改良區段之開端。相對應地,視訊解碼器30可在解碼所接收之經編碼視訊位元串流時,解碼漸進式改良區段開始SEI訊息,並判定經編碼漸進式改良區段之開端,以(例如)識別經編碼漸進式改良區段中之第一圖像。基於視訊編碼器20根據解碼次序傳信漸進式改良區段中之連續圖像的集合,視訊解碼器30可按所傳信次序解碼漸進式改良區段。另外,在一些實例中,視訊編碼器20可產生並按輸出次序傳信作為連續經編碼圖像之集合的漸進式改良區段。在此等實例中,視訊解碼器30亦可按輸出次序解碼漸進式改良區段。
包括於漸進式改良區段開始SEI訊息中的 「progressive_refinement_id」語法元素可識別定義漸進式改良區段之連續圖像之間的遞增品質改良的漸進式改良操作。舉例而言,視訊編碼器20可將progressive_refinement_id語法元素之值設定為處於以0開始且以(2^32-2)結束之數值範圍內(包括該兩值)。更特定而言,視訊編碼器20可設定progressive_refinement_id語法元素之值,以指示定義漸進式改良區段之連續圖像之間的遞增品質改良的特定漸進式改良操作。
反過來,視訊解碼器30可解碼漸進式改良區段開始SEI訊息,以獲得所傳信的progressive_refinement_id語法元素之值。另外,視訊解碼器30可使用progressive_refinement_id語法元素之值,以判定要應用於所傳信之經編碼基底圖像的漸進式改良操作,以解碼漸進式改良區段之第一經編碼圖像。
類似地,視訊解碼器30可將由progressive_refinement_id語法元素所指示的漸進式改良操作應用於漸進式改良區段之除了漸進式改良區段之最後圖像的每一圖像。換言之,視訊解碼器30可反覆地應用由progressive_refinement_id語法元素之值所識別的操作,該操作以漸進式改良區段之第一圖像為開端,並在漸進式改良區段之倒數第二圖像處結束。更特定而言,藉由將由progressive_refinement_id語法元素之值所識別的改良操作應用於經編碼基底圖像,及漸進式改良區段之第一經編碼圖像至倒數第二經編碼圖像中的每一者,視訊解碼器30可解碼整個漸進式改良區段。
另外,在編碼漸進式改良區段開始SEI訊息時,視訊編碼器20可設定num_refinement_steps_minus1語法元素之值,以指示包括於構成漸進式改良區段之經編碼圖像的經標記集合中的經編碼圖像之數目。更特定而言,在視訊編碼器20將num_refinement_steps_minus1語法元素之值設定為非零值的情況下,包括於漸進式改良區段中的經編碼圖 像之數目可等於num_refinement_steps_minus1語法元素之值加上1。
反過來,視訊解碼器30可使用num_refinement_steps_minus1語法元素之值,以判定解碼整個漸進式改良區段所必要的漸進式改良操作之反覆應用的數目。更特定而言,視訊解碼器30可將由progressive_refinement_id語法元素之值所指示的漸進式改良操作應用於基底圖像,以解碼漸進式改良區段之第一經編碼圖像。另外,視訊解碼器30可反覆地將相同的漸進式改良操作應用於在解碼次序上緊接著基底圖像的一系列經編碼圖像。
更特定而言,視訊解碼器30可將所識別之漸進式改良操作反覆地應用於等於num_refinement_steps_minus1語法元素之值的數目之連續經編碼圖像。因為num_refinement_steps_minus1語法元素表示比包括於漸進式改良區段中之經編碼圖像的總數目小1之值,所以視訊解碼器30可將漸進式改良操作反覆地應用於漸進式改良區段之除了漸進式改良區段之最後經編碼圖像的每一經編碼圖像。換言之,視訊解碼器30可應用由progressive_refinement_id語法元素及num_refinement_steps_minus1語法元素所指示的值,以將相同的漸進式改良操作應用於經編碼基底圖像,及以漸進式改良區段之第一項為開端並在漸進式改良區段之倒數第二項處結束的一系列經編碼圖像。
另外,視訊編碼器20可編碼並傳信「漸進式改良區段結束」SEI訊息,以指定或以其他方式指示漸進式改良區段之結束。在一些實例中,視訊編碼器20可結合漸進式改良區段之最後經編碼圖像,或在該圖像之後傳信漸進式改良區段結束SEI訊息。以下之語法表2中說明如HEVC WD9中所支援的漸進式改良區段結束SEI訊息之語法及語義。
如上文之語法表2中所展示,視訊編碼器20可將漸進式改良區段結束SEI訊息產生為包括progressive_refinement_id語法元素。更特定而言,視訊編碼器20可將progressive_refinement_id語法元素之值設定為與當前漸進式改良區段之對應漸進式改良區段開始SEI訊息中所指定的progressive_refinement_id語法元素之值相同的值。如所描述,視訊編碼器20可將progressive_refinement_id語法元素之值設定為處於以0開始且在(2^32-2)處結束的數值範圍內(包括該兩值)。
反過來,視訊解碼器30可解碼在經編碼視訊位元串流中所接收的經編碼漸進式改良區段結束SEI訊息,以判定漸進式改良區段之結束界限。詳言之,視訊解碼器30可基於偵測漸進式改良區段結束SEI訊息而判定停止應用漸進式改良操作來解碼經編碼視訊位元串流中所傳信的後續經編碼圖像。作為一實例,視訊解碼器30可判定接在漸進式改良區段之後的第一經編碼圖像係使用來自經編碼視訊位元串流中所傳信的前一經編碼圖像之運動資訊來預測的。
另外,根據HEVC WD9,視訊編碼器20及視訊解碼器30中之一者或兩者可支援經編碼視訊位元串流之時間可擴充性。舉例而言,視訊編碼器20及視訊解碼器30可支援由不同經編碼視訊位元串流所提供的變化之圖像速率(或「圖框速率」)。舉例而言,為了支援比完整經編碼視訊位元串流低之時間圖像速率,視訊編碼器20可傳信完整經編碼視訊位元串流之子集。在具體實例中,視訊編碼器20可傳信包括於完整經編碼視訊位元串流中之經編碼圖像的子集。換言之,相比於完整經編碼視訊位元串流,所傳信的經編碼圖像之子集可至少少1個經編碼圖像。由視訊編碼器20所傳信以支援較低圖像速率的經編碼圖像之子集在本文中被稱作「時間子集」或「子位元串流」。
根據經由經編碼視訊位元串流之時間可擴充性而提供的不同圖像速率,視訊編碼器20可傳信不同的時間子集。在一實例中,視訊編 碼器20可藉由傳信完整經編碼視訊位元串流之第一時間子集而支援較低之圖像速率。根據此實例,視訊編碼器20可藉由傳信第二時間子集而支援中間圖像速率,相比第一時間子集,該第二時間子集至少多1個經編碼圖像,但相比完整經編碼視訊位元串流至少少1個經編碼圖像。在此實例中,視訊編碼器20可藉由傳信完整經編碼視訊位元串流之全部(例如,經編碼圖像之完整集合)而傳信最高可能之圖像速率。
然而,在視訊編碼器20根據HEVC WD9將漸進式改良區段傳信為時間子集之部分的情況下,視訊編碼器20可未經組態以動態地更新包括於漸進式改良區段開始SEI訊息中的num_refinement_steps_minus1之值。結果,視訊編碼器20可潛在地傳信包括於經時間擴充之漸進式改良區段中的經編碼圖像之不準確計數。更特定而言,在自完整經編碼視訊位元串流產生時間子集或子位元串流時,視訊編碼器20可自完整位元串流移除一或多個經編碼圖像,使得時間子集中之對應於漸進式改良區段的圖像之數目小於針對圖像之完整集合所提供的圖像之數目。
在一些情境下,視訊編碼器20可移除包括於漸進式改良區段中的一或多個經編碼圖像。在視訊編碼器20自漸進式改良區段移除一或多個經編碼圖像以在時間上擴充完整位元串流的情境下,num_refinement_steps_minus1語法元素可表示不正確的值。更特定而言,num_refinement_steps_minus1語法元素的值可指示原始漸進式改良區段中的經編碼圖像之數目(如完整位元串流中所表示)減去一。然而,在此情境下,相比完整位元串流之原始漸進式改良區段,經時間擴充之漸進式改良區段可包括較少數目之經編碼圖像。因此,視訊編碼器可關於經時間擴充之漸進式改良區段產生並傳信具有不正確之值的num_refinement_steps_minus1語法元素。
反過來,視訊解碼器30可解碼經編碼漸進式改良開始SEI訊息, 並藉此獲得由num_refinement_steps_minus1語法元素所指示的關於經時間擴充之漸進式改良區段的不正確之值。結果,視訊解碼器30可將由progressive_refinement_id識別之漸進式改良操作應用於數目超過經時間擴充之漸進式改良區段中的經編碼圖像之數目的連續經編碼圖像。在一些此等實例中,視訊解碼器30可僅使用漸進式改良操作來解碼經編碼圖像,其中實際上,經編碼圖像並不表示對基底圖像之品質改良,或除諸如基於運動之預測的其他修改以外亦表示品質改良。
為了緩和或消除上文所描述的關於經時間擴充之漸進式改良區段的潛在不準確性,視訊編碼器20及/或視訊解碼器30可實施本發明之一或多個技術。在本文中所描述之技術的一些實施中,不管經編碼視訊位元串流為時間子集抑或為完整位元串流,視訊編碼器20及視訊解碼器30皆可使用漸進式改良區段之最後項的圖像次序計數(POC)值來識別經編碼視訊位元串流中之漸進式改良區段的界限。因為經編碼圖像之POC值可為靜態值,所以可不要求視訊解碼器30基於所傳信的經編碼圖像之數目導出漸進式改良區段之結束界限的POC值。
實情為,根據本文中所描述之技術的一些實施,視訊解碼器30可在解碼區段之最後經編碼圖像時,基於區段之最後經編碼圖像的POC值偵測漸進式改良序列之結束界限。在各種實例中,藉由產生並傳信指示經編碼視訊位元串流中之區段的最後圖像之POC值的資訊,由視訊編碼器20所編碼之資訊可使得視訊解碼器30能夠偵測區段之最後經編碼圖像。
在各種實例中,視訊編碼器20可實施本發明之一或多個技術,以修改漸進式改良區段開始SEI訊息來包括指示漸進式改良區段之最後經編碼圖像的POC值之資訊。在一些實例中,視訊編碼器20可經組態以在漸進式改良區段開始SEI訊息中包括直接或間接地指示漸進式改良區段中之最後經編碼圖像的POC值之一或多個語法元素。
根據一此實施,視訊編碼器20可產生指示「差量POC」值之語法,以指示基底圖像之POC值與漸進式改良區段之最後圖像的POC值之間的差。根據另一此實施,視訊編碼器20可產生指示「差量LSB」值之語法元素,該值指示基底圖像與漸進式改良區段之最後圖像的各別最低有效位元(LSB)之間的差。
以下之語法表3中描述根據本發明之一或多個態樣的漸進式改良區段開始SEI訊息之一實例的語法及語義,視訊編碼器20可在該訊息中包括差量POC語法元素。
在語法表3之實例中,由「pic_order_cnt_delta」表示差量POC語法元素。在視訊編碼器20傳信差量POC語法元素之實施中,視訊解碼器30可使用所傳信之差量POC語法元素的值以判定漸進式改良區段之最後經編碼圖像。更特定而言,視訊解碼器30可基於偵測漸進式改良區段開始SEI訊息來偵測漸進式改良區段之開端。另外,視訊解碼器30可將差量POC語法元素之值應用於基底圖像之POC值,以獲得漸進式改良區段之最後圖像的POC值。接下來,視訊解碼器30可將由progressive_refinement_id語法元素之值指示的漸進式改良操作反覆地應用於接在基底圖像之後的一系列經編碼圖像中的每一者,直至視訊解碼器30偵測到區段之最後圖像為止。詳言之,視訊解碼器30可基於如基於差量POC語法元素之值所導出的最後圖像之POC值,偵測漸進式改良區段之最後圖像。
類似地,在視訊編碼器20傳信差量LSB語法元素之實施中,視訊解碼器30可將差量LSB語法元素之值應用於基底圖像之POC值的 LSB。藉由將差量LSB語法元素之值應用於基底圖像之POC值的LSB,視訊解碼器30可獲得漸進式改良區段中之最後經編碼圖像的POC值之LSB。接下來,視訊解碼器30可使用所獲得的漸進式改良區段中之最後經編碼圖像的POC值之LSB,偵測漸進式改良區段之結束界限。
更特定而言,視訊解碼器30可藉由反覆地應用所識別之漸進式改良操作而解碼構成漸進式改良區段之一系列經編碼圖像,直至視訊解碼器30偵測到區段之最後經編碼圖像為止。在使用POC值之LSB偵測到漸進式改良區段之最後經編碼圖像時,視訊解碼器30可停止根據漸進式改良區段開始SEI訊息中所指定的參數(亦即,由progressive_refinement_id語法元素之值所識別的操作)的解碼。
藉由實施上文所描述之技術中的一或多者,視訊編碼器20及視訊解碼器30中之一者或兩者可使用漸進式改良實施視訊寫碼,同時支援經編碼視訊位元串流之時間可擴充性。根據各種實例,不管漸進式改良區段是否經時間擴充而包括比原始所判定的數目少之圖像,視訊編碼器20及/或視訊解碼器30皆可使用諸如POC值之靜態資訊來判定漸進式改良區段之界限。
以此方式,源器件12及目的地器件14中之一者或兩者可為用於寫碼視訊資料之器件的實例,其包含視訊寫碼器,亦即分別為視訊編碼器20及視訊解碼器30。另外,根據上文所描述之技術,視訊編碼器20及視訊解碼器30中之一者或兩者可為經組態以判定指示經編碼位元串流中之漸進式改良區段中的複數個圖像之最後圖像的圖像次序計數(POC)值之資訊並根據漸進式改良操作而寫碼漸進式改良區段中之圖像中的至少一些的視訊寫碼器之實例。
另外,在一些實例中,所判定的資訊包括指示後面緊接著漸進式改良區段之圖像的POC值與漸進式改良區段之最後圖像的POC值之 間的差的差量POC值。在一些實例中,所判定的資訊包括指示後面緊接著漸進式改良區段之圖像的POC值之LSB與漸進式改良區段之最後圖像的POC值之LSB之間的差的最低有效位元(LSB)之差量。在一些實例中,所判定的資訊包括漸進式改良區段之最後圖像的POC值。
根據本文中所描述之技術的一些實施,為了判定該資訊,視訊編碼器20及/或視訊解碼器30可經組態以至少部分基於包括於經編碼位元串流中之補充增強資訊(SEI)訊息而判定該資訊。在一此實例中,SEI訊息包含指示漸進式改良區段之開始界限的漸進式改良區段開始SEI訊息。
在根據本文中所描述之技術的一些實例中,視訊編碼器20及/或視訊解碼器30可進一步經組態以判定在經編碼視訊位元串流中經編碼圖像後面緊接著漸進式改良區段。在一此實例中,漸進式改良序列中之複數個圖像中的每一者定義相比於後面緊接著漸進式改良序列之經編碼圖像的品質改良。
根據本發明之技術的一些實施,為了根據漸進式改良操作寫碼漸進式改良區段中之圖像中的至少一些,視訊編碼器20及/或視訊解碼器30可經組態以將漸進式改良操作應用於漸進式改良區段中的除了漸進式改良區段中之最後圖像的每一圖像。在一些實施中,視訊編碼器20及/或視訊解碼器30可包括積體電路、微處理器,及包含視訊編碼器20及視訊解碼器30中之各別一者或兩者的通信器件中之至少一者。在一些實例中,視訊編碼器20可經組態以解碼經編碼視訊資料。
圖2為說明可實施根據本發明之一或多個態樣的用於編碼視訊資料之技術的視訊編碼器20之實例的方塊圖。視訊編碼器20可執行視訊圖塊內之視訊區塊的框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內的視訊之時 間冗餘。框內模式(I模式)可指若干基於空間之寫碼模式中的任一者。諸如單向預測(P模式)或雙向預測(B模式)之框間模式可指若干基於時間之寫碼模式中的任一者。
如圖2中所展示,視訊編碼器20接收待編碼之視訊圖框內的當前視訊區塊。在圖2之實例中,視訊編碼器20包括預測處理單元40、參考圖框記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元40又包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。為了視訊區塊重建構,視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。亦可包括解區塊濾波器(圖2中未展示)以對區塊邊界濾波從而自經重建構之視訊移除方塊效應假影。若需要,則解區塊濾波器將通常對求和器62之輸出濾波。除解區塊濾波器以外,亦可使用額外之濾波器(迴路內或迴路後)。為簡潔起見未展示此等濾波器,但若需要,此等濾波器可對求和器62之輸出濾波(作為迴路內濾波器)。
在編碼程序期間,視訊編碼器20接收待寫碼之視訊圖框或圖塊。可由預測處理單元40將圖框或圖塊劃分成多個視訊區塊。運動估計單元42及運動補償單元44執行相對於一或多個參考圖框中之一或多個區塊的對所接收之視訊區塊之框間預測性寫碼,以提供時間預測。框內預測單元46可替代性地執行相對於在與待寫碼之區塊相同之圖框或圖塊中的一或多個相鄰區塊的對所接收之視訊區塊之框內預測性寫碼,以提供空間預測。視訊編碼器20可執行多個寫碼遍次(例如)以選擇用於視訊資料之每一區塊之適當寫碼模式。
此外,分割單元48可基於對先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割成子區塊。舉例而言,分割單元48可初始地將圖框或圖塊分割成LCU,及基於位元率-失真分析(例如,位元率-失真最佳化)而將該等LCU中之每一者分割成子CU。預測處理單元 40可進一步產生指示將LCU分割成子CU的四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
預測處理單元40可(例如)基於錯誤結果選擇寫碼模式(框內或框間)中之一者,並將所得的經框內或框間寫碼之區塊提供至求和器50以產生殘餘區塊資料,及提供至求和器62以重建構經編碼區塊以便用作參考圖框。預測處理單元40亦將語法元素(諸如運動向量、框內模式指示符、分割資訊及其他此語法資訊)提供至熵編碼單元56。預測處理單元40可使用位元率-失真分析選擇一或多個框間模式。
運動估計單元42及運動補償單元44可高度整合,但出於概念性目的而分別說明。由運動估計單元42執行之運動估計為產生運動向量之程序,運動向量估計視訊區塊之運動。舉例而言,運動向量可指示當前視訊圖框或圖像內之視訊區塊的PU相對於參考圖框(或其他經寫碼單元)內的預測性區塊(其關於該當前圖框(或其他經寫碼單元)內正被寫碼的當前區塊)之位移。預測性區塊為被發現在像素差方面緊密地匹配待寫碼之區塊的區塊,該像素差可藉由絕對差和(SAD)、平方差和(SSD)或其他差量度予以判定。在一些實例中,視訊編碼器20可計算儲存於參考圖框記憶體64中之參考圖像的次整數像素位置的值。舉例而言,視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分率像素位置之值。因此,運動估計單元42可執行相對於全像素位置及分率像素位置之運動搜尋,且以分率像素精度輸出運動向量。
運動估計單元42藉由比較經框間寫碼圖塊中之視訊區塊的PU之位置與參考圖像之預測性區塊之位置而計算該PU之運動向量。可自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)選擇參考圖像,該等清單中之每一者識別儲存於參考圖框記憶體64中之一或多個參考圖像。運動估計單元42將經計算運動向量發送至熵編碼單元56及 運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量來提取或產生該預測性區塊。再一次,在一些實例中,運動估計單元42及運動補償單元44可在功能上整合。在接收到當前視訊區塊之PU的運動向量時,運動補償單元44可在參考圖像清單中之一者中找到運動向量所指向的預測性區塊。求和器50藉由自正被寫碼之當前視訊區塊的像素值減去預測性區塊之像素值從而形成像素差值(如下文所論述)來形成殘餘視訊區塊。大體而言,運動估計單元42執行關於明度寫碼區塊的運動估計,且運動補償單元44將基於明度寫碼區塊所計算之運動向量用於色度寫碼區塊與明度寫碼區塊兩者。預測處理單元40亦可產生與視訊區塊及視訊圖塊相關聯的語法元素,以供視訊解碼器30用於解碼視訊圖塊之視訊區塊。
作為由運動估計單元42及運動補償單元44執行之框間預測(如上文所描述)之替代,框內預測單元46可框內預測當前區塊。詳言之,框內預測單元46可判定將用以編碼當前區塊的框內預測模式。在一些實例中,框內預測單元46可(例如)在單獨之編碼遍次期間使用各種框內預測模式來編碼當前區塊,且框內預測單元46(或在一些實例中,預測處理單元40)可自所測試之模式選擇待使用之適當框內預測模式。
舉例而言,框內預測單元46可使用對各種經測試之框內預測模式的位元率-失真分析而計算位元率-失真值,且在經測試模式當中選擇具有最佳位元率-失真特性之框內預測模式。位元率-失真分析大體上判定經編碼區塊與經編碼以產生該經編碼區塊的原始未經編碼區塊之間的失真(或誤差)之量以及用以產生經編碼區塊之位元率(亦即,位元數目)。框內預測單元46可自各種經編碼區塊的失真及位元率計算比率,以判定哪一框內預測模式展現區塊之最佳位元率-失真值。
在選擇區塊之框內預測模式之後,框內預測單元46可將指示用於該區塊之所選擇的框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選擇之框內預測模式的資訊。視訊編碼器20可在經傳輸之位元串流中包括組態資料,該組態資料可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦被稱作碼字映射表)、各種區塊之編碼上下文的定義,及將用於該等上下文中之每一者之最有可能的框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50代表執行此減法運算之(多個)組件。變換處理單元52將諸如離散餘弦變換(DCT)或概念上類似之變換的變換應用於殘餘區塊,從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用小波變換、整數變換、子頻帶變換或其他類型之變換。在任何狀況下,變換處理單元52將變換應用於殘餘區塊,從而產生殘餘變換係數之區塊。該變換可將殘餘資訊自像素值域轉換至變換域(諸如頻域)。變換處理單元52可將所得的變換係數發送至量化單元54。量化單元54量化變換係數以進一步減少位元率。量化程序可減少與係數中之一些或所有相關聯的位元深度。可藉由調整量化參數而修改量化程度。在一些實例中,量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。替代性地,熵編碼單元56可執行該掃描。
在量化之後,熵編碼單元56熵寫碼該等經量化之變換係數。舉例而言,熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的狀況下,上下文可基於相 鄰區塊。在由熵編碼單元56進行之熵寫碼之後,可將經編碼位元串流傳輸至另一器件(例如,視訊解碼器30)或經封存以供稍後傳輸或擷取。
反量化單元58及反變換單元60分別應用反量化及反變換,以在像素域中重建構殘餘區塊(例如)以供稍後用作參考區塊。運動補償單元44可藉由將該殘餘區塊添加至參考圖框記憶體64之圖框中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可對該經重建構之殘餘區塊應用一或多個內插濾波器以計算用於在運動估計中使用的次整數像素值。求和器62將該經重建構之殘餘區塊添加至由運動補償單元44產生的經運動補償之預測區塊,以產生經重建構之視訊區塊以用於儲存於參考圖框記憶體64中。該經重建構之視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊,以框間寫碼後續視訊圖框中之區塊。
視訊編碼器20之各種組件可經組態以實施本發明之技術中之一或多者,以使用漸進式改良編碼視訊資料,同時支援視訊位元串流之時間可擴充性。舉例而言,視訊編碼器20可實施技術中之一或多者,以產生並傳信補充增強資訊(SEI)訊息,使得SEI訊息能夠使接收器件(例如,視訊解碼器或其組件)能夠判定漸進式改良區段之開始及結束界限,而不管區段是否經時間擴充而包括較少之經編碼圖像。在一實例中,根據本發明之一或多個態樣,預測處理單元40可經組態以產生漸進式改良區段開始SEI訊息。
根據HEVC WD 9、AVC或其他視訊寫碼標準,視訊編碼器20可經組態為在經編碼視訊位元串流中包括後設資料。在各種實例中,視訊編碼器20可包括後設資料,解碼器並不需要該後設資料來解碼所傳信之經編碼視訊位元串流。作為一些實例,視訊編碼器20可傳信使得視訊解碼器能夠判定圖像輸出時序,判定與一或多個圖像相關聯之顯 示資訊,偵測丟失資訊並隱藏及/或修復偵測到之丟失的後設資料。
另外,視訊編碼器20可在經編碼視訊位元串流中所傳信之特定存取單元(AU)中產生任何數目之SEI網路抽象層(NAL)單元。視訊編碼器20又可在特定SEI NAL單元中包括任何數目之SEI訊息。根據HEVC WD9,上文之表1列出視訊編碼器20可產生的各種SEI訊息,及所列出之SEI訊息的對應使用/用途。
視訊編碼器20可經組態或可以其他方式進行操作以產生並在經編碼視訊位元串流中傳信漸進式改良區段。如關於圖1所描述,根據HEVC WD9,漸進式改良區段可包括按解碼次序的經編碼圖像的一序列。在一些實例中,亦可根據輸出次序配置漸進式改良區段中的經編碼圖像序列。詳言之,漸進式改良區段之每一經編碼圖像可表示相比於在解碼次序上後面緊接著漸進式改良區段之經編碼圖像的遞增且累積之品質改良。
視訊編碼器20可傳信漸進式改良區段開始SEI訊息,以指示漸進式改良區段之開始界限。如上文之語法表1中所說明,根據HEVC WD9,視訊編碼器20可在漸進式改良區段開始SEI訊息中包括progressive_refinement_id語法元素及num_refinement_steps_minus1語法元素。根據HEVC WD9,視訊編碼器20可判定漸進式改良區段繼續(例如,經編碼位元串流中之每一後續經編碼圖像僅為相對於前一經編碼圖像的品質改良),直至滿足一或多個條件為止。舉例而言,視訊編碼器20可判定漸進式改良區段繼續,直至滿足如下條件中之一者為止:
- 視訊編碼器20判定新的經寫碼視訊序列之開端。
- 視訊編碼器20判定經編碼視訊位元串流之末端。
- 視訊編碼器20判定num_refinement_steps_minus1語法元素之值大於零,且按解碼次序之下一圖塊的POC值(由「pic_order_cnt_lsb」 表示)之最低有效位元等於以下公式之輸出:(currPicOrderCntLsb+num_refinement_steps_minus1+1)% MaxPicOrderCntLsb,其中currPicOrderCntLsb為含有SEI訊息之存取單元中的圖像的pic_order_cnt_lsb之值。「%」運算子表示模運算,其得到整數除法運算之餘數的值。
- 視訊編碼器20判定num_refinement_steps_minus1之值等於零,且具有與當前漸進式改良區段開始SEI訊息中之progressive_refinement_id值相同的progressive_refinement_id值之漸進式改良區段結束SEI訊息經編碼。
另外,視訊編碼器20可藉由將SEI NAL單元產生為包括漸進式改良區段開始SEI訊息,及產生具有等於零之值的「nuh_reserved_zero_6bits」語法元素,而向解碼器指示SEI NAL單元在解碼次序上先於當前AU中之第一視訊寫碼層(VCL)NAL單元。視訊編碼器20可將progressive_refinement_id語法元素之值設定為處於以0開始且在(2^32-2)處結束之數值範圍內(包括該兩值)。舉例而言,視訊編碼器20可將progressive_refinement_id語法元素設定為0至255之範圍(包括該兩值)中的值,及512至(2^31-1)之範圍(包括該兩值)中的值,以識別與漸進式改良區段相關聯的具體漸進式改良操作。換言之,在上文所描述之範圍中的指派至progressive_refinement_id語法元素的任何值可與HEVC WD9中所支援的特定漸進式改良操作相關聯。
另一方面,保留屬於256至511之範圍(包括該兩值)及2^31至(2^32-2)之範圍(包括該兩值)的progressive_refinement_id語法元素之值,以供未來由ITU-T及/或ISO/IEC使用。更特定而言,若視訊編碼器20將progressive_refinement_id語法元素設定為上文所描述之所保留範圍中的一者中之值,則諸如視訊解碼器之接收位元串流的器件可略過progressive_refinement_id語法元素。詳言之,為了略過此語法元素, 視訊解碼器可自所接收之經編碼視訊位元串流移除progressive_refinement_id語法元素,並捨棄progressive_refinement_id語法元素。
如所描述,視訊編碼器20及/或其組件可經組態以(諸如)根據HEVC WD9來支援經編碼視訊位元串流之時間可擴充性。舉例而言,視訊編碼器20可產生完整經編碼視訊位元串流,諸如解碼器件或中間器件之接收器件可自其摘取子位元串流。舉例而言,諸如串流伺服器或媒體感知網路元件(「MANE」)的中間器件可自包括於完整經編碼視訊位元串流中的經編碼圖像之完整集合摘取經編碼圖像之時間子集。在一些實例中,時間子集可表示包括於完整經編碼視訊位元串流中的經編碼圖像之完整集合的真實子集。根據此等實例,完整經編碼視訊位元串流可包括時間子集之每個經編碼圖像,及並不包括於時間子集中的至少一額外經編碼圖像。
為了根據時間可擴充性支援各種圖像速率,中間器件可經組態以自包括於完整經編碼視訊位元串流中的經編碼圖像之完整集合摘取具有不同圖像計數之時間子集。由中間器件摘取(例如,以支援變化之圖像速率)的每一不同時間子集可表示可獨立解碼之時間子集或子位元串流。換言之,接收自完整經編碼視訊位元串流摘取的經時間擴充子位元串流之視訊解碼器可在無任何額外資料(諸如包括於完整經編碼視訊位元串流中但自子位元串流排除的資訊)的情況下解碼經編碼圖像之時間子集。
根據HEVC WD9,由視訊編碼器20產生的完整經編碼視訊位元串流可包括若干時間子層。另外,由視訊編碼器20產生的每一NAL單元可屬於如由對應「TemporalId」值所指示的具體子層。舉例而言,視訊編碼器20可將NAL單元之TemporalId的值設定為等於對應「temporal_id_plus1」語法元素之值減去一。另外,視訊編碼器20可 判定單一圖像之所有VCL NAL單元屬於單一子層(亦即,相同子層)。換言之,視訊編碼器20可編碼圖像,使得經編碼圖像自身屬於對應於與經編碼圖像相關聯之NAL單元的特定子層。
舉例而言,根據HEVC WD9,視訊編碼器20可產生經編碼視訊位元串流,使得對位元串流之較低子層的解碼程序並不取決於位元串流之較高子層中的資料。另外,中間器件可藉由自符合HEVC WD9的完整位元串流移除與高於具體值之TemporalId值相關聯的所有NAL單元,而自完整位元串流產生子位元串流。以此方式產生的子位元串流自身又可表示符合HEVC WD9的位元串流。視訊編碼器20及/或其一或多個組件可確保完整經編碼視訊位元串流及其任何給定子層滿足關於HEVC WD9之位元串流符合性的所有條件(例如,緩衝器限制)。
如所描述,在時間擴充完整經編碼視訊位元串流時,中間器件可自完整經編碼視訊位元串流摘取經編碼圖像之時間子集。舉例而言,時間子集可為在完整經編碼視訊位元串流中所傳信的經編碼圖像之真實子集,且因此,中間器件可自完整經編碼位元串流移除一或多個經編碼圖像以產生子位元串流。在實例中,中間器件可移除包括於漸進式改良區段中的一或多個經編碼圖像。然而,在此等實例中,中間器件可未經組態以更新在漸進式改良區段開始SEI訊息中所傳信的資料來反映包括於經時間擴充漸進式改良區段中的經編碼圖像之數目改變(亦即,減少)。換言之,中間器件可潛在地將num_refinement_steps_minus1語法元素之不正確值傳信至接收器件,諸如視訊解碼器。接下來,藉由傳達num_refinement_steps_minus1語法元素之不正確值,中間器件可使得視訊解碼器應用漸進式改良操作以解碼在經時間擴充漸進式改良區段之末端之後的圖像。
為了緩和或消除對在經編碼視訊位元串流中位於漸進式改良區段之末端之後的圖像的錯誤解碼,視訊編碼器20可實施本發明之一或 多個技術。根據技術之一些實施,視訊編碼器20可將漸進式改良區段開始SEI訊息產生為包括使得視訊解碼器能夠判定漸進式改良區段之最後圖像的圖像次序計數(POC)值的資訊。POC值可表示與經編碼視訊位元串流中所傳信之特定經編碼圖像相關聯的靜態值,且因此,不管時間擴充如何,其皆可識別特定經編碼圖像。
舉例而言,藉由導出漸進式改良區段之最後經編碼圖像的POC值,接收經編碼視訊位元串流之視訊解碼器可準確地識別最後經編碼圖像。更特定而言,不管中間器件是否已時間擴充漸進式改良區段,視訊解碼器皆可識別漸進式改良區段之最後經編碼圖像。在中間器件時間擴充漸進式改良區段之實例中,不管中間器件將漸進式改良區段時間擴充至何程度,視訊解碼器皆可準確地識別漸進式改良區段之最後圖像。換言之,不管中間器件使用時間可擴充性所產生之圖像速率如何,視訊解碼器皆可識別漸進式改良區段之最後經編碼圖像(亦即,結束界限)。
根據本文中所描述之技術的各種實施,視訊編碼器20可將漸進式改良區段開始SEI訊息產生為包括解碼器可用以判定與漸進式改良區段之最後經編碼圖像相關聯的POC值之資訊。在一實施中,視訊編碼器20可將漸進式改良區段開始SEI訊息產生為包括指示「差量POC」值之資料。更特定而言,視訊編碼器20可產生差量POC值,使得差量POC值指示基底圖像之POC值與漸進式改良區段之最後經編碼圖像的POC值之間的差。
接收由視訊編碼器20產生之經編碼視訊位元串流的視訊解碼器可使用漸進式改良區段開始SEI訊息來偵測對應漸進式改良區段之開始界限(例如,第一經編碼圖像)。另外,藉由將差量POC值應用於基底圖像(例如,按解碼次序後面緊接著開始界限的經編碼圖像)之POC值,視訊解碼器可判定漸進式改良區段之結束界限(例如,最後經編 碼圖像)。舉例而言,藉由將差量POC值應用於基底圖像之POC值,視訊解碼器可導出漸進式改良區段之結束界限的POC值。
如所描述,特定經編碼圖像之POC值可為與經編碼圖像相關聯的靜態值,且可指示經編碼圖像在解碼次序上的位置。藉由為解碼器提供藉以導出漸進式改良區段之結束界限的POC值之資料,視訊編碼器20可使得解碼器能夠判定漸進式改良區段之結束界限,而無關於中間器件是否時間擴充及以何量值時間擴充漸進式改良區段。視訊編碼器20可以「pic_order_cnt_delta」語法元素之形式傳信差量POC值,如上文之語法表3中所說明。在各種實例中,視訊編碼器20可在漸進式改良區段開始SEI訊息中,或在與基底圖像之各別圖塊相關聯的一或多個圖塊標頭中傳信pic_order_cnt_delta語法元素。以此方式,視訊編碼器20可實施本發明之一或多個技術,以使得解碼器能夠使用對應漸進式改良操作來解碼漸進式改良序列,同時支援經編碼視訊位元串流之時間可擴充性。
根據視訊編碼器20將漸進式改良區段開始SEI訊息產生為包括與漸進式改良區段之結束界限的POC值相關聯之資料的一些實施,視訊編碼器20可在漸進式改良區段開始SEI訊息中包括最低有效位元(LSB)之差量。在此等實施中,視訊編碼器20可產生LSB的差量,以指示基底圖像之POC值的LSB值與漸進式改良區段之最後經編碼圖像的POC值的LSB值之間的差。
視訊編碼器20又可使得接收經編碼視訊位元串流之解碼器能夠藉由將LSB之差量應用於基底圖像之POC值的LSB而導出漸進式改良區段之結束界限的POC值。舉例而言,視訊編碼器20可將漸進式改良區段開始SEI訊息產生為包括指示LSB的差量之語法元素,而非「num_refinement_steps_minus1」語法元素。根據一些實施,視訊編碼器20可將語法元素傳信為與基底圖像之各別圖塊相關聯的一或多個 圖塊標頭之部分。
藉由包括語法元素以指示LSB之差量,熵編碼單元56可使得解碼器能夠判定漸進式改良區段之結束界限,而無關於中間器件是否時間擴充及以何量值時間擴充漸進式改良區段。舉例而言,藉由傳信LSB之差量,視訊編碼器20可使得解碼器能夠導出漸進式改良區段之結束界限的POC值,並藉此使用與結束界限相關聯之靜態值來識別結束界限。以此方式,視訊編碼器20可實施本發明之一或多個技術,以使得解碼器能夠使用對應的漸進式改良操作來解碼漸進式改良序列,同時支援經編碼視訊位元串流之時間可擴充性。
根據本文中所描述之技術的其他實施,視訊編碼器20可將漸進式改良區段開始SEI訊息產生為包括指示連續經編碼圖像之數目的資料,該等連續經編碼圖像1)與小於或等於基底圖像之TemporalId值的TemporalId值相關聯,且2)表示對基底圖像之漸進式品質改良。在一些實例中,降低之TemporalId值可指示經編碼視訊位元串流中之根據解碼次序的前進。舉例而言,漸進式改良區段之第一經編碼圖像可具有小於基底圖像之TemporalId值的TemporalId值。漸進式改良區段之第二經編碼圖像又可具有小於漸進式改良區段之第一經編碼圖像的TemporalId之TemporalId值,等等。
基底圖像可為包括於當前存取單元中的經編碼圖像,且基底圖像可在解碼次序上後面緊接著漸進式改良區段之第一經編碼圖像。在一些實例中,基底圖像亦可在輸出次序上後面緊接著漸進式改良區段之第一經編碼圖像。在一些此等實例中,漸進式改良區段可包括在解碼次序及輸出次序兩者上連續的一序列經編碼圖像。
根據本文中所描述之技術的此等實施,視訊編碼器20可將漸進式改良區段開始SEI訊息產生為包括指示連續經編碼圖像之數目的資料,該等連續經編碼圖像具有小於基底圖像之TemporalId值的 TemporalId值,以及表示對基底圖像之漸進式品質改良。舉例而言,資訊可指示構成漸進式改良區段之序列中的經編碼圖像之數目。在此等實施中,中間器件可判定符合上文所列之條件的連續經編碼圖像之數目。舉例而言,中間器件可關於自完整經編碼視訊位元串流摘取之經編碼圖像的每一時間子集判定符合該等條件之連續經編碼圖像的數目。
藉由判定符合上文之條件的連續經編碼圖像之數目,甚至在中間器件時間擴充漸進式改良區段的情境下,中間器件仍可較準確地判定可自漸進式改良區段獲得之經編碼圖像的數目。中間器件又可傳達所判定的連續經編碼圖像之數目,該等連續經編碼圖像具有小於基底圖像之TemporalId值的TemporalId值,以及表示對基底圖像之漸進式品質改良。在各種實例中,視訊編碼器20可將漸進式改良區段開始SEI訊息產生為包括指示所判定的連續經編碼圖像之數目的語法元素,該等連續經編碼圖像具有小於基底圖像之TemporalId值的TemporalId值,以及表示對基底圖像之漸進式品質改良。舉例而言,視訊編碼器20可將漸進式改良區段開始SEI訊息產生為包括指示所判定之數目的語法元素,而非上文之語法表1中所說明之num_refinement_steps_minus1語法元素。在一些實例中,視訊編碼器20可將指示所判定的數目之語法元素傳信為與基底圖像之各別圖塊相關聯的一或多個圖塊標頭之部分。
藉由傳信具有小於基底圖像之TemporalId值的TemporalId值且表示對基底圖像之漸進式品質改良的連續經編碼圖像之數目,視訊編碼器20可為視訊解碼器提供準確長度之漸進式改良區段。作為一實例,藉由將上文所描述之資訊傳信為漸進式改良區段開始SEI訊息之部分,不管中間器件是否時間擴充漸進式改良區段,視訊編碼器20皆可為接收解碼器提供該長度之漸進式改良區段。反過來,不管解碼器是 否時間擴充或以何量值時間擴充漸進式改良區段,接收漸進式改良區段開始SEI訊息的解碼器皆可利用包括於漸進式改良區段開始SEI訊息中的語法元素來判定漸進式改良區段之長度。以此方式,視訊編碼器20可實施本發明之一或多個技術以傳信連續經編碼圖像之數目,該等連續經編碼圖像1)具有小於基底圖像之TemporalId的TemporalId值,且2)表示對基底圖像之漸進式品質改良,藉此使得視訊解碼器件能夠解碼漸進式改良區段,同時支援時間可擴充的視訊位元串流。
如關於圖2所描述,視訊編碼器20及/或其組件可執行編碼視訊資料之方法,該方法包括根據漸進式改良操作編碼漸進式改良區段中之複數個圖像中的至少一些圖像,並產生指示經編碼位元串流中之漸進式改良區段的最後圖像之圖像次序計數(POC)值的資訊。在上文關於視訊編碼器20所描述之方法的一些實例實施中,所產生的資訊包括差量POC值,其指示後面緊接著漸進式改良區段之圖像的POC值與漸進式改良區段之最後圖像的POC值之間的差。根據上文關於視訊編碼器20所描述之方法的一些實例實施,所產生的資訊包括最低有效位元(LSB)之差量,其指示後面緊接著漸進式改良區段之圖像的POC值之LSB與漸進式改良區段之最後圖像的POC值之LSB之間的差。在上文關於視訊編碼器20所描述之方法的一實例中,所產生的資訊包括漸進式改良區段之最後圖像的POC值。
根據上文關於視訊編碼器20所描述之方法的一些實施,產生該資訊包含將該資訊包括於待在經編碼視訊位元串流中傳信之補充增強資訊(SEI)訊息中。在一此實施中,SEI訊息包含指示漸進式改良區段之開始界限的漸進式改良區段開始SEI訊息。根據上文關於視訊編碼器20所描述之方法的一些實施,該方法可進一步包括判定在經編碼視訊位元串流中經編碼圖像後面緊接著漸進式改良區段。在一此實施中,漸進式改良序列中之每一圖像定義相比於後面緊接著漸進式改良 序列之經編碼圖像的品質改良。
在上文關於視訊編碼器20所描述之方法的一些實例中,該方法可進一步包含偵測漸進式改良區段中之複數個圖像的最後圖像,及停止根據漸進式改良操作的編碼。根據上文關於視訊編碼器20所描述之方法的一些實施,根據漸進式改良操作編碼漸進式改良區段中之圖像中的至少一些包含:將漸進式改良操作應用於漸進式改良區段中之除了漸進式改良區段中之最後圖像的每一圖像。
在一些實例中,視訊編碼器20可包括於用於寫碼視訊資料之器件中,諸如桌上型電腦、筆記型(亦即,膝上型)電腦、平板電腦、機上盒、電話手機(諸如,所謂的「智慧型」電話、所謂的「智慧型」板)、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主機、視訊串流器件或其類似者。在此等或其他實例中,用於寫碼視訊資料之此器件可包括積體電路、微處理器及包括視訊編碼器20之通信器件中的一或多者。在一些實例中,視訊編碼器20亦可經組態以(諸如)經由熵解碼經編碼視訊資料而解碼經編碼視訊資料。
圖3為說明可實施根據本發明之一或多個態樣的用於解碼視訊資料之技術的視訊解碼器30之實例的方塊圖。在圖3之實例中,視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、反量化單元76、反變換單元78、求和器80及參考圖像記憶體82。在圖3之實例中,視訊解碼器30包括預測單元71,其又包括運動補償單元72及框內預測單元74。在一些實例中,視訊解碼器30可執行大體上與關於視訊編碼器20(圖2)所描述之編碼遍次互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量而產生預測資料,而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符而產生預測資料。
在圖3中所說明之實施中,視訊解碼器30耦接至網路元件68。在 各種實例中,網路元件68可包括、可為多種器件或可為多種器件之部分,該等器件諸如媒體感知網路元件(或「MANE」)、串流伺服器或網路頭端器件。舉例而言,網路元件68可經組態以接收由視訊編碼器20所傳信的經編碼視訊位元串流,並時間擴充經編碼視訊位元串流。在此實例中,網路元件68可將經時間擴充位元串流轉送至視訊解碼器30。
作為一實例,網路元件68可自包括於所接收之經編碼視訊位元串流中的經編碼圖像之完整集合摘取經編碼圖像之時間子集。由網路元件68接收的經編碼視訊位元串流在本文中可被稱作「完整經編碼視訊位元串流」。另外,由網路元件68摘取之時間子集可表示包括於完整經編碼視訊位元串流中的經編碼圖像之完整集合的真實子集。換言之,由網路元件68接收的完整經編碼視訊位元串流可包括時間子集之每個經編碼圖像,及並不包括於時間子集中的至少一額外經編碼圖像。
為了根據時間可擴充性支援各種圖像速率,網路元件68可經組態以自包括於完整經編碼視訊位元串流中的經編碼圖像之完整集合摘取具有不同圖像計數之時間子集。由網路元件68所摘取(例如,以支援變化之圖像速率)的每一不同時間子集可表示可獨立解碼之時間子集或子位元串流。換言之,器件(諸如,接收由網路元件68摘取之經時間擴充子位元串流的視訊解碼器30)可在無任何額外資料(諸如,包括於完整經編碼視訊位元串流中但自子位元串流排除的資訊)的情況下解碼經編碼圖像之時間子集。
網路元件68可判定由視訊編碼器20根據HEVC WD9所傳信的完整經編碼視訊位元串流包括若干時間子層。另外,網路元件68可判定由視訊編碼器20所傳信的每一NAL單元屬於如由對應「TemporalId」值 指示的具體子層。舉例而言,網路元件68可判定NAL單元之TemporalId的值等於對應「temporal_id_plus1」語法元素之值減去一。另外,在此實例中,網路元件68可判定單一圖像之所有VCL NAL單元屬於單一子層(亦即,相同子層)。換言之,網路元件68可判定特定經編碼圖像自身屬於對應於與經編碼圖像相關聯之NAL單元的特定子層。
舉例而言,根據HEVC WD9,視訊編碼器20可產生經編碼視訊位元串流,使得該位元串流之較低子層(例如,如由網路元件68摘取)的解碼程序並不取決於該位元串流之較高子層中的資料。網路元件68可藉由自完整位元串流移除與高於具體值之TemporalId值相關聯的所有NAL單元,而自完整位元串流(其符合HEVC WD9)摘取子位元串流。由網路元件68以此方式所摘取之子位元串流自身又可表示符合HEVC WD9的位元串流。視訊編碼器20及/或其一或多個組件可確保每一子位元串流滿足關於HEVC WD9之位元串流符合性的所有條件(例如,緩衝器限制)。
如所描述,在時間擴充完整經編碼視訊位元串流時,網路元件68可自完整經編碼視訊位元串流摘取經編碼圖像之時間子集。舉例而言,時間子集可為在完整經編碼視訊位元串流中所傳信之經編碼圖像的真實子集,且因此,網路元件68可自完整經編碼位元串流移除一或多個經編碼圖像,以產生子位元串流。在實例中,網路元件68可移除包括於漸進式改良區段中的一或多個經編碼圖像。
然而,在此等實例中,網路元件68可未經組態以更新在漸進式改良區段開始SEI訊息中所傳信的資料來反映包括於經時間擴充漸進式改良區段中的經編碼圖像之數目改變(亦即,減少)。換言之,網路元件68可潛在地將num_refinement_steps_minus1語法元素之不正確值轉送至視訊解碼器30。接下來,藉由轉送 num_refinement_steps_minus1語法元素之不正確值,網路元件68可使得視訊解碼器30應用漸進式改良操作以解碼在經時間擴充漸進式改良區段之末端之後的圖像。
在解碼程序期間,視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元70熵解碼位元串流,以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可在視訊圖塊層級及/或視訊區塊層級處接收語法元素。
當視訊圖塊經寫碼為框內寫碼(I)圖塊時,框內預測單元74可基於所傳信之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料,而產生當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為框間寫碼(亦即,B、P或GPB)圖塊時,運動補償單元72基於自熵解碼單元70接收的運動向量及其他語法元素而產生當前視訊圖塊之視訊區塊的預測性區塊。可自參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於參考圖像記憶體82中之參考圖像,使用預設建構技術來建構參考圖框清單,清單0及清單1。
運動補償單元72藉由剖析運動向量及其他語法元素而判定當前視訊圖塊之視訊區塊的預測資訊,且使用該預測資訊以產生正被解碼之當前視訊區塊的預測性區塊。舉例而言,運動補償單元72使用一些所接收之語法元素以判定用以寫碼視訊圖塊之視訊區塊的預測模式(例如,框內預測或框間預測)、框間預測圖塊類型(例如,B圖塊、P圖塊或GPB圖塊)、圖塊之參考圖像清單中之一或多者的建構資訊、圖塊之每一經框間編碼視訊區塊的運動向量、圖塊之每一經框間寫碼視訊區塊的框間預測狀態,及用以解碼當前視訊圖塊中之視訊區塊的 其他資訊。
運動補償單元72亦可基於內插濾波器執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間所使用的內插濾波器,以計算參考區塊之次整數像素的內插值。在此狀況下,運動補償單元72可自所接收之語法元素判定由視訊編碼器20使用之內插濾波器,及使用內插濾波器來產生預測性區塊。
反量化單元76將在位元串流中所提供且由熵解碼單元70解碼的經量化之變換係數反量化(亦即,解量化)。反量化程序可包括使用由視訊解碼器30所計算的視訊圖塊中之每一視訊區塊的量化參數QPY,以判定量化程度及(同樣地)應應用之反量化的程度。
反變換單元78將反變換(例如,反DCT、反整數變換或概念上類似之反變換程序)應用於變換係數,以便在像素域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊之後,視訊解碼器30藉由對來自反變換單元78之殘餘區塊與由運動補償單元72產生的對應預測性區塊求和而形成經解碼視訊區塊。求和器80表示執行此求和運算之(多個)組件。若需要,亦可應用解區塊濾波器來對經解碼區塊濾波,以便移除方塊效應假影。其他迴路濾波器(寫碼迴路中或寫碼迴路後)亦可用以使像素轉變平滑,或以其他方式改善視訊品質。接著將給定圖框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體82中,參考圖像記憶體儲存用於後續運動補償之參考圖像。參考圖像記憶體82亦儲存經解碼視訊以用於稍後在顯示器件(諸如,圖1之顯示器件32)上呈現。
視訊解碼器30及其各種組件可實施本發明之技術,以解碼漸進式改良區段,同時支援時間可擴充的視訊位元串流。作為一實例,熵解碼單元70可實施以下關於視訊解碼器30所描述之一或多個功能性。如所描述,視訊解碼器30可接收由視訊編碼器所傳信的經編碼視訊位 元串流。在各種實例中,視訊解碼器30可接收完整經編碼視訊位元串流或網路元件68可根據時間可擴充性摘取的子位元串流。更特定而言,經時間擴充子位元串流可包括自包括於完整經編碼視訊位元串流中之經編碼圖像的集合摘取的經編碼圖像之子集。由網路元件68根據時間可擴充性所摘取之圖像子集在本文中可被稱作「時間子集」。在一些實例中,由網路元件68所摘取之時間子集可表示完整經編碼視訊位元串流中之經編碼圖像的真實子集。換言之,根據此等實例,完整經編碼視訊位元串流可包括時間子集之每個經編碼圖像,及並不包括於時間子集中的至少一額外經編碼圖像。
另外,根據HEVC WD 9、AVC或其他視訊寫碼標準,視訊解碼器30可經組態或可以其他方式進行操作以解碼包括於所接收之經編碼視訊位元串流中的後設資料。在各種實例中,根據HEVC WD9,視訊解碼器30可對並非解碼經編碼位元串流中所傳信之經編碼圖像所必需的後設資料進行解碼。在各種實例中,視訊解碼器30可解碼後設資料,以判定圖像輸出時序及與一或多個圖像相關聯之顯示資訊中的一或多者。在此等及其他實例中,視訊解碼器30可解碼後設資料以偵測丟失資訊,並隱藏及/或修復一或多個偵測到之丟失。
在一些實例中,(例如)根據HEVC WD9,視訊解碼器30可解碼在所接收之經編碼視訊位元串流中所傳信的特定存取單元(AU)中之一或多個補充增強資訊(SEI)網路抽象層(NAL)單元。另外,視訊解碼器30可解碼包括於所接收之經編碼視訊位元串流中所傳信的單一SEI NAL單元中的一或多個SEI訊息。根據HEVC WD9,上文之表1列出視訊解碼器30可接收並解碼(例如,使用熵解碼單元70)之各種SEI訊息的實例,及所列SEI訊息之對應使用/用途。
另外,視訊解碼器30可經組態或可以其他方式進行操作以解碼在所接收之經編碼視訊位元串流中所傳信的漸進式改良區段。如關於 圖1所描述,根據HEVC WD9,漸進式改良區段可包括按解碼次序的經編碼圖像序列。在一些實例中,亦可根據輸出次序配置漸進式改良區段中的經編碼圖像序列。在各種情境中,漸進式改良區段之每一經編碼圖像可表示相對於基底圖像(例如,按解碼次序後面緊接著開始界限的經編碼圖像)之品質改良。在一此情境中,漸進式改良區段之每一經編碼圖像可表示相比於按解碼次序後面緊接著漸進式改良區段之經編碼圖像的遞增且累積之品質改良。
視訊解碼器30可(諸如)藉由實施由熵解碼單元70提供的一或多個功能性來解碼漸進式改良區段開始SEI訊息。基於經解碼之漸進式改良區段開始SEI訊息,視訊解碼器30可偵測漸進式改良區段之開始界限。如上文之語法表1中所說明,視訊解碼器30可根據HEVC WD9解碼所傳信的漸進式改良區段開始SEI訊息中的progressive_refinement_id語法元素及num_refinement_steps_minus1語法元素。根據HEVC WD9,視訊解碼器30可判定漸進式改良區段繼續(例如,經編碼位元串流中之每一後續經編碼圖像僅為相對於前一經編碼圖像的品質改良),直至滿足一或多個條件為止。舉例而言,視訊解碼器30可判定漸進式改良區段繼續,直至滿足如下條件中之一者為止:
- 視訊解碼器30偵測到新的經寫碼視訊序列之開端。
- 視訊解碼器30偵測到經編碼視訊位元串流之結束。
- 視訊解碼器30判定所傳信的num_refinement_steps_minus1語法元素之值大於零,且按解碼次序之下一圖塊的POC值(由「pic_order_cnt_lsb」表示)之最低有效位元等於以下公式之結果:(currPicOrderCntLsb+num_refinement_steps_minus1+1)% MaxPicOrderCntLsb,其中currPicOrderCntLsb為含有SEI訊息之存取單元中的圖像的pic_order_cnt_lsb之值。「%」運算子表示模運算,其 得到整數除法運算之餘數的值。
- 視訊解碼器30判定所傳信的num_refinement_steps_minus1之值等於零,且具有與當前漸進式改良區段開始SEI訊息中之progressive_refinement_id值相同的progressive_refinement_id值的所傳信的漸進式改良區段結束SEI訊息經解碼。
另外,當所傳信之SEI NAL單元包括漸進式改良區段開始SEI訊息且包括具有等於零之值的「nuh_reserved_zero_6bits」語法元素時,視訊解碼器30可判定所傳信的SEI NAL單元在解碼次序上先於當前AU中的第一VCL NAL單元。在解碼漸進式改良區段開始SEI訊息時,視訊解碼器30可判定progressive_refinement_id語法元素之值屬於以0開始且在(2^32-2)處結束之數值範圍內(包括該兩值)。
舉例而言,若視訊解碼器30判定progressive_refinement_id語法元素具有介於0至255之範圍(包括該兩值)內的值,及512至(2^31-1)之範圍(包括該兩值)內的值,則視訊解碼器30可使用偵測到之值以識別與漸進式改良區段相關聯的具體漸進式改良操作。換言之,在上文所描述之範圍中的指派至progressive_refinement_id語法元素的任何值可與HEVC WD9中所支援的特定漸進式改良操作相關聯。若progressive_refinement_id語法元素具有處在上文所描述之範圍中的一者中的值,則視訊解碼器30又可使用由progressive_refinement_id語法元素之值所識別的特定漸進式改良操作來解碼漸進式改良區段之每一經編碼圖像。
另一方面,保留屬於256至511之範圍(包括該兩值)及2^31至(2^32-2)之範圍(包括該兩值)的progressive_refinement_id語法元素之值,以供未來由ITU-T及/或ISO/IEC使用。若視訊解碼器30偵測到progressive_refinement_id語法元素等於上文所描述之所保留的範圍中的一者中的值,則視訊解碼器30可略過progressive_refinement_id語法 元素。詳言之,為了略過此語法元素,視訊解碼器30可自所接收的經編碼視訊位元串流移除progressive_refinement_id語法元素,並捨棄progressive_refinement_id語法元素。
如所描述,(諸如)根據HEVC WD9,視訊解碼器30及/或其組件可經組態以支援經編碼視訊位元串流之時間可擴充性。舉例而言,視訊解碼器30可接收網路元件68自完整經編碼視訊位元串流所摘取並傳達至視訊解碼器30的子位元串流。在此實例中,網路元件68可自包括於完整經編碼視訊位元串流中的經編碼圖像之完整集合摘取經編碼圖像之時間子集,並將作為子位元串流之部分的時間子集提供至視訊解碼器30。舉例而言,時間子集可表示包括於完整經編碼視訊位元串流中的經編碼圖像之完整集合的真實子集。在時間子集表示經編碼圖像之完整集合的真實子集之情境下,完整經編碼視訊位元串流可包括用於時間子集之每個經編碼圖像的資料,及用於並不包括於時間子集中的至少一額外經編碼圖像的資料。
為了根據時間可擴充性支援各種時間圖像速率,視訊解碼器30可經組態以接收並解碼具有變化之圖像速率的子位元串流,諸如網路元件68可自完整經編碼視訊位元串流摘取的各種子位元串流。更特定而言,包括具有變化之圖像計數的時間子集之不同子位元串流可表示不同的圖像速率。為了支援時間可擴充性,不管圖像速率如何,視訊解碼器30可將任何子位元串流作為可獨立解碼的位元串流進行解碼。換言之,視訊解碼器30可在無任何額外資料(諸如包括於完整經編碼視訊位元串流中但自特定子位元串流排除的資訊)的情況下,解碼經編碼圖像之特定時間子集。
在視訊解碼器30接收由視訊編碼器件所傳信的完整經編碼視訊位元串流之實例中,完整經編碼視訊位元串流可包括一或多個時間子層。另外,由視訊解碼器30接收及/或解碼的每一NAL單元可屬於如 由對應「TemporalId」值指示的具體子層。更特定而言,視訊解碼器30可判定NAL單元之TemporalId的值等於所傳信的對應「temporal_id_plus1」語法元素之值減去一。另外,視訊解碼器30可判定單一圖像之所有所傳信的VCL NAL單元屬於單一子層(亦即,相同子層)。換言之,視訊解碼器30可基於如下判定而解碼經編碼圖像:經編碼圖像自身屬於對應於與經編碼圖像相關聯之NAL單元的特定子層。
舉例而言,根據HEVC WD9,視訊解碼器30可解碼所傳信的經編碼視訊位元串流,使得位元串流之較低子層的解碼程序並不取決於位元串流之較高子層中的資料。藉由自完整位元串流移除與高於具體值之TemporalId值相關聯的所有NAL單元,網路元件68可自完整位元串流產生子位元串流。視訊編碼器件可確保完整位元串流滿足關於HEVC WD9之位元串流符合性的所有條件(例如,緩衝器限制),且因此確保網路元件68可自完整位元串流摘取的每一子位元串流亦滿足該等條件。視訊解碼器30又可在未對解碼程序作出任何改變,且無需對硬體及/或軟體基礎架構作出任何改變的情況下,解碼任何所傳信的子位元串流。換言之,視訊解碼器30可以對應於解碼完整經編碼視訊位元串流之方式解碼所傳信的子位元串流,同時根據HEVC WD9支援時間可擴充性。
如所描述,在時間擴充完整經編碼視訊位元串流時,網路元件68可自完整經編碼視訊位元串流摘取經編碼圖像之時間子集。更特定而言,時間子集可為完整經編碼視訊位元串流中所傳信的經編碼圖像之真實子集,且因此,網路元件68可自完整經編碼位元串流移除一或多個經編碼圖像,以產生子位元串流。在實例中,網路元件68可移除包括於漸進式改良區段中的一或多個經編碼圖像。視訊解碼器30可潛在地接收num_refinement_steps_minus1語法元素之不正確值。藉由解 碼並潛在地應用num_refinement_steps_minus1語法元素之不正確值,視訊解碼器30可應用漸進式改良操作以解碼位於經時間擴充漸進式改良區段之結束界限之後的圖像。
為了緩和或消除對位於經編碼視訊位元串流中之漸進式改良區段的末端之後的圖像之錯誤解碼,視訊解碼器30及/或其組件(諸如熵解碼單元70)可實施本發明之一或多個技術。根據技術之一些實施,視訊解碼器30可解碼漸進式改良區段開始SEI訊息,以獲得指示漸進式改良區段之最後圖像的圖像次序計數(POC)值之資訊。POC值可表示與經編碼視訊位元串流中所傳信的特定經編碼圖像相關聯之靜態值,且因此,其可向視訊解碼器30識別特定經編碼圖像,而無關於對經編碼視訊位元串流之任何時間擴充。
舉例而言,藉由導出漸進式改良區段之最後經編碼圖像的POC值,視訊解碼器30可較準確地識別漸進式改良區段之最後經編碼圖像。更特定而言,不管視訊解碼器30是否已接收到經時間擴充漸進式改良區段,視訊解碼器30皆可識別漸進式改良區段之最後經編碼圖像。在視訊解碼器30接收到經時間擴充漸進式改良區段之實例中,不管已將漸進式改良區段時間擴充至何程度,視訊解碼器30皆可準確地識別漸進式改良區段之最後圖像。換言之,不管所接收的經編碼視訊位元串流之圖像速率如何,視訊解碼器30皆可識別漸進式改良區段之最後經編碼圖像(亦即,結束界限)。
根據本文中所描述之技術的各種實施,視訊解碼器30可解碼漸進式改良區段開始SEI訊息,以獲得視訊解碼器30可用以判定與漸進式改良區段之最後經編碼圖像相關聯的POC值之資訊。在一實施中,視訊解碼器30可解碼漸進式改良區段開始SEI訊息,以獲得指示「差量POC」值之資料。更特定而言,差量POC值可指示基底圖像之POC值與漸進式改良區段之最後經編碼圖像的POC值之間的差。
視訊解碼器30又可使用漸進式改良區段開始SEI訊息以偵測對應漸進式改良區段之開始界限(例如,第一經編碼圖像)。另外,視訊解碼器30可藉由將差量POC值應用於基底圖像(例如,按解碼次序後面緊接著開始界限的經編碼圖像)之POC值來判定漸進式改良區段之結束界限(例如,最後經編碼圖像)。舉例而言,藉由將差量POC值應用於基底圖像之POC值,視訊解碼器30可導出漸進式改良區段之結束界限的POC值。
如所描述,特定經編碼圖像之POC值可為與經編碼圖像相關聯的靜態值,且可指示經編碼圖像在解碼次序上的位置。藉由獲得藉以導出漸進式改良區段之結束界限的POC值之資料,視訊解碼器30可判定漸進式改良區段之結束界限,而無關於網路元件68是否時間擴充及以何量值時間擴充漸進式改良區段。視訊解碼器30可解碼漸進式改良區段開始SEI訊息,以自「pic_order_cnt_delta」語法元素獲得差量POC值,如上文之語法表3中所說明。以此方式,視訊解碼器30可實施本發明之一或多個技術,以使用對應漸進式改良操作來解碼漸進式改良序列,同時支援經編碼視訊位元串流之時間可擴充性。
根據視訊解碼器30解碼漸進式改良區段開始SEI訊息以獲得與漸進式改良區段之結束界限的POC值相關聯之資料之一些實施,視訊解碼器30可自經解碼之漸進式改良區段開始SEI訊息獲得最低有效位元(LSB)之差量。在此等實施中,視訊解碼器30可使用LSB之差量以判定基底圖像之POC值的LSB值與漸進式改良區段之最後經編碼圖像的POC值之LSB值之間的差。
視訊解碼器30又可使用LSB之差量以導出漸進式改良區段之結束界限的POC值。更特定而言,視訊解碼器30可將LSB之差量應用於基底圖像之POC值的LSB。在一實例中,視訊解碼器30可解碼漸進式改良區段開始SEI訊息,以獲得指示LSB之差量之語法元素,而非 「num_refinement_steps_minus1」語法元素。
藉由獲得指示LSB之差量之語法元素,視訊解碼器30可判定漸進式改良區段之結束界限,而無關於網路元件68是否時間擴充及以何量值時間擴充漸進式改良區段。舉例而言,視訊解碼器30可應用經解碼語法元素之值,以導出漸進式改良區段之結束界限的POC值。當解碼漸進式改良區段時,視訊解碼器30可使用所導出之POC值使用與結束界限相關聯之靜態值來識別結束界限。以此方式,視訊解碼器30可實施本發明之一或多個技術,以使用對應漸進式改良操作來解碼漸進式改良序列,同時支援經編碼視訊位元串流之時間可擴充性。
根據本文中所描述之技術的其他實施,視訊解碼器30可解碼漸進式改良區段開始SEI訊息,以獲得指示連續經編碼圖像之數目的資料,該等連續經編碼圖像1)與小於或等於基底圖像之TemporalId值的TemporalId值相關聯,且2)表示對基底圖像之漸進式品質改良。更特定而言,降低之TemporalId值可指示經編碼視訊位元串流中之根據解碼次序的前進。舉例而言,漸進式改良區段之第一經編碼圖像可具有小於基底圖像之TemporalId值的TemporalId值。漸進式改良區段之第二經編碼圖像又可具有小於漸進式改良區段之第一經編碼圖像的TemporalId之TemporalId值,等等。
基底圖像可為包括於當前存取單元中的經編碼圖像,且基底圖像可按解碼次序後面緊接著漸進式改良區段之第一經編碼圖像。在一些實例中,基底圖像亦可按輸出次序後面緊接著漸進式改良區段之第一經編碼圖像。在一些此等實例中,漸進式改良區段可包括在解碼次序及輸出次序兩者上連續的經編碼圖像序列。
根據本文中所描述之技術的此等實施,視訊解碼器30可解碼漸進式改良區段開始SEI訊息,以獲得指示具有小於基底圖像之TemporalId值的TemporalId值以及表示對基底圖像之漸進式品質改良 的連續經編碼圖像之數目的資料。舉例而言,由視訊解碼器30獲得之資訊可指示構成漸進式改良區段之序列中的經編碼圖像之數目。在此等實施中,視訊解碼器30可自網路元件68接收符合上文所列之條件的連續經編碼圖像之數目。更特定而言,網路元件68可針對網路元件68自完整經編碼視訊位元串流所摘取的經編碼圖像之每一時間子集分別判定符合該等條件之連續經編碼圖像的數目。網路元件68又可將符合上文所列之條件的連續經編碼圖像之數目傳達至視訊解碼器30。
藉由應用所接收的符合上文之條件的連續經編碼圖像之數目,甚至在網路元件68時間擴充漸進式改良區段的情境下,視訊解碼器30仍可較準確地判定漸進式改良區段之長度。視訊解碼器30又可獲得作為經編碼視訊位元串流之部分的符合該等條件之連續經編碼圖像的數目,無論經編碼視訊位元串流是否表示子位元串流(例如,表示經編碼圖像之時間子集)。在各種實例中,視訊解碼器30可產生漸進式改良區段開始SEI訊息以獲得指示所判定的符合上文之條件的連續經編碼圖像之數目的語法元素。舉例而言,視訊解碼器30可解碼漸進式改良區段開始SEI訊息,以獲得指示所判定之數目的語法元素,而非上文之語法表1中所說明的num_refinement_steps_minus1語法元素。
藉由獲得具有小於基底圖像之TemporalId值的TemporalId值且表示對基底圖像之漸進式品質改良的連續經編碼圖像之數目,視訊解碼器30可較準確地判定漸進式改良區段之長度。另外,作為解碼經編碼漸進式改良區段開始SEI訊息之部分,藉由獲得上文所描述之資訊,視訊解碼器30可準確地判定漸進式改良區段之長度,而不管網路元件68是否時間擴充漸進式改良區段。舉例而言,不管網路元件68是否時間擴充或以何量值時間擴充漸進式改良區段,視訊解碼器30可利用自漸進式改良區段開始SEI訊息獲得的語法元素來判定漸進式改良區段之長度。以此方式,視訊解碼器30可實施本發明之一或多個技術以判 定連續經編碼圖像之數目,該等連續經編碼圖像1)具有小於基底圖像之TemporalId的TemporalId值,且2)表示對基底圖像之漸進式品質改良,藉此使得視訊解碼器件能夠解碼漸進式改良區段,同時支援時間可擴充的視訊位元串流。
如關於圖3所描述,視訊解碼器30及/或其組件可執行解碼視訊資料之方法,該方法包括:接收指示經編碼位元串流中之漸進式改良區段中的複數個圖像之最後圖像的圖像次序計數(POC)值的資訊;及基於所接收之資訊而根據漸進式改良操作解碼漸進式改良區段中之圖像中的至少一些。在上文關於視訊解碼器30所描述之方法的一些實例實施中,所接收的資訊包括差量POC值,其指示後面緊接著漸進式改良區段之圖像的POC值與漸進式改良區段之最後圖像的POC值之間的差。根據上文關於視訊解碼器30所描述之方法的一些實例實施,所接收的資訊包括最低有效位元(LSB)之差量,其指示後面緊接著漸進式改良區段之圖像的POC值之LSB與漸進式改良區段之最後圖像的POC值之LSB之間的差。在上文關於視訊解碼器30所描述之方法的一實例中,所接收的資訊包括漸進式改良區段之最後圖像的POC值。
根據上文關於視訊解碼器30所描述之方法的一些實施,接收該資訊包含接收包括於經編碼位元串流中之補充增強資訊(SEI)訊息中的資訊。在一此實施中,SEI訊息包含指示漸進式改良區段之開始界限的漸進式改良區段開始SEI訊息。根據上文關於視訊解碼器30所描述之方法的一些實施,該方法可進一步包括判定在經編碼視訊位元串流中經編碼圖像後面緊接著漸進式改良區段。在一此實施中,漸進式改良序列中之複數個圖像中的每一者定義相比於後面緊接著漸進式改良序列之經編碼圖像的品質改良。
在上文關於視訊解碼器30所描述之方法的一些實例中,該方法可進一步包含使用所接收的資訊偵測漸進式改良區段中之複數個圖像 的最後圖像,及停止根據漸進式改良操作的解碼。根據上文關於視訊解碼器30所描述之方法的一些實施,基於所接收之資訊而根據漸進式改良操作解碼漸進式改良區段中之圖像中的至少一些可包含:將漸進式改良操作應用於漸進式改良區段中的除了漸進式改良區段中之最後圖像的每一圖像。
在各種實例中,視訊解碼器30可包括於用於寫碼視訊資料之器件中,諸如桌上型電腦、筆記型(亦即,膝上型)電腦、平板電腦、機上盒、電話手機(諸如,所謂的「智慧型」電話、所謂的「智慧型」板)、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主機、視訊串流器件或其類似者。在實例中,用於寫碼視訊資料之此器件可包括積體電路、微處理器及包括視訊解碼器30之通信器件中的一或多者。
圖4為說明根據本發明之一或多個態樣的實例漸進式改良區段94及對應基底圖像92的概念圖。更特定而言,圖4說明圖像序列90,其包括基底圖像92及漸進式改良區段94。漸進式改良區段94又包括漸進式改良圖像94A至94N。漸進式改良圖像94A至94N中之每一者可表示對基底圖像92之品質改良。在各種實例中,根據本發明,品質改良可表示就漸進地減少經寫碼圖像與原始圖像之間的失真量而言之改良。舉例而言,漸進式改良圖像94A至94N中之每一者可包括基底圖像92不包括的殘餘資料。另外,漸進式改良圖像94A至94N中之每一者可表示對基底圖像92之品質改良,而不表示自基底圖像92的任何基於運動之預測。
更特定而言,漸進式改良區段94可表示按連續解碼次序的經編碼圖像序列。在一些實例中,包括於漸進式改良區段94中的經編碼圖像序列亦可呈連續輸出次序。另外,漸進式改良區段94可表示由每圖像增量定義的相對於基底圖像92之持續品質改良。舉例而言,漸進式 改良圖像94A(其為漸進式改良區段94之第一圖像)可表示相對於基底圖像92的具有預定義增量的品質改良。漸進式改良圖像94B(其為漸進式改良區段94之第二圖像)又可表示相對於漸進式改良圖像94A的具有預定義增量的品質改良,等等。以此方式,漸進式改良區段94可表示相對於基底圖像92的反覆品質改良,其中最後經編碼圖像(漸進式改良圖像94N)表示預定義改良增量的所有反覆之累積品質改良。
舉例而言,視訊解碼器30可藉由將漸進式改良操作應用於解碼次序上之先前圖像,而解碼漸進式改良區段94。更特定而言,視訊解碼器30可接收由視訊編碼器20所傳信的作為經編碼視訊位元串流之部分的漸進式改良區段開始SEI訊息。另外,視訊解碼器30可解碼所接收的漸進式改良區段開始SEI訊息,以獲得progressive_refinement_id語法元素之值。視訊解碼器30又可使用所獲得的progressive_refinement_id之值來判定用以解碼漸進式改良區段94的特定漸進式改良操作。視訊解碼器30可將所判定的漸進式改良操作應用於基底圖像92,及漸進式改良區段94之除了漸進式改良圖像94N(亦即,最後圖像)的每一圖像。更特定而言,視訊解碼器30可將漸進式改良操作應用於基底圖像92及漸進式改良區段94之直至倒數第二圖像的每一圖像,而不應用任何運動預測。
另外,視訊解碼器30可實施本發明之一或多個技術,以解碼漸進式改良區段94,同時支援經編碼視訊位元串流之時間可擴充性。舉例而言,視訊解碼器30可解碼漸進式改良區段開始SEI訊息,以獲得指示漸進式改良區段94之最後圖像(例如,漸進式改良圖像94N)的圖像次序計數(POC)值之資訊。在經編碼視訊位元串流中,漸進式改良區段開始SEI訊息可緊接在與基底圖像92相關聯之經編碼資料之後。不管經編碼視訊位元串流是否經時間擴充以提供經減少之圖像速率,特定圖像之POC值皆可指示特定圖像在經編碼視訊位元串流內之位 置。舉例而言,視訊解碼器30可用經編碼圖像之所指派POC值來識別圖像,而無需依賴於與所接收之經編碼視訊位元串流的其他部分相關聯之資訊。
在一些實例中,視訊解碼器30可解碼與漸進式改良區段94相關聯之漸進式改良區段開始SEI訊息,以獲得指示漸進式改良圖像94N之POC值的資訊。舉例而言,視訊解碼器30可解碼漸進式改良區段開始SEI訊息,以獲得包括於SEI訊息中的語法元素之值。更特定而言,在此情況下,視訊解碼器30可自經解碼語法元素獲得與漸進式改良圖像94N相關聯的POC值。
視訊解碼器30又可藉由反覆地應用由progressive_refinement_id語法元素之值所識別的漸進式改良操作,而解碼漸進式改良區段94,直至視訊解碼器30偵測到由對應語法元素所識別之POC值為止。在偵測到由漸進式改良區段開始SEI訊息之對應語法元素所識別的POC值時,視訊解碼器30可判定視訊解碼器30已達到漸進式改良區段94之結束界限(在圖4之實例中,其由漸進式改良圖像94N表示)。基於判定視訊解碼器30已達到漸進式改良區段94之結束界限,視訊解碼器30可停止僅基於由progressive_refinement_id語法元素指示的改良操作而解碼位元串流之經編碼圖像。
根據本發明之技術的其他實施,視訊解碼器30可解碼漸進式改良區段開始SEI訊息,以獲得delta_POC語法元素。視訊解碼器30可使用delta_POC語法元素之值,以判定漸進式改良圖像94N之結束界限的POC值(其表示漸進式改良區段94之結束界限)。更特定而言,視訊解碼器30可將delta_POC之值應用於基底圖像92之POC值,以判定漸進式改良圖像94N之POC值。視訊解碼器30又可使用漸進式改良圖像94N之所判定的POC值,以在解碼程序中偵測視訊解碼器30何時達到漸進式改良區段94之結束界限。基於使用delta_POC值判定視訊解碼 器30已達到漸進式改良區段94之結束界限,視訊解碼器30可停止根據漸進式改良的解碼。
在本文中所描述之技術的其他實例實施中,視訊解碼器30可解碼漸進式改良區段開始SEI訊息,以獲得指示最低有效位元(LSB)之差量的語法元素。在關於經編碼視訊位元串流之解碼程序期間,視訊解碼器30可使用LSB之差量值以偵測漸進式改良圖像94N。更特定而言,視訊解碼器30可將LSB之差量值應用於基底圖像92之POC值的LSB,以導出漸進式改良圖像94N(其形成漸進式改良區段94之結束界限)之POC值的LSB。
視訊解碼器30又可僅藉由將由progressive_refinement_id語法元素識別之改良操作應用於基底圖像92而解碼漸進式改良圖像94A,並藉由繼續應用改良操作而繼續按解碼次序解碼後續圖像,直至視訊解碼器30識別與具有所導出之LSB值的POC值相關聯之圖像為止。在一實例中,視訊解碼器30可藉由將改良操作反覆地應用於後面緊接著漸進式改良區段94之圖像,而解碼漸進式改良圖像94A至94N中之每一者。在另一實例中,視訊解碼器30可藉由將漸進式改良操作或其變體應用於基底圖像92而解碼漸進式改良圖像94A至94N中之每一者。另外,在經編碼視訊位元串流之解碼程序中,在偵測到具有具所導出之LSB的POC值之圖像時,視訊解碼器30可判定視訊解碼器30已達到漸進式改良區段94之結束界限(亦即,漸進式改良圖像94N)。基於使用delta_POC值判定視訊解碼器30已達到漸進式改良區段94之結束界限,視訊解碼器30可判定視訊解碼器30已完成漸進式改良區段之解碼。
圖5為說明根據本發明之一或多個態樣的視訊解碼器30及/或其組件可執行以解碼經編碼視訊資料的實例程序100之流程圖。程序100可在視訊解碼器30識別在經編碼視訊位元串流中傳信之下一經編碼圖像 時開始(102)。更特定而言,視訊解碼器30可根據解碼次序(及在一些實例中,根據輸出次序)偵測在經編碼視訊位元串流中傳信之下一經編碼圖像。
另外,視訊解碼器30可判定所識別之經編碼圖像是否在解碼次序上後面緊接著漸進式改良區段(104)。更特定而言,藉由判定經編碼圖像是否後面緊接著漸進式改良區段,視訊解碼器30可判定經編碼圖像是否形成漸進式改良區段之基底圖像。舉例而言,視訊解碼器30可藉由熵解碼經編碼圖像並判定漸進式改良區段開始SEI訊息是否在經編碼視訊位元串流中緊接在經編碼圖像之後,而判定經編碼圖像是否為基底圖像。若視訊解碼器30偵測到緊接在經編碼圖像之後的漸進式改良區段開始SEI訊息,則視訊解碼器30可判定經編碼圖像形成漸進式改良區段之基底圖像。
若視訊解碼器30判定最近經解碼圖像並非漸進式改良區段之基底圖像(104之「否」分支),則視訊解碼器30可識別在經編碼視訊位元串流中所傳信的按解碼次序之下一經編碼圖像(實際上返回至102),並繼續解碼程序。另一方面,若視訊解碼器30判定最近經解碼圖像為漸進式改良區段之基底圖像(104之「是」分支),則視訊解碼器30可偵測指示漸進式改良區段之最後經編碼圖像的POC值之資料(106)。
在各種實施中,視訊解碼器30可解碼漸進式改良區段開始SEI訊息,以獲得指示漸進式改良區段之最後經編碼圖像的POC值之資料。舉例而言,視訊解碼器30可解碼漸進式改良區段開始SEI訊息,以獲得指示漸進式改良區段之最後經編碼圖像的POC值之一或多個語法元素。在各種實例中,視訊解碼器30可使用語法元素以直接抑或間接地判定POC值。更特定而言,語法元素可直接向視訊解碼器30指示POC值,或可為視訊解碼器30提供可藉以導出漸進式改良區段中之最後經 編碼圖像的POC值之資料。作為一實例,視訊解碼器30可解碼指示差量POC值中之一或多者的語法元素,該差量POC值指示基底圖像與漸進式改良區段之最後經編碼圖像的POC值之間的差。作為另一實例,視訊解碼器30可解碼指示LSB之差量之語法元素,該LSB之差量指示基底圖像與漸進式改良區段之最後經編碼圖像之POC值的LSB之間的差。
另外,視訊解碼器30可判定與漸進式改良區段相關聯之漸進式改良操作(108)。更特定而言,視訊解碼器30可解碼漸進式改良區段開始SEI訊息,以獲得progressive_refinement_id語法元素。視訊解碼器30又可使用progressive_refinement_id語法元素之值,以識別用於解碼漸進式改良區段的漸進式改良操作。舉例而言,基於progressive_refinement_id語法元素之值,視訊解碼器30可藉由將殘餘資料添加至與基底圖像92相關聯之經解碼視訊資料,而解碼漸進式改良圖像94A至94N中之一或多者
視訊解碼器30可使用指示漸進式改良區段之最後圖像的POC值之資料,及所識別的漸進式改良操作而解碼漸進式改良區段(110)。更特定而言,視訊解碼器30可將所識別之漸進式改良操作反覆地應用於基底圖像,及按解碼次序之每一隨後圖像,直至視訊解碼器30偵測到與漸進式改良區段之最後經編碼圖像相關聯的POC值(或其LSB)為止。舉例而言,為了反覆地應用漸進式改良操作,視訊解碼器30可判定來自區段之每一相繼經編碼圖像的額外資料,並使用該額外資料以增加區段之給定圖像的位元深度。POC可為不受經編碼視訊位元串流之時間擴充影響的靜態值。結果,視訊解碼器30可使用指示POC之資料及所識別的漸進式改良操作以根據如HEVC WD9中所定義的漸進式改良操作來解碼漸進式改良區段,同時亦支援時間可擴充的視訊位元串流。
圖6為說明根據本發明之一或多個態樣的視訊編碼器20及/或其組件可執行以編碼視訊資料的實例程序120之流程圖。程序120可在視訊編碼器20形成位元串流之下一經編碼圖像時開始(122)。舉例而言,視訊編碼器20可熵編碼所接收之視訊資料的下一圖像,以形成下一經編碼圖像。另外,視訊編碼器20可判定最近經編碼圖像是否在解碼次序上後面緊接著漸進式改良區段(124)。
換言之,視訊編碼器20可判定最近經編碼圖像是否為漸進式改良區段之基底圖像。視訊編碼器20可判定是否在按解碼次序緊接在最近經編碼圖像之後的一序列圖像之前插入漸進式改良區段開始SEI訊息,以定義關於最近經編碼圖像之品質改良,而不定義關於最近經編碼圖像之任何運動預測。若視訊編碼器20判定最近經編碼圖像並非漸進式改良區段之基底圖像(124之「否」分支),則視訊編碼器20可形成待在經編碼視訊位元串流中傳信之下一經編碼圖像。
另一方面,若視訊編碼器20判定最近經編碼圖像為漸進式改良區段之基底圖像,則視訊編碼器20可編碼指示漸進式改良區段之最後經編碼圖像的POC值之資料(126)。舉例而言,視訊編碼器20可實施本發明之技術,以編碼包括視訊解碼器件可藉以判定漸進式改良區段之最後經編碼圖像的POC值的資訊之漸進式改良區段開始SEI訊息。在一實例中,視訊編碼器20可包括直接指示漸進式改良區段之最後經編碼圖像的POC值之資料,諸如呈語法元素之形式。在其他實例中,視訊編碼器20可包括視訊解碼器件可使用以導出POC值的資料。
在一些實例中,視訊編碼器20可在漸進式改良區段開始SEI訊息中包括pic_order_cnt_delta語法元素。舉例而言,視訊編碼器20可產生pic_order_cnt_delta語法元素,以指示基底圖像與漸進式改良區段之最後經編碼圖像的各別POC值之間的差。作為另一實例,視訊編碼器20可在SEI訊息中包括指示LSB之差量之語法元素。在此實例中, 視訊編碼器20可產生LSB之差量,以指示基底圖像與漸進式改良區段之最後經編碼圖像的POC值之各別LSB之間的差。視訊編碼器20可使得視訊解碼器件能夠使用pic_order_cnt_delta或LSB之差量語法元素中之一者或兩者的值來偵測漸進式改良區段之結束界限(亦即,最後經編碼圖像)。
另外,視訊編碼器20可基於指示漸進式改良區段之最後經編碼圖像的POC值之資料,及與漸進式改良區段相關聯之漸進式改良操作來編碼漸進式改良區段。舉例而言,視訊編碼器20可藉由將漸進式改良操作應用於緊接在前的經編碼圖像而編碼漸進式改良區段之每一圖像。基於偵測到漸進式改良區段之最後經編碼圖像的POC值(或其LSB),視訊編碼器20可偵測漸進式改良區段之結束界限。基於偵測到漸進式改良區段之結束界限,視訊編碼器20可停止僅使用漸進式改良操作而編碼後續圖像。
視訊編碼器20可傳信經編碼視訊位元串流。更特定而言,視訊編碼器20可傳信經編碼視訊位元串流,以包括與基底圖像,包括上文所描述之語法元素中的一或多者的漸進式改良區段開始SEI訊息及漸進式改良區段相關聯之資料。在一些實例中,中間器件可(諸如)藉由時間擴充完整經編碼視訊位元串流而摘取子位元串流。在此等實例中,因為視訊編碼器20產生並傳信漸進式改良區段開始SEI訊息以包括指示漸進式改良區段之結束界限的POC值的資料,所以視訊編碼器20可為視訊解碼器件提供藉以解碼該區段的準確資料,而無關於時間擴充。視訊編碼器20可實施本發明之技術以編碼漸進式改良區段並使得能夠解碼漸進式改良區段,同時支援經編碼視訊位元串流之時間可擴充性。
以此方式,視訊解碼器30或視訊編碼器20中之任一者可為用於寫碼視訊資料之器件的實例,該器件包括用於判定指示經編碼位元串 流中之漸進式改良區段中的複數個圖像之最後圖像的圖像次序計數(POC)值的資訊之構件,及用於根據漸進式改良操作而寫碼漸進式改良區段中之圖像中的至少一些的構件。
另外,以此方式,目的地器件14或源器件12中之任一者可為包括或耦接至電腦可讀儲存媒體之計算器件的實例,該電腦可讀儲存媒體具有儲存於其上之指令,該等指令在執行時使得計算器件之可程式化處理器進行如下操作:判定指示經編碼位元串流中之漸進式改良區段中的複數個圖像之最後圖像的圖像次序計數(POC)值之資訊,及根據漸進式改良操作寫碼漸進式改良區段中之圖像中的至少一些。
在一或多個實例中,可以硬體、軟體、韌體或其任何組合來實施所描述之功能。若以軟體實施,則功能可作為一或多個指令或程式碼儲存於電腦可讀媒體上,或經由電腦可讀媒體傳輸,及由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)、各種電腦可讀儲存器件或通信媒體,通信媒體包括(例如)根據通信協定而促進電腦程式自一處傳送至另一處的任何媒體。以此方式,電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體,或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體,或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又,任何連接可適當地稱為電腦可讀媒體。舉例而言,若使用同軸電纜、光纖纜線、雙絞線、數位用戶線(DSL)或無線技術(諸如,紅外線、無線電及微波)而 自網站、伺服器或其他遠端源傳輸指令,則同軸電纜、光纖纜線、雙絞線、DSL或無線技術(諸如,紅外線、無線電及微波)包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他瞬態媒體,而是針對非瞬態有形儲存媒體。如本文中所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟,其中磁碟通常以磁性方式再生資料,而光碟藉由雷射以光學方式再生資料。上文各者之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。因此,本文中所使用之術語「處理器」可指上述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外,在一些態樣中,可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內,或併入於組合式編碼解碼器中。又,該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以廣泛多種器件或裝置來實施,該等器件或裝置包括無線手機、積體電路(IC)或IC之集合(例如,晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示之技術的器件之功能態樣,但未必要求藉由不同硬體單元來實現。實情為,如上文所描述,可將各種單元組合於編碼解碼器硬體單元中,或藉由結合合適的軟體及/或韌體的互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合來提供該等單元。
已描述各種實例。此等及其他實例屬於以下申請專利範圍之範疇內。
90‧‧‧圖像序列
92‧‧‧基底圖像
94‧‧‧漸進式改良區段
94A‧‧‧漸進式改良圖像
94B‧‧‧漸進式改良圖像
94N‧‧‧漸進式改良圖像

Claims (29)

  1. 一種解碼視訊資料之方法,該方法包含:在一補充增強資訊(SEI)訊息中接收一差量圖像次序計數(POC)值,其指示一經編碼視訊位元串流中之後面緊接著一漸進式改良區段中的複數個後續圖像之一圖像的一POC值與該漸進式改良區段中之該複數個後續圖像之一最後圖像的一POC值之間的一差;及基於該所接收之差量POC值而根據一漸進式改良操作解碼該漸進式改良區段中之該複數個後續圖像中的至少一些,其中該漸進式改良操作指示關於圖像品質之一改良。
  2. 如請求項1之方法,其中該SEI訊息包含指定該漸進式改良區段之一開端的一漸進式改良區段開始SEI訊息。
  3. 如請求項1之方法,其進一步包含:判定該經編碼視訊位元串流中之後面緊接著該複數個後續圖像之該圖像包含關於該漸進式改良區段的一基底圖像,該漸進式改良區段改良該基底圖像。
  4. 如請求項3之方法,其中該漸進式改良區段中之該複數個後續圖像中的每一個別圖像與該漸進式改良區段中之後面緊接著該各別圖像的一圖像相比定義一品質改良。
  5. 如請求項1之方法,其進一步包含:使用該所接收之差量POC值,判定該漸進式改良區段中之該複數個後續圖像的該最後圖像;及停止根據該漸進式改良操作的解碼。
  6. 如請求項1之方法,其中基於該所接收之差量POC值而根據該漸進式改良操作解碼該漸進式改良區段中之該複數個後續圖像中 的至少一些包含:將該漸進式改良操作應用於該漸進式改良區段中的每一圖像直到解碼一漸進式改良區段結束SEI訊息。
  7. 一種編碼視訊資料之方法,該方法包含:根據一漸進式改良操作編碼複數個後續圖像中之至少一些圖像,其於一漸進式改良區段中跟隨後面緊接著該複數個後續圖像之一圖像,其中該漸進式改良操作指示關於一圖像品質之一改良;產生一差量圖像次序計數(POC)值,其指示一經編碼視訊位元串流中之後面緊接著該漸進式改良區段中的該複數個後續圖像之該圖像的一POC值與該經編碼視訊位元串流中之該漸進式改良區段中之該複數個後續圖像之一最後圖像的一POC值之間的一差;及將該經產生之差量POC值包含於該經編碼視訊位元串流中待被傳信之一補充增強資訊(SEI)訊息中。
  8. 如請求項7之方法,其中該SEI訊息包含指定該漸進式改良區段之一開端的一漸進式改良區段開始SEI訊息。
  9. 如請求項7之方法,其進一步包含:判定該經編碼視訊位元串流中之後面緊接著該複數個後續圖像之該圖像包含關於該漸進式改良區段的一基底圖像,該漸進式改良區段改良該基底圖像。
  10. 如請求項9之方法,其中該漸進式改良區段中之該複數個後續圖像中的每一個別圖像與該漸進式改良區段中之後面緊接著該各別圖像的一圖像相比定義一品質改良。
  11. 如請求項7之方法,其進一步包含:判定該漸進式改良區段中之該複數個後續圖像的該最後圖 像;及停止根據該漸進式改良操作的編碼。
  12. 如請求項7之方法,其中根據該漸進式改良操作編碼該漸進式改良區段中之該複數個後續圖像中的至少一些包含:將該漸進式改良操作應用於該漸進式改良區段中的每一圖像直到編碼一漸進式改良區段結束SEI訊息。
  13. 一種用於解碼視訊資料之器件,該器件包含:一記憶體,其經組態以儲存該視訊資料的至少一部分;及一視訊解碼器,經組態以進行如下操作:至少部分地基於一補充增強資訊(SEI)訊息,判定一差量圖像次序計數(POC)值,其指示一經編碼視訊位元串流中之後面緊接著一漸進式改良區段中的複數個後續圖像之一圖像的一POC值與該經編碼視訊位元串流中之該漸進式改良區段中之該複數個後續圖像之一最後圖像的一POC值之間的一差;及基於該所判定之差量POC值而根據一漸進式改良操作解碼該漸進式改良區段中之該複數個後續圖像中的至少一些,其中該漸進式改良操作指示關於圖像品質之一改良。
  14. 如請求項13之器件,其中該器件包含以下各者中之至少一者:一積體電路;一微處理器;或包含該視訊解碼器之一無線通信器件。
  15. 如請求項13之器件,其中該SEI訊息包含指定該漸進式改良區段之一開端的一漸進式改良區段開始SEI訊息。
  16. 如請求項13之器件,其中該視訊解碼器進一步經組態以:判定該經編碼視訊位元串流中之後面緊接著該複數個後續圖像之該圖像包含關於該漸進式改良區段之一基底圖像,該漸進 式改良區段改良該基底圖像。
  17. 如請求項16之器件,其中該漸進式改良區段中之該複數個後續圖像中的每一個別圖像與該漸進式改良區段中之後面緊接著該各別圖像的一圖像相比定義一品質改良。
  18. 如請求項13之器件,其中該視訊解碼器進一步經組態以:使用該所判定之差量POC值,判定該漸進式改良區段中之該複數個後續圖像的該最後圖像;及停止根據該漸進式改良操作的解碼。
  19. 如請求項13之器件,其中,為了根據該漸進式改良操作而解碼該漸進式改良區段中之該複數個後續圖像中的至少一些,該視訊解碼器經組態以:將該漸進式改良操作應用於該漸進式改良區段中的每一圖像。
  20. 如請求項13之器件,其中該視訊解碼器包含至少一處理器。
  21. 一種非暫態電腦可讀儲存媒體,其具有儲存於其上之指令,該等指令在執行時使得一視頻解碼器件之一可程式化處理器進行如下操作:至少部分地基於一補充增強資訊(SEI)訊息,判定一差量圖像次序計數(POC)值,其指示一經編碼視訊位元串流中之後面緊接著一漸進式改良區段中的複數個後續圖像之一圖像的一POC值與該經編碼視訊位元串流中之該漸進式改良區段中之該複數個後續圖像之一最後圖像的一POC值之間的一差;及基於該所判定之差量POC值而根據一漸進式改良操作解碼該漸進式改良區段中之該複數個後續圖像中的至少一些,其中該漸進式改良操作指示關於圖像品質之一改良。
  22. 一種用於解碼視訊資料之器件,該器件包含: 用於至少部分地基於一補充增強資訊(SEI)訊息而判定一差量圖像次序計數(POC)值之構件,該差量POC值指示一經編碼視訊位元串流中之後面緊接著一漸進式改良區段中的複數個後續圖像之一圖像的一POC值與該經編碼視訊位元串流中之該漸進式改良區段中之該複數個後續圖像之一最後圖像的一POC值之間的一差;及用於基於該所判定之差量POC值而根據一漸進式改良操作解碼該漸進式改良區段中之該複數個後續圖像中的至少一些之構件,其中該漸進式改良操作指示關於圖像品質之一改良。
  23. 一種用於編碼視訊資料之器件,該器件包含:一記憶體,其經組態以儲存該視訊資料的至少一部分;及一視訊編碼器,經組態以進行如下操作:根據一漸進式改良操作編碼複數個後續圖像中之至少一些圖像,其於一漸進式改良區段中跟隨後面緊接著該複數個後續圖像之一圖像,其中該漸進式改良操作指示關於圖像品質之一改良;產生一差量圖像次序計數(POC)值,其指示一經編碼視訊位元串流中之後面緊接著該漸進式改良區段中的該複數個後續圖像之該圖像的一POC值與該經編碼視訊位元串流中之該漸進式改良區段中之該複數個後續圖像之一最後圖像的一POC值之間的一差;及將該經產生之差量POC值包含於該經編碼視訊位元串流中待被傳信之一補充增強資訊(SEI)訊息中。
  24. 如請求項23之器件,其中該器件包含以下各者中之至少一者:一積體電路;一微處理器;或 包含該視訊編碼器之一無線通信器件。
  25. 如請求項23之器件,其中該SEI訊息包含指定該漸進式改良區段之一開端的一漸進式改良區段開始SEI訊息。
  26. 如請求項23之器件,其中該視訊編碼器進一步經組態以進行如下操作:判定該經編碼視訊位元串流中之後面緊接著該漸進式改良區段中之該複數個後續圖像之該圖像包含關於該漸進式改良區段的一基底圖像。
  27. 如請求項26之器件,其中該漸進式改良區段中之該複數個後續圖像中的每一個別圖像與該漸進式改良區段中之後面緊接著該各別圖像的一圖像相比定義一品質改良。
  28. 如請求項23之器件,其進一步包含:判定該漸進式改良區段中之該複數個後續圖像的該最後圖像;及停止根據該漸進式改良操作的編碼。
  29. 如請求項23之器件,其中根據該漸進式改良操作編碼該漸進式改良區段中之該複數個後續圖像中的至少一些,該視訊編碼器係經組態以:將該漸進式改良操作應用於該漸進式改良區段中的每一圖像直到編碼一漸進式改良區段結束SEI訊息。
TW102148238A 2012-12-30 2013-12-25 在視訊寫碼中具有時間可擴充性支援之漸進式改良 TWI540884B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261747347P 2012-12-30 2012-12-30
US14/040,014 US9294777B2 (en) 2012-12-30 2013-09-27 Progressive refinement with temporal scalability support in video coding

Publications (2)

Publication Number Publication Date
TW201440498A TW201440498A (zh) 2014-10-16
TWI540884B true TWI540884B (zh) 2016-07-01

Family

ID=51017166

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102148238A TWI540884B (zh) 2012-12-30 2013-12-25 在視訊寫碼中具有時間可擴充性支援之漸進式改良

Country Status (13)

Country Link
US (1) US9294777B2 (zh)
EP (1) EP2939427B1 (zh)
JP (1) JP6337009B2 (zh)
KR (1) KR101672152B1 (zh)
CN (1) CN104969555B (zh)
DK (1) DK2939427T3 (zh)
ES (1) ES2605392T3 (zh)
HU (1) HUE030828T2 (zh)
PL (1) PL2939427T3 (zh)
PT (1) PT2939427T (zh)
SI (1) SI2939427T1 (zh)
TW (1) TWI540884B (zh)
WO (1) WO2014105485A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101750048B1 (ko) 2009-11-13 2017-07-03 삼성전자주식회사 변속 재생 서비스 제공 방법 및 장치
KR20110105710A (ko) * 2010-03-19 2011-09-27 삼성전자주식회사 복수의 챕터를 포함하는 콘텐트를 적응적으로 스트리밍하는 방법 및 장치
US10205965B2 (en) * 2013-10-15 2019-02-12 Nokia Technologies Oy Video encoding and decoding
US9762912B2 (en) 2015-01-16 2017-09-12 Microsoft Technology Licensing, Llc Gradual updating using transform coefficients for encoding and decoding
GB2538997A (en) 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
FR3073112B1 (fr) * 2017-11-02 2021-04-02 Ateme Procede et systeme de traitement d'un contenu multimedia dans un reseau de zone metropolitaine
KR20200112945A (ko) * 2018-01-29 2020-10-05 인터디지털 브이씨 홀딩스 인코포레이티드 재구성된 픽처의 정제를 갖는 인코딩 및 디코딩
WO2019234598A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and stmvp
JP7096373B2 (ja) 2018-06-07 2022-07-05 北京字節跳動網絡技術有限公司 部分的コスト計算
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
TWI729422B (zh) 2018-06-21 2021-06-01 大陸商北京字節跳動網絡技術有限公司 色彩分量間的子區塊移動向量繼承
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
GB2591906B (en) 2018-09-24 2023-03-08 Beijing Bytedance Network Tech Co Ltd Bi-prediction with weights in video coding and decoding
CN111083489B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
CN111083484B (zh) 2018-10-22 2024-06-28 北京字节跳动网络技术有限公司 基于子块的预测
WO2020094150A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in current picture referencing
WO2020098644A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
JP7241870B2 (ja) 2018-11-20 2023-03-17 北京字節跳動網絡技術有限公司 部分的な位置に基づく差分計算
CN113170093B (zh) 2018-11-20 2023-05-02 北京字节跳动网络技术有限公司 视频处理中的细化帧间预测
CN113383548A (zh) 2019-02-03 2021-09-10 北京字节跳动网络技术有限公司 Mv精度和mv差编解码之间的相互作用
EP3909239A4 (en) 2019-02-14 2022-04-20 Beijing Bytedance Network Technology Co., Ltd. SELECTIVE SIZE APPLICATION OF DECODER SIDE REFINING TOOLS
WO2020177683A1 (en) 2019-03-03 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Enabling bio based on the information in the picture header
KR102635518B1 (ko) 2019-03-06 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 변환된 단예측 후보의 사용
CN118433419A (zh) * 2019-03-12 2024-08-02 现代自动车株式会社 用于编码和解码影像的方法
EP3922014A4 (en) 2019-04-02 2022-04-06 Beijing Bytedance Network Technology Co., Ltd. DECODER SIDE MOTION VECTOR BYPASS
CN114402623B (zh) * 2019-04-19 2023-06-09 北京达佳互联信息技术有限公司 用于嵌入图像的补充增强信息消息
CN113728644B (zh) 2019-05-16 2024-01-26 北京字节跳动网络技术有限公司 基于子区域的运动信息细化确定
WO2021068956A1 (en) 2019-10-12 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Prediction type signaling in video coding
MX2022007503A (es) 2019-12-27 2022-07-04 Beijing Bytedance Network Tech Co Ltd Se?alizacion de tipos de corte en encabezados de imagenes de video.

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006108917A1 (en) * 2005-04-13 2006-10-19 Nokia Corporation Coding, storage and signalling of scalability information
AU2006277008B2 (en) * 2005-07-21 2011-11-10 Interdigital Vc Holdings, Inc. Method and apparatus for weighted prediction for scalable video coding
WO2007080223A1 (en) * 2006-01-10 2007-07-19 Nokia Corporation Buffering of decoded reference pictures
US8767836B2 (en) * 2006-03-27 2014-07-01 Nokia Corporation Picture delimiter in scalable video coding
CN101507281B (zh) * 2006-07-12 2013-06-05 诺基亚公司 媒体文件中的兴趣区域可缩放性信息的信号发送
CN101796846B (zh) * 2007-04-17 2013-03-13 诺基亚公司 基于反馈的可缩放视频编码
US8873627B2 (en) * 2010-12-07 2014-10-28 Mediatek Inc Method and apparatus of video coding using picture structure with low-delay hierarchical B group

Also Published As

Publication number Publication date
US20140185670A1 (en) 2014-07-03
TW201440498A (zh) 2014-10-16
HUE030828T2 (en) 2017-06-28
DK2939427T3 (en) 2016-11-07
EP2939427A1 (en) 2015-11-04
KR20150103111A (ko) 2015-09-09
US9294777B2 (en) 2016-03-22
KR101672152B1 (ko) 2016-11-02
JP2016507956A (ja) 2016-03-10
JP6337009B2 (ja) 2018-06-06
WO2014105485A1 (en) 2014-07-03
PT2939427T (pt) 2016-11-28
CN104969555B (zh) 2019-01-15
PL2939427T3 (pl) 2017-02-28
CN104969555A (zh) 2015-10-07
SI2939427T1 (sl) 2016-12-30
EP2939427B1 (en) 2016-08-24
ES2605392T3 (es) 2017-03-14

Similar Documents

Publication Publication Date Title
TWI540884B (zh) 在視訊寫碼中具有時間可擴充性支援之漸進式改良
JP6382395B2 (ja) ビデオコーディングにおけるビデオタイミングについてのクロックティック導出情報のシグナリング
TWI566585B (zh) 在視訊寫碼中具有時間可擴縮性支援之逐漸解碼更新
TWI666916B (zh) 在一視訊寫碼處理中之係數階寫碼
TWI556630B (zh) 用於處理視訊資料之方法及器件及電腦可讀取儲存媒體
TWI587708B (zh) 用於視訊寫碼之交錯視訊資料之指示
TWI530168B (zh) 在視訊寫碼中之低延遲緩衝模型
JP6158422B2 (ja) アラインされていないirapピクチャを含み得るマルチレイヤビットストリームのクロスレイヤpocアラインメント
TWI558179B (zh) 對視訊寫碼發信長期參考圖像
TWI554081B (zh) 基於位元深度之取樣適應性偏移縮放
TWI520584B (zh) 用信號發送用於一葉層級編碼單元之子集的轉換係數的語法元素
JP2017519447A (ja) ビデオコーディングのためのイントラブロックコピーブロックベクトルシグナリング
TW201352004A (zh) 轉換係數寫碼
TWI566582B (zh) 用於處理及編碼視訊資料之方法、器件及裝置以及電腦可讀儲存媒體
TW201444341A (zh) 用於視訊寫碼中之隨機存取之視訊緩衝操作