TWI544782B - 用於隨機存取後編碼依附圖片之視訊編碼技術 - Google Patents

用於隨機存取後編碼依附圖片之視訊編碼技術 Download PDF

Info

Publication number
TWI544782B
TWI544782B TW101108169A TW101108169A TWI544782B TW I544782 B TWI544782 B TW I544782B TW 101108169 A TW101108169 A TW 101108169A TW 101108169 A TW101108169 A TW 101108169A TW I544782 B TWI544782 B TW I544782B
Authority
TW
Taiwan
Prior art keywords
picture
random access
pictures
video
potentially unnecessary
Prior art date
Application number
TW101108169A
Other languages
English (en)
Other versions
TW201244494A (en
Inventor
陳盈
穆漢麥德 傑德 柯本
陳培松
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201244494A publication Critical patent/TW201244494A/zh
Application granted granted Critical
Publication of TWI544782B publication Critical patent/TWI544782B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

用於隨機存取後編碼依附圖片之視訊編碼技術
本發明係關於視訊編碼，且更特定言之，係關於針對隨機存取之視訊編碼技術。
本申請案主張於2011年3月10日申請之美國臨時申請案第61/451,453號及於2011年3月20日申請之美國臨時申請案第61/454,548號之優先權，該兩個申請案之全文特此以引用之方式併入。
可將數位視訊能力併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型電腦或桌上電腦、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、視訊電話會議器件及其類似者。數位視訊器件實施視訊壓縮技術(諸如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊編碼(AVC))、當前在開發過程中之高效率視訊編碼(HEVC)標準定義之標準及此等標準之擴展中所描述的視訊壓縮技術)以更有效率地傳輸、接收及儲存數位視訊資訊。
視訊壓縮技術可包括空間(框內圖片)預測及/或時間(框間圖片)預測以減少或移除視訊序列中所固有之冗餘。對於基於區塊之視訊編碼，可將視訊片段分割成視訊區塊，視訊區塊亦可被稱作樹塊、編碼單元(CU)及/或編碼節 點。圖片之經框內編碼(I)片段中的視訊區塊係使用相對於同一圖片中之相鄰區塊中之參考樣本的空間預測來編碼。圖片之經框間編碼(P或B)片段中的視訊區塊可使用相對於同一圖片中之相鄰區塊中的參考樣本之空間預測或相對於其他參考圖片中之參考樣本的時間預測。圖片可被稱作圖框，且參考圖片可被稱作參考圖框。
空間或時間預測使用針對待編碼之區塊的預測性區塊。殘餘資料表示待編碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本的區塊之運動向量及指示經編碼區塊與預測性區塊之間的差異之殘餘資料編碼經框間編碼區塊。根據框內編碼模式及殘餘資料編碼經框內編碼區塊。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生殘餘變換係數，該等殘餘變換係數接著可經量化。可按特定次序掃描最初配置成二維陣列之經量化之變換係數以產生變換係數之一維向量以用於熵編碼。
一般而言，本發明描述針對隨機存取之用於編碼視訊資料之技術。詳言之，本發明提議編碼一語法元素，該語法元素指示潛在不必要圖片是否為可在對清潔解碼再新(CDR)圖片之隨機存取請求的情況下成功地解碼之依附圖片。依附圖片為用於解碼按顯示次序在該清潔解碼再新(CDR)圖片之後的圖片之圖片。
在本發明之一實例中，一種編碼視訊資料之方法包含： 編碼一圖片群組，該圖片群組包括一清潔解碼再新(CDR)圖片及一或多個潛在不必要圖片，該一或多個潛在不必要圖片可為按顯示次序在該CDR圖片之後的圖片所需要的；判定該一或多個潛在不必要圖片中之任一者是否為一依附圖片；判定該依附圖片是否可在該CDP圖片用於隨機存取之狀況下解碼；及用信號發出一語法元素，該語法元素指示判定該依附圖片可在該CDR圖片用於隨機存取之狀況下解碼。
在本發明之另一實例中，一種解碼視訊資料之方法包含：接收一圖片群組，該圖片群組包括一清潔解碼再新(CDR)圖片及一或多個潛在不必要圖片；及接收一語法元素，該語法元素指示該一或多個潛在不必要圖片中之任一者是否為一依附圖片，該依附圖片可在接收對隨機存取該CDR圖片之一請求的狀況下解碼。該解碼方法可進一步包含：接收對隨機存取該CDR圖片之一請求；回應於對隨機存取之該請求而解碼該CDR圖片；解碼對應於該所接收語法元素之該依附圖片；及跳過針對該一或多個潛在不必要圖片中未藉由該所接收語法元素指示為依附圖片之任一者的解碼。
上文所描述之編碼及解碼方法亦可實施為裝置(例如，藉由視訊編碼器或視訊解碼器)或經由指令而儲存於電腦可讀媒體上。
一或多個實例之細節陳述於隨附圖式及以下描述中。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專 利範圍而顯而易見。
視訊編碼中之隨機存取允許視訊解碼器在極少參考或不參考先前視訊圖框的情況下解碼特定時刻之視訊。實際上，在經設計為隨機存取點之圖片處「重新開始」視訊編碼。清潔解碼再新(CDR)隨機存取點圖片之實例展示圖1中。圖1中之圖片按顯示次序展示。當前圖片群組(GOP)1包括具有自141至156之圖片次序計數(POC)之圖片，該等圖片包括隨機存取點圖片。在此實例中，隨機存取點圖片為清潔解碼再新(CDR)圖片148。CDR圖片為可在不參考其他圖片之情況下解碼之圖片。舉例而言，CDR圖片可為僅含有經框內預測片段之圖片。CDR圖片不同於瞬時解碼再新(IDR)圖片，IDR圖片為另一類型之「清潔」隨機存取圖片。在IDR圖片用於隨機存取時，立刻重設經解碼圖片緩衝器(DPB)。在CDR圖片用於隨機存取時，並不立刻重設DPB。此情形相對於IDR圖片隨機存取改良編碼效率。
在圖1中，用小寫「b」標記之圖片(亦即，圖片139、141、143、145及147)為自兩個其他圖片雙向地框間預測之圖片，如由箭頭所展示。在框間預測編碼過程中，指向至之圖片使用指向自之圖片作為預測子。並未使用具有小寫「b」之圖片來預測其他圖片。用大寫「B」標記之圖片(亦即，圖片140、142、144及156)亦為自兩個其他圖片雙向地框間預測之圖片。與「b」圖片相對比，使用用大寫「B」標記之圖片作為其他圖片之預測子，如由箭頭所展 示。圖片I146為經框內預測圖片。亦即，未參考其他圖片編碼圖片I146，而是使用內部空間預測來編碼該圖片。然而，圖片I46可用以預測其他圖片(例如，如圖1中所展示之圖片b147及b145)。
若在隨機存取之後在CDR148處開始解碼，則可不成功地解碼當前GOP 1中之一些圖片(例如，具有POC 141至147之圖片)，此係因為來自前一GOP 2之圖片將不可用於框間預測。亦即，若自CDR148開始解碼，則可已解碼或可尚未解碼來自前一GOP之圖片。因此，來自前一GOP之圖片可能無法用於框間預測。圖片141至147可能需要或可能不需要用於由按輸出次序在CDR圖片之後的圖片(具有POC>148之圖片)進行的框間預測。按顯示次序在CDR之前的圖片常常被稱作「潛在不必要圖片」3(圖1中之圖片141至147)。
在圖1之實例中，存在一潛在不必要圖片I146，即使CDR148用於隨機存取，仍可成功地解碼I146。I146仍可解碼，此係因為其為不依賴於待解碼之任何其他圖片的經框內預測圖片。在一些環境下，圖片(例如，按輸出次序在CDR148之後的B156)可使用潛在不必要圖片(在此狀況下為I146)以用於框間預測。用於按解碼次序及顯示次序在CDR之後的圖片之框間預測之潛在不必要圖片被稱為依附圖片4。在圖1之實例中，B156為按解碼次序及顯示次序兩者在CDR圖片之後的第一個圖片。若保證I146之解碼，則仍可使用CDR148作為隨機存取點，此係因為需要I146用於解碼 按解碼次序及輸出次序兩者在CDR148之後的圖片(例如，圖片B156)。若依附圖片4為經框內預測圖片，則解碼器可容易地判定此圖片可解碼。
圖2為說明圖片群組之實例解碼次序的概念圖，該圖片群組具有清潔解碼再新圖片及經框間預測依附圖片。在圖2之實例中，依附圖片4為經框間預測圖片(P246或B246)。基於高效率視訊編碼(HEVC)標準中之CDR之當前定義，不允許此情形。此係因為不保證依附P或B圖片之解碼。若在隨機存取之後在CDR圖片處開始視訊解碼，則不確定包括任何依附圖片之潛在不必要圖片是否可解碼，此係因為該等潛在不必要圖片可自包括前一GOP中之圖片的預測鏈或自當前GOP中之自身依賴於前一GOP中之圖片的圖片來框間預測。再次，在隨機存取CDR圖片之後，前一GOP中之圖片可為不可用的。
當前視訊編解碼器(編碼器/解碼器)設計不支援依附圖片之解碼。因此，當前視訊編解碼器設計亦不支援依據依附圖片之框間預測，同時亦不解碼任何其他潛在不必要圖片。不允許潛在不必要圖片之解碼，此係因為極難以判定在隨機存取之後是否可成功地解碼潛在不必要圖片。若潛在不必要圖片為I圖片，則解碼為可能的，此係因為可在不使用任何其他圖片之情況下解碼I圖片。然而，若潛在不必要圖片為B或P圖片(例如，圖2中之P246或B246)，則視訊解碼器必須首先判定複雜預測鏈以便識別潛在不必要圖片是否可解碼。舉例而言，視訊解碼器必須首先判定圖 2中之圖片239至248的預測鏈以便判定是否可成功地解碼彼等潛在不必要圖片中之任一者。又，當前視訊編解碼器設計未提供用於允許解碼器判定潛在不必要圖片是否將用於針對按解碼次序在CDR之後的圖片之框間預測中(亦即，判定潛在不必要圖片是否為依附圖片)之機制。
鑒於上文所描述之缺點，本發明提議使用待添加於圖片級語法及/或片段標頭語法中之語法元素(例如，旗標)作為潛在不必要圖片可解碼且可用於針對按解碼次序在CDR之後的圖片之框間預測之指示(亦即，旗標指示潛在不必要圖片為可解碼依附圖片)。可在經編碼視訊位元串流中藉由編碼器用信號發出旗標，此係因為編碼器可判定針對潛在不必要圖片之預測鏈是否允許在隨機存取之後成功解碼且潛在不必要圖片是否可用於針對按解碼次序在CDR之後的圖片之框間預測。
編碼器可在編碼圖片時追蹤預測鏈且在圖片在與CDR相同之GOP中時將圖片識別為潛在不必要圖片。特定潛在不必要圖片可接著被指派一旗標(例如，依附圖片旗標)以指示該等潛在不必要圖片可在隨機存取CDR之後解碼且該等潛在不必要圖片可用於針對按解碼次序在CDR之後的圖片之框間預測(亦即，旗標指示潛在不必要圖片為依附圖片)。在一實例中，可針對包括CDR圖片之每一GOP用信號發出額外指示旗標(例如，依附指示旗標)。具有(例如)值1的依附指示旗標指示GOP中之潛在不必要圖片中之至少一者為依附圖片。若是，則針對每一潛在不必要圖片用信號 發出依附圖片旗標。依附圖片旗標指示特定潛在不必要圖片是否為依附圖片。若依附指示旗標具有值0，則此情形指示在GOP中沒有潛在不必要圖片為依附圖片。因此，不需要針對彼GOP用信號發出依附圖片旗標。在另一實例中，未使用依附指示旗標。實情為，針對具有CDR圖片之GOP中的所有潛在不必要圖片用信號發出依附圖片旗標。
作為實例，可在網路抽象層(NAL)單元標頭、圖片級補充增強資訊(SEI)訊息、片段標頭或另一圖片級語法元素或訊息中用信號發出依附指示旗標及依附圖片旗標以指示潛在不必要圖片為依附圖片(亦即，潛在不必要圖片既可解碼且亦可在隨機存取之後用於框間預測)。NAL單元為含有針對片段之部分中所含之複數個圖片之視訊資料的視訊資料離散封包。圖片級SEI訊息為可適用於圖片之解碼的補充資訊。
在剛好選擇當前GOP中之CDR以用於隨機存取之狀況下，解碼器可使用此旗標來判定當前GOP中之任何潛在不必要圖片是否可被成功地解碼且是否可用於藉由按解碼次序及輸出次序在CDR之後的圖片進行之框間預測(亦即，判定潛在不必要圖片為依附圖片)。
在本發明之另一實例中，可將依附指示旗標及/或依附圖片旗標添加至檔案格式(例如，ISO檔案格式)中，使得並非依附圖片之圖片需要被解碼及/或在應用情形(諸如，基於HTTP之視訊串流傳輸)中囊封檔案以供傳輸之狀況下不需要被傳輸。
ISO基礎媒體檔案格式經設計以含有供以靈活、可擴展之格式呈現之定時媒體資訊，該靈活、可擴展之格式促進媒體之互換、管理、編輯及呈現。ISO基礎媒體檔案格式(ISO/IEC 14496-12：2004)在MPEG-4第12部分中詳細說明，MPEG-4第12部分定義基於時間之媒體檔案的一般結構。ISO基礎媒體檔案格式用作家族中之諸如以下其他檔案格式之基礎：經定義以支援H.264/MPEG-4 AVC視訊壓縮之進階視訊編碼(AVC)檔案格式(ISO/IEC 14496-15)、3GPP檔案格式以及SVC檔案格式及MVC檔案格式，SVC檔案格式及MVC檔案格式兩者為AVC檔案格式之擴展。ISO媒體檔案格式亦可通常擴展至其他視訊編碼標準，諸如HEVC。
ISO基礎媒體檔案格式可含有用於媒體資料之定時序列(諸如，音訊視覺呈現)之時序、結構及媒體資訊。該檔案結構為物件導向式的。可極其簡單地將檔案分解成基本物件，且物件之結構由其類型隱含。
一簡報(動作序列)可含於若干檔案中。時序及成框(位置及大小)資訊在ISO基礎媒體檔案中，且輔助檔案可基本上使用任何格式。此簡報可在含有該簡報之系統的「本端」，或可經由網路或其他串流遞送機構。
遵照ISO基礎媒體檔案格式之檔案形成為一系列物件，稱作「盒(box)」。在一實例中，所有資料含於盒中且在檔案內不存在其他資料。此包括特定檔案格式所需要之任何初始簽名。「盒」為藉由唯一類型識別符及長度定義的物 件導向式建置組塊。
遵循ISO基礎媒體檔案格式之實例檔案結構展示於圖8中。通常，一簡報含於一檔案300中，其中媒體簡報為自含式的。電影容器302(例如，電影盒)含有媒體之後設資料，且視訊及音訊圖框係含於媒體資料容器350中及/或在其他檔案中。
電影容器302可含有針對視訊軌道304之後設資料。電影容器302亦可含有其他軌道，諸如音訊軌道(未圖示)。視訊軌道304中之後設資料可儲存於媒體資訊容器308中。媒體資訊可包括樣本描述310。樣本描述310可含有確切媒體類型(例如，解碼串流所需要之解碼器的類型)的「名稱」及彼所需解碼器之任何參數化。該名稱亦可採取四字元碼(例如，「moov」或「trak」)之形式。存在不僅用於MPEG-4媒體且亦用於使用此檔案格式家族的其他組織所使用之媒體類型的經定義之樣本條目格式。
媒體資料容器350可包括交錯式時間定序視訊樣本及音訊圖框。詳言之，媒體資料容器350可包括複數個視訊資料厚塊(例如，視訊資料厚塊352及362)。每一視訊資料厚塊可包括複數個視訊樣本(例如，視訊樣本353a-c及363a-c)。
檔案具有邏輯結構、時間結構及實體結構。此等結構不需要耦合。檔案之邏輯結構為電影，電影又含有一組時間並行之軌道。檔案之時間結構為軌道含有在時間上之樣本序列，且彼等序列藉由可選編輯清單而映射至整個電影之 時刻表中。
檔案之實體結構將邏輯、時間及結構分解所需之資料與媒體資料樣本自身分離。此結構資訊集中於一電影盒中，可能在時間上由電影片段盒擴展。該電影盒記錄樣本之邏輯及時序關係，且亦含有至其所處位置之指標。彼等指標可指向由URL參考之同一檔案或另一檔案。
對後設資料之支援採取兩種形式。首先，可將定時後設資料儲存於適當軌道中，在需要時與其所描述之媒體資料(例如，媒體容器350中之視訊資料厚塊)同步。其次，存在對附加至電影或個別軌道之非定時後設資料的一般支援。結構支援為一般性的，且如在媒體資料中，允許後設資料資源儲存於檔案中之別處或儲存於另一檔案中。另外，此等資源可加以命名且可受保護。
在ISO基礎媒體檔案格式中，樣本分組為將軌道中之樣本中之每一者指派為一樣本群組中之成員。樣本群組中之樣本不需要為連續的。舉例而言，在呈現呈AVC檔案格式之H.264/AVC時，處於一時間層級中之視訊樣本可取樣至一樣本群組中。藉由兩個資料結構來表示樣本群組：SampleToGroup盒(sbdp)及SampleGroupDescription盒。SampleToGroup盒表示將樣本指派給樣本群組。對於每一樣本群組條目而言，存在第二盒之一例項以描述此群組之性質。
在ISO基礎媒體檔案格式中，定義被稱作隨機存取點(RAP)312樣本分組之第二群組。規定同步樣本為隨機存取 點(例如，CDR圖片)，可正確地解碼按解碼次序在該隨機存取點之後的所有樣本。然而，可有可能編碼「開放」隨機存取點，可正確地解碼按輸出次序在該「開放」隨機存取點之後的所有樣本，但不需要可正確地解碼按解碼次序在隨機存取點之後及按輸出次序在隨機存取點之前的一些樣本。舉例而言，開始開放圖片群組之框內圖片按解碼次序可在經(雙向)預測圖片之前，經(雙向)預測圖片按輸出次序在框內圖片之前。有可能在解碼自框內圖片開始之狀況下無法正確地解碼此等經(雙向)預測圖片，且因此不需要該等經(雙向)預測圖片。
此等「開放」隨機存取樣本可藉由為此群組之一成員標記(藉由圖8中之自RAP 312至視訊厚塊352及362中之視訊樣本的箭頭表示)。藉由此群組標記之樣本為隨機存取點，且亦可為同步點(亦即，不需要排除藉由同步樣本表標記之樣本)。
下文中展示針對ISO基礎檔案格式之隨機存取語法之實例。
class VisualRandomAccessEntry()extends VisualSampleGroupEntry('rap') { unsigned int(1)num_leading_samples_known； unsigned int(7)num_leading_samples； }
語法元素num_leading_samples_known等於1指示：針對此群組中之每一樣本，同步點(例如，CDR圖片)之前的引 導樣本之數目為已知的，且藉由語法元素num_leading_samples規定該數目。引導樣本為與「開放」隨機存取點(RAP)相關聯之此樣本。引導樣本按顯示次序在RAP(例如，CDR圖片)之前且按解碼次序在RAP或另一引導樣本之後。在解碼自RAP開始時，無法正確地解碼樣本。語法元素num_leading_samples規定針對此群組中之每一樣本的引導樣本之數目。在num_leading_samples_known等於0時，應忽略此欄位。
為了進一步使得能夠用信號發出依附旗標(dependent_flag)，提議以下語法： class VisualRandomAccessEntry()extends VisualSampleGroupEntry('rap') { unsigned int(1)num_leading_samples_known； unsigned int(6)num_leading_samples； unsigned int(1)depedent_indication_flag； if(depedent_indication_flag){ for(i=0；i<num_leading_samples；i++) unsigned int(1)dependent_flag； while(i%8！=0) unsigned int(1)byte_aligne_zero_bit； } }
在上文實例中，按解碼次序用信號發出針對引導圖片之dependent_indication_flag 314的值。dependent_indication_ flag 314指示引導樣本(例如，潛在不必要圖片)中之任一者是否為可在隨機存取RAP(例如，CDR圖片)之後正確地解碼且用於解碼按輸出次序在RAP之後的圖片之依附圖片。若dependent_indication_flag 314為真(例如，具有值1)，則針對潛在不必要圖片中之每一者用信號發出dependent_flag 316以指示特定圖片是否為依附的。若dependent_indication_flag 314為假(例如，具有值0)，則不需要用信號發出dependent_flag 316。
在本發明之另一實例中，並未用信號發出dependent_indication_flag 314，且實情為，針對具有RAP(例如，CDR圖片)之群組中的所有潛在不必要圖片用信號發出dependent_flag 316。舉例而言，可針對每一樣本關聯不同盒，且該盒可含有此dependent_flag 316。若dependent_flag 316為真，且因而當前圖片為隨機存取後的依附圖片，則旗標指示依附圖片可成功地解碼且可在最近CDR用於隨機存取之狀況下用於藉由按輸出次序在CDR之後的圖片進行之框間預測。若dependent_flag 316為假，則圖片不需要用於針對按輸出次序在CDR之後的圖片之框間預測，且此外，在隨機存取使用CDR來發生時不需要圖片。
若相應地修改CDR定義，則在CDR用於隨機存取時不需要解碼除依附圖片(例如，圖1及圖2中之圖片I146/P246/B246)以外的所有其他潛在不必要圖片。在使用CDR圖片用於隨機存取時不需要解碼用旗標標記為不可解 碼之依附圖片之潛在不必要圖片，此情形可簡化解碼。
圖3為說明可利用本發明中所描述之隨機存取編碼技術的實例視訊編碼及解碼系統10之方塊圖。如圖3中所展示，系統10包括源器件12，源器件12產生在稍後時間將藉由目的地器件14解碼之經編碼視訊資料。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂之「智慧型」電話之電話手機、所謂之「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台或其類似者。在一些狀況下，源器件12及目的地器件14可經裝備以用於無線通信。
目的地器件14可經由鏈路16接收待解碼之經編碼視訊資料。鏈路16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14之任何類型之媒體或器件。在一實例中，鏈路16可包含使源器件12能夠即時將經編碼視訊資料直接傳輸至目的地器件14之通信媒體。經編碼視訊資料可根據通信標準(諸如，無線通信協定)調變且被傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)的一部分。通信媒體可包括路由器、交換器、基地台或可有用於促進自源器件12至目的地器件14之通信的任何其他設備。
在另一實例中，經編碼視訊亦可儲存於儲存媒體34或檔 案伺服器36上且可在需要時藉由目的地器件14存取。儲存媒體可包括多種本端存取之資料儲存媒體中之任一者，諸如藍光光碟、DVD、CD-ROM、快閃記憶體或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。儲存媒體34或檔案伺服器36可為可保持藉由源器件12所產生之經編碼視訊且目的地器件14可在需要時經由串流傳輸或下載而存取的任何其他中間儲存器件。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之任何類型之伺服器。實例檔案伺服器包括web伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由包括網際網路連接之任何標準資料連接存取經編碼視訊資料。此情形可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)或兩者之組合。經編碼視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術不必限於無線應用或設定。技術可適用於視訊編碼，視訊編碼支援多種多媒體應用中之任一者，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流傳輸視訊傳輸(例如，經由網際網路)、編碼數位視訊以儲存於資料儲存媒體上、解碼儲存於資料儲存媒體上之數位視訊或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援應用，諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話。
在圖3之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些狀況下，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。在源器件12中，視訊源18可包括諸如視訊捕獲器件之源或此等源之組合，視訊捕獲器件例如視訊攝影機、含有先前捕獲之視訊的視訊存檔、自視訊內容提供者接收視訊之視訊饋入介面，及/或用於產生電腦圖形資料作為源視訊之電腦圖形系統。作為一實例，若視訊源18為視訊攝影機，則源器件12及目的器件14可形成所謂之攝影機電話或視訊電話。然而，本發明中所描述之技術可一般適用於視訊編碼且可適用於無線及/或有線應用。
可由視訊編碼器20來編碼所捕獲、預捕獲或電腦產生之視訊。經編碼視訊資訊可根據通信標準(諸如，無線通信協定)藉由數據機22調變且經由傳輸器24傳輸至目的地器件14。數據機22可包括各種混頻器、濾波器、放大器或經設計以用於信號調變之其他組件。傳輸器24可包括經設計以用於傳輸資料之電路，包括放大器、濾波器及一或多個天線。
在圖3之實例中，目的地器件14包括接收器26、數據機28、視訊解碼器30及顯示器件32。目的地器件14之接收器26經由頻道16接收資訊，且數據機28解調變該資訊以產生用於視訊解碼器30之經解調變位元串流。經由頻道16傳達之資訊可包括由視訊編碼器20所產生之供視訊解碼器30在解碼視訊資料時使用的多種語法資訊。此語法亦可包括於 儲存於儲存媒體34或檔案伺服器36上之經編碼視訊資料內。視訊編碼器20及視訊解碼器30中之每一者可形成能夠編碼或解碼視訊資料之各別編碼器-解碼器(編解碼器)的部分。
顯示器件32可與目的地器件14整合或在目的地器件14之外部。在一些實例中，目的地器件14可包括整合式顯示器件且亦經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。一般而言，顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如，當前在開發過程中之高效率視訊編碼(HEVC)標準)操作且可遵照HEVC測試模型(HM)。HEVC標準之當前草案版本呈現於由B.Bross、W.-J.Han、G.J.Sullivan、J.-R.Ohm、T.Wiegand編輯的日期為2012年2月17日之JCTVC-H1003(「High Efficiency Video Coding(HEVC)text specification draft 6」，版本21)中。或者，視訊編碼器20及視訊解碼器30可根據其他專屬或工業標準(諸如，ITU-T H.264標準，或者被稱作MPEG-4第10部分(進階視訊編碼(AVC)))或此等標準之擴展而操作。然而，本發明之技術不限於任何特定編碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。
儘管未在圖3中展示，但在一些態樣中，視訊編碼器20 及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或獨立資料串流中之音訊及視訊兩者的編碼。若適用，則在一些實例中，MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報文協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30各自可實施為包含多種合適編碼器及/或解碼器電路中之任一者的一或多個處理器，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。在部分地以軟體實施技術時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中且使用一或多個處理器執行硬體中之指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其任一者可在各別器件中整合為組合式編碼器/解碼器(CODEC)之部分。
視訊編碼器20可實施本發明之技術中之任一者或全部。同樣，視訊解碼器30可實施此等技術中之任一者或全部。作為一實例，視訊編碼器20可經組態以編碼一圖片群組，該圖片群組包括一清潔解碼再新(CDR)圖片及一或多個潛在不必要圖片；判定該一或多個潛在不必要圖片中之任一者是否為一依附圖片；判定該依附圖片是否可在該CDP圖片用於隨機存取之狀況下解碼；及用信號發出一語法元 素，該語法元素指示判定該依附圖片可在該CDR圖片用於隨機存取之狀況下解碼。
作為另一實例，視訊解碼器30可經組態以接收一圖片群組，該圖片群組包括一清潔解碼再新(CDR)圖片及一或多個潛在不必要圖片；及接收一語法元素，該語法元素指示該一或多個潛在不必要圖片中之任一者是否為一依附圖片，該依附圖片可在接收對隨機存取該CDR圖片之一請求的狀況下解碼。視訊解碼器30可進一步經組態以接收對隨機存取該CDR圖片之一請求；回應於對隨機存取之該請求而解碼該CDR圖片；及解碼對應於該所接收語法元素之該依附圖片。
如本發明中所描述之視訊編碼器(video coder)可指代視訊編碼器(video encoder)或視訊解碼器。類似地，視訊編碼器及視訊解碼器可分別被稱為視訊編碼單元及視訊解碼單元。同樣，視訊編碼可指代視訊編碼或視訊解碼。
視訊編碼聯合協作組(JCT-VC)當前正從事於HEVC標準之開發。HEVC標準化努力係基於被稱作HEVC測試模型(HM)之視訊編碼器件之演進模型。當前HM根據(例如)ITU-T H.264/AVC推測相對於現有器件之視訊編碼器件之若干額外能力。舉例而言，鑒於H.264提供9個框內預測編碼模式，HM可提供多達33個框內預測編碼模式。
一般而言，HM之工作模型描述可將視訊圖框或圖片劃分成包括明度及色度樣本兩者之樹塊或最大編碼單元(LCU)的序列。樹塊具有與H.264標準之巨集區塊類似之目 的。片段包括數個按編碼次序連續之樹塊。可將視訊圖框或圖片分割成一或多個片段。可根據四叉樹將每一樹塊拆分成編碼單元(CU)。舉例而言，可將作為四叉樹之根節點的樹塊拆分成四個子節點，且每一子節點可又為父節點且被拆分成另外四個子節點。作為四叉樹之葉節點的最終不可拆分之子節點包含編碼節點，亦即經編碼視訊區塊。與經編碼位元串流相關聯之語法資料可定義一樹塊可被拆分之最大次數，且亦可定義編碼節點之最小大小。
CU包括編碼節點及預測單元(PU)以及與編碼節點相關聯之變換單元(TU)。CU之大小對應於編碼節點之大小且形狀為正方形。CU之大小可在自8×8個像素直至最大64×64個像素或更大之樹塊的大小之範圍內。每一CU可含有一或多個PU及一或多個TU。舉例而言，與CU相關聯之語法資料可描述將CU分割成一或多個PU之情形。分割模式可在CU是被跳過還是以直接模式編碼、以框內預測模式編碼或以框間預測模式編碼之間而為不同的。PU可經分割以使形狀為非正方形。舉例而言，與CU相關聯之語法資料亦可描述根據四叉樹將CU分割成一或多個TU之情形。TU之形狀可為正方形或非正方形。
一般而言，PU包括與預測過程有關之資料。舉例而言，在PU以框內模式編碼時，PU可包括描述用於PU之框內預測模式之資料。作為另一實例，在PU以框間模式編碼時，PU可包括界定PU之運動向量的資料。舉例而言，界定PU之運動向量的資料可描述運動向量之水平分量、運動 向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向之參考圖片，及/或運動向量之參考圖片清單(例如，清單0、清單1或清單C)。
一般而言，TU供變換及量化過程使用。具有一或多個PU之CU亦可包括一或多個變換單元(TU)。在預測之後，視訊編碼器20可計算對應於PU之殘餘值。殘餘值包含視訊資料之當前區塊與視訊資料的預測性區塊之間的像素差值。殘餘值可變換成變換係數、經量化且使用TU掃描以產生串行化變換係數以用於熵編碼。本發明通常使用術語「視訊區塊」來指代CU之編碼節點。在一些特定狀況下，本發明亦可使用術語「視訊區塊」來指代包括編碼節點以及PU及TU之樹塊，亦即LCU或CU。
視訊序列通常包括一系列視訊圖框或圖片。圖片群組(GOP)通常包含一系列一或多個視訊圖片。GOP可在GOP之標頭中、圖片中之一或多者的標頭中或別處包括語法資料，語法資料描述包括於GOP中之圖片的數目。圖片之每一片段可包括片段語法資料，其描述各別片段之編碼模式。視訊編碼器20通常對個別視訊片段內之視訊區塊進行操作以便編碼視訊資料。視訊區塊可對應於CU內之編碼節點。視訊區塊可具有固定或變化之大小，且可根據所規定之編碼標準而在大小上不同。
作為實例，HM支援各種PU大小之預測。假定特定CU之大小為2N×2N，HM支援2N×2N或N×N之PU大小的框內預 測，及2N×2N、2N×N、N×2N或N×N之對稱PU大小的框間預測。HM亦支援針對2N×nU、2N×nD、nL×2N及nR×2N之PU大小的框間預測之非對稱分割。在非對稱分割中，CU之一方向未分割，而另一方向分割成25%及75%。對應於25%分割區之CU之部分由「n」後跟著「上」、「下」、「左」或「右」之指示來指示。因此，舉例而言，「2N×nU」指代經水平地分割之2N×2N CU，其中2N×0.5N PU在上且2N×1.5N PU在下。
在本發明中，「N×N」與「N乘N」可互換使用以指代按照垂直及水平尺寸的視訊區塊之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊將在垂直方向上具有16個像素(y=16)，且在水平方向上具有16個像素(x=16)。同樣，N×N區塊一般在垂直方向上具有N個像素，且在水平方向上具有N個像素，其中N表示非負整數值。可將區塊中之像素排列成列及行。此外，區塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。
在使用CU之PU的框內預測性或框間預測性編碼之後，視訊編碼器20可計算殘餘資料。PU可包含空間域(亦被稱作像素域)中之像素資料。TU可包含在應用變換(例如，離散餘弦變換(DCT)、整數變換、小波變換或與殘餘視訊資料概念上類似的變換)之後變換域中之係數。殘餘資料可對應於未經編碼圖片與預測性視訊區塊之像素之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且接 著變換TU以產生CU之變換係數。
在任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化通常指代一過程，在該過程中量化變換係數以可能減少用以表示係數之資料的量，從而提供進一步壓縮。量化過程可減少與係數中之一些或全部相關聯的位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化變換係數以產生可熵編碼之串行化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應性可變長度編碼(CAVLC)、上下文自適應性二進位算術編碼(CABAC)、基於語法之上下文自適應性二進位算術編碼(SBAC)、機率間隔分割熵編碼(PIPE)或另一熵編碼方法來熵編碼一維向量。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯之語法元素以供視訊解碼器30在解碼視訊資料時使用。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派至待傳輸之符號。上下文可與(例如)符號之相鄰值是否為非零有關。為了執行CAVLC，視訊編碼器20可選擇待傳輸之符號的可變長度碼。VLC中之碼字可經建構以使得相對較短之碼對應於較大可能之符號，而較長碼對應於較小可能之符號。以此方式，VLC之使用可相對於(例如)針對待傳輸之每一符號使用等長度碼字達成位元節 省。機率判定可基於指派至符號之上下文。
圖4為說明可實施本發明中所描述之技術的實例視訊編碼器20之方塊圖。視訊編碼器20可執行視訊片段內之視訊區塊的框內編碼及框間編碼。框內編碼依賴於空間預測以減少或移除給定視訊圖框或圖片內之視訊的空間冗餘。框間編碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖片內之視訊的時間冗餘。框內模式(I模式)可指代若干基於空間壓縮模式中之任一者。諸如單向預測(P模式)或雙向預測(B模式)之框間模式可指代若干基於時間壓縮模式中之任一者。
在圖4之實例中，視訊編碼器20包括預測模組41、參考圖片記憶體64、求和器50、變換模組52、量化單元54及熵編碼單元56。預測模組41包括模式選擇單元40、運動估計單元42、運動補償單元44及框內預測模組46。包括含於其中之模式選擇單元40、運動估計單元42、運動補償單元44及框內預測模組46的預測模組41可被視為整個視訊編碼器電路之部分。針對視訊編碼器20所描述之任何模組或單元可經結構化為一或多個可程式化處理器、硬邏輯或其任何組合。針對視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換模組60及求和器62。亦可包括解區塊濾波器(圖4中未展示)以濾波區塊邊界以自經重建構視訊移除方塊效應假影。在需要時，解區塊濾波器將通常濾波求和器62之輸出。
如圖4中所展示，視訊編碼器20接收待編碼之視訊片段 內之當前視訊區塊。片段可劃分成多個視訊區塊。模式選擇單元40可基於錯誤結果針對當前視訊區塊選擇編碼模式(框內或框間)中之一者，且預測模組41可將所得經框內編碼或經框間編碼區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62以重建構經編碼區塊以用作參考圖片。
預測模組41(或視訊編碼器20之另一結構單元)亦可經組態以判定當前GOP是否含有任何依附圖片。如上文所描述，依附圖片為按編碼次序在CDR圖片之後的圖片，但亦用作針對按編碼次序及顯示次序兩者在CDR之後的另一圖片之預測圖片。預測模組41可針對含有CDR之GOP追蹤預測鏈。若判定圖片為依附圖片，則預測模組41可進一步判定依附圖片是否可在隨機存取CDR發生之狀況下解碼。若依附圖片之預測鏈不取決於來自前一GOP之任何圖片(例如，在隨機存取CDR之狀況下自CDR或其他可解碼圖片框間預測之經框間預測B或P圖片)，或若依附圖片為經框內預測圖片(例如，圖1之圖片I146)，則判定依附圖片可解碼。
預測模組41可在經編碼視訊位元串流中用信號發出依附圖片語法元素63(例如，依附旗標)以指示特定潛在不必要圖片是否為可在隨機存取CDR圖片之狀況下解碼的依附圖片。依附圖片語法元素63可藉由熵編碼單元56熵編碼以供包括於經編碼視訊位元串流中。如上文所論述，可在網路抽象層(NAL)單元標頭、圖片級補充增強資訊(SEI)訊息、片段標頭或另一圖片級語法元素或訊息中用信號發出依附 圖片語法元素。如上文所描述，依附圖片語法元素63亦可儲存於檔案格式中。
應理解，預測模組41為可產生依附圖片語法元素63之視訊編碼器20之結構組件的僅一實例。視訊編碼器20之其他結構或功能單元可單獨或組合地經組態以使用上文所描述之技術產生依附圖片語法元素。
預測模組41內之框內預測模組46可執行相對於在與待編碼之當前區塊相同的圖框或片段中之一或多個相鄰區塊的當前視訊區塊之框內預測性編碼以提供空間壓縮。預測模組41內之運動估計單元42及運動補償單元44執行相對於一或多個參考圖片中之一或多個預測性區塊的當前視訊區塊之框間預測性編碼以提供時間壓縮。
運動估計單元42可經組態以根據視訊序列之預定型樣判定視訊片段之框間預測模式。預定型樣可將序列中之視訊片段指定為P片段、B片段或GPB片段。運動估計單元42及運動補償單元44可高度整合，但為概念目的而分別說明。藉由運動估計單元42所執行之運動估計為產生估計視訊區塊之運動的運動向量之過程。舉例而言，運動向量可指示當前視訊圖框或圖片內之視訊區塊之PU相對於參考圖片內之預測性區塊的位移。
預測性區塊為被發現在像素差方面密切匹配待編碼之視訊區塊的PU之區塊，像素差可藉由絕對差和(SAD)、平方差和(SSD)或其他差度量判定。在一些實例中，視訊編碼器20可計算儲存於參考圖片記憶體64中之參考圖片之分段 整數像素位置的值。舉例而言，視訊編碼器20可計算參考圖片之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜索且輸出具有分數像素精度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖片之預測性區塊的位置而計算經框間編碼片段中之視訊區塊的PU之運動向量。參考圖片可自第一參考圖片清單(清單0)或第二參考圖片清單(清單1)選擇，該等清單中之每一者識別儲存於參考圖片記憶體64中之一或多個參考圖片。運動估計單元42將經計算運動向量發送至熵編碼單元56及運動補償單元44。
藉由運動補償單元44所執行之運動補償可涉及基於由運動估計所判定之運動向量提取或產生預測性區塊。在接收當前視訊區塊之PU的運動向量之後，運動補償單元44即可在參考圖片清單中之一者中定位運動向量所指向之預測性區塊。視訊編碼器20藉由自正編碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值。像素差值形成區塊之殘餘資料，且可包括明度及色度差分量兩者。求和器50表示執行此減去運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊片段相關聯之語法元素以供視訊解碼器30在解碼視訊片段之視訊區塊時使用。
在運動補償單元44針對當前視訊區塊產生預測性區塊之 後，視訊編碼器20藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且應用於變換模組52。變換模組52使用諸如離散餘弦變換(DCT)或概念上類似的變換之變換將殘餘視訊資料變換成殘餘變換係數。變換模組52可將殘餘視訊資料自像素域轉換至變換域，諸如頻域。
變換模組52可將所得變換係數發送至量化單元54。量化單元54對變換係數進行量化以進一步減小位元速率。量化過程可減少與係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化之程度。在一些實例中，量化單元54可接著執行包括經量化變換係數之矩陣的掃描。或者，熵編碼單元56可執行掃描。
在量化之後，熵編碼單元56可熵編碼經量化變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度編碼(CAVLC)、上下文自適應性二進位算術編碼(CABAC)或另一熵編碼技術。在藉由熵編碼單元56進行熵編碼之後，可將經編碼位元串流傳輸至視訊解碼器30或加以存檔以供稍後傳輸或藉由視訊解碼器30擷取。熵編碼單元56亦可熵編碼正編碼之當前視訊片段的運動向量及其他語法元素。
反量化單元58及反變換模組60分別應用反量化及反變換，以在像素域中重建構殘餘區塊以供稍後用作參考圖片之參考區塊。運動補償單元44可藉由將殘餘區塊與參考圖片清單中之一者內的參考圖片中之一者之預測性區塊相加 來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構殘餘區塊以計算分段整數像素值以供在運動估計中使用。求和器62將經重建構殘餘區塊與藉由運動補償單元44所產生之經運動補償預測區塊相加以產生參考區塊以供儲存於參考圖片記憶體64中。參考區塊可藉由運動估計單元42及運動補償單元44用作參考區塊以框間預測後續視訊圖框或圖片中之區塊。
圖5為說明可實施本發明中所描述之技術的實例視訊解碼器30之方塊圖。在圖5之實例中，視訊解碼器30包括熵解碼單元80、預測模組81、反量化單元86、反變換單元88、求和器90及參考圖片記憶體92。預測模組81包括運動補償單元82及框內預測模組84。預測模組81可被視為整個視訊解碼器電路之部分。針對視訊解碼器30所描述之任何模組或單元可經結構化為一或多個可程式化處理器、硬邏輯或其任何組合。在一些實例中，視訊解碼器30可執行與關於來自圖4之視訊編碼器20描述之編碼遍次大體上互反的解碼遍次。
在解碼過程期間，視訊解碼器30接收藉由視訊編碼器(例如，視訊編碼器20)所產生之經編碼視訊位元串流，該經編碼視訊位元串流表示經編碼視訊片段的視訊區塊及相關聯之語法元素，相關聯之語法元素包括依附圖片語法元素63。視訊解碼器30之熵解碼單元80熵解碼位元串流以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉發至預測模組81。視訊解碼 器30可接收在視訊圖片級、視訊片段級及/或視訊區塊級處之語法元素。如上文所論述，可在網路抽象層(NAL)單元標頭、圖片級補充增強資訊(SEI)訊息、片段標頭或另一圖片級語法元素或訊息中用信號發出依附圖片語法元素。如上文所描述，依附圖片語法元素63亦可儲存於檔案格式中。
經編碼視訊位元串流中之藉由視訊解碼器30所接收之一些圖片群組可包括CDR圖片。具有CDR圖片之GOP中的圖片亦可包括依附圖片語法元素63，依附圖片語法元素63指示潛在不必要圖片中之任一者是否為GOP中之依附圖片且是否可在請求隨機存取彼GOP中之CDR的狀況下解碼。在(例如)經由提供視訊播放之計算器件的使用者介面自使用者接收隨機存取請求83之狀況下，視訊解碼器30可開始在與GOP相關聯之CDR處解碼且可根據所接收之依附圖片語法元素63解碼任何依附圖片。亦即，若依附圖片語法元素63指示相關聯之潛在不必要圖片為可在隨機存取之狀況下解碼的依附圖片，則解碼彼依附圖片。若依附圖片語法元素63指示相關聯之潛在不必要圖片不為可解碼依附圖片，則彼潛在不必要圖片可被捨棄且不被解碼。再次，潛在不必要圖片可藉由解碼器30識別為在與CDR相同之GOP中但按顯示次序在CDR之前的圖片。
在視訊片段經編碼為經框內編碼(I)片段時，預測模組81之框內預測模組84可基於用信號發出之框內預測模式及來自當前圖框或圖片的先前解碼區塊之資料而產生針對當前 視訊片段之視訊區塊的預測資料。在視訊圖框經編碼為經框間編碼(亦即，B、P或GPB)片段時，預測模組81之運動補償單元82基於運動向量及自熵解碼單元80所接收的其他語法元素而產生針對當前視訊片段之視訊區塊的預測性區塊。預測性區塊可自參考圖片清單中之一者內的參考圖片中之一者產生。視訊解碼器30可基於儲存於參考圖片記憶體92中之參考圖片使用預設建構技術來建構參考圖框清單，清單0及清單1。
運動補償單元82藉由剖析運動向量及其他語法元素來判定針對當前視訊片段之視訊區塊的預測資訊，且使用預測資訊來產生針對正解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元82使用所接收之語法元素中之一些來判定用以編碼視訊片段的視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測片段類型(例如，B片段、P片段或GPB片段)、針對片段之參考圖片清單中之一或多者的建構資訊、針對片段之每一經框間編碼視訊區塊的運動向量、針對片段之每一經框間編碼視訊區塊的框間預測狀態及用以解碼當前視訊片段中之視訊區塊的其他資訊。
運動補償單元82亦可基於內插濾波器執行內插。運動補償單元82可使用如由視訊編碼器20在視訊區塊之編碼期間所使用之內插濾波器來計算參考區塊之分段整數像素的內插值。運動補償單元82可由所接收之語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生 預測性區塊。
反量化單元86對位元串流中所提供且藉由熵解碼單元80解碼之經量化變換係數進行反量化，亦即進行解量化。反量化過程可包括使用藉由視訊編碼器20針對視訊片段中之每一視訊區塊所計算的量化參數，以判定量化之程度，且同樣判定應應用的反量化之程度。反變換模組88將反變換(例如，反DCT、反整數變換或概念上類似的反變換過程)應用於變換係數以便在像素域中產生殘餘區塊。
在運動補償單元82基於運動向量及其他語法元素產生針對當前視訊區塊之預測性區塊之後，視訊解碼器30藉由將來自反變換模組88之殘餘區塊與藉由運動補償單元82產生之對應預測性區塊加總來形成經解碼視訊區塊。求和器90表示執行此加總運算之一或多個組件。在需要時，亦可應用解區塊濾波器來對經解碼區塊濾波以便移除方塊效應假影。給定圖框或圖片中之經解碼視訊區塊接著儲存於參考圖片記憶體92中，參考圖片記憶體92儲存供後續運動補償所使用之參考圖片。參考圖片記憶體92亦儲存供稍後呈現於諸如圖3之顯示器件32之顯示器件上的經解碼視訊。
圖6為根據上文所描述的本發明之技術之視訊編碼方法的實例流程圖。圖6之技術可藉由諸如圖4之視訊編碼器20之視訊編碼器實施。視訊編碼器20可經組態以編碼包括清潔解碼再新(CDR)圖片及一或多個潛在不必要圖片之圖片群組(GOP)(110)。該一或多個潛在不必要圖片按解碼次序在CDR圖片之後且按顯示次序在CDR圖片之前。視訊編碼 器20亦可判定該一或多個潛在不必要圖片中之任一者是否為依附圖片(112)。依附圖片用於按解碼次序及顯示次序兩者在CDR圖片之後的圖片之框間預測。
若潛在不必要圖片中之任一者為依附圖片，則視訊編碼器20可進一步判定依附圖片是否可在CDR圖片用於隨機存取之狀況下解碼(114)，如上文參看圖4所描述。視訊編碼器20可進一步在經編碼視訊資料位元串流中用信號發出語法元素，該語法元素指示潛在不必要圖片為依附圖片(116)，依附圖片被判定為可在CDR圖片用於隨機存取之狀況下解碼。在一實例中，可在網路抽象層單元標頭及圖片級補充增強資訊(SEI)訊息中之一或多者中用信號發出語法元素。在另一實例中，如上文所描述，在檔案格式中用信號發出語法元素。
圖7為根據上文所描述的本發明之技術之視訊解碼方法的實例流程圖。圖7之技術可藉由諸如圖5之視訊解碼器30之視訊解碼器實施。視訊解碼器30可經組態以接收包括清潔解碼再新(CDR)圖片及一或多個潛在不必要圖片之圖片群組(120)。視訊解碼器30可進一步經組態以接收語法元素，該語法元素指示潛在不必要圖片為依附圖片且可在接收對隨機存取CDR圖片之請求的狀況下解碼(122)。依附圖片用於按解碼次序及顯示次序兩者在CDR圖片之後的圖片之框間預測。
視訊解碼器30可進一步經組態以接收對隨機存取CDR圖片之請求(124)。在接收隨機存取請求之狀況下，視訊解碼 器30可進一步經組態以回應於對隨機存取之請求而解碼CDR圖片(126)，及解碼對應於所接收語法元素之依附圖片(128)。另外，視訊解碼器30亦可經組態以跳過針對該一或多個潛在不必要圖片中藉由語法元素指示為並非依附圖片之任一者的解碼(130)。在一實例中，在網路抽象層單元標頭及圖片級補充增強資訊(SEI)訊息中之一或多者中接收語法元素。在另一實例中，如上文所描述，在檔案格式中儲存語法元素。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體來實施，則功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體來傳輸，且藉由基於硬體之處理單元來執行。電腦可讀媒體可包括電腦可讀儲存媒體或通信媒體，電腦可讀儲存媒體對應於諸如資料儲存媒體之有形媒體，通信媒體包括促進電腦程式(例如)根據通信協定自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)非暫時性之有形電腦可讀儲存媒體或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術之指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用於儲存呈指 令或資料結構之形式的所要程式碼且可由電腦存取的任何其他媒體。又，任何連接可適當地稱作電腦可讀媒體。舉例而言，若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)，或諸如紅外線、無線電及微波之無線技術而自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纜、雙絞線、DSL，或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而替代地針對非暫時性、有形之儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟藉由雷射以光學方式再現資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可藉由一或多個處理器來執行指令，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體電路或離散邏輯電路。因此，如本文中所使用，術語「處理器」可指代前述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文所描述之功能性可提供於經組態以用於編碼及解碼的專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於多種器件或裝置中，包括無線手機、積體電路(IC)或IC之集合(例如，晶片組)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示之技術的器件之功能態樣，但未必需要藉由不同硬體單元實現。實情為，如上文所描述，各種單元可組合於一編解碼器硬體單元中或由互操作之硬體單元之集合(包括如上文所描述之一或多個處理器)結合合適的軟體及/或韌體來提供。
已描述各種實例。此等及其他實例屬於以下申請專利範圍之範疇內。
1‧‧‧當前GOP
2‧‧‧前一GOP
3‧‧‧潛在不必要圖片
4‧‧‧依附圖片
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面/數據機
24‧‧‧傳輸器
26‧‧‧接收器
28‧‧‧數據機
30‧‧‧視訊解碼器
32‧‧‧顯示器件
34‧‧‧儲存媒體
36‧‧‧檔案伺服器
40‧‧‧模式選擇單元
41‧‧‧預測模組
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測模組
50‧‧‧求和器
52‧‧‧變換模組
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換模組
62‧‧‧求和器
63‧‧‧依附圖片語法元素
64‧‧‧參考圖片記憶體
80‧‧‧熵解碼單元
81‧‧‧預測模組
82‧‧‧運動補償單元
83‧‧‧隨機存取請求
84‧‧‧框內預測模組
86‧‧‧反量化單元
88‧‧‧反變換單元
90‧‧‧求和器
92‧‧‧參考圖片記憶體
300‧‧‧檔案
302‧‧‧電影容器
304‧‧‧視訊軌道
308‧‧‧媒體資訊容器
310‧‧‧樣本描述
312‧‧‧隨機存取點(RAP)
314‧‧‧依附指示旗標(dependent_indication_flag)
316‧‧‧依附旗標(dependent_flag)
350‧‧‧媒體資料容器
352‧‧‧視訊資料厚塊
353a‧‧‧視訊樣本
353b‧‧‧視訊樣本
353c‧‧‧視訊樣本
362‧‧‧視訊資料厚塊
363a‧‧‧視訊樣本
363b‧‧‧視訊樣本
363c‧‧‧視訊樣本
b139‧‧‧圖片
B140‧‧‧圖片
b141‧‧‧圖片
B142‧‧‧圖片
b143‧‧‧圖片
B144‧‧‧圖片
b145‧‧‧圖片
I146‧‧‧潛在不必要圖片
b147‧‧‧圖片
B156‧‧‧圖片
b239‧‧‧圖片
B240‧‧‧圖片
b241‧‧‧圖片
B242‧‧‧圖片
b243‧‧‧圖片
B244‧‧‧圖片
b245‧‧‧圖片
b247‧‧‧圖片
B256‧‧‧圖片
CDR148‧‧‧清潔解碼再新(CDR)圖片
CDR248‧‧‧圖片
P/B246‧‧‧經框間預測圖片
圖1為說明圖片群組之實例解碼次序的概念圖，該圖片群組具有清潔解碼再新(CDR)圖片及經框內預測依附圖片。
圖2為說明圖片群組之實例解碼次序的概念圖，該圖片群組具有清潔解碼再新圖片(CDR)及經框間預測依附圖片。
圖3為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統之方塊圖。
圖4為說明可實施本發明中所描述之技術的實例視訊編碼器之方塊圖。
圖5為說明可實施本發明中所描述之技術的實例視訊解碼器之方塊圖。
圖6為根據本發明之技術之視訊編碼方法的實例流程 圖。
圖7為根據本發明之技術之視訊解碼方法的實例流程圖。
圖8為實例ISO基礎媒體檔案格式之概念圖。
300‧‧‧檔案
302‧‧‧電影容器
304‧‧‧視訊軌道
308‧‧‧媒體資訊容器
310‧‧‧樣本描述
312‧‧‧隨機存取點(RAP)
314‧‧‧依附指示旗標(dependent_indication_flag)
316‧‧‧依附旗標(dependent_flag)
350‧‧‧媒體資料容器
352‧‧‧視訊資料厚塊
353a‧‧‧視訊樣本
353b‧‧‧視訊樣本
353c‧‧‧視訊樣本
362‧‧‧視訊資料厚塊
363a‧‧‧視訊樣本
363b‧‧‧視訊樣本
363c‧‧‧視訊樣本

Claims (48)

  1. 一種編碼視訊資料之方法，該方法包含：藉由一視訊編碼器編碼一圖片群組，該圖片群組包括一隨機存取圖片及按顯示次序在該隨機存取圖片之前之一或多個潛在不必要圖片；藉由該視訊編碼器判定該一或多個潛在不必要圖片中之任一者是否可在該隨機存取圖片用於隨機存取之狀況下解碼；及藉由該視訊編碼器在一網路抽象層(NAL)單元標頭中用信號發出一語法元素，該語法元素指示該等潛在不必要圖片中之一者是否被判定為可在該隨機存取圖片用於隨機存取之狀況下解碼。
  2. 如請求項1之方法，其中該一或多個潛在不必要圖片按顯示次序在該隨機存取圖片之前。
  3. 如請求項1之方法，其進一步包含：藉由該視訊編碼器判定經判定可解碼之該一或多個潛在不必要圖片中之任一者是否為一依附圖片，其中該依附圖片用於按解碼次序及顯示次序兩者皆在該隨機存取圖片之後的至少一圖片之框間預測。
  4. 如請求項1之方法，其進一步包含藉由該視訊編碼器在針對該一或多個潛在不必要圖片之一檔案格式容器中用信號發出該語法元素。
  5. 如請求項1之方法，其中該隨機存取圖片係一清潔解碼再新(CDR)圖片。
  6. 一種解碼視訊資料之方法，該方法包含：藉由一視訊解碼器接收一圖片群組，該圖片群組包括一隨機存取圖片及按顯示次序在該隨機存取圖片之前之一或多個潛在不必要圖片；及藉由該視訊解碼器在一網路抽象層(NAL)單元標頭中接收一語法元素，該語法元素指示該等潛在不必要圖片中之一者是否可在接收對隨機存取該隨機存取圖片之一請求的狀況下解碼。
  7. 如請求項6之方法，其進一步包含：藉由該視訊解碼器接收對隨機存取該隨機存取圖片之一請求；藉由該視訊解碼器回應於對隨機存取之該請求而解碼該隨機存取圖片；及藉由該視訊解碼器根據該所接收的語法元素解碼潛在不必要圖片中之該者。
  8. 如請求項7之方法，其進一步包含：若潛在不必要圖片中之該者經指示為不可藉由該所接收的語法元素解碼，則藉由該視訊解碼器跳過針對潛在不必要圖片中之該者的解碼。
  9. 如請求項6之方法，其中該一或多個潛在不必要圖片按顯示次序在該隨機存取圖片之前。
  10. 如請求項6之方法，其進一步包含藉由該視訊解碼器判定經判定可解碼之該一或多個潛在不必要圖片中之任一者是否為一依附圖片，及使用該依附圖片進行按解碼次 序及顯示次序兩者皆在該隨機存取圖片之後的至少一圖片之框間預測。
  11. 如請求項6之方法，其中該語法元素儲存在針對該一或多個潛在不必要圖片之一檔案格式容器中。
  12. 如請求項6之方法，其中該隨機存取圖片係一清潔解碼再新(CDR)圖片。
  13. 一種經組態以編碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存視訊資料；及一視訊編碼器，其經組態以進行以下操作：編碼一圖片群組，其中該圖片群組包括一隨機存取圖片及按顯示次序在該隨機存取圖片之前之一或多個潛在不必要圖片；判定該一或多個潛在不必要圖片中之任一者是否可在該隨機存取圖片用於隨機存取之狀況下解碼；及在一網路抽象層(NAL)單元標頭中用信號發出一語法元素，該語法元素指示該等潛在不必要圖片中之一者是否被判定為可在該隨機存取圖片用於隨機存取之狀況下解碼。
  14. 如請求項13之裝置，其中該一或多個潛在不必要圖片按顯示次序在該隨機存取圖片之前。
  15. 如請求項13之裝置，其中該視訊編碼器進一步經組態以判定經判定可解碼之該一或多個潛在不必要圖片中之任一者是否為一依附圖片，其中該依附圖片用於按解碼次 序及顯示次序兩者皆在該隨機存取圖片之後的至少一圖片之框間預測。
  16. 如請求項13之裝置，其中該視訊編碼器進一步經組態以在針對該一或多個潛在不必要圖片之一檔案格式容器中用信號發出該語法元素。
  17. 如請求項13之裝置，其中該隨機存取圖片係一清潔解碼再新(CDR)圖片。
  18. 一種經組態以解碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存視訊資料；及一視訊解碼器，其經組態以進行以下操作：接收一圖片群組，其中該圖片群組包括一隨機存取圖片及按顯示次序在該隨機存取圖片之前之一或多個潛在不必要圖片；及在一網路抽象層(NAL)單元標頭中接收一語法元素，該語法元素指示該等潛在不必要圖片中之一者是否可在接收對隨機存取該隨機存取圖片之一請求的狀況下解碼。
  19. 如請求項18之裝置，其中該視訊解碼器進一步經組態以進行以下操作：接收對隨機存取該隨機存取圖片之一請求；回應於對隨機存取之該請求而解碼該隨機存取圖片；及根據該所接收的語法元素解碼潛在不必要圖片中之該者。
  20. 如請求項19之裝置，其中該視訊解碼器進一步經組態以進行以下操作：若潛在不必要圖片中之該者經指示為不可藉由該所接收的語法元素解碼，則跳過針對潛在不必要圖片中之該者的解碼。
  21. 如請求項18之裝置，其中該一或多個潛在不必要圖片按顯示次序在該隨機存取圖片之前。
  22. 如請求項18之裝置，其中該視訊解碼器進一步經組態以判定經判定可解碼之該一或多個潛在不必要圖片中之任一者是否為一依附圖片，及使用該依附圖片來進行按解碼次序及顯示次序兩者皆在該隨機存取圖片之後的至少一圖片之框間預測。
  23. 如請求項18之裝置，其中該語法元素儲存在針對該一或多個潛在不必要圖片之一檔案格式容器中。
  24. 如請求項18之裝置，其中該隨機存取圖片係一清潔解碼再新(CDR)圖片。
  25. 一種經組態以編碼視訊資料之裝置，該裝置包含：用於編碼一圖片群組之構件，該圖片群組包括一隨機存取圖片及按顯示次序在該隨機存取圖片之前之一或多個潛在不必要圖片；用於判定該一或多個潛在不必要圖片中之任一者是否可在該隨機存取圖片用於隨機存取之狀況下解碼之構件；及 用於在一網路抽象層(NAL)單元標頭中用信號發出一語法元素之構件，該語法元素指示該等潛在不必要圖片中之一者是否被判定為可在該隨機存取圖片用於隨機存取之狀況下解碼。
  26. 如請求項25之裝置，其中該一或多個潛在不必要圖片按顯示次序在該隨機存取圖片之前。
  27. 如請求項25之裝置，其進一步包含：用於判定經判定可解碼之該一或多個潛在不必要圖片中之任一者是否為一依附圖片之構件，其中該依附圖片用於按解碼次序及顯示次序兩者皆在該隨機存取圖片之後的至少一圖片之框間預測。
  28. 如請求項25之裝置，其進一步包含：用於在針對該一或多個潛在不必要圖片之一檔案格式容器中用信號發出該語法元素之構件。
  29. 如請求項25之裝置，其中該隨機存取圖片係一清潔解碼再新(CDR)圖片。
  30. 一種經組態以解碼視訊資料之裝置，該裝置包含：用於接收一圖片群組之構件，該圖片群組包括一隨機存取圖片及按顯示次序在該隨機存取圖片之前之一或多個潛在不必要圖片；及用於在一網路抽象層(NAL)單元標頭中接收一語法元素之構件，該語法元素指示該等潛在不必要圖片中之一者是否可在接收對隨機存取該隨機存取圖片之一請求的狀況下解碼。
  31. 如請求項30之裝置，其進一步包含：用於接收對隨機存取該隨機存取圖片之一請求之構件；用於回應於對隨機存取之該請求而解碼該隨機存取圖片之構件；及用於根據該所接收的語法元素解碼潛在不必要圖片中之該者之構件。
  32. 如請求項31之裝置，其進一步包含：用於若潛在不必要圖片中之該者經指示為不可藉由該所接收的語法元素解碼則跳過針對潛在不必要圖片中之該者的解碼的構件。
  33. 如請求項30之裝置，其中該一或多個潛在不必要圖片按顯示次序在該隨機存取圖片之前。
  34. 如請求項30之裝置，其進一步包含：用於判定經判定可解碼之該一或多個潛在不必要圖片中之任一者是否為一依附圖片之構件；及用於使用該依附圖片來進行按解碼次序及顯示次序兩者皆在該隨機存取圖片之後的至少一圖片之框間預測之構件。
  35. 如請求項30之裝置，其中該語法元素儲存在針對該一或多個潛在不必要圖片之一檔案格式容器中。
  36. 如請求項30之裝置，其中該隨機存取圖片係一清潔解碼再新(CDR)圖片。
  37. 一種儲存指令之非暫時性電腦可讀媒體，該等指令用於 使經組態以編碼視訊資料之一器件之一或多個處理器進行以下操作：編碼一圖片群組，該圖片群組包括一隨機存取圖片及按顯示次序在該隨機存取圖片之前之一或多個潛在不必要圖片；判定該一或多個潛在不必要圖片中之任一者是否可在該隨機存取圖片用於隨機存取之狀況下解碼；及在一網路抽象層(NAL)單元標頭中用信號發出一語法元素，該語法元素指示該等潛在不必要圖片中之一者是否被判定為可在該隨機存取圖片用於隨機存取之狀況下解碼。
  38. 如請求項37之非暫時性電腦可讀媒體，其中該一或多個潛在不必要圖片按顯示次序在該隨機存取圖片之前。
  39. 如請求項37之非暫時性電腦可讀媒體，其中該等指令進一步使該一或多個處理器判定經判定可解碼之該一或多個潛在不必要圖片中之任一者是否為一依附圖片，其中該依附圖片用於按解碼次序及顯示次序兩者皆在該隨機存取圖片之後的至少一圖片之框間預測。
  40. 如請求項37之非暫時性電腦可讀媒體，其進一步包含指令，該等指令用於使該一或多個處理器在針對該一或多個潛在不必要圖片之一檔案格式容器中用信號發出該語法元素。
  41. 如請求項37之非暫時性電腦可讀媒體，其中該隨機存取圖片係一清潔解碼再新(CDR)圖片。
  42. 一種儲存指令之非暫時性電腦可讀媒體，該等指令用於使經組態以解碼視訊資料之一器件之一或多個處理器進行以下操作：接收一圖片群組，該圖片群組包括一隨機存取圖片及按顯示次序在該隨機存取圖片之前之一或多個潛在不必要圖片；及在一網路抽象層(NAL)單元標頭中接收一語法元素，該語法元素指示該等潛在不必要圖片中之一者是否可在接收對隨機存取該隨機存取圖片之一請求的狀況下解碼。
  43. 如請求項42之非暫時性電腦可讀媒體，該等指令進一步使該一或多個處理器進行以下操作：接收對隨機存取該隨機存取圖片之一請求；回應於對隨機存取之該請求而解碼該隨機存取圖片；及根據該所接收的語法元素解碼潛在不必要圖片中之該者。
  44. 如請求項43之非暫時性電腦可讀媒體，該等指令進一步使該一或多個處理器進行以下操作：若潛在不必要圖片中之該者經指示為不可藉由該所接收的語法元素解碼，則跳過針對潛在不必要圖片中之該者的解碼。
  45. 如請求項42之非暫時性電腦可讀媒體，其中該一或多個潛在不必要圖片按顯示次序在該隨機存取圖片之前。
  46. 如請求項42之非暫時性電腦可讀媒體，其進一步包含指 令，該等指令用於使該一或多個處理器判定經判定可解碼之該一或多個潛在不必要圖片中之任一者是否為一依附圖片，及使用該依附圖片來進行按解碼次序及顯示次序兩者皆在該隨機存取圖片之後的至少一圖片之框間預測。
  47. 如請求項42之非暫時性電腦可讀媒體，其中該語法元素儲存於一檔案格式中。
  48. 如請求項42之非暫時性電腦可讀媒體，其中該隨機存取圖片係一清潔解碼再新(CDR)圖片。
TW101108169A 2011-03-10 2012-03-09 用於隨機存取後編碼依附圖片之視訊編碼技術 TWI544782B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161451453P 2011-03-10 2011-03-10
US201161454548P 2011-03-20 2011-03-20
US13/415,453 US9706227B2 (en) 2011-03-10 2012-03-08 Video coding techniques for coding dependent pictures after random access

Publications (2)

Publication Number Publication Date
TW201244494A TW201244494A (en) 2012-11-01
TWI544782B true TWI544782B (zh) 2016-08-01

Family

ID=46795585

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101108169A TWI544782B (zh) 2011-03-10 2012-03-09 用於隨機存取後編碼依附圖片之視訊編碼技術

Country Status (15)

Country Link
US (1) US9706227B2 (zh)
EP (1) EP2684364A1 (zh)
JP (1) JP5876083B2 (zh)
KR (1) KR101617504B1 (zh)
CN (1) CN103430542B (zh)
AU (1) AU2012225307B2 (zh)
BR (1) BR112013023033A2 (zh)
CA (1) CA2828776C (zh)
IL (1) IL228061B (zh)
MY (1) MY167061A (zh)
RU (1) RU2566972C2 (zh)
SG (1) SG192898A1 (zh)
TW (1) TWI544782B (zh)
WO (1) WO2012122480A1 (zh)
ZA (1) ZA201307540B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
LT3267681T (lt) * 2011-07-02 2018-12-10 Samsung Electronics Co., Ltd. Vaizdo duomenų multipleksavimo ir demultipleksavimo aparatas vaizdo atkūrimo būklei nustatyti
US9237356B2 (en) 2011-09-23 2016-01-12 Qualcomm Incorporated Reference picture list construction for video coding
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US10447990B2 (en) 2012-02-28 2019-10-15 Qualcomm Incorporated Network abstraction layer (NAL) unit header design for three-dimensional video coding
US9351016B2 (en) 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US9532055B2 (en) 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
US9979959B2 (en) * 2012-04-20 2018-05-22 Qualcomm Incorporated Video coding with enhanced support for stream adaptation and splicing
US9225978B2 (en) 2012-06-28 2015-12-29 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures
US9479776B2 (en) 2012-07-02 2016-10-25 Qualcomm Incorporated Signaling of long-term reference pictures for video coding
CN107820089B (zh) 2012-07-10 2020-05-19 索尼公司 图像解码装置、图像编码装置及图像编码方法
KR102185384B1 (ko) 2012-07-11 2020-12-02 한국전자통신연구원 Mpeg 데이터의 랜덤 억세스를 지원하는 방법 및 시스템
WO2014010894A1 (ko) 2012-07-11 2014-01-16 한국전자통신연구원 Mpeg 데이터의 랜덤 억세스를 지원하는 방법 및 시스템
US9374583B2 (en) 2012-09-20 2016-06-21 Qualcomm Incorporated Video coding with improved random access point picture behaviors
US9654802B2 (en) * 2012-09-24 2017-05-16 Qualcomm Incorporated Sequence level flag for sub-picture level coded picture buffer parameters
CN103716607B (zh) * 2012-09-28 2017-02-08 中兴通讯股份有限公司 一种应用于HEVC‑based 3DVC的编码方法和装置
EP2901688B1 (en) * 2012-09-28 2019-10-23 Nokia Technologies Oy An apparatus and a method for video coding and decoding
CN104541505B (zh) 2012-09-28 2019-07-05 英特尔公司 层间内部模式预测方法、设备及装置
US20140098868A1 (en) * 2012-10-04 2014-04-10 Qualcomm Incorporated File format for video data
US9467700B2 (en) * 2013-04-08 2016-10-11 Qualcomm Incorporated Non-entropy encoded representation format
US9860540B2 (en) * 2014-01-03 2018-01-02 Qualcomm Incorporated Inference of nooutputofpriorpicsflag in video coding
US9911460B2 (en) 2014-03-24 2018-03-06 Microsoft Technology Licensing, Llc Fast and smart video trimming at frame accuracy on generic platform
US10136152B2 (en) * 2014-03-24 2018-11-20 Qualcomm Incorporated Use of specific HEVC SEI messages for multi-layer video codecs
US10484711B2 (en) * 2014-06-18 2019-11-19 Telefonaktiebolaget Lm Ericsson (Publ) Dependent random access point pictures
US10542288B2 (en) 2014-06-18 2020-01-21 Telefonaktiebolaget Lm Ericsson (Publ) Random access in a video bitstream
US10542063B2 (en) * 2014-10-16 2020-01-21 Samsung Electronics Co., Ltd. Method and device for processing encoded video data, and method and device for generating encoded video data
US11418812B2 (en) * 2015-02-11 2022-08-16 Qualcomm Incorporated Placement of parameter sets and sync samples in video coding
US9928297B2 (en) * 2015-02-11 2018-03-27 Qualcomm Incorporated Sample grouping signaling in file formats
US10924820B2 (en) * 2015-08-07 2021-02-16 Mediatek Inc. Method and apparatus of bitstream random access and synchronization for multimedia applications
US11395007B2 (en) * 2019-12-12 2022-07-19 Tencent America LLC Method for signaling dependent and independent picture header

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5842033A (en) 1992-06-30 1998-11-24 Discovision Associates Padding apparatus for passing an arbitrary number of bits through a buffer in a pipeline system
KR100754419B1 (ko) 2002-07-16 2007-08-31 노키아 코포레이션 비디오 코딩시 랜덤 액세스 및 점진적 화상 리프레시를위한 방법
JP3513148B1 (ja) 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
MY134659A (en) 2002-11-06 2007-12-31 Nokia Corp Picture buffering for prediction references and display
JP4324844B2 (ja) * 2003-04-25 2009-09-02 ソニー株式会社 画像復号化装置及び画像復号化方法
US8175154B2 (en) 2003-06-03 2012-05-08 General Instrument Corporation Method for restructuring a group of pictures to provide for random access into the group of pictures
RU2368095C1 (ru) 2005-07-22 2009-09-20 Мицубиси Электрик Корпорейшн Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
US8306112B2 (en) 2005-09-20 2012-11-06 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US8229983B2 (en) * 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
EP2293572A1 (en) * 2005-09-27 2011-03-09 Qualcomm Incorporated Channel switch frame
RU2406254C2 (ru) * 2006-03-29 2010-12-10 Квэлкомм Инкорпорейтед Видеообработка с масштабируемостью
US8416859B2 (en) 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
CN101198052B (zh) 2006-12-04 2010-05-19 华为技术有限公司 一种视频编码方法、解码方法及其装置
AU2008204833A1 (en) 2007-01-09 2008-07-17 Vidyo, Inc. Improved systems and methods for error resilience in video communication systems
EP2119187B1 (en) * 2007-02-23 2017-07-19 Nokia Technologies Oy Backward-compatible characterization of aggregated media data units
CN101257624B (zh) * 2007-02-27 2011-08-24 华为技术有限公司 实现随机访问的方法及解码器
JP5023739B2 (ja) 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
US8265144B2 (en) 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
JP2010041354A (ja) 2008-08-05 2010-02-18 Victor Co Of Japan Ltd 動画像符号化方法、符号化装置及び符号化プログラム
TW201032597A (en) * 2009-01-28 2010-09-01 Nokia Corp Method and apparatus for video coding and decoding
US8930562B2 (en) 2010-07-20 2015-01-06 Qualcomm Incorporated Arranging sub-track fragments for streaming video data

Also Published As

Publication number Publication date
CA2828776C (en) 2016-06-28
CN103430542B (zh) 2016-11-23
TW201244494A (en) 2012-11-01
AU2012225307B2 (en) 2015-12-03
KR101617504B1 (ko) 2016-05-02
EP2684364A1 (en) 2014-01-15
CN103430542A (zh) 2013-12-04
JP5876083B2 (ja) 2016-03-02
US9706227B2 (en) 2017-07-11
KR20130129468A (ko) 2013-11-28
WO2012122480A1 (en) 2012-09-13
CA2828776A1 (en) 2012-09-13
IL228061A0 (en) 2013-09-30
BR112013023033A2 (pt) 2016-12-13
US20120230433A1 (en) 2012-09-13
IL228061B (en) 2019-02-28
AU2012225307A1 (en) 2013-09-19
MY167061A (en) 2018-08-02
JP2014513456A (ja) 2014-05-29
RU2013145305A (ru) 2015-04-20
SG192898A1 (en) 2013-09-30
RU2566972C2 (ru) 2015-10-27
ZA201307540B (en) 2022-03-30

Similar Documents

Publication Publication Date Title
TWI544782B (zh) 用於隨機存取後編碼依附圖片之視訊編碼技術
JP7368414B2 (ja) 画像予測方法および装置
TWI775780B (zh) 切換內插濾波器之系統及方法
TWI587708B (zh) 用於視訊寫碼之交錯視訊資料之指示
TW202037163A (zh) 改善的子劃分內預測
TWI520588B (zh) 在視訊寫碼中用於視訊時序之時脈刻度求導資訊之發信
JP6177884B2 (ja) パラメータセットコーディング
JP5890031B2 (ja) ビデオコーディング用の断片化されたパラメータセット
TWI489877B (zh) 基於乾淨隨機存取（ｃｒａ）圖像之串流適應
TW201424404A (zh) 補充增強資訊訊息寫碼
TW201444350A (zh) 方形區塊預測
EA036026B1 (ru) Способ и устройство генерирования файла для хранения видеоконтента
RU2804871C2 (ru) Способ и устройство предсказания изображений