TW201351964A - 簡化視訊隨機存取之限制及單元類型 - Google Patents

簡化視訊隨機存取之限制及單元類型 Download PDF

Info

Publication number
TW201351964A
TW201351964A TW102113323A TW102113323A TW201351964A TW 201351964 A TW201351964 A TW 201351964A TW 102113323 A TW102113323 A TW 102113323A TW 102113323 A TW102113323 A TW 102113323A TW 201351964 A TW201351964 A TW 201351964A
Authority
TW
Taiwan
Prior art keywords
picture
pictures
bit stream
type
bla
Prior art date
Application number
TW102113323A
Other languages
English (en)
Other versions
TWI603609B (zh
Inventor
蘇利文蓋瑞Ｊ
肯努末利山迪普
Original Assignee
微軟公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 微軟公司 filed Critical 微軟公司
Publication of TW201351964A publication Critical patent/TW201351964A/zh
Application granted granted Critical
Publication of TWI603609B publication Critical patent/TWI603609B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Abstract

本文揭示對於具有清潔的隨機存取(clean random access；CRA)畫面及/或其他類型的隨機存取點(random access point；RAP)畫面的位元串流的創新。RAP畫面類型的新類型定義及策略限制可簡化基本的視訊串流資料的單元至封裝格式的映射。此類創新可幫助改良視訊編碼系統更撓性地執行適配性的視訊傳遞、製作編輯、商業插入等等的能力。

Description

簡化視訊隨機存取之限制及單元類型 【相關申請案之交叉引用】
本申請案主張於2012年4月16日提出申請的標題為「Video Random Access with Indication of Whether Potentially Non-Decodable Pictures are Permitted」的美國臨時申請案第61/624,984號、於2012年4月27日提出申請的標題為「Video Random Access with Indication of Whether Potentially Non-Decodable Pictures are Permitted」的美國臨時申請案第61/639,663號及於2012年7月2日提出申請的標題為「Constraints and Unit Types to Simplify Video Random Access」的美國臨時申請案第61/667,357號的權益，該等全部申請案以引用的方式併入本文。
本申請案係關於視訊編碼及解碼，且特定言之係關於有關隨機存取點畫面的改良。
工程師使用壓縮(亦稱為源譯碼或源編碼)來降低數位視訊的位元速率。壓縮藉由將資訊轉換為較低的位元 速率形式來降低儲存及傳遞視訊資訊的成本。解壓(亦稱為解碼)重建壓縮形式的原始資訊的版本。「編解碼器」為編碼器/解碼器系統。
在過去二十年裡，已經採用各種視訊編解碼器標準，包括H.261、H.262(MPEG-2或ISO/IEC 13818-2)、H.263及H.264(AVC或ISO/IEC 14496-10)標準及MPEG-1(ISO/IEC 11172-2)、MPEG-4視覺(ISO/IEC 14496-2)及SMPTE 421M標準。近來，HEVC標準正在發展中。視訊編解碼器標準通常定義編碼的視訊位元串流的句法的選擇，當特定特徵用於編碼及解碼中時，詳述位元串流中的參數。在許多情況下，視訊編解碼器標準亦提供關於解碼器應執行的解碼操作的細節以在解碼中實現正確的結果。
在廣播及串流應用中，解碼器在編碼的位元串流中隨機存取點及解碼來自隨機存取點的畫面的能力為所欲的特徵。此隨機存取出現在，例如，當觀看者正在廣播或串流之間切換時或當執行位元串流接合時。
總之，詳細描述介紹對於具有清潔的隨機存取(clean random access；CRA)畫面及/或其他類型的隨機存取點(random access point；RAP)畫面的位元串流的創新。RAP畫面的新類型定義及戰略限制可簡化基本視訊串流資料的單元至封裝格式的映射。此類創新可幫助改良視訊編碼系統的能力以更撓性地執行適配性的視訊傳遞、製作編輯、商業插入等等。
本文中之描述的創新包括，但不限於，允許位元串流中間(而不是僅僅在位元串流開始處)的CRA畫面具有一或更多個潛在非可解碼的畫面，該一或更多個潛在非可解碼的畫面出現在位元串流中的CRA畫面之後。在一些使用中，儘管該等潛在非可解碼的畫面出現在位元串流中的CRA畫面之後，但是該等潛在非可解碼的畫面的識別的顯示輸出順序優於CRA畫面的識別的顯示輸出順序，就此而言，該等潛在非可解碼的畫面為相對於CRA畫面的引導畫面。換言之，除了允許位元串流開始處的CRA畫面具有非可解碼的引導畫面外，亦允許位元串流具有不位於位元串流的開始處之CRA畫面，且該CRA畫面具有在位元串流中跟隨該CRA畫面的潛在非可解碼的畫面。在此情境中，引導畫面為在位元串流順序(亦稱為編碼順序、解碼順序、解碼的順序等等)中跟隨CRA畫面但是在顯示順序(亦稱為輸出順序)中優於CRA畫面的畫面。允許引導畫面(在位元串流順序中)跟隨開始位元串流的CRA畫面，由於錯過先前參考畫面，故該等引導畫面不能被解碼。現在，亦允許此類非可解碼的畫面在位元串流中跟隨落入位元串流中間的CRA畫面。根據揭示的技術的實施例，已經移除了中間位元串流CRA畫面之後的非可解碼的引導畫面的存在的限制。
在某些示例性實施方式中，增加旗標或其他指示符(例如，作為畫面位階資訊、在片標頭中等等)，該旗標或其他指示符指示用於CRA畫面的此類非可解碼的引導畫面的潛在存在。指示符可用於(例如，藉由解碼器)決定如何 處理引導畫面(例如，解碼器是否應解碼引導畫面)。舉例而言，當使用本文中所描述的間斷鏈接功能時，不同的網路抽象層(network abstraction layer；NAL)單元類型用於指示是否呈現引導畫面及呈現何種類型的引導畫面。此外，該等NAL單元類型不同於用於CRA的正常的NAL單元類型。此外，在某些示例性實施方式中，增加旗標或其他指示符(例如，作為用於潛在非可解碼的畫面的畫面位階的句法要素、作為標誌用於潛在非可解碼的畫面的NAL單元類型等等)以明確識別潛在非可解碼的畫面，而不是使用引導畫面之畫面分類作為識別潛在非可解碼的畫面的規則。
本文中所描述的其他創新包括，但不限於，(a)簡化視訊基本串流資料的單元至封裝格式的映射的RAP畫面的單元類型的新定義，(b)簡化此類映射操作的RAP畫面上的策略限制，及(c)移除冗餘單元類型。
本文中所介紹的新CRA畫面類型的實施例及該等新CRA畫面類型相關的旗標或其他指示符有時被稱為「間斷鏈接存取」(broken link access；BLA)畫面。使用此類BLA畫面及該等BLA畫面相關的指示符可增加存取點的數量，解碼器可從該等存取點開始解碼，從而改良速度及無縫性，使用該速度及無縫性，視訊編碼系統可執行多種操作一諸如快進操作、倒帶操作、掃描操作、接合操作或視訊串流之間的切換操作。此外，使用此類BLA畫面及該等BLA畫面相關的指示符可允許視訊編碼系統或視訊解碼系統更撓性地執行適配性視訊傳遞、製作編輯、商業插入等等。
本發明的前述及其他目標、特徵及優點將從以下詳細描述中變得更為明顯，該詳細描述將參閱隨附圖式進行。
32n‧‧‧框緩衝儲存區
36n‧‧‧框緩衝儲存區
46n‧‧‧框緩衝儲存區
100‧‧‧計算系統
110‧‧‧處理單元
115‧‧‧處理單元
120‧‧‧記憶體
125‧‧‧記憶體
130‧‧‧基本配置
140‧‧‧儲存器
150‧‧‧輸入裝置
160‧‧‧輸出裝置
170‧‧‧通訊連接
201‧‧‧網路環境
202‧‧‧網路環境
210‧‧‧即時通訊工具
212‧‧‧編碼工具
214‧‧‧重現工具
220‧‧‧視訊編碼器
250‧‧‧網路
270‧‧‧視訊解碼器
300‧‧‧編碼器系統
310‧‧‧視訊源
311‧‧‧源視訊框
320‧‧‧暫時記憶體儲存區
321‧‧‧框緩衝儲存區
322‧‧‧框緩衝儲存區
330‧‧‧框選擇器
331‧‧‧框
340‧‧‧編碼器
341‧‧‧源框
342‧‧‧記憶體管理控制操作訊號
350‧‧‧解碼處理仿真器
351‧‧‧解碼框
360‧‧‧暫時記憶體儲存區
361‧‧‧框緩衝器
362‧‧‧框緩衝器
369‧‧‧參考框
370‧‧‧暫時編碼資料區
371‧‧‧資料
380‧‧‧通道編碼器
390‧‧‧通道
400‧‧‧解碼器系統
410‧‧‧通道
420‧‧‧通道解碼器
421‧‧‧編碼資料
430‧‧‧暫時編碼資料區
431‧‧‧編碼框
432‧‧‧MMCO/RPS資訊
450‧‧‧解碼器
451‧‧‧解碼框
460‧‧‧解碼框儲存區
461‧‧‧框緩衝儲存區
462‧‧‧框緩衝儲存區
469‧‧‧框
480‧‧‧輸出定序器
481‧‧‧框
490‧‧‧輸出目的地
500‧‧‧方塊圖
600‧‧‧方法
610‧‧‧步驟
612‧‧‧步驟
700‧‧‧方法
710‧‧‧步驟
712‧‧‧步驟
800‧‧‧方法
810‧‧‧步驟
812‧‧‧步驟
900‧‧‧方法
910‧‧‧步驟
912‧‧‧步驟
1000‧‧‧方法
1010‧‧‧步驟
1012‧‧‧步驟
1100‧‧‧方法
1110‧‧‧步驟
1112‧‧‧步驟
1200‧‧‧方法
1210‧‧‧步驟
1212‧‧‧步驟
1214‧‧‧步驟
1216‧‧‧步驟
1300‧‧‧方法
1310‧‧‧步驟
1312‧‧‧步驟
1314‧‧‧步驟
1400‧‧‧方法
1410‧‧‧步驟
1412‧‧‧步驟
1414‧‧‧步驟
1500‧‧‧方法
1510‧‧‧步驟
1512‧‧‧步驟
第1圖為示例性計算系統的圖，在該示例性計算系統中可實施一些描述的實施例。
第2a圖及第2b圖為示例性網路環境的圖，在該等示例性網路環境中可實施一些描述的實施例。
第3圖為示例性編碼器系統的圖，連同該示例性編碼器系統可實施一些描述的實施例。
第4圖為示例性解碼器系統的圖，連同該示例性解碼器系統可實施一些描述的實施例。
第5圖為圖示一序列示例性編碼的畫面的圖，包括CRA畫面。
第6圖為圖示用於產生位元串流的第一示例性方法的流程圖。
第7圖為圖示用於解碼位元串流的第一示例性方法的流程圖。
第8圖為圖示用於產生位元串流的第二示例性方法的流程圖。
第9圖為圖示用於解碼位元串流的第二示例性方法的流程圖。
第10圖為圖示用於產生位元串流的第三示例性方法的流程圖。
第11圖為圖示用於解碼位元串流的第三示例性 方法的流程圖。
第12圖為圖示用於處理位元串流部分的第一示例性方法的流程圖。
第13圖為圖示用於處理位元串流部分的第二示例性方法的流程圖。
第14圖為圖示用於產生位元串流的第四示例性方法的流程圖。
第15圖為圖示用於解碼位元串流的第四示例性方法的流程圖。
詳細描述介紹用於編碼及解碼具有清潔的隨機存取(CRA)畫面及其他隨機存取點(RAP)畫面的位元串流的創新。詳言之，詳細描述描述實施例，在該等實施例中允許位元串流在位元串流開始處具有CRA畫面且亦允許位元串流具有不在位元串流開始處的CRA畫面，其中允許此類CRA畫面中的任一者具有一或更多個非可解碼的引導畫面。此類CRA畫面此處有時被稱為「間斷鏈接存取」(BLA)畫面。詳細描述進一步描述實施例，在該等實施例中RAP畫面的單元類型的新定義及RAP畫面上的策略限制簡化了視訊基本串流資料的單元至封裝格式的映射且消除了冗餘單元類型。
參閱HEVC標準專用的句法元素及操作，說明本文中所描述的一些創新。舉例而言，參閱HEVC標準的某些草案版本，包括HEVC標準-「高效率視訊編碼(HEVC)文本說明書草案7」的JCTVC-I1003，JCTVC-I1003_d5，2012年4 月日內瓦第9屆會議(以下稱為「JCTVC-I1003_d5」)。本文中所描述的創新亦可實施用於其他標準或格式。
更一般而言，本文中所描述的實例的各種替代係可能的。舉例而言，藉由拆分、重複或省略某些方法動作等等來改變描述的方法動作的排序，從而可改變此處描述的方法中的任一者。揭示的技術的各種態樣可結合或分開使用。不同的實施例使用描述的創新中的一或更多者。此處描述的一些創新解決背景中提到的問題中的一或更多者。通常，給定的技術/工具無法解決所有此類問題。
I.示例性計算系統
第1圖圖示適當的計算系統(100)的概括性實例，在該計算系統中可實施描述的創新中的數者。由於創新可在各種一般目的或特殊目的計算系統中實施，故計算系統(100)並非意欲建議關於使用或功能範圍的任何限制。
參閱第1圖，計算系統(100)包括一或更多個處理單元(110、115)及記憶體(120、125)。在第1圖中，此最基本配置(130)包括在短劃線內。處理單元(110、115)執行電腦可執行指令。處理單元可為一般目的中央處理單元(central processing unit；CPU)、特殊應用積體電路(application-specific integrated circuit；ASIC)中的處理器或任何其他類型處理器。在多處理系統中，多個處理單元執行電腦可執行指令以提高處理功率。舉例而言，第1圖圖示中央處理單元(110)以及圖形處理單元或共同處理單元(115)。有形記憶體(120、125)可為一或更多個處理單元可存取的揮發 性記憶體(例如，暫存器、快取記憶體、RAM)、非揮發性記憶體(例如，ROM、EEPROM、快閃記憶體等等)或兩者的某種組合。記憶體(120、125)儲存軟體(180)，該軟體實施用於編碼或解碼具有單元類型及/或策略限制的RAP畫面的一或更多個創新，該等單元類型及/或策略限制以適合於藉由一或更多個處理單元執行的電腦可執行指令的形式簡化了對媒體封裝格式的映射(參閱第V、VI及VII部分)。
計算系統可具有額外特徵結構。舉例而言，計算系統(100)包括儲存器(140)、一或更多個輸入裝置(150)、一或更多個輸出裝置(160)及一或更多個通訊連接(170)。互連機構(未圖示)，諸如匯流排、控制器或網路，與計算系統(100)的各部件互連。通常，作業系統軟體(未圖示)提供用於在計算系統(100)中執行的其他軟體的操作環境，及協調計算系統(100)的部件的活動。
有形的儲存器(140)可為可移除的或不可移除的，且包括磁碟、磁帶或卡匣、CD-ROM、DVD或可用於以非暫態方式儲存資訊及可在計算系統(100)內部存取的任何其他介質。儲存器(140)儲存用於實施一或更多個創新的軟體(180)的指令，該一或更多個創新用於編碼或解碼具有單元類型及/或策略限制的RAP畫面，該等單元類型及/或策略限制簡化了對媒體封裝格式的映射(參閱第V、VI及VII部分)。
一或更多個輸入裝置(150)可為觸摸式輸入裝置，諸如鍵盤、滑鼠、光筆或軌跡球、聲音輸入裝置、掃描裝置或提供輸入至計算系統(100)的另一裝置。對於視訊編 碼，一或更多個輸入裝置(150)可為攝影機、視訊卡、TV調諧卡或接受模擬或數位形式的視訊輸入的類似裝置，或讀取視訊取樣至計算系統(100)內的CD-ROM或CD-RW。一或更多個輸出裝置(160)可為顯示器、印表機、揚聲器、CD撰寫器或提供來自計算系統(100)的輸出的另一裝置。
一或更多個通訊連接(170)賦能經由通訊介質至另一計算實體的通訊。通訊介質傳遞資訊，諸如電腦可執行指令、聲訊或視訊輸入或輸出，或調制資料訊號中的其他資料。調制資料訊號為具有一或更多個訊號特徵集或以關於編碼訊號中的資訊的方式變化的訊號。舉例而言(但並非限制)，通訊媒體可使用電載體、光學載體、RF載體或其他載體。
可在電腦可讀取媒體的一般情境中描述創新。電腦可讀取媒體為任何可用的有形媒體，可在計算環境內存取該媒體。舉例而言(但並非限制)，根據計算系統(100)，電腦可讀取媒體包括記憶體(120、125)、儲存器(140)及以上任一者的組合。
可在電腦可執行指令的一般情境中描述創新，諸如包括在程式模組中的指令、在目標真實或虛擬處理器上的計算系統中執行的指令。一般而言，程式模組包括執行特定任務或實施特定抽象資料類型的常式、程式、庫、物件、等級、部件、資料結構等等。程式模組的功能可根據各種實施例的需要在程式模組之間組合或拆分。用於程式模組的電腦可執行指令可在本端或分散式計算系統內執行。
術語「系統」及「裝置」在本文中可互換地使用。除非情境另外清楚地指示，否則兩個術語皆不指示計算系統或計算裝置的類型上的任何限制。一般而言，計算系統或計算裝置可為本端的或分散式的，并可包括具有實施本文中所描述的功能的軟體的特殊目的硬體及/或一般目的硬體的任何組合。
揭示的方法亦可使用配置為執行揭示的方法中的任一者的專用計算硬體實施。舉例而言，揭示的方法可藉由專門設計或配置為實施揭示的方法中的任一者的積體電路(例如，特殊應用積體電路(ASIC)(諸如ASIC數位訊號處理單元(digital signal process unit；DSP)、圖形處理單元(graphics processing unit；GPU)或可程式邏輯裝置(programmable logic device；PLD)，諸如現場可程式閘陣列(field programmable gate array；FPGA)))執行。
出於介紹的原因，詳細描述使用類似「決定」及「使用」之術語來描述計算系統中的電腦操作。該等術語為用於電腦執行的操作的高位準抽象及應不會與人類執行的動作混淆。對應於該等術語的實際電腦操作取決於實施方式而變化。
II.示例性網路環境
第2a圖及第2b圖圖示示例性網路環境(201、202)，該等網路環境包括視訊編碼器(220)及視訊解碼器(270)。編碼器(220)及解碼器(270)利用適當的通訊協定經由網路(250)連接。網路(250)可包括網際網路或另一電腦網路。
在第2a圖圖示的網路環境(201)中，每一即時通訊(「real-time communication；RTC」)工具(210)包括用於雙向通訊的編碼器(220)及解碼器(270)兩者。給定編碼器(220)可產生符合SMPTE 421M標準、ISO/IEC 14496-10標準(亦稱為H.264或AVC)、HEVC標準、其他標準或專用格式的輸出，其中相應解碼器(270)接受來自編碼器(220)的編碼資料。雙向通訊可為視訊會議、視訊電話呼叫或其他雙方通訊情景的部分。儘管第2a圖中的網路環境(201)包括二個即時通訊工具(210)，但是網路環境(201)可替代地包括參與多方通訊的三個或三個以上即時通訊工具(210)。
即時通訊工具(210)管理藉由編碼器(220)的編碼。第3圖圖示示例性編碼器系統(300)，該編碼器系統可包括在即時通訊工具(210)中。或者，即時通訊工具(210)使用另一編碼器系統。即時通訊工具(210)亦管理藉由解碼器(270)的解碼。第4圖圖示示例性解碼器系統(400)，該解碼器系統可包括在即時通訊工具(210)中。或者，即時通訊工具(210)使用另一解碼器系統。
在第2b圖中圖示的網路環境(202)中，編碼工具(212)包括編碼器(220)，該編碼器(220)編碼視訊用於傳遞至多個重現工具(214)，該多個重現工具包括解碼器(270)。單向通訊可用於有視訊監視系統、網路攝影機監控系統、遠端桌面會議呈現、視訊分配系統(例如，串流視訊串流分配系統)或編碼視訊并將視訊自一個位置發送至一或更多個其他位置之其他情景。儘管第2b圖中的網路環境(202)包括二個重現工 具(214)，但是網路環境(202)可包括更多或更少的重現工具(214)。一般而言，重現工具(214)與編碼工具(212)通訊以決定重現工具(214)將接收的視訊串流。重現工具(214)接收串流，將接收的編碼資料緩衝適當時段并開始解碼及重現。
第3圖圖示示例性編碼器系統(300)，該編碼器系統可包括在編碼工具(212)中。或者，編碼工具(212)使用另一編碼器系統。編碼工具(212)亦可包括用於管理與一或更多個重現工具(214)的連接的伺服器端控制器邏輯。第4圖圖示示例性解碼器系統(400)，該解碼器系統可包括在重現工具(214)中。或者，重現工具(214)使用另一解碼器系統。重現工具(214)亦可包括用於管理與該編碼工具(212)的連接的客戶端控制器邏輯。
III.示例性編碼器系統
第3圖為示例性編碼器系統(300)的方塊圖，連同該編碼器系統可實施一些描述的實施例。編碼器系統(300)可為一般目的編碼工具，該編碼工具能夠在多個編碼模式中的任一者中操作，諸如用於即時通訊的低潛伏編碼模式、轉換編碼模式及用於來自文件或串流的媒體重現的規則編碼模式，或該編碼器系統可為適合於一個此編碼模式的特殊目的編碼工具。編碼器系統(300)可作為作業系統模組實施，作為應用程式庫的一部分或作為獨立的應用程式。總之，編碼器系統(300)接收來自視訊源(310)的一序列源視訊框(311)并產生編碼資料輸出至通道(390)。輸出至通道的編碼資料可包括用於具有第V、VI及VII部分中描述的策略限制及/或單元類 型的RAP畫面的編碼資料。
視訊源(310)可為攝影機、調諧卡、儲存媒體或其他數位視訊源。視訊源(310)在(例如，每秒30個框)的框率下產生一序列視訊框。如在本文中所使用的，術語「框」一般指代源、編碼或重建圖像資料。對於進行的視訊，框為進行的視訊框。對於交錯的視訊，在示例性實施例中，交錯的視訊框在編碼之前解交錯。或者，二個互補交錯視訊場經編碼為交錯的視訊框或分離的場。除了指示進行的視訊框，術語「框」可指示單個非成對的視訊場、互補成對的視訊場、表示給定時間的視訊對象的視訊對象平面或較大圖像中的感興趣區域。視訊對象平面或區域可為包括場景的多個對象或區域的較大圖像的一部分。
到達源框(311)儲存在源框暫時記憶體儲存區(320)中，該暫時記憶體儲存區包括多個框緩衝儲存區(321、322、…32n)。框緩衝器(321、322等)保持源框儲存區(320)中的一個源框。在源框(311)中的一或更多者已經儲存在框緩衝器(321、322等)中之後，框選擇器(330)週期地選擇來自源框儲存區(320)的個別源框。框選擇器(330)選擇框用於輸入至編碼器(340)的順序可不同於視訊源(310)產生框的順序，例如，框可在順序中靠前以促進暫時落後的預測。在編碼器(340)之前，編碼器系統(300)可包括預先處理器(未圖示)，該預先處理器在編碼之前執行選擇的框(331)的預先處理(例如，過濾)。
編碼器(340)編碼選擇的框(331)以產生編碼的框 (341)并亦產生記憶體管理控制操作(memory management control operation；MMCO)訊號(342)或參考畫面集(reference picture set；RPS)資訊。若當前框不是已經編碼的第一個框，則當執行該當前框的編碼處理時，編碼器(340)可使用已經儲存在解碼框暫時記憶體儲存區(360)中的一或更多個以前編碼/解碼的框(369)。此類儲存的解碼框(369)用作參考框用於當前源框(331)的內容的框間預測。一般而言，編碼器(340)包括執行編碼任務(諸如運動估計及補償、頻率轉換、量化及熵編碼)的多個編碼模組。編碼器(340)執行的確切操作可取決於壓縮格式而變化。輸出編碼的資料的格式可為Windows媒體視訊格式、VC-1格式、MPEG-x格式(例如，MPEG-1、MPEG-2或MPEG-4)、H.26x格式(例如，H.261、H.262、H.263、H.264)、HEVC格式或其他格式。
舉例而言，在編碼器(340)內部，以來自參考框的預測來表示框間編碼預測的框。運動估計器估計相對於一或更多個參考框(369)的源框(341)的巨集區塊、區塊或其他取樣集的運動。當使用多個參考框時，該多個參考框可來自不同的暫時方向或相同的暫時方向。運動估計器輸出運動資訊，諸如運動矢量資訊，該資訊經過熵編碼。運動補償器應用運動矢量至參考框以決定運動補償的預測值。編碼器決定區塊的運動補償預測值及相應的原始值之間的差異(若存在)。利用頻率轉換、量化及熵編碼進一步編碼該等預測剩餘值。同樣地，對於內部預測，編碼器(340)可決定用於區塊的內部預測值，決定預測剩餘值及編碼預測剩餘值。詳言之，編碼 器(340)的熵編碼器壓縮量化的轉換系數值以及某側資訊(例如，運動矢量資訊、量化參數值、模式決定、參數選擇)。典型的熵編碼技術包括Exp-Golomb編碼、演算法編碼、差分編碼、霍夫曼編碼、執行長度編碼、可變長度至可變長度(variable-length-to-variable-length；V2V)編碼、可變長度至固定長度(variable-length-to-fixed-length；V2F)編碼、LZ編碼、詞典編碼、概率間隔分割熵編碼(probability interval partitioning entropy coding；PIPE)及上述各者的組合。熵編碼器可使用不同的編碼技術用於不同種類的資訊，并可從特定編碼技術內的多個碼表間選擇。
藉由解碼處理仿真器(350)處理編碼框(341)及MMCO/RPS資訊(342)。解碼處理仿真器(350)實施某一解碼器的功能，例如，解碼任務以重建參考框，在運動估計及補償中編碼器(340)使用該等參考框。解碼處理仿真器(350)使用MMCO/RPS資訊(342)以決定是否需要重建給定編碼框(341)及儲存給定編碼框(341)用作待編碼的後續框的框間預測中的參考框。若MMCO/RPS資訊(342)指示需要儲存編碼框(341)，則解碼處理仿真器(350)模型化解碼處理，該解碼處理將藉由接收編碼框(341)的解碼器進行并產生對應的解碼框(351)。在此種情況下，當編碼器(340)已使用已儲存在解碼框儲存區(360)中的一或更多個解碼框(369)時，解碼處理仿真器(350)亦使用來自儲存區(360)的一或更多個解碼框(369)作為解碼處理的一部分。
解碼框暫時記憶體儲存區(360)包括多個框緩衝 儲存區(361、362、…36n)。解碼處理仿真器(350)使用MMCO/RPS資訊(342)以管理儲存區(360)的內容從而識別具有框的任何框緩衝器(361、362等)，其中編碼器(340)不再需要該等框用作參考框。在模型化解碼處理之後，解碼處理仿真器(350)儲存已以此方式識別的框緩衝器(361、362等)中新解碼的框(351)。
亦在暫時編碼資料區(370)中緩衝編碼框(341)及MMCO/RPS資訊(342)。聚集在編碼資料區(370)中的編碼資料可含有，作為基本編碼視訊位元串流的句法的一部分，用於具有第V、VI及VII部分中描述的策略限制及/或單元類型的RAP畫面的編碼資料。聚集在編碼資料區(370)中的編碼資料亦可包括關於編碼視訊資料(例如，作為一或更多個補充增強資訊(supplemental enhancement information；SEI)訊息或視訊可用性資訊(video usability information；VUI)訊息中的一或更多個參數)的媒體元資料。
藉由通道編碼器(380)處理來自暫時編碼資料區(370)的聚集資料(371)。通道編碼器(380)可將用於作為媒體串流傳輸的聚集資料封包化(例如，根據媒體封裝格式，諸如ISO/IEC 14496-12)，在此情況下，通道編碼器(380)可增加句法元素作為媒體傳輸串流的句法的一部分。或者，通道編碼器(380)可組織用於作為文件儲存的聚集資料(例如，根據媒體封裝格式，諸如ISO/IEC 14496-12)，在此情況下，通道編碼器(380)可增加句法元素作為媒體儲存文件的句法的一部分。或者，更一般而言，通道編碼器(380)可實施一或更多 個媒體系統多工協定或傳輸協定，在此情況下，通道編碼器(380)可增加句法元素作為一或更多個協定的句法的一部分。通道編碼器(380)提供輸出至通道(390)，該通道表示用於輸出的儲存、通訊連接或另一通道。
IV.示例性解碼器系統
第4圖為示例性解碼器系統(400)的方塊圖，連同該解碼器系統可實施一些描述的實施例。解碼器系統(400)可為一般目的解碼工具，該解碼工具能夠在多個解碼模式中的任一者中操作，諸如用於即時通訊的低潛伏解碼模式及用於來自文件或串流的媒體重現的規則解碼模式，或該解碼器系統可為適合於一個此解碼模式的特殊目的解碼工具。解碼器系統(400)可作為作業系統模組實施，作為應用程式庫的一部分或作為獨立的應用程式。總體上，解碼器系統(400)接收來自通道(410)的編碼資料并產生重建框作為輸出用於輸出目的地(490)。編碼資料可包括用於具有第V、VI及VII部分中描述的策略限制及/或單元類型的RAP畫面的編碼資料。
解碼器系統(400)包括通道(410)，該通道表示用於作為輸入的編碼資料的儲存、通訊連接或另一通道。通道(410)產生已經被通道編碼的編碼資料。通道解碼器(420)可處理編碼資料。舉例而言，通道解碼器(420)可將用於作為媒體串流傳輸的已經聚集的資料解封包(例如，根據媒體封裝格式，諸如ISO/IEC 14496-12)，在此情況下，通道解碼器(420)可分析增加作為媒體傳輸串流的句法的一部分的句法元素。或者，通道解碼器(420)將用於作為文件儲存的已經聚集的編 碼視訊資料分離(例如，根據媒體封裝格式，諸如ISO/IEC 14496-12)，在此情況下，通道解碼器(420)可分析增加作為媒體儲存文件的句法的一部分的句法元素。或者，更一般而言，通道解碼器(420)可實施一或更多個媒體系統解多工協定或傳輸協定，在此情況下，通道解碼器(420)可分析增加作為一或更多個協定的句法的一部分的句法元素。
從通道解碼器(420)輸出的編碼資料(421)儲存在暫時編碼資料區(430)中直到已經接收足夠量的此類資料。編碼資料(421)包括編碼框(431)及MMCO/RPS資訊(432)。編碼資料區(430)中的編碼資料(421)可含有，作為基本編碼視訊位元串流的句法的一部分，用於具有第V、VI及VII部分中描述的策略限制及/或單元類型的RAP畫面的編碼資料。編碼資料區(430)中的編碼資料(421)亦可包括關於編碼視訊資料的媒體元資料(例如，作為一或更多個SEI訊息或VUI訊息中的一或更多個參數)。一般而言，編碼資料區(430)暫時儲存編碼資料(421)直到解碼器(450)使用此類編碼資料(421)。在彼點上，用於編碼框(431)及MMCO/RPS資訊(432)的編碼資料從編碼資料區(430)轉移至解碼器(450)。隨著解碼繼續，將新編碼資料增加至編碼資料區(430)及將保留在編碼資料區(430)中的最老的編碼資料轉移至解碼器(450)。
解碼器(450)週期地解碼編碼框(431)以產生對應的解碼框(451)。視情況而定，當執行解碼器(450)的解碼處理時，解碼器(450)可使用一或更多個以前解碼的框(469)作為用於框間預測的參考框。解碼器(450)從解碼框暫時記憶體儲存 區(460)讀取此類以前解碼的框(469)。一般而言，解碼器(450)包括多個解碼模組，該等解碼模組執行解碼任務，諸如熵解碼、相反量化、相反頻率轉換及運動補償。解碼器(450)執行的確切操作可取決於壓縮格式而變化。
舉例而言，解碼器(450)接收用於壓縮框或框序列的編碼資料及產生包括解碼框(451)的輸出。在解碼器(450)中，緩衝器接收用於壓縮框的編碼資料及使得接收的編碼資料對於熵解碼器係可用的。熵解碼器熵解碼熵編碼的量化資料以及熵編碼的側資訊，通常應用編碼器中執行的熵編碼的相反者。第V、VI及VII部分描述可被解碼器450解碼的用於RAP畫面、策略限制及/或單元類型的編碼資料的實例。運動補償器應用運動資訊至一或更多個參考框以形成重建的框的子區塊、區塊及/或巨集區塊(通常，區塊)的運動補償預測。內部預測模組可空間地預測來自相鄰的以前重建的取樣值的當前區塊的取樣值。解碼器(450)亦重建預測剩餘值。相反量化器相反量化熵解碼資料。相反頻率轉換器將量化的頻率域資料轉換為空間域資訊。對於預測的框，解碼器(450)組合重建預測剩餘值與運動補償預測以形成重建框。解碼器(450)可同樣組合預測剩餘值與來自內部預測的空間預測。視訊解碼器(450)中的活動補償迴路包括解阻障過濾器，該解阻障過濾器適配於跨過解碼框(451)中的區塊界限列及/或行的平穩間斷。
解碼框暫時記憶體儲存區(460)包括多個框緩衝儲存區(461、462、…46n)。解碼框儲存區(460)為DPB的 實例。解碼器(450)使用MMCO/RPS資訊(432)以識別框緩衝器(461、462等)，在框緩衝器中解碼器(450)可儲存解碼框(451)。解碼器(450)將解碼框(451)儲存在彼框緩衝器中。
輸出定序器(480)使用MMCO/RPS資訊(432)以識別何時在輸出順序中將產生的下一框在解碼框儲存區(460)中為可用的。當輸出順序中將產生的下一框(481)在解碼框儲存區(460)中為可用的時，由輸出定序器(480)讀取下一框(481)且下一框(481)被輸出至輸出目的地(490)(例如，顯示器)。一般而言，從解碼框儲存區(460)藉由輸出定序器(480)輸出框的順序可不同於藉由解碼器(450)解碼框的順序。
V.對具有CRA畫面的位元串流的改良
此部分描述對於編碼及/或解碼具有清潔的隨機存取(CRA)畫面的位元串流的數個變化。詳言之，此部分介紹實例，在該等實例中，允許具有CRA畫面的位元串流具有中間位元串流CRA畫面，該等中間位元串流CRA畫面潛在具有一或更多個非可解碼的引導畫面。以上描述的編碼器或解碼器中的任一者可適合於使用揭示的編碼及解碼技術。
根據JCTVC-I1003_d5，CRA畫面為含有僅I片(僅利用內部預測解碼的片)的編碼畫面，。進一步而言，在解碼順序及輸出順序兩者中跟隨CRA畫面的所有編碼畫面不可使用來自在解碼順序或輸出順序中優於CRA畫面的任何畫面的框間預測；且在解碼順序中優於CRA畫面的任何畫面亦在輸出順序中優於CRA畫面。「引導畫面」為在解碼順序中跟隨其他特定畫面且在輸出順序中優於該其他特定畫面的 編碼畫面。當引導畫面與CRA畫面相關時，引導畫面為在解碼順序中跟隨CRA畫面但是在輸出順序中優於CRA畫面的編碼畫面。與CRA畫面相關的引導畫面具有畫面順序計數，該畫面順序計數小於CRA畫面的畫面順序計數。
根據JCTVC-I1003_d5，「瞬時解碼更新畫面」或「IDR畫面」為引起解碼處理將所有參考畫面標記為「不用於參考」的編碼畫面。在解碼順序中跟隨IDR畫面的所有編碼畫面可被解碼，無需來自在解碼順序中優於IDR畫面的任何畫面的框間預測。解碼順序中的每一編碼視訊序列的第一個畫面為IDR畫面或CRA畫面。
第5圖為方塊圖(500)，圖示一系列畫面，該系列畫面包含三個CRA畫面、包含雙向預測片(「B」畫面)的多個畫面及包含單向預測片(「P」畫面)的多個畫面。第5圖中的箭頭用於圖示出於活動補償目的B畫面及P畫面取決於哪個畫面(例如，根據一或更多個活動矢量)。第5圖亦圖示畫面的輸出順序及解碼順序。第5圖圖示的該系列中的第一個CRA畫面位於解碼順序中的位元串流開始處，且剩餘二個CRA畫面位於位元串流的中間(換言之，在解碼順序中的位元串流開始之後)。對於第二個CRA畫面(解碼順序中的畫面5)或第三個CRA畫面(解碼順序中的畫面11)，存在在解碼順序中跟隨CRA畫面但在輸出順序中優於CRA畫面的數個引導畫面。對於該等CRA畫面中的每一者，旗標指示關於跟隨CRA畫面的引導畫面的資訊，如以下所解釋。
根據以前的HEVC提議，JCTVC-H0496，允許位 元串流從並非IDR畫面的CRA畫面開始。舉例而言，第5圖圖示的系列從CRA畫面開始。進一步而言，允許此CRA畫面具有非可解碼的引導畫面(在解碼順序中跟隨CRA畫面但是在含有對參考畫面的參考的輸出/顯示順序中優於CRA畫面的畫面，該等參考畫面事實上不存在於位元串流中)。根據JCTVC-H0496，若位元串流從CRA畫面開始，則與CRA畫面相關的引導畫面(如存在於位元串流中)被忽略(從位元串流移除或丟棄)。(第5圖沒有圖示在解碼順序中為畫面1的第一個CRA畫面之後此類引導畫面。)
允許位元串流從並非IDR畫面的CRA畫面開始意欲增加編輯撓性。JCTVC-I1003_d5要求位於位元串流中間的CRA接合點為「敏感的」。換言之，JCTVC-I1003_d5要求當解碼器開始解碼早於當前CRA畫面的IDR或CRA處的位元串流時所有CRA畫面的引導畫面為完全可解碼的。要求解碼畫面緩衝器(decoded picture buffer；DPB)含有引導畫面的句法參考的所有畫面(在DPB畫面集描述句法或參閱用於框間預測中)。因此，若位元串流開始之後的CRA畫面具有引導畫面，則理解畫面為可解碼的。舉例而言，在第5圖中，在解碼順序中二個畫面(解碼順序中畫面12及畫面13)跟隨第三個CRA畫面(該第三個CRA畫面在解碼順序中為第11個畫面)，該兩個畫面在輸出順序中優於該第三個CRA畫面。此二個引導畫面僅依賴於第三個CRA畫面。出於彼原因，此兩個引導畫面將為可解碼的，即使解碼從作為隨機存取點的第三個CRA點開始。然而，若限制CRA畫面的置放使得保 證任何引導畫面為可解碼的，則編碼器可被嚴格地限制在何處可指定畫面為CRA畫面。
根據揭示技術的某些實施例，關於CRA畫面的引導畫面的可解碼性的要求在不必要及不所欲時可被移除。揭示技術的實施例額外允許不在位元串流開始處的CRA畫面提供資訊至解碼器指示與中間串流CRA畫面相關的引導畫面的存在及類型。如以下更全面地解釋，此類CRA畫面有時在本文中被稱為BLA畫面及可具有複數個間斷鏈接存取畫面類型中的一者。因此，使用此類實施例的編碼器或視訊處理裝置可更撓性地在位元串流內部置放BLA類型的CRA畫面，如第5圖所圖示。在第5圖中，在解碼順序中二個引導畫面(在解碼順序中畫面6及畫面7)跟隨第二個CRA畫面(在解碼順序中畫面5)，在輸出順序中該兩個引導畫面優於該CRA畫面(輸出順序中畫面5及畫面6相對輸出順序中畫面7)。在前面的方法中，中間位元串流CRA畫面不能用作接合點或用作隨機存取點以開始解碼，作為掃描、快進、倒帶或位元串流切換操作的一部分，因為在解碼中第二個CRA具有引導畫面在該CRA畫面之前，該等引導畫面具有對參考畫面的活動補償依賴性，且將不會保證此類參考畫面為可用的。在第5圖中，例如，在解碼順序中為第6個及第7個的引導畫面取決於在解碼順序中為第2個的畫面。然而，使用揭示技術的實施例，當接合操作或隨機存取操作或位元串流切換操作發生時，可指定第二個CRA畫面為BLA畫面(例如，使用將該畫面識別為BLA類型CRA畫面(有時此處僅稱為「BLA畫 面」)的旗標或句法元素)。解碼器可使用此指示以適當處理與BLA相關的任何非可解碼的引導畫面(例如，藉由不解碼非可解碼的引導畫面、藉由不輸出非可解碼的引導畫面或以其他方式丟棄非可解碼的畫面)。此外，在一些實施方式中及如以下更全面地解釋，可指定多個類型的BLA畫面，從而向解碼器提供關於引導畫面是否可與BLA畫面相關或什麼類型的引導畫面可與BLA畫面相關的額外資訊。該等多個BLA類型提供額外資訊使得解碼器可適當解碼位元串流及僅輸出可解碼的畫面。
在某些實施方式中，由於用於CRA畫面的引導畫面可能錯過解碼彼等引導畫面所需的參考畫面，故用於CRA畫面的句法元素指示「間斷鏈接」的潛在存在。舉例而言，將標誌是否潛在存在非可解碼的引導畫面的旗標增加至CRA畫面的畫面位階資訊。可將旗標增加至片標頭或增加至可建立的另一個句法位置(例如，用於畫面位階資訊的另一個適當地方，諸如APS)。在一個特定實施方式中，當此旗標等於「1」時，允許位元串流含有由於錯過優先的參考畫面而不可解碼的CRA畫面的引導畫面(與開始位元串流的CRA畫面的引導畫面的當前情況一樣)。因此，在解碼期間，旗標標誌解碼器忽略或丟棄與CRA畫面相關的引導畫面(包括可能可解碼的引導畫面)。
在特定實施方式中，具有等於「1」的間斷鏈接旗標的CRA畫面將以實質上與IDR畫面相同的方法作動，以下情況除外： 將允許可能參考位元串流中不存在的畫面的引導畫面跟隨(在位元串流順序中)CRA畫面。解碼器將忽略及丟棄CRA畫面的引導畫面。舉例而言，用於解碼器的標準將指定解碼器跳過對所有CRA畫面的引導畫面的解碼處理且不輸出該所有引導畫面(與位元串流開始處的CRA畫面的已有情況一樣)。因此間斷鏈接旗標指示解碼器應當忽略及丟棄與CRA畫面相關的引導畫面，即使事實上引導畫面中的一或更多者為可解碼的。
進一步而言，將不要求CRA的畫面順序計數等於「0」。相反地，且在一個示例性實施方式中，畫面順序計數MSB將設置為「0」且LSB將設置為CRA畫面中發送的LSB值(與位元串流開始處CRA畫面的已經指定的情況一樣)。此外，在一些實施方式中，允許IDR畫面的畫面順序計數為非零的。換言之，IDR畫面的畫面順序計數不要求等於「0」。
在某些實施方式中，具有等於「1」的間斷鏈接旗標(例如，broken_link_flag)的CRA畫面亦含有以與用於IDR畫面的相同方式作動的no_output_of_prior_pics_flag及以與用於IDR畫面的idr_pic_id相同方式作動的random_access_pic_id。在一些實施方式中，當前idr_pic_id改名為random_access_pic_id及對當前idr_pic_id進行限制以適用於CRA畫面及IDR畫面兩者而不是僅適用於IDR畫面。此外，類似於IDR畫面，具有等於「1」的間斷鏈接旗標的CRA畫面可激活不同的SPS，改變畫面尺寸等等。
在此實施方式中，當用於CRA畫面的間斷鏈接旗標的值等於「0」時，不允許位元串流含有由於錯過優先的參考畫面而可能無法解碼的CRA畫面的引導畫面，除非CRA畫面在位元串流中為第一個畫面(在解碼順序中)。亦即，位元串流不含有在解碼順序中具有間斷鏈接旗標「0」的CRA畫面之後的引導畫面，除非當解碼開始於解碼順序中較早的CRA或IDR畫面處時此類引導畫面為完全可解碼的。因此，在解碼期間，旗標標誌解碼器解碼與CRA畫面相關的引導畫面。然而，當CRA畫面在位元串流中為第一個畫面時并具有間斷鏈接旗標「0」時，則可忽略旗標及可對待CRA畫面「如同」間斷鏈接旗標為「1」。
在第5圖圖示的實例中，對於第二個CRA畫面(在解碼順序中畫面5)，由於一些引導畫面可能因為隨機存取而錯過參考畫面，故旗標值可為「1」。此允許第5圖中的第二個CRA畫面用於比以前可能更大的隨機存取功能。舉例而言，現在第二個CRA畫面可被用作開始畫面，作為掃描、快進、倒帶操作或位元串流切換操作的一部分。此外，第二個CRA畫面可被用作接合點，在該接合點處裁切位元串流以在第二個畫面處開始及隨後附加至另一個位元串流的末端。由於第二個CRA畫面識別為BLA畫面(間斷鏈接旗標值「1」)，故可適當解碼產生的位元串流且該產生的位元串流表示有效位元串流。此外，在某些實施方式中，視訊編碼器或視訊處理裝置可將CRA畫面的狀態改變成為BLA畫面。舉例而言，作為接合操作的一部分，視訊處理裝置可變更CRA 畫面的名稱以指示該CRA畫面為BLA畫面，使得產生的接合位元串流將為有效的。對於第三個CRA畫面(在解碼順序中畫面11)，由於沒有引導畫面因為隨機存取而錯過參考畫面，故旗標值將為「0」。
儘管以上描述的實施例參閱標誌是否解碼器應跳過與CRA畫面相關的非可解碼的引導畫面的「旗標」，然而任何適當的指示符皆可使用。舉例而言，在一些實施方式中，使用指定各種畫面特徵的另一個畫面位階指示符或句法元素。在一些實施方式中，用於此目的的句法元素可為句法指示符，該句法指示符被稱為與給定CRA畫面相關的網路抽象層(「network abstraction layer；NAL」)單元類型(或與位元串流中的畫面相關的其他指示符)。舉例而言，一個NAL單元類型值可用於CRA畫面，該等CRA畫面被指示為具有潛在的「間斷鏈接」狀態，且另一個NAL單元類型值可用於CRA畫面，該等CRA畫面被指示為不具有此潛在的「間斷鏈接」狀態。此外，儘管以上描述的實施例參閱「清潔的」隨機存取畫面，然而本文中所揭示的創新可與任何隨機存取畫面或等效物(諸如恢復框或潛在用於開始位元串流的其他畫面)相關使用。此外，在此類替代實施例中，指示符可用於標誌任何類型(並非僅基於暫時輸出順序識別的引導畫面，例如，包括以其他方法識別的引導畫面)的相關非可解碼畫面的可能性。
儘管以上描述的實施例參閱藉由決定畫面是否為CRA畫面的引導畫面(換言之，藉由識別在解碼順序中跟 隨CRA畫面的畫面是否在輸出順序中優於CRA畫面)來識別潛在非可解碼的畫面，其他或額外分類規則或指示符可用於識別潛在非可解碼的畫面。舉例而言，「旗標」或句法元素值或其他與位元串流中的畫面相關的指示符可與每一畫面一起發送以指示該畫面是否為潛在非可解碼的畫面，無論該畫面相對於相關的CRA畫面的輸出順序位置的輸出順序位置。換言之，指示符被標誌用於潛在非可解碼的畫面。在一些實施方式中，用於此目的的句法元素可為稱作NAL單元類型的句法指示符。舉例而言，對於指示為並非CRA畫面的畫面，當隨機存取解碼處理在CRA畫面的位置處開始或已經指示「間斷鏈接」CRA畫面時，作為潛在非可解碼的畫面的待丟棄的畫面可使用一個NAL單元類型值，且指示為可解碼的畫面可使用另一個NAL單元類型值。作為潛在非可解碼的畫面的待丟棄的引導畫面此處有時被稱為(或在位元串流中指示為)標記丟棄(tagged-for-discard；TFD)畫面或隨機存取跳過引導(random access skipped leading；RASL)畫面。可解碼的引導畫面此處有時被稱為(或在位元串流中指示為)隨機存取可解碼的引導(random access decodable leading；RADL)畫面(或可解碼的引導畫面(decodable leading picture；DLP))。
在一些實施例中，決定畫面是否可被解碼可不僅包括識別畫面的解碼處理是否可取決於在位元串流順序中出現在CRA畫面之前的一些畫面，而且亦可包括識別畫面的解碼處理是否可取決於在位元串流順序中出現在大於一個CRA畫面之前的一些畫面。此決定可為有幫助的，例如，由於通 常解碼器有必要能夠識別畫面是否可被解碼，該等畫面跟隨大於一個CRA畫面，該大於一個CRA畫面在發起隨機存取解碼處理之後遇到。在此類情景中，如下限制參考畫面選擇可為有幫助的：畫面將不會使用任何位元串流中的畫面作為參考用於在解碼順序中優於大於x個CRA畫面的畫面間預測。舉例而言，x為二。沒有此限制，當解碼器執行隨機存取時，不可確保恢復，甚至是在已經遇到多個CRA畫面之後。
在許多方面，若明確地指示在一些環境下為待丟棄的IDR畫面，則使用IDR畫面為不必要的。在位元串流順序中引導畫面(在輸出順序中)可跟隨IDR畫面，該等引導畫面將在解碼器執行隨機存取時被解碼并輸出。若是否解碼畫面的分類藉由明確的句法指示符(諸如NAL單元類型)決定而不是藉由畫面順序計數含蓄決定，則CRA畫面可具有IDR畫面的全部功能。舉例而言，在某些具體實施方式中，與位元串流中的畫面相關的句法元素值或其他指示符(諸如NAL單元類型值)可用於識別至少以下四個類型的畫面：
‧識別畫面為沒有「間斷鏈接」的CRA畫面的一個類型，‧識別畫面為具有「間斷鏈接」的CRA畫面的一個類型，‧識別畫面為當解碼處理在位元串流順序中任何優先CRA畫面的位置處開始時總是被解碼的畫面的一個類型，及‧識別畫面為當已經在位元串流順序中優先CRA畫面的隨機存取點處執行隨機存取時或當位元串流中的優先CRA畫面被指示為「間斷鏈接」時不被解碼的畫面的一個類型。
VI.用於RAP畫面的策略限制及單元類型
在HEVC草案JCTVC-I1003_d5中，RAP(「隨機存取點」)畫面藉由NAL單元類型4至NAL單元類型8表示。取決於RAP畫面的特徵，對於一些類型的媒體封裝格式，單元類型可映射至如下所述的三個SAP(「串流存取點」)類型中的一者，該等SAP類型亦定義於ISO/IEC 14496-12第4版中，「資訊技術-視聽對象的編碼-第12部分：ISO基礎媒體文件格式」，w12640，2012年4月日內瓦第100屆MPEG會議。儘管共定義6個SAP類型，然而RAP畫面僅僅可映射至彼文檔的SAP類型中的三個。可用的SAP類型包括：類型1、類型2及類型3。
類型1對應於「關閉的GOP隨機存取點」的一些實例(其中可正確解碼在解碼順序中從點ISAP開始的所有存取單元，產生連續時間序列的正確解碼存取單元，而無間隙)，對此，解碼順序中的存取單元亦為呈現順序中的第一個存取單元。
類型2對應於「關閉的GOP隨機存取點」的其他實例，對此，從點ISAU開始的媒體串流中的解碼順序中的第一個存取單元不是呈現順序中的第一個存取單元。
類型3對應於「開放的GOP隨機存取點」的實例，其中存在在解碼順序中跟隨點ISAU的一些存取單元，該等存取單元不能被正確地解碼且具有小於時間TSAP的呈現時間。
從系統角度來看，當允許使用儘可能多的類型時，希望儘可能簡單地建立SAP映射。在揭示技術的一些實 施例中，RAP畫面包括以下限制及對許可單元類型的調整中的一或更多者。
在以下實例中，取決於NAL單元類型，RAP畫面可進一步劃分為CRA畫面、BLA(「間斷鏈接存取」)畫面或IDR畫面。在JCTVC-I1003_d5的HEVC設計中，藉由NAL單元類型4及5表示CRA畫面，藉由NAL單元類型6及7表示BLA畫面及藉由NAL單元類型8表示IDR畫面。NAL單元類型5及7可僅分別用於CRA及BLA畫面，僅當CRA或BLA畫面不具有任何相關的TFD(「標記丟棄」)畫面時。
A.去除IDR畫面或IDR畫面上的限制
根據第V部分中以上揭示的一些實施例，已經在來自提議JCTVC-I0404(G.J.Sullivan，「具有間斷鏈接的CRA畫面」，JCTVC-I0404，2012年4月日內瓦第9屆會議)的JCTVC-I1003_d5中的HEVC設計中採用BLA畫面的概念。彼提議亦指出CRA/BLA畫面可實現IDR畫面(及更多)的功能及由此建議從HEVC設計中去掉IDR畫面的概念，但是IDR畫面保留在JCTVC-I1003_d5的HEVC設計中。
在揭示技術的某些實施例中，仍舊使用IDR畫面，但是編碼遵循進一步的限制，該限制簡化IDR畫面至SAP類型的映射。
在JCTVC-I1003的HEVC設計中，IDR畫面可映射至SAP類型1或SAP類型2。若IDR畫面具有引導畫面(在解碼順序中跟隨當前畫面但在輸出順序中優於當前畫面的編 碼的(及可解碼的)畫面)，則IDR畫面將映射至SAP類型2。若IDR畫面不具有引導畫面，則IDR畫面將映射至SAP類型1。因此，當系統遇到IDR畫面時，系統必須檢查是否存在引導畫面，從而決定正確的映射至SAP類型，此舉可不必要地消耗計算及儲存資源以檢查稀有的情況。
根據揭示技術的一個示例性實施例，限制IDR畫面以不具有引導畫面。使用此限制，IDR畫面總是映射至SAP類型1。
B.用於CRA/BLA畫面的NAL單元類型
在揭示技術的某些實施方式中，當不存在TFD畫面時，CRA畫面的功能等同BLA畫面的功能。因此，可避免出於此目的定義二個NAL單元類型的必要性，且單個類型值可指示不具有相關的TFD畫面的CRA畫面或BLA畫面。
此外，取決於CRA/BLA畫面是否具有引導畫面，不具有相關的TFD畫面的CRA/BLA畫面可映射至SAP類型1或SAP類型2。在特定實施方式中，冗餘NAL單元類型中的一者可用於指示CRA/BLA畫面直接映射至SAP類型1的情況(此情況發生在CRA/BLA畫面不具有引導畫面時)。對於沒有引導畫面的CRA/BLA的共同情況，此簡化了映射至適當的SAP類型。
一個具體的示例性實施方式包含NAL單元類型(在此實例中，NAL單元類型4至NAL單元類型7)，如以下表格1所定義的：
另一個具體的示例性實施方式包含NAL單元類型(在此實例中，NAL單元類型16至NAL單元類型21)如以下所定義。在此實例中，TFD引導畫面被稱為隨機存取跳過引導(「RASL」)畫面。在特定實施方式中，所有的RASL畫面為相關的BLA或CRA畫面的引導畫面。當相關的RAP畫面為BLA畫面或在位元串流中為第一個編碼畫面時，不輸出RASL畫面且RASL畫面可為不可正確解碼的，因為RASL畫面可能含有參閱位元串流中不存在的畫面。進一步而言，RASL畫面不用作用於非RASL畫面的解碼處理的參考畫面。在某些示例性實施方式中，若存在，則在解碼順序中所有的RASL畫面優於相同相關的RAP畫面的所有尾接畫面。此外，在以下實例中，可解碼的引導畫面被稱為隨機存取可解碼的引導(RADL)畫面。在特定實施方式中，所有RADL畫面為引導畫面，且RADL畫面並非用作用於相同相關的RAP畫面的尾接畫面的解碼處理的參考畫面。在某些示例性實施方式中，若存在，則在解碼順序中所有的RADL畫面優於相同相關的RAP畫面的所有尾接畫面。進一步而言，在特定實施方式中，BLA畫面(a)含有僅I片并可能為解碼順序中的位元串流中的第一個畫面，或可在位元串流中稍後出現；(b)開始新的編碼視訊序列并具有與IDR畫面相同的對解碼處理的效 應；及(c)含有句法元素，該等句法元素指定非空的參考畫面集。
或者，按照一或更多個RAP上的該等限制及許可的畫面類型組合中的一或更多者，其他類型值用於視訊基本位元串流資料(例如，其他NAL單元類型值，或其他視訊類型值)及/或媒體封裝格式資料(例如，其他SAP類型值或其他封裝格式值)。
C.引導畫面的位元串流順序上的限制
當編碼系統映射RAP畫面至可能的SAP類型中 的一者時，編碼系統檢查引導畫面的存在，且若存在，則檢查畫面中的任一者是否為TFD畫面。根據JCTVC-I1003_d5中的HEVC設計中的畫面間依賴性的限制，當前RAP畫面的引導畫面可出現在位元串流中的任何地方，在當前RAP畫面及下一個RAP畫面之後。引導畫面的搜尋範圍為潛在漫長的。
為了使得此搜尋更簡單且根據揭示技術的某些實施方式，存在限制以確保所有引導畫面出現在位元串流中(換言之，在解碼順序中)，在用於RAP畫面的任何非引導畫面之前。換言之，對於給定RAP畫面，限制位元串流使得用於彼RAP畫面的所有引導畫面出現在位元串流中(換言之，在解碼順序中)，在用於彼RAP畫面的任何非引導畫面之前。
VII.用於實施揭示技術的態樣的一般實施例
第6圖至第11圖為根據揭示技術圖示示例性實施例的流程圖。第6圖至第11圖圖示的方法可包括以上或以下揭示的具體態樣中的任何一或更多者。此外，第6圖至第11圖圖示的方法應當不被視為限制，因為第6圖至第11圖中所圖示的方法動作中的任何一或更多者可被單獨使用或在彼此的各種組合或子組合中使用。此外，方法動作的順序在一些情況中可至少部分地同時重新佈置或執行。此外，且如上所提及的，第6圖至第11圖所揭示的方法可作為儲存在電腦可讀取介質(其中此儲存介質不包括擴散波)上的電腦可執行指令實施或藉由數位媒體處理系統實施。
第6圖為示例性方法600，該方法可藉由編碼器 或數位媒體處理工具或裝置執行。
在610處，將畫面(例如，來自視訊序列的一群組畫面中的畫面)指定為複數個畫面類型中的一者。在某些實施例中，畫面類型包括以下各者中的任何一或更多者：(1)指示畫面為間斷鏈接存取(BLA)畫面的類型，該BLA畫面能夠用作隨機存取點(RAP)且該類型進一步指示畫面不具有任何相關的非可解碼的引導畫面但是可具有一或更多個相關的可解碼的引導畫面；(2)指示畫面為BLA畫面的類型，該BLA畫面能夠用作RAP畫面且該類型進一步指示畫面不具有任何相關的引導畫面；(3)指示畫面為BLA畫面的類型，該BLA畫面能夠用作RAP畫面且該類型進一步指示畫面可具有一或更多個相關的可解碼的或非可解碼的引導畫面；(4)指示編碼的畫面為瞬時解碼更新(instantaneous decoding refresh；IDR)畫面的類型，該IDR畫面可具有相關的RADL畫面；(5)指示編碼畫面為IDR的類型，該IDR不具有任何相關的引導畫面；及/或(6)指示編碼畫面為清潔的隨機存取(CRA)畫面，該CRA畫面能夠用作RAP畫面。
如上所述，類型中的一或更多者指示畫面為BLA畫面。在某些實施例中，BLA畫面含有僅I片，且可為在解碼順序中的位元串流中的第一個畫面，或可在位元串流中稍後出現。進一步而言，在該等實施例中，BLA畫面開始新的編碼視訊序列并具有與IDR畫面相同的對解碼處理的效應；然而，BLA畫面含有句法元素，該等句法元素指定非空的參考畫面集(該非空的參考畫面集在解碼期間可被忽略)。
在一些實施例中，以上提到的第一個BLA類型指示BLA畫面不具有相關的隨機存取跳過引導(RASL)畫面但是可具有相關的隨機存取可解碼引導(RADL)畫面，該等RADL畫面指定為待解碼的(例如，NAL單元類型可用於指定引導畫面為RASL畫面或者RADL畫面)。在某些實施方式中，所有的RASL畫面為相關的BLA或CRA畫面的引導畫面。當相關的RAP畫面為BLA畫面或在位元串流中為第一個編碼畫面時，解碼器不輸出RASL畫面且RASL畫面可為不可正確解碼的，因為RASL畫面可能含有參閱位元串流中不存在的畫面。RASL畫面不用作用於非RASL畫面的解碼處理的參考畫面。進一步而言，在某些實施方式中，若存在，則在解碼順序中所有的RASL畫面優於相同相關的RAP畫面的所有尾接畫面。此外，在一些實施方式中，所有RADL畫面為引導畫面。RADL畫面並非用作用於相同相關的RAP畫面的尾接畫面的解碼處理的參考畫面。進一步而言，在某些實施方式中，若存在，則在解碼順序中所有的RADL畫面優於相同相關的RAP畫面的所有尾接畫面。儘管此類型可具有多種的名稱，然而此類型在一個特定實施方式中名為「BLA_W_DLP」。
在一些實施例中，以上提到的第二個BLA類型指示BLA畫面不具有任何相關的引導畫面。儘管此類型可具有多種的名稱，然而在一個特定實施方式中，此類型名為「BLA_N_LP」。
在某些實施例中，以上提到的第三個BLA類型 指示BLA畫面具有相關的RASL畫面，該等相關的RASL畫面並非藉由解碼器輸出且可為不可解碼的，因為該等RASL畫面可能含有參閱在位元串流中不存在的畫面。此類型亦指示BLA畫面亦可具有相關的RADL畫面，該等RADL畫面指定為待解碼的。儘管此類型可具有多種的名稱，然而此類型在一個特定實施方式中名為「BLA_W_LP」。
在一些實施例中，以上提到的第四個類型指示畫面為IDR畫面，該IDR畫面不具有相關的RASL畫面存在於位元串流中，然而該IDR畫面可具有相關的RADL畫面存在於位元串流中。在特定實施例中，IDR畫面含有僅I片，并可為在解碼順序中的位元串流中的第一個畫面或可在位元串流中稍後出現。每一IDR畫面為解碼順序中的編碼視訊序列的第一個畫面。IDR畫面不具有相關的RASL畫面。儘管此類型可具有多種的名稱，然而此類型在一個特定實施方式中名為「IDR_W_DLP」。
在某些實施例中，以上提到的第五個類型指示畫面為IDR畫面，該IDR畫面不具有任何相關的引導畫面。儘管此類型可具有多種的名稱，然而此類型在一個特定實施方式中名為「IDR_N_LP」。
在一些實施例中，以上提到的第六個類型指示畫面為CRA畫面。在特定實施方式中，CRA畫面含有僅I片，且可為在解碼順序中的位元串流中的第一個畫面或可在位元串流中稍後出現。進一步而言，CRA畫面可具有相關的RADL或RASL畫面。當CRA畫面在解碼順序中的位元串流中為第 一個畫面時，CRA畫面為在解碼順序中的編碼視訊序列的第一個畫面，且任何相關的RASL畫面不藉由解碼器輸出并可為不可解碼的，因為該等RASL畫面可含有參閱位元串流中不存在的畫面。儘管此類型可具有多種的名稱，然而此類型在一個特定實施方式中名為「CRA_NUT」。
在612處，產生至少一部分位元串流。在圖示的實施例中，至少一部分的位元串流包含指定用於畫面的畫面類型(例如，作為句法元素，諸如NAL單元類型)。
在某些實施方式中，藉由編碼器執行方法600及方法進一步包含以下步驟：編碼畫面。位元串流可進一步包括編碼畫面。可使用各種編碼技術。舉例而言，可使用上述的編碼技術中的任何一者。在某些實施例中，指定為BLA畫面的編碼畫面不是位元串流的第一個畫面。
在一些實施例中，方法進一步包含以下步驟：編碼與編碼畫面相關的一或更多個引導畫面及非引導畫面。在此類實施例中，產生至少一部分位元串流的動作可進一步包含以下步驟：排序編碼引導畫面及編碼非引導畫面使得在至少一部分位元串流中所有編碼引導畫面優於所有編碼非引導畫面。引導畫面亦可指定為RADL畫面或者RASL畫面(例如，使用NAL單元類型值)。
第7圖為解碼器或數位媒體處理工具或裝置執行的示例性方法700。一般而言，可執行方法700以解碼從(例如)第6圖的方法600產生的位元串流。
在710處，接收至少一部分位元串流(例如，緩 衝的、存取的、負載的或用於進一步處理的其他方式製備的)。在圖示的實施例中，至少一部分的位元串流包含編碼畫面及指定用於編碼畫面的畫面類型。從複數個畫面類型中的一者選擇畫面類型。在某些實施例中，複數個畫面類型包括以下各者中的任何一或更多者：(1)指示編碼畫面為間斷鏈接存取(BLA)畫面的類型，該BLA畫面能夠用作隨機存取點(RAP)畫面且該類型進一步指示編碼畫面不具有任何相關的非可解碼的引導畫面但是可具有一或更多個相關的可解碼的引導畫面；(2)指示編碼畫面為BLA畫面的類型，該BLA畫面能夠用作RAP畫面且該類型進一步指示編碼畫面不具有任何相關的引導畫面；(3)指示編碼畫面為BLA畫面的類型，該BLA畫面能夠用作RAP畫面且該類型進一步指示編碼畫面可具有一或更多個相關的可解碼的或非可解碼的引導畫面；(4)指示編碼畫面為瞬時解碼更新(IDR)畫面的類型，該IDR畫面可具有相關的RADL畫面；(5)指示編碼畫面為IDR的類型，該IDR不具有任何相關的引導畫面；及/或(6)指示編碼畫面為清潔的隨機存取(CRA)畫面，該CRA畫面能夠用作RAP畫面。以上關於第6圖描述用於畫面類型的有關示例性實施方式的進一步細節。
在712，解碼編碼畫面。可使用多種解碼技術。舉例而言，可使用上述解碼技術中的任何一者。
在某些實施例中，編碼畫面不是位元串流的第一個畫面。在一些實施例中，方法進一步包含以下步驟：解碼與710的編碼畫面相關的一或更多個引導畫面及與710的編 碼畫面相關的一或更多個非引導畫面。在此類實施例中，可排序至少一部分位元串流使得與第一畫面相關的所有編碼引導畫面優於與第一畫面相關的所有編碼非引導畫面。此外，引導畫面可指定為RADL畫面或者RASL畫面(例如，使用NAL單元類型值)。
第8圖為編碼器或數位媒體處理工具或裝置執行的示例性方法800。
在810處，產生至少一部分位元串流。在圖示的實施例中，產生位元串流使得位元串流包括隨機存取點畫面，該隨機存取點畫面並非位元串流的初始畫面(例如，隨機存取點畫面位於畫面順序位置，在位元串流的初始畫面之後)并使得隨機存取點畫面具有一或更多個相關的非可解碼的引導畫面。進一步而言，在圖示的實施例中，產生位元串流以包括用於解碼器的指示，該指示標誌著隨機存取點畫面為一畫面，解碼器可從該畫面開始解碼。
在某些實施方式中，指示包括進一步的資訊。舉例而言，指示可進一步指示RAP畫面是否具有任何相關的引導畫面，且若編碼畫面具有任何相關的引導畫面，則是否所有相關的引導畫面為可解碼的。指示可具有各種格式。舉例而言，在一個實施方式中，指示為句法元素(諸如NAL單元類型，例如，如在表格2中顯示的)。在一些實施方式中，至少一部分位元串流進一步包含用於編碼畫面的一或更多個引導畫面及用於編碼畫面的一或更多個非引導畫面。在此類實施方式中，產生至少一部分位元串流的動作可包含以下步 驟：排序用於編碼畫面的引導畫面及用於編碼畫面的非引導畫面使得所有引導畫面優於非引導畫面。
在812處，輸出至少一部分位元串流(例如，藉由儲存在電腦可讀取儲存介質中，寫入文件或其他的此輸出形式)。
第9圖為解碼器或數位媒體處理工具或裝置執行的示例性方法900。
在910處，接收至少一部分位元串流。在圖示的實施例中，至少一部分位元串流包含位於畫面順序位置的隨機存取點畫面，該畫面順序位置在位元串流的初始畫面之後。進一步而言，至少一部分位元串流包括與隨機存取點畫面相關的一或更多個非可解碼的引導畫面。至少一部分位元串流亦可包含指示：隨機存取點畫面是否具有任何相關的引導畫面，且若隨機存取點畫面具有任何相關的引導畫面，則指示為：所有相關的引導畫面是否為可解碼的。指示可具有各種格式。舉例而言，在一個實施方式中，指示為句法元素(諸如NAL單元價值，例如，如表格2所顯示)，該指示標誌著隨機存取點畫面是否具有任何相關的引導畫面，且若隨機存取點畫面具有任何相關的引導畫面，則指示為：是否所有相關的引導畫面為可解碼的。
在912處，解碼隨機存取點畫面。
第10圖為編碼器或數位媒體處理工具或裝置執行的示例性方法1000。
在1010處，產生位元串流，該位元串流包括指 定為隨機存取點(「RAP」)的畫面。此外，執行產生步驟使得在解碼順序中用於RAP的任何及所有引導畫面優於用於RAP的任何非引導畫面。在1012處，輸出位元串流(例如，藉由在電腦可讀取儲存介質中儲存位元串流或藉由將位元串流寫入文件)。
第11圖為解碼器或數位媒體處理工具或裝置執行的示例性方法1100。
在1110處，接收包含用於複數個畫面的編碼資料的位元串流(例如，緩衝至記憶體內、存取、負載或用於進一步處理的其他輸入)。在圖示的實施例中，位元串流包括指定為隨機存取點(「RAP」)畫面的畫面。進一步而言，在圖示的實施例中，已經在限制下產生位元串流，該限制為：在解碼順序中用於RAP的任何及所有引導畫面優於用於RAP的任何非引導畫面。
在1112處，解碼複數個畫面。
在不實質上影響視訊重現品質的情況下，揭示技術的實施例可用於增加可用的隨機存取點的數量，從該等隨機存取點解碼器可開始解碼。因此，揭示技術的實施例可改良速度及/或無縫性，使用該速度及無縫性，可操作視訊編碼系統。舉例而言，藉由介紹用於開始解碼處理的隨機存取點的增加的數量及藉由介紹可被解碼器使用以適當處理在隨機存取點(例如，在BLA畫面處)開始的視訊的資訊，使用BLA畫面及相關的指示符可改良各種操作的效能，諸如，快進操作、倒帶操作、掃描操作、接合操作或視訊串流之間的切換 操作。以下第12圖及第13圖介紹示例性視訊處理方法，該等方法利用此處揭示的BLA技術。揭示的方法可用於視訊編碼系統或視訊解碼系統以更撓性地執行適配的視訊傳遞、製作編輯、商業插入等等。
第12圖為媒體處理工具或裝置執行的示例性方法1200。
在1210處，解碼第一位元串流部分。在1212，偵測指示(例如，藉由分析及處理用於畫面的NAL單元類型值)，該指示為：第二位元串流部分中的編碼畫面為間斷鏈接存取畫面。在1214處，在間斷鏈接存取畫面處開始解碼至少一些第二位元串流部分。在某些實施方式中，解碼進一步包括以下步驟：跳過(例如，不解碼或不輸出)與間斷鏈接存取畫面相關的第二位元串流的一或更多個畫面。舉例而言，解碼器可解碼指定為RADL畫面的引導畫面及跳過指定為RASL畫面的畫面的解碼。在1216，輸出來自第一位元串流部分的解碼畫面，該等解碼畫面後跟隨來自第二位元串流部分的解碼畫面。
示例性方法1200可執行為快進操作、倒帶操作或掃描操作的一部分(例如，由希望掃描至視訊串流中的特定點或時間的使用者發起)，該等操作藉由媒體處理裝置(例如，視訊重現工具或裝置)實施。在此類例子中，位元串流部分為相同的位元串流的一部分。當執行串流、廣播或通道切換操作時(例如，如藉由與線纜、衛星或網際網路TV系統相關使用的視訊解碼器執行)，亦可執行示例性方法1200。 在此類例子中，位元串流部分來自於不同的位元串流。
此外，在某些實施方式中，指示指示編碼畫面為複數個類型的間斷鏈接存取畫面中的一者，其中複數個類型包括以下各者中的兩個或兩個以上：可包括一或更多個引導畫面的類型、可含有一或更多個引導畫面但不含有非可解碼的引導畫面的類型、不包含引導畫面的類型。指示亦可標誌此處揭示的其他類型中的任何一或更多者。
第13圖為媒體處理裝置或應用程式執行的示例性方法1300。
在1310處，接收至少一部分第一位元串流。在1312處，接收至少一部分第二位元串流。在1314處，在間斷鏈接存取畫面處將至少一部分第一位元串流與至少一部分第二位元串流接合。在某些實施例中，接合操作額外地包含以下步驟：省略與間斷鏈接存取畫面有關的隨機存取跳過引導(RASL)畫面。此外，在一些實施例中，接合可包括以下步驟：將清潔的隨機存取畫面識別為接合點且指定清潔的隨機存取畫面為接合的位元串流中的間斷鏈接存取畫面。此外，在某些實施例中，方法可進一步包含以下步驟：偵測指示(例如，藉由分析及處理用於畫面的NAL單元類型值)，該指示為：間斷鏈接存取畫面為複數個間斷鏈接存取畫面類型(例如，此處揭示的類型中的任何一者)中的一者。
舉例而言，可藉由視訊編輯裝置或應用程式，或藉由媒體重現裝置或應用程式執行方法1300。在某些實施例中，指示指示編碼畫面為複數個類型的間斷鏈接存取畫面中 的一者，其中複數個類型包括以下各者中的任何兩個或兩個以上：可包括一或更多個引導畫面的類型、可含有一或更多個引導畫面但不含有非可解碼的引導畫面的類型或不含有引導畫面的類型。指示亦可標誌此處揭示的其他類型中的任何一或更多者。
第14圖為示例性方法1400，該方法可藉由編碼器或數位媒體處理工具或裝置執行。
在1410處，編碼BLA畫面。在1412處，編碼與BLA畫面相關的一或更多個引導畫面。在1414處，產生位元串流，該位元串流包含編碼BLA畫面及一或更多個編碼相關引導畫面。此外，在圖示的實施例中，產生位元串流的動作進一步包含以下步驟：在位元串流中產生對於一或更多個編碼相關引導畫面的每一者的明確指示，該等指示指示當來自解碼順序中的BLA畫面之前的畫面對於解碼器為不可用的(例如，如可出現在接合、快進、倒帶、視訊串流變化操作等等之後)時，各自的引導畫面是否為可解碼的或不可解碼的。在特定實施方式中，指示為NAL單元類型，該等NAL單元類型識別各自的引導畫面是否為RASL畫面或RADL畫面。
進一步而言，在某些實施方式中，產生位元串流的動作可進一步包含以下步驟：產生明確的指示，該指示為：BLA畫面為複數個類型的BLA畫面中的一者。舉例而言，畫面可指定為BLA類型，該BLA類型可具有一或更多個相關的可解碼的或非可解碼的引導畫面(例如，BLA_W_LP類型)。
第15圖為解碼器或數位媒體處理工具或裝置執行的示例性方法1500。舉例而言，可執行方法以解碼第14圖中產生的位元串流。
在1510處，接收位元串流，該位元串流包含BLA畫面及與BLA畫面相關的一或更多個編碼引導畫面。在圖示的實例中，位元串流進一步包含對於一或更多個編碼相關引導畫面的每一者的明確指示，該等指示指示當來自BLA畫面之前的畫面對於解碼器為不可用的(例如，如可出現在接合、快進、倒帶、視訊串流變化操作等等之後)時，各自的引導畫面是否為可解碼的或不可解碼的。在1512處，根據明確的指示解碼編碼BLA畫面及一或更多個編碼相關引導畫面。
在一些例子中，位元串流進一步包含明確的指示，該指示為：BLA畫面為複數個類型的BLA畫面中的一者。舉例而言，BLA畫面可為間斷鏈接存取類型，該間斷鏈接存取類型可具有一或更多個相關可解碼的或非可解碼的引導畫面。進一步而言，在一些例子中，對於該一或更多個編碼相關引導畫面的每一者的明確指示指示當來自解碼順序中的BLA畫面之前的畫面為不可用的(例如，引導畫面可指定為RASL畫面或者RADL畫面)時，各自的引導畫面為可解碼的引導畫面或非可解碼的畫面。
VIII.結論
鑒於本揭示的發明的原理可應用於的許多可能的實施例，應當認識到圖示的實施例僅為本發明的較佳實例且應不會用作限制本發明的範圍。確切而言，本發明的範圍 由以下申請專利範圍定義。因此，我們主張如我們發明的全部內容，該全部內容在該等請求項的範圍及精神中。
700‧‧‧方法
710‧‧‧步驟
712‧‧‧步驟

Claims (46)

  1. 一種方法，該方法包含以下步驟：指定一畫面為複數個畫面類型中的一者，其中該等畫面類型包括：一第一類型，該第一類型指示該畫面為一間斷鏈接存取(BLA)畫面，該BLA畫面能夠用作一隨機存取點RAP畫面且該畫面不具有任何相關非可解碼的引導畫面但是可具有一或更多個相關可解碼的引導畫面，及一第二類型，該第二類型指示該畫面為一BLA畫面，該BLA畫面能夠用作一RAP畫面且該畫面不具有任何相關引導畫面；及產生一位元串流的至少一部分，該位元串流的該至少一部分包含針對該畫面所指定的該畫面類型。
  2. 如請求項1所述之方法，其中該方法進一步包含以下步驟：編碼該畫面，且其中該位元串流進一步包含該編碼畫面。
  3. 如請求項2所述之方法，其中該編碼畫面不是該位元串流的該初始畫面。
  4. 如請求項1所述之方法，其中該複數個畫面類型進一步包括一第三類型，該第三類型指示該畫面為一BLA畫面，該BLA畫面能夠用作一RAP畫面，且該第三類型進 一步指示該畫面可具有一或更多個相關可解碼的或非可解碼的引導畫面。
  5. 如請求項4所述之方法，其中該複數個畫面類型進一步包括一第四類型，該第四類型指示該畫面為一清潔的隨機存取(CRA)，該CRA能夠用作一RAP畫面、可具有相關隨機存取可解碼的引導(RADL)畫面的一瞬時解碼更新(IDR)畫面，或不具有相關引導畫面存在於該位元串流中的一IDR畫面。
  6. 如請求項4所述之方法，其中該畫面為一第一畫面，其中該第一畫面指定為該第三類型的一畫面，且其中該方法進一步包含以下步驟：指定與該第一畫面相關的一引導畫面為一隨機存取跳過引導(RASL)畫面或者一隨機存取可解碼的引導(RADL)畫面。
  7. 如請求項1所述之方法，其中該畫面為一第一畫面，其中該第一畫面指定為該第一類型的一畫面，且其中該方法進一步包含以下步驟：指定與該第一畫面相關的一引導畫面為一隨機存取可解碼的引導(RADL)畫面。
  8. 如請求項1所述之方法，其中該方法進一步包含以下步驟：編碼與該編碼畫面相關的一或更多個引導畫面及一或更多個非引導畫面，且其中該產生一位元串流的該至 少一部分的步驟包含以下步驟：排序該等編碼引導畫面及編碼非引導畫面使得在一位元串流的該至少一部分中所有該等編碼引導畫面優於所有該等編碼非引導畫面。
  9. 一種方法，該方法包含以下步驟：接收一位元串流的至少一部分，該位元串流的該至少一部分包含一編碼畫面及指定用於該編碼畫面的一畫面類型，該畫面類型為複數個畫面類型中的一者，該複數個畫面類型包括：一第一類型，該第一類型指示該編碼畫面為一間斷鏈接存取(BLA)畫面，該BLA畫面能夠用作一隨機存取點RAP畫面且該編碼畫面不具有任何相關非可解碼的引導畫面但是可具有一或更多個相關可解碼的引導畫面，及一第二類型，該第二類型指示該編碼畫面為一BLA畫面，該BLA畫面能夠用作一RAP畫面且該編碼畫面不具有任何相關引導畫面；及解碼該編碼畫面。
  10. 如請求項9所述之方法，其中該複數個畫面類型進一步包括一第三類型，該第三類型指示該編碼畫面為一BLA畫面，該BLA畫面能夠用作一RAP畫面且該第三類型進一步指示該編碼畫面可具有一或更多個相關可解碼的或非可解碼的引導畫面。
  11. 如請求項10所述之方法，其中該編碼畫面為一第一編碼畫面，其中該第一編碼畫面指定為該第三類型的一畫面，其中該位元串流的該至少一部分包含一第二編碼畫面及指定用於該第二編碼畫面的一畫面類型，針對該第二編碼畫面的該畫面類型指示該第二編碼畫面為一隨機存取跳過引導(RASL)畫面或一隨機存取可解碼的引導(RADL)畫面，且其中該方法進一步包含以下步驟：若該第二編碼畫面指定為一RADL畫面，則解碼該第二編碼畫面；及若該第二編碼畫面指定為一RASL，則跳過該第二編碼畫面的該解碼。
  12. 如請求項10所述之方法，其中該等類型進一步包括一第四類型，該第四類型指示該解碼畫面為一清潔的隨機存取(CRA)畫面，該CRA畫面能夠用作一RAP畫面、可具有相關隨機存取可解碼的引導(RADL)畫面的一瞬時解碼更新(IDR)畫面，或不具有相關引導畫面存在於該位元串流中的一IDR畫面。
  13. 如請求項9所述之方法，其中該編碼畫面為一第一畫面，其中該方法進一步包含以下步驟：解碼與該第一畫面相關的一或更多個引導畫面及一或更多個非引導畫面，且其中排序該位元串流的該至少一部分使得與該第一畫面 相關的所有該等編碼引導畫面優於與該第一畫面相關的所有該等編碼非引導畫面。
  14. 一種方法，該方法包含以下步驟：指定一畫面為複數個畫面類型中的一者，其中該等畫面類型包括一第一類型，該第一類型指示該畫面為一BLA畫面，該BLA畫面能夠用作一RAP畫面且該第一類型進一步指示該畫面可具有一或更多個相關可解碼的或非可解碼的引導畫面；及產生一位元串流的至少一部分，該位元串流的該至少一部分包含針對該畫面所指定的該畫面類型。
  15. 如請求項14所述之方法，其中該方法進一步包含以下步驟：編碼該畫面，且其中該位元串流進一步包含該編碼畫面。
  16. 如請求項14所述之方法，其中該畫面為一第一畫面，其中該第一畫面指定為該第一類型的一畫面，且其中該方法進一步包含以下步驟：指定與該第一畫面相關的一引導畫面為一隨機存取跳過引導(RADL)畫面或者一隨機存取可解碼的引導(RADL)畫面。
  17. 如請求項14所述之方法，其中該複數個畫面類型進一步包括： 一第二類型，該第二類型指示該畫面為一間斷鏈接存取(BLA)畫面，該BLA畫面能夠用作一隨機存取點RAP畫面且該畫面不具有任何相關非可解碼的引導畫面但是可具有一或更多個相關可解碼的引導畫面，及一第三類型，該第三類型指示該畫面為一BLA畫面，該BLA畫面能夠用作一RAP畫面且該畫面不具有任何相關引導畫面。
  18. 如請求項14所述之方法，其中該複數個畫面類型進一步包括一第四類型，該第四類型指示該畫面為清潔的隨機存取(CRA)，該CRA能夠用作一RAP畫面。
  19. 如請求項14所述之方法，其中該方法進一步包含以下步驟：編碼與該編碼畫面相關的一或更多個引導畫面及一或更多個非引導畫面，且其中該產生一位元串流的該至少一部分的步驟包含以下步驟：排序該等編碼引導畫面及編碼非引導畫面使得在一位元串流的該至少一部分中所有該等編碼引導畫面優於所有該等編碼非引導畫面。
  20. 一種方法，該方法包含以下步驟：接收一位元串流的至少一部分，該位元串流的該至少一部分包含一編碼畫面及指定用於該編碼畫面的一畫面類型，該畫面類型為複數個畫面類型中的一者，該複數個畫面類型包括一第一類型，該第一類型指示該編碼畫面為一間斷鏈接 存取(BLA)畫面，該BLA畫面能夠用作一隨機存取點(RAP)畫面，且該第一類型進一步指示該編碼畫面可具有一或更多個相關可解碼的或非可解碼的引導畫面；及解碼該編碼畫面。
  21. 如請求項20所述之方法，其中該編碼畫面為一第一編碼畫面，其中該第一編碼畫面指定為該第一類型的一畫面，其中該位元串流的該至少一部分包含與該第一編碼畫面相關的一第二編碼畫面及針對該第二編碼畫面的一畫面類型，針對該第二編碼畫面的該畫面指示該第二編碼畫面為一隨機存取跳過引導(RASL)畫面或一隨機存取可解碼的引導(RADL)畫面，且其中該方法進一步包含以下步驟：若該第二編碼畫面指定為一RADL畫面，則解碼該第二編碼畫面；及若該第二編碼畫面指定為一RASL，則跳過該第二編碼畫面的該解碼。
  22. 如請求項20所述之方法，其中該複數個畫面類型進一步包括：一第二類型，該第二類型指示該編碼畫面為一BLA畫面，該BLA畫面能夠用作一RAP畫面且該編碼畫面不具有任何相關非可解碼的引導畫面但是可具有一或更多個相關可解碼的引導畫面，及 一第三類型，該第三類型指示該編碼畫面為一BLA畫面，該BLA畫面能夠用作一RAP畫面且該編碼畫面不具有任何相關引導畫面。
  23. 如請求項20所述之方法，其中該編碼畫面為一第一畫面，其中該方法進一步包含以下步驟：解碼與該第一畫面相關的一或更多個引導畫面及一或更多個非引導畫面，且其中排序該位元串流的該至少一部分使得與該第一畫面相關的所有該等編碼引導畫面優於與該第一畫面相關的所有該等編碼非引導畫面。
  24. 一種方法，該方法包含以下步驟：編碼一BLA畫面；編碼與該BLA畫面相關的一或更多個引導畫面；及產生一位元串流，該位元串流包含該編碼BLA畫面及該一或更多個編碼引導畫面，其中該產生該位元串流的步驟進一步包含以下步驟：在該位元串流中產生對於該一或更多個編碼引導畫面中的每一者的明確指示，該等指示指示當來自解碼順序中該BLA畫面之前的畫面對於一解碼器為不可用的時，一各自的引導畫面是否為可解碼的或不可解碼的。
  25. 如請求項24所述之方法，其中該產生該位元串流的步驟進一步包含以下步驟：產生一明確指示，該明確指示為：該BLA畫面為複數個類型的BLA畫面中的一者。
  26. 如請求項25所述之方法，其中該等可用類型的BLA畫面中的一者為一間斷鏈接存取類型，該間斷鏈接存取類型可具有一或更多個相關可解碼的或非可解碼的引導畫面。
  27. 一種方法，該方法包含以下步驟：接收一位元串流，該位元串流包含一編碼間斷鏈接存取(BLA)畫面及與該BLA畫面相關的一或更多個編碼引導畫面，該位元串流進一步包含對於該一或更多個編碼引導畫面中的每一者的明確指示，該等明確指示指示當來自解碼順序中的該BLA畫面之前的畫面為不可用的時，一各自的編碼引導畫面是否為可解碼的或不可解碼的；及根據該等明確指示解碼該一或更多個編碼引導畫面。
  28. 如請求項27所述之方法，其中該位元串流進一步包含一明確指示，該明確指示為：該BLA畫面為複數個BLA類型中的一者。
  29. 如請求項28所述之方法，其中該BLA畫面為複數個BLA類型中的一者的該明確指示指示該BLA畫面為一間斷鏈接存取類型，該間斷鏈接存取類型可具有一或更多個相關可解碼的或非可解碼的引導畫面。
  30. 如請求項29所述之方法，該方法進一步包含以下步驟：解碼該等編碼引導畫面中的一或更多者，該等編碼引導畫面具有指示，該等指示為：該等編碼引導畫面為可解碼的；及跳過一或更多個編碼引導畫面的該解碼，該一或更多個編碼引導畫面具有指示，該等指示為：該一或更多個編碼引導畫面為不可解碼的。
  31. 一電腦可讀取儲存介質，該電腦可讀取儲存介質儲存電腦可執行指令，當藉由一電腦執行該等電腦可執行指令時，該等電腦可執行指令引起該電腦執行一方法，該方法包含以下步驟：產生一位元串流的至少一部分，該位元串流包含用於複數個畫面的編碼資料，該複數個畫面包含一隨機存取點(RAP)畫面及一或更多個相關非可解碼的引導畫面，該RAP畫面位於一位元串流順序位置處，在該位元串流的一初始畫面之後，該位元串流的該至少一部分進一步包含一指示，該指示標誌該RAP畫面為一畫面，從該畫面一解碼器可開始解碼；及輸出該位元串流的該至少一部分。
  32. 如請求項31所述之電腦可讀取儲存介質，其中該指示為一句法元素，該句法元素標誌該RAP畫面為複數個畫面類型中的一者。
  33. 如請求項31所述之電腦可讀取儲存介質，其中該位元串流的該至少一部分進一步包含與該RAP畫面相關的一或更多個非引導畫面，且其中該產生該位元串流的該至少一部分的步驟包含以下步驟：排序與該RAP畫面相關的該等引導畫面及該等非引導畫面使得所有該等引導畫面優於該等非引導畫面。
  34. 如請求項31所述之電腦可讀取儲存介質，其中該方法進一步包含以下步驟：接收一位元串流的該至少一部分；及解碼該隨機存取點畫面使得該隨機存取點畫面為該第一個解碼的畫面。
  35. 一種方法，該方法包含以下步驟：產生一位元串流，該位元串流包括指定為一隨機存取點(RAP)畫面的一畫面，其中執行該產生步驟使得在解碼順序中用於該RAP畫面的任何及所有引導畫面優於用於該RAP畫面的任何非引導畫面；及輸出該位元串流的至少一部分。
  36. 如請求項35所述之方法，該方法進一步包含以下步驟：接收一位元串流，該位元串流包含針對複數個畫面的編碼資料，該複數個畫面包括指定為一RAP畫面的一畫面，已 經在一限制下產生該位元串流，該限制為：在解碼順序中用於該RAP畫面的任何及所有引導畫面優於用於該RAP畫面的任何非引導畫面；及解碼該複數個畫面。
  37. 一種方法，該方法包含以下步驟：解碼一第一位元串流部分；偵測一指示，該指示為：一第二位元串流部分中的一編碼畫面為一間斷鏈接存取畫面；解碼該第二位元串流部分中的至少一些，該第二位元串流部分在該間斷鏈接存取畫面處開始；及輸出來自該第一位元串流部分的解碼畫面，來自該第二位元串流部分的解碼畫面跟隨來自該第一位元串流部分的該等解碼畫面。
  38. 如請求項37所述之方法，其中該解碼步驟進一步包含以下步驟：跳過與該間斷鏈接存取畫面相關的該第二位元串流的一或更多個畫面的該解碼。
  39. 如請求項38所述之方法，其中在解碼期間跳過的該一或更多個畫面為隨機存取跳過引導畫面。
  40. 如請求項37所述之方法，其中該第一位元串流部分及該第二位元串流部分為該相同位元串流的一部分，且其中 執行該方法作為一快進操作、一倒帶操作或一掃描操作的一部分。
  41. 如請求項37所述之方法，其中該第一位元串流部分及該第二位元串流部分來自於不同的位元串流，且其中執行該方法作為一視訊串流切換操作的一部分。
  42. 如請求項37所述之方法，其中該指示指示該編碼畫面為複數個類型的間斷鏈接存取畫面中的一者，該複數個類型包括以下各者中的兩個或兩個以上：(a)可包括一或更多個引導畫面的一類型；(b)可含有一或更多個引導畫面但不含有非可解碼的引導畫面的一類型；或(c)不含有引導畫面的一類型。
  43. 一種方法，該方法包含以下步驟：接收一第一位元串流的至少一部分；接收一第二位元串流的至少一部分；及將該第一位元串流的該至少一部分與該第二位元串流的該至少一部分接合，其中該第二位元串流的該接合點為一間斷鏈接存取畫面。
  44. 如請求項43所述之方法，其中該接合步驟包含以下步驟：刪除對於與該間斷鏈接存取畫面相關的一或更多個隨機存取跳過引導畫面的資訊。
  45. 如請求項43所述之方法，其中該接合步驟包含以下步驟：識別該第二位元串流的該至少一部分中的一清潔的隨機存取畫面作為該接合點；及指定該清潔的隨機存取畫面作為該接合的位元串流中的該間斷鏈接存取畫面。
  46. 如請求項43所述之方法，其中該方法進一步包含以下步驟：偵測一指示，該指示為：該間斷鏈接存取畫面為複數個類型中的一者，該複數個類型包括以下各者中的兩個或兩個以上：(a)可包括一或更多個引導畫面的一類型；(b)可含有一或更多個引導畫面但不含有非可解碼的引導畫面的一類型；或(c)不含有引導畫面的一類型。
TW102113323A 2012-04-16 2013-04-15 簡化視訊隨機存取之限制及單元類型 TWI603609B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261624984P 2012-04-16 2012-04-16
US201261639663P 2012-04-27 2012-04-27
US201261667357P 2012-07-02 2012-07-02
US13/732,328 US9532055B2 (en) 2012-04-16 2012-12-31 Constraints and unit types to simplify video random access

Publications (2)

Publication Number Publication Date
TW201351964A true TW201351964A (zh) 2013-12-16
TWI603609B TWI603609B (zh) 2017-10-21

Family

ID=49325076

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102113323A TWI603609B (zh) 2012-04-16 2013-04-15 簡化視訊隨機存取之限制及單元類型

Country Status (8)

Country Link
US (4) US9532055B2 (zh)
EP (1) EP2839647B1 (zh)
JP (1) JP6238318B2 (zh)
KR (2) KR102117723B1 (zh)
CN (1) CN104350750B (zh)
AR (1) AR093278A1 (zh)
TW (1) TWI603609B (zh)
WO (1) WO2013158670A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130272619A1 (en) * 2012-04-13 2013-10-17 Sharp Laboratories Of America, Inc. Devices for identifying a leading picture
US9351016B2 (en) 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US9402082B2 (en) 2012-04-13 2016-07-26 Sharp Kabushiki Kaisha Electronic devices for sending a message and buffering a bitstream
US9426460B2 (en) * 2012-04-13 2016-08-23 Sharp Kabushiki Kaisha Electronic devices for signaling multiple initial buffering parameters
US9979958B2 (en) * 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
CN107197312B (zh) 2012-04-23 2020-09-01 Lg 电子株式会社 视频解码方法以及实现该方法的装置
US20150139338A1 (en) * 2012-05-03 2015-05-21 Telefonaktiebolaget L M Ericsson (Publ) Identifying Leading Pictures in Video Coding
CN107071493B (zh) * 2012-06-12 2020-04-14 Lg 电子株式会社 图像解码方法及使用其的装置
US9591303B2 (en) * 2012-06-28 2017-03-07 Qualcomm Incorporated Random access and signaling of long-term reference pictures in video coding
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
US9225978B2 (en) * 2012-06-28 2015-12-29 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures
US20140003520A1 (en) * 2012-07-02 2014-01-02 Cisco Technology, Inc. Differentiating Decodable and Non-Decodable Pictures After RAP Pictures
WO2014007550A1 (ko) 2012-07-03 2014-01-09 삼성전자 주식회사 시간적 스케일러빌러티를 갖는 비디오 부호화 방법 및 장치, 시간적 스케일러빌러티를 갖는 비디오 복호화 방법 및 장치
WO2014007590A1 (ko) * 2012-07-06 2014-01-09 삼성전자 주식회사 랜덤 억세스를 위한 멀티 레이어 비디오 부호화 방법 및 그 장치, 랜덤 억세스를 위한 멀티 레이어 비디오 복호화 방법 및 그 장치
JP6319083B2 (ja) * 2012-07-10 2018-05-09 ソニー株式会社 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法
JP2014039252A (ja) * 2012-08-10 2014-02-27 Panasonic Corp 画像復号方法および画像復号装置
KR102167096B1 (ko) * 2012-09-13 2020-10-16 엘지전자 주식회사 영상 부호화/복호화 방법 및 장치
US9491487B2 (en) * 2012-09-25 2016-11-08 Apple Inc. Error resilient management of picture order count in predictive coding systems
US20140092995A1 (en) * 2012-09-28 2014-04-03 Sharp Laboratories Of America, Inc. Electronic devices for signaling a random access point picture message
JP6094126B2 (ja) * 2012-10-01 2017-03-15 富士通株式会社 動画像復号装置
US9661341B2 (en) * 2013-01-07 2017-05-23 Microsoft Technology Licensing, Llc Syntax and semantics for buffering information to simplify video splicing
CN104919803B (zh) * 2013-01-15 2017-09-12 华为技术有限公司 一种用于解码视频比特流的方法
US9674533B2 (en) 2013-04-05 2017-06-06 Qualcomm Incorporated Picture alignments in multi-layer video coding
US9596486B2 (en) * 2013-04-05 2017-03-14 Qualcomm Incorporated IRAP access units and bitstream switching and splicing
US9602822B2 (en) 2013-04-17 2017-03-21 Qualcomm Incorporated Indication of cross-layer picture type alignment in multi-layer video coding
US10003815B2 (en) 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
US9900605B2 (en) 2013-10-14 2018-02-20 Qualcomm Incorporated Device and method for scalable coding of video information
US10264272B2 (en) * 2013-10-15 2019-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
US9794558B2 (en) 2014-01-08 2017-10-17 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
US10187650B2 (en) * 2014-06-17 2019-01-22 Stmicroelectronics International N.V. Video encoders/decoders and video encoding/decoding methods for video surveillance applications
US9800898B2 (en) 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
CN107005704B (zh) 2014-10-16 2020-07-24 三星电子株式会社 处理编码视频数据的方法和装置及生成编码视频数据的方法和装置
US20160234522A1 (en) * 2015-02-05 2016-08-11 Microsoft Technology Licensing, Llc Video Decoding
US10129566B2 (en) * 2015-03-16 2018-11-13 Microsoft Technology Licensing, Llc Standard-guided video decoding performance enhancements
US9979983B2 (en) 2015-03-16 2018-05-22 Microsoft Technology Licensing, Llc Application- or context-guided video decoding performance enhancements
KR102077239B1 (ko) * 2015-07-02 2020-02-13 삼성전자주식회사 멀티미디어 데이터를 암호화하는 방법 및 장치, 복호화하는 방법 및 장치
KR102477964B1 (ko) * 2015-10-12 2022-12-16 삼성전자주식회사 미디어 전송 시스템에서 비디오 비트스트림의 임의 접근 및 재생을 가능하게 하는 기법
CN105227864A (zh) * 2015-10-16 2016-01-06 南阳师范学院 一种图片生成动画并与视频片段拼接合成的视频编辑方法
US10958988B2 (en) * 2017-03-24 2021-03-23 Mediatek Inc. Methods and apparatus for media content asset changes
JP6967653B2 (ja) * 2019-12-19 2021-11-17 株式会社Ｎｔｔドコモ 動画像予測復号方法
WO2021202371A1 (en) * 2020-03-30 2021-10-07 Bytedance Inc. Slice types in a picture
WO2021222040A1 (en) * 2020-04-27 2021-11-04 Bytedance Inc. Virtual boundaries in video coding
WO2023220000A1 (en) * 2022-05-10 2023-11-16 Bytedance Inc. Improved extended dependent random access point support in iso base media file format

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7149247B2 (en) * 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
JP2005533444A (ja) 2002-07-16 2005-11-04 ノキア コーポレイション 画像符号化におけるランダム・アクセス及び段階的画像更新に対する方法
JP3513148B1 (ja) 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
US7924921B2 (en) * 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US20080159407A1 (en) 2006-12-28 2008-07-03 Yang Nick Y Mechanism for a parallel processing in-loop deblock filter
US20110081133A1 (en) * 2009-10-05 2011-04-07 Xuemin Chen Method and system for a fast channel change in 3d video
US9516379B2 (en) * 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
US9706227B2 (en) 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
US10244257B2 (en) * 2011-08-31 2019-03-26 Nokia Technologies Oy Video coding and decoding
US9237356B2 (en) * 2011-09-23 2016-01-12 Qualcomm Incorporated Reference picture list construction for video coding
US20130089152A1 (en) * 2011-10-05 2013-04-11 Qualcomm Incorporated Signaling picture identification for video coding
US9264717B2 (en) * 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US9351016B2 (en) * 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture

Also Published As

Publication number Publication date
US11943480B2 (en) 2024-03-26
US11303933B2 (en) 2022-04-12
JP6238318B2 (ja) 2017-11-29
EP2839647B1 (en) 2018-07-04
US9532055B2 (en) 2016-12-27
US20220191547A1 (en) 2022-06-16
CN104350750B (zh) 2018-10-23
US20170142445A1 (en) 2017-05-18
KR102176327B1 (ko) 2020-11-09
TWI603609B (zh) 2017-10-21
WO2013158670A1 (en) 2013-10-24
CN104350750A (zh) 2015-02-11
AR093278A1 (es) 2015-05-27
US20200029094A1 (en) 2020-01-23
KR102117723B1 (ko) 2020-06-01
JP2015517281A (ja) 2015-06-18
US10432973B2 (en) 2019-10-01
US20130272430A1 (en) 2013-10-17
KR20150003196A (ko) 2015-01-08
EP2839647A1 (en) 2015-02-25
KR20200061415A (ko) 2020-06-02

Similar Documents

Publication Publication Date Title
TWI603609B (zh) 簡化視訊隨機存取之限制及單元類型
US11943464B2 (en) Syntax and semantics for buffering information to simplify video splicing
KR102474461B1 (ko) 코딩된 영역들의 완료를 나타내는 신택스 구조들
CA2854331C (en) Signaling of state information for a decoded picture buffer and reference picture lists
US10298931B2 (en) Coupling sample metadata with media samples
KR20150067156A (ko) 신뢰 수준 및 혼합 컨텐츠 정보를 포함하는 부가 확장 정보 제공 기법

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees