TWI396445B

TWI396445B - 媒體資料的傳送/接收方法、編碼器、解碼器、儲存媒體、用於編碼/解碼圖像之系統、電子設備及傳送裝置、以及用於解碼圖像之接收裝置

Info

Publication number: TWI396445B
Application number: TW094104145A
Authority: TW
Inventors: Miska Hannuksela; Emre Aksu
Original assignee: Nokia Corp
Priority date: 2004-02-13
Filing date: 2005-02-14
Publication date: 2013-05-11
Also published as: RU2385541C2; ZA200606634B; EP1714490A1; EP2760212A1; JP5069006B2; JP2011199899A; BRPI0507925A; CN1934865B; CN1934865A; TW200531555A; AU2005212896B2; US8335265B2; CA2556120A1; AU2005212896A1; EP1714490B1; KR20060116245A; KR100837322B1; WO2005079070A1; BRPI0507925B1; BRPI0507925A8

Description

媒體資料的傳送/接收方法、編碼器、解碼器、儲存媒體、用於編碼/ 解碼圖像之系統、電子設備及傳送裝置、以及用於解碼圖像之接收裝置

本發明係與緩衝編碼圖像之方法有關，該方法包括：一在編碼器內形成編碼圖像之編碼步驟，一傳送該編碼圖像至解碼器之傳送步驟，一將該編碼圖像解碼以形成解碼圖像之解碼步驟，以及一將解碼圖像依解碼次序整理之重新整理步驟。本發明也與系統，傳送設備，接收設備，編碼器，解碼器，電子裝置，軟體程式，及儲存媒體有關。

已出版之視訊編碼標準包括：ITU－T H.261，ITU－T H.263，ISO/IEC MPEG－1，ISO/IEC MPEG－2，及ISO/IEC MPEG－4 Part2.此些標準在本文中稱作習用視訊編碼標準。

視訊通訊系統

視訊通訊系統可分為交談式與非交談式系統。交談式系統包括視訊會議及視訊電話。該系統之實例包括ITU－T建議文件H.320，H.323，及H.324，其具體說明視訊會議/電話系統各別在ISDN，IP，及PSTN網路系統中之操作。交談式系統之特徵在於意圖減少端點至端點之延遲（從音訊/視訊接收端至遠方之音訊/視訊顯示端）以改善用戶體驗。

非交談式系統包括儲存內容之播放，例如多樣化數位光碟(DVDs)或儲存於播放裝置、數位電視、及串流(streaming)之大容量記憶體內之視訊檔案。以下是此技術領域中，一些最重要標準之簡短檢視。

今日在數位視訊消費者電器技術中，具支配性之標準是為MPEG－2，其包括視訊壓縮，音訊壓縮，儲存及傳送之技術規範。編碼視訊的儲存及傳送是基於基本資料流(elementary stream)的概念。基本資料流是由單一來源（例如視訊）之編碼資料，以及該資訊來源之同步、確認、歸類所須之輔助性資料所組成。基本資料流被封包化成固定長度或可變長度之封包以形成一個封包化基本資料流(Packetized Elementary Stream(PES))。每個PES封包包括一個標頭(header)，及跟隨其後之資料流稱為有效負載(payload)。來自不同基本資料流之PES封包合併形成一個程式流(Program Stream(PS))或傳送流(Transport Stream(TS))。PS之目的在於具可忽略傳送錯誤之應用，例如儲存並播放型態之應用。TS之目的在於對傳送錯誤敏感之應用。無論如何，TS假設網路傳送率是保證穩定的。

標準化之努力正進行於ITU－T及ISO/IEC共同組成之聯合視訊組(Joint Video Team(JVT))。JVT的工作是基於較早的ITU－T之標準化計畫，其稱作H.26L。JVT的標準化目標是發行如同ITU－T建議文件H.264及ISO/IEC國際標準14496－10（MPEG－4部分10）之標準正文。草案標準在本文中稱作JVT編碼標準，而依據此草案標準之編解碼器(codec)稱作JVT編解碼器。

編解碼器規範本身在概念上區分為視訊編碼層(video coding layer(VCL))及網路提取層(network abstraction layer(NAL))。VCL包括編解碼器之訊號處理功能，例如轉換，量化，動態搜尋/補償，以及迴路過濾。依照今日大部分視訊編解碼器的一般概念，基於巨集區塊(macroblock－based)之編碼器利用具動態補償的中間圖像預測(inter picture prediction)，及殘餘訊號轉換編碼。VCL編碼器之輸出是片段(slices)：一包括整數個巨集區塊之巨集區塊資料之位元串及片段標頭之資訊（包括片段內第一個巨集區塊的空間位址，起始量化參數，及諸如此類）。使用所謂的彈性巨集區塊排序法(Flexible Macroblock Ordering syntax)，巨集區塊在片段內是以掃瞄次序連續地排列，除非指定不同的巨集區塊配置。圖像內預測(in－picture prediction)，例如內部預測(intra prediction)及動態向量預測(motion vector prediction)，是僅用以片段內。

NAL將VCL的輸出片段封裝於網路提取層單元（Network Abstraction Layer Units（NAL單元或NALUs）），其適用於封包網路傳送或使用於封包導向之多工環境。JVT之附件B定義封裝處理步驟，以傳送NALUs於位元組流導向之網路。

H.263之可選擇的參考圖像選擇模式與MPEG－4部分2之NEWPRED編碼工具能夠於每個圖像區段(segment)，例如於H.263之每個片段，為動態補償作參考像框(frame)之選擇。此外，H.263之可選擇的加強參考圖像選擇模式與JVT編碼標準能夠各別地為每個巨集區塊作參考像框之選擇。

參考圖像選擇使許多時間延展性(temporal scalability)方案成為可能。圖1表示一時間延展性方案的例子，此乃遞迴式時間延展性。此方案能以3個固定像框速率來解碼。圖2表示一個視訊額外編碼(Video Redundancy Coding)之方案，其中一圖像序列被分成2或更多呈交錯方式之獨立編碼線程(threads)。箭頭在上述及所有接續之圖例中表示動態補償之方向，以及在每個像框下之數值對應於相關像框之獲得及顯示時刻。

參數組概念

JVT編解碼器的一個基本設計概念是產生自足式封包，以使得某些機制（例如標頭複製）成為不需要。達成上述之方法，在於將片段之外的相關資訊從媒體流中分離。較高階層之元資訊(meta information)應被可靠地、不同時地、且居先地由包含片段封包之RTP封包流傳送出。在應用系統中沒有適用之頻帶外(out－of－band)傳送頻道之情況下，此資訊也可以頻帶內(in－band)傳送。較高階層參數之結合稱為參數組(Parameter Set)。參數組之資訊包括例如圖像大小，顯示視窗，選擇的編碼模式，巨集區塊配置圖，及其他。

為了能夠改變圖像參數（例如圖像大小），而不須傳送參數組以同步更新片段封包流，編碼器與解碼器可維持一個包括一個以上之參數組的表。每一個片段標頭包括一個碼字(codeword)用以表示被使用之參數組。

此機制允許參數組之傳送分離於封包流，且利用外在之方法傳送它們，例如能力資訊互換(exchange capability)之副效應，或經由（可靠或非可靠的）控制協定。其甚至不須經由傳送而是藉應用設計規範。

傳送次序

在習用的視訊編碼標準中，除了B圖像之外，圖像之解碼次序與顯示次序相同。習用的B圖像區塊可被雙向預測於時間軸上之兩個參考圖像，其中，於顯示次序中，一個參考圖像位於時間軸之前且另一個參考圖像位於時間軸之後。只有在解碼次序中之最近參考圖像可接續B圖像於顯示次序（例外：在H.263中的交錯編碼，其中時間參考像框之兩個圖像可於解碼次序中置於B圖像之前）。習用的B圖像不能作為時間預測之參考圖像，因此一個習用的B圖像可被丟棄而不影響任何其他圖像之解碼。

相較於較早之標準，JVT編碼標準具以下新的技術特徵：－圖像之解碼次序與顯示次序是分開的。圖像號碼表示解碼次序，及圖像次序計數表示顯示次序。

－B圖像內區塊的參考圖像可以位於圖像B顯示次序之前或之後。因此，圖像B代表雙預測性(bi－predictive)圖像而非雙向(bi－directional)圖像。

－不用作為參考圖像之圖像被明確地標示。任何一種型式之圖像（內部、中間、B等等）可為參考圖像或非參考圖像。（如此，B圖像可作為其他圖像之時間預測的參考圖像。）

－圖像可包括以不同編碼型式編碼之片段。例如，一編碼圖像可包括一內部編碼片段與B編碼片段。

從壓縮效率及錯誤復原力(error resilience)之觀點，解碼次序與顯示次序分開是有好處的。

一預測結構能夠改進壓縮效率之例子揭示於圖3。方格表示圖像，方格內之英文字母表示編碼型式，方格內之數字表示依據JVT編碼標準之圖像編號。請注意圖像B17是圖像B18之參考圖像。相較於習用之編碼，壓縮效率可獲改進，因為相較於具PBBP或PBBBP編碼圖像類型之習用編碼，圖像B18之參考圖像在時間上較接近。相較於習用之PBP編碼圖像類型，壓縮效率可獲改進，因為部分參考圖像是雙向預測的。

圖4表示一個內部延遲法的例子，其可用以改進錯誤復原力。習用上，內部圖像即刻編碼於一場景截止後或回應過期內部圖像更新(refresh)時。在內部延遲法中，內部圖像不即刻編碼於一內部圖像編碼之需求發生時，而是選擇一時間序列圖像作為內部圖像。每一個介於編碼內部圖像及內部圖像習用位置間之圖像是由下個時間序列之圖像預測。如圖4，內部延遲法產生兩個獨立內部圖像預測鏈(chains)，然而習用編碼法產生一個獨立內部圖像鏈。明顯地，雙鏈方式比單鍵方式能更加有效地預防刪除之錯誤。如果一個鏈遭受封包遺失，另一個鏈或仍可正確地接收。在習用的編碼中，一個封包遺失常造成錯誤傳播至內部圖像鏈之其餘部份。

兩種排序及計時之資訊習用上與數位視訊結合：解碼及顯示次序。以下詳述該相關之技術。

解碼時間標記(decoding timestamp(DST))表示時間相對參考時脈(reference clock)，應將編碼資料單元解碼之時候。若DST被編碼及傳送，其有兩個目的：第一，若圖像之解碼次序不同於其輸出次序，則DST明示解碼次序。第二，DST保證一定的前解碼器(pre－decoder)緩衝作用（解碼器之解碼單元之緩衝），假設接收率接近於傳送率於任何時刻。在網路中，當端至端之等待時間(latency)改變時，上述DST之第二個用途將少有或無作用。相反地，接收資料將儘快被解碼，若後解碼器(post－decoder)緩衝有空間供給未壓縮圖像。

DST之輸送依所使用之傳送系統及視訊編碼標準而定。在MPEG－2系統中，DST可選擇地被傳送如同在PES封包標頭內之一個項目。在JVT編碼標準中，DST可選擇地被傳送如同補助加強資料(Supplemental Enhancement Information(SEI))之一部分，且其被用於選擇性假設參考解碼器(Hypothetical Reference Decoder)之操作中。在ISO基本媒體檔案格式(ISO Base Media File Format)中，DTS是專用於盒(box)類型，即解碼時間對樣本盒(Decoding Time to Sampel Box)。在許多系統中，例如基於RTP之串流系統，DST不被輸送，因為解碼次序被假設與傳送次序相同且正確解碼時間不扮演重要角色。

H.263選擇附件U及附件W.6.12指定一圖像號碼，其相對於解碼次序中之前的參考圖像增加1。在JVT編碼標準中，句法元素之指定方式如同H.263之圖像編號。JVT編碼標準指定一特別的內部圖像型態，稱為瞬時解碼更新(instantaneous decoding refresh，IDR)圖像。沒有接續之圖像可以參考任何在解碼次序中早於IDR圖像之任一圖像。IDR圖像通常編碼於反應場景之改變。在JVT編碼標準，像框編號圖像重新設定為0於一IDR圖像，如此可於某些情況下改善錯誤復原力，假設IDR圖像遺失如圖5a及5b所示。然而，應注意到JVT編碼標準之場景SEI訊息也用以偵測場景之變換。

H.263圖像編號可用以恢復參考圖像之次序。同樣的，JVT像框編號可用以恢復解碼次序中介於一個IDR圖像（包括在內）及下一個IDR圖像（不包括在內）之間的像框解碼次序。然而，因為互補之參考場偶(field pairs)（連續圖像被編碼成具不同奇偶的場）共用相同的像框編號，其解碼次序無法由像框編號重建。

非參考圖像之H.263圖像編號或JVT像框編號被指定等於解碼次序中前一個參考圖像之圖像或像框號碼加1。如果數個非參考圖像在解碼次序中是連續的，它們將使用同一個圖像或像框號碼。連續非參考圖像之解碼次序可以藉使用在H.263之時間參考(Temporal Reference(TR))編碼元素或JVT編碼標準之圖像次序計數(Picture Order Count(POC))概念得以恢復。

顯示時間標記(presentation timestamp(PTS))表示當圖像呈現時，與參考時脈相關之時間。顯示時間標記也稱作展現時間標記、輸出時間標記、或複合時間標記。

PTS之輸送依所使用之傳送系統及視訊編碼標準而定。在MPEG－2系統中，PTS可選擇地當作在PES封包標頭內之一個項目被傳送。在JVT編碼標準中，DST可選擇地當作補助加強資料(SEI)之一部分被傳送，且其被用以選擇性假設參考解碼器之操作中。在ISO基本媒體檔案格式中，PTS是專用於盒類形，即解碼時間對樣本盒，其中顯示時間標記編碼與對應之解碼時間標記有關連。在RTP中，RTP封包標頭之RTP時間標記相當於PTS。

許多習用之視訊編碼標準具有時間參考(TR)編碼元素，此與RTP在許多方面是相似的。有些習用之視訊編碼標準，例如MPEG－2視訊，TR重新設定為0於圖像組(Group of Picture(GOP))之起始處。在JVT編碼標準中，視訊編碼層不存有時間概念。圖像次序計數(Picture Order Count(POC))指定給每個框及場，且其之使用相似於TR，例如在B片段的直接時間預測。POC重新設定為0於IDR圖像。

多媒體流之傳送

多媒體串流系統包括一串流(streaming)伺服器及數個播放器，播放器經由網路與伺服器連接。此網路是典型的封包導向及提供稍許或全無品質保證之方法。播放器從伺服器擷取預存或實況多媒體內容，且即時播放於內容下載時。此種通訊類形可以是點對點(point－to－point)或多址傳送(multicast)。在點對點串流中，伺服器為每個播放器(player)提供各別之連接。在多址傳送中，伺服器傳送單一資料流至數個播放器，且網路元件祇有在必要時才複製此資料流。

當一播放器建構至伺服器的連接且要求一個多媒體流，伺服器開始傳送要求的資料流。播放器不立即開始播放此資料流，而是將輸入之資料緩衝數秒鐘。此緩衝作用稱作起始緩衝。起始緩衝幫助維持無暫停播放，因為，假設有時發生傳送延遲或網路傳送率降低，播放器將可解碼並播放緩衝的資料。

為防止無止盡的傳送延遲，通常於資料流系統中不採用可靠性傳送協定。相反地，系統較偏向使用非可靠性傳送協定，例如UDP，其一方面具有較穩定的傳送延遲，但另一方面也遭受資料之損壞或遺失。

RTP及RTCP協定可用於UDP之上層以控制即時通訊。RTP提供偵測傳送封包遺失之方法、重組接收端封包之正確次序、以及將抽樣時間標記與每一個封包結合。RTCP傳送關於封包有多大之部分被正確地接收之資訊，因此，其可用於流量控制之目的。

傳送錯誤

傳送錯誤有兩種主要的形式，其稱作位元錯誤及封包錯誤。位元錯誤通常與電路轉換頻道有關連，例如行動通訊中之無線接取網路連接，其錯誤之發生在於實體頻道之不良。如此之不良性造成傳送資料之位元反轉、位元插入、及位元刪除。封包錯誤通常由封包轉換網路內之元件所造成。例如，封包路由器可能阻塞，亦即可能於輸入得到太多封包，而無法以同等速率將其輸出。在此狀況下，其緩衝器溢流，且有些封包遺失。封包重複或封包與傳送之次序不同也可能發生，但通常被認為不若封包遺失那麼平常。封包錯誤也可能由使用傳送協定堆疊(transport protocol stack)所造成。例如某些協定使用檢驗和(checksums)，其計算於傳送器中，且與原始碼資料一起封裝。若資料有一位元反轉之錯誤，接收器不能得到相同的檢驗和結果，則將棄擲接收到之封包。

第2代(2G)及第3代(3G)行動網路，包括GPRS、UMTS、及CDMA－2000，提供兩個無線電連線之基本型態：告知型與非告知型(acknowledged and non－acknowledged)。告知型無線電連線架構之完整性是由接收端（行動站(Mobile Station(MS)）或基地站次系統(Base Station Subsystem(BSS))檢查，且若有傳送錯誤，再傳送之要求發送至無線電連線之另一端。因為連線層再傳送之緣故，發送端必須緩衝無線電連線框直至接收到有關框之肯定告知。在嚴厲的無線電狀況下，緩衝器可能溢流而導致資料流失。僅管如此，上述揭示了告知型無線電連線協定模式之好處。非告知連接則通常將錯誤的無線電連線框丟棄。

封包遺失可被改正或隱藏。改正意指恢復遺失資料完整如初之能力。隱藏意指隱藏傳送遺失之影響，使其於重建之視訊次序中不被察覺。

當播放器偵測到一個封包遺失，其可要求封包之再傳送。因為起始緩衝作用之緣故，再傳送之封包可能被接收於預定播放時間之前。一些商業網際網路串流系統施行使用專用協定之再傳送要求。IETF正進行於將標準化選擇性再傳送要求機制成為RTCP之一部份。

所有這些再傳送要求協定的共同特徵是不適宜用於多址傳送至數目眾多的播放器，因為網路交通將巨幅增加。因此，多址傳送串流應用必須依賴非交互作用式的封包遺失控制。

點對點串流系統也可能受益於非交互作用式錯誤控制技術。第一，有些系統可能不包括任何非交互作用式錯誤控制機制或其寧選擇沒有來自播放器之回饋以簡化系統。第二，相較於非交互作用式的錯誤控制，遺失封包再傳送及其他交互作用式錯誤控制典型地佔據了傳送資料速率的大部分。串流伺服器必須保證交互作用式錯誤控制方法不把持可供使用網路通量的主要部分。實際上，伺服器可能須要節制交互作用式錯誤控制的操作數量。第三，傳送延遲可能限制伺服器與播放器之間的交互作用次數，因為特定資料取樣之所有交互作用式錯誤控制的操作應盡可能完成於該資料取樣播放之前。

非交互作用式封包遺失控制機制可歸類為前向錯誤控制(forward error control)及後續處理遺失隱藏法。前向錯誤控制係傳送器增加額外傳送資料使得接收器可恢復部分之傳送資料，若發生傳送遺失時。後續處理遺失隱藏法係完全地接收器導向的。該方法試圖估計錯誤接收資料的正確表示。

大部份視訊壓縮計算法產生時序上預測的INTER或P圖像。結果，一個圖像之資料損失造成明顯地品質降級發生於接續圖像，該等接續圖像係時序上由該損壞圖像預測而得。視訊通訊系統可於影像顯示時將損失隱藏，或凍結最近正確的圖像於銀幕，直至一獨立於損壞框之像框被接收到為止。

於習用的視訊編碼標準中，解碼次序與輸出次序結合。換言之，I或P圖像之解碼次序與其輸出次序相同，而B圖像之解碼次序緊跟隨B圖像之最近參考圖像之解碼次序於輸出次序中。因此，基於已知之輸出次序恢復解碼次序是可能的。輸出次序典型地被傳送於基本視訊位元流之時間參考(TR)欄，以及於系統多工層，例如RTP標頭中。因此，於習用的視訊編碼標準中，傳送次序不同於解碼次序之問題並不存在。

對專家而言，一使用像框計數器之解決方法是顯而易懂的，其類似於H.263圖像號碼不須於IDR圖像重設為0（如同JVT編碼標準所為）。然而，某些問題可能發生於使用上述解決方式。首先，圖5a揭示一連續編號的方案。舉例而言，若IDR圖像I37遺失（不能接收/解碼），解碼器將繼續為接續之圖像解碼，但使用錯誤之參考圖像。如此造成錯誤傳播至接續之像框，直至下一個獨立於損壞框之像框被接收並正確地解碼為止。在圖5b之例子中，像框號碼重設為0於IDR圖像。當IDR圖像10被遺失之情況，解碼器告知有一間隙位於最近解碼圖像P36之後。解碼器則可假定有一錯誤發生，且可停止顯示圖像直至下一個獨立於損壞的像框被接收及解碼。

次序列

JVT號碼標準也包括次序列概念，其相較於非參考圖像之使用可加強時間延展性，使得圖像之中間預測鏈(inter predicted chains)可整體被棄擲而不影響其餘解碼流之解碼可行性。

次序列是一組位於次序列層之解碼圖像。一個圖像應存在於一個次序列層且祇在一個次序列層。一次序列層不依存於任何其他同一或更高階層之次序列。一在階層0之次序列獨立於其他之次序列及之前的長期參考圖像。圖6a揭示包含次序列於階層1之圖像流。

一次序列層包括一組在序列中之編碼圖像。次序列層是以非負值整數編號。具較大編號之層是高於較小編號之層。層之階級性基於彼此間之依存性，一階層不須依賴較高層而可能依賴較低層。換言之，階層0之圖像是可獨立地解碼，圖像在階層1可由階層0預測，圖像在階層2可能由階層0或1預測，等等。主觀品質(subjective quality)可隨著解碼階層號碼而增加。

次序列層概念被包括在JVT編碼標準內如下：序列參數組之參數required_frame_num_update_behaviour_flag等於1代表編碼序列可能不包括所有之次序列。使用required_frame_num_update_behaviour_flag發佈每個參考相框之像框號碼加1之須求。像框號碼之空隙則是被特別標示於解碼圖像緩衝器。若一"遺失"像框號碼被參考於中間預測(inter prediction)時，即推斷一圖像之遺失。否則，對應於"遺失"像框號碼之像框被視為正常像框處理而插入於具滑動視窗緩衝模式之解碼圖像緩衝器。所有在處置次序列內之圖像結果將被指定一"遺失"像框號碼於解碼圖像緩衝器，但不使用於其他次序列之中間預測中。

JVT編碼標準也包括相關SEI訊息之選擇性次序列。次序列SEI訊息與解碼次序中之下一個片段有關聯。其表示片段所屬之次序列層及次序列之次序列識別號(sub_seq_id)。

每個IDR圖像包括一個識別號(idr_pic_id)。若兩個IDR圖像於解碼次序中連貫，而沒有任何介於中間之圖像，idr_pic_id值將從第1個IDR圖像轉換至另一個。若目前之圖像存在於次序列，該次序列之第1個圖像是IDR圖像，則sub_seq_id與idr_pic_id值相同。

JVT－D093之解決方法祇有當沒有資料留存於次序列層1或以上時才可正確運作。若傳送次序不同於解碼次序且解碼圖像位於次序列階層1，則其與在次序列階層0相關圖像之解碼次序不能基於次序列識別號及像框號碼來決定。例如，圖6b之編碼方案，其中輸出次序由左至右，方塊表示圖像，方塊內之英文字母表示編碼類型，方塊內之號碼表示依據JVT編碼標準的像框號碼，有底線之字表示非參考圖像，以及箭頭表示預測之相依關係。若圖像之傳送次序依序為10，P1，P3，10，P1，P2，B4，P5，則其無法決定圖像B2屬於那一個獨立GOP圖像。

上述例子中，或許可爭議的是，B2之正確獨立GOP可基於其輸出時間標記(timestamp)得到結果。然而，圖像解碼次序不能基於輸出時間標記或圖像號碼恢復，因此解碼次序與輸出次序是分開的。以下的例子（圖6c）中，其輸出次序由左至右，方塊表示圖像，方塊內之英文字母表示編碼類型，方塊內之號碼表示依據JVT編碼標準的像框號碼，以及箭頭表示預測之相依關係。假若傳送圖像不以解碼次序輸出，則其無法可靠地被偵測，是否圖像P4應該被解碼於第1個獨立GOP或第2個獨立GOP的P3之後。

緩衝作用

串流用戶典型地具有一個接收器緩衝，其能夠儲存相當大之資料。最初，當一個串流區段成立時，用戶不須立即開始播放資料流，而是通常緩衝到達的資料數秒鐘。緩衝作用幫助維持連續播放，因為，如果有時增加的傳送延遲或網路速率下降，用戶可解碼及播放緩衝的資料。否則，沒有起始緩衝作用，用戶必須凍結顯示，停止解碼，及等待資料到達。緩衝作用對於任何協定階層之自動或選擇性再傳送也是須要的。若圖像之任何一部份遺失，再傳送機制可用於重新傳送遺失之資料。若再傳送之資料於預定解碼或播放時間之前接收到，遺失部分將完成恢復。

編碼圖像可依其在解碼序列之主觀品質之重要性予以分級。舉例而言，非參考圖像，如習用的B圖像，是主觀地最不重要，因為缺乏它們並不影響任何其他圖像之解碼。主觀分級也可基於資料分區或片段組。主觀最重要的編碼片段及資料分區可傳送早於既定之解碼次序。然而，主觀最不重要的編碼片段及資料分區可傳送晚於既定之解碼次序。因此，相較於最不重要之片段及資料分區，最重要的編碼片段及資料分區的任何再傳送部分通常被接受早於所擬定的解碼或播放時間。

前解碼器緩衝作用

前解碼器緩衝作用(Pre－decoder buffering)係指編碼資料解碼之前的緩衝。起始緩衝作用係指串流通信期開始時之前解碼器緩衝作用。起始緩衝作用有兩個習用上之理由將解釋於後。

在習用之封包交換(packet－switch)多媒體系統中，例如，基於IP的視訊會議系統，不同型式之媒體通常攜帶於分開之封包。此外，封包典型地攜帶於竭力模式(best effort)之網路，其無法保証一的恆常之延遲，而是隨封包之不同而可能有不同之延遲。結果，具相同之顯示（播放）時間標記之封包可能不會於同時接收，且兩個封包之接收區間可能不同於其顯示之區間（以時間而言）。因此，為維持不同媒體型式之播放同步化，及維持正確播放速度，多媒體終端機通常緩衝接收之資料一短暫時間（例如，少於半秒）以平緩延遲之差異。在此，這類型之緩衝元件稱為延遲抖動(jitter)緩衝器。緩衝作用可發生於媒體資料解碼之前及/或之後。

延遲抖動緩衝作用也應用於串流系統。因為資料流是非交談式之應用，其所須之延遲抖動緩衝可能大於交談式應用。當串流播放器已設立與伺服器之連接，並要求下載多媒體流，伺服器開始傳送要求的資料流。播放器不立即播放此資料流，而是通常緩衝進來之資料一特定時間，通常數秒鐘。於此，這種緩衝稱為起始緩衝作用。起始緩衝作用以類似於交談式應用中之延遲抖動緩衝作用提供緩和傳送延遲變化之能力。此外，起始緩衝作用使得遺失的傳送協定資料單元(protocol data units (PDUs))之連接、傳送、及/或應用層再傳送成為可能。播放器可將緩衝之資料解碼並播放，而另一方面，即時接收再連接之PDUs，並於排程時刻將之解碼並播放。

串流用戶之起始緩衝器更提供交談式系統所沒有具備之優點：即其允許來自伺服器的媒體資料傳送速率改變。換言之，祇要接收器緩衝不會溢流或下溢(underflow)，媒體封包可暫時以較快或較慢於播放速率之速率被傳送。

首先，壓縮效率於某些媒體類型（例如視訊）之達成乃依資訊來源之內容而定。因此，若穩定的品質是期望的，則壓縮位元流之位元率改變。通常，穩定的視聽品質是主觀上更舒適於變化的品質。所以，起始緩衝作用相較於沒有起始緩衝作用之系統更能達到舒適的視聽品質，例如視訊會議系統。

再者，眾所周知，封包遺失於固定IP網路乃肇因於瞬增流量(bursts)。為避免瞬增流量錯誤及高峰之位元/封包率，良好設計之串流伺服器謹慎地排定封包傳送。封包可能無法以相同於接收端播放之速率傳送，但伺服器試圖達到介於傳送封包之穩定間隔。伺服器也可能依現行之網路狀況調整封包傳送率；例如，當網路擁擠時，減少封包傳送率，而當網路狀況允許時，增加封包傳送率。

_{假設參考解碼器(HRD)/視訊緩衝查驗器(VBV)}

許多視訊編碼標準包括一HRD/VBV規範作為標準中不可缺少之一部分。HRD/VBV規範是一假設之解碼器模型，其包括一輸入（前解碼器）緩衝器。解碼資料典型地以一恆常位元率流至輸入緩衝器中。編碼圖像於其解碼時間標記由輸入緩衝器中移除，該解碼時間標記可能相同於它們之輸出時間標記。輸入緩衝器之一定大小決定於所使用之基本資料及層級。HRD/VBV模型被用於從處理及記憶體要求之觀點，指定可交互作用點(interoperability points)。編碼器應保證的是，依據一定基本資料及層級之HRD/VBV參數值，一產生之位元流應符合HRD/VBV規範。能支持一定基本資料及層級之解碼器應能夠符合HRD/VBV模型之位元流解碼。HRD包括一用於儲存編碼資料流之編碼圖像緩衝器，以及一用於將解碼圖像重新排列於顯示次序之解碼圖像緩衝器。HRD移動資料於緩衝器之間，類似於解碼裝置之解碼器所為。然而，HRD不須將編碼圖像完全解碼，也不須將解碼圖像輸出，而是HRD祇檢驗圖像流之解碼能夠執行於編碼標準所設定之限制。當HRD操作時，其接受一編碼資料流並將其儲存於編碼圖像緩衝器。此外，HRD將編碼圖像由編碼圖像緩衝器中移除，並儲存至少一些相應之假設編碼圖像至編碼圖像緩衝器。HRD注視編碼資料流入編碼圖像緩衝器之輸入率，編碼圖像緩衝器之圖像移除率，及解碼圖像緩衝器之圖像輸出率。HRD檢驗編碼或解碼圖像緩衝器溢流，以及指示是否不可能使用現在之設定解碼。然後，HRD告知編碼器關於緩衝作用違反，其特徵在於編碼器可改變編碼參數，例如藉減少參考圖框之數目，以防止違反緩衝作用。替代或額外地，編碼器開始使用新的參數將圖像編碼，以及傳送編碼圖像至HRD，其再次執行圖像解碼及必要之檢驗。尚有另一替代方式，編碼器可丟棄最近之編碼框，及將較新的像框編碼，以使得沒有緩衝作用違反發生。

兩種編碼器符合性(conformance)已於JVT編碼標準中規範：輸出次序符合性（VCL符合性）及輸出時間符合性（VCL－NAL符合性）。這些符合性之類型已使用HRD規範說明。該輸出次序符合性指的是，解碼器正確地恢復圖像輸出次序之能力。HRD規範包括一"撞擊解碼器"(bumping decoder)模型，其輸出最早非壓縮圖像於輸出次序，當新的圖像儲存空間須要時。該輸出時間符合性指的是解碼器輸出圖像與HRD模型同步調之能力。圖像之輸出時間標記必須總是等於或小於當其必須由撞擊解碼器移除之時間。

插入方法

像框插入(interleaving)是一在視訊串流中常用之技術。在此像框插入技術中，一RTP封包包括視訊框，其在解碼或輸出次序中是非連續的。若一封包在視訊封包流中遺失，則包含鄰近視訊框之正確接收封包可用於隱藏遺失之視訊封包（利用某種內差法）。許多視訊編碼RTP有效負載及MIME類型規範包括訊號表示一封包之最多內插數量（就視訊框而言）之可能性。

在某些編碼/解碼方法之先前技術中，所須緩衝器之大小是以傳送單元之總數告知。

解碼器之前解碼緩衝器之大小上限可告知解碼器以位元組。若該基於位元組之方案被採用且重新排列方式未定義給解碼器，則緩衝模型必須明確被定義，因為編碼器與解碼器可能使用不同之緩衝方案。若緩衝器是以某一特定位元組大小定義，而解碼器係使用一種緩衝方案，其儲存傳送單元至緩衝器直至緩衝器額滿，且祇有在此之後，儲存最久之資料從緩衝器中移除並解碼。該類緩衝作用在解碼開始之前，可能持續較長於所須。

另一種告知前解碼緩衝器大小上限之可能方法是使用傳送單元，其中緩衝器之大小是被告知以被緩衝之傳送單元最大數量。然而，傳送單元大小之上限未界定，且傳送單元之大小可能改變。若大小上限被界定且若大小對某一資料單元來說太小，則該資料單元必須被分割成多於一個傳送單元以上，如此增加了編碼及傳送額外負擔，亦即，降低壓縮效率及/或增加系統複雜性。傳送單元之大小上限應足夠大，有關於此，緩衝器之總大小可能是非必要的大。

本發明中，緩衝器大小是如此定義：至少兩個傳送單元之整體大小被界定，且最大緩衝器之大小是基於該整體大小而決定。除了該整體大小外，網路傳送抖動(jitter)可能必須被列入考慮。

本發明之另一個特徵是，用於計算該整體大小之傳送單元數目是所須緩衝大小就傳送單元數目而言之分數。

根據本發明之又一特徵，用於計算該整體大小之傳送單元數目是所須緩衝大小就傳送單元數目而言之分數，其中該分數之形式是1/N，N是一整數。

根據本發明之又另一特徵，用於計算該整體大小之傳送單元數目是相同於所須緩衝大小就傳送單元數目而言。

在本發明實施例中，用於計算該整體大小之傳送單元數目是表示成傳送單元之緩衝次序。緩衝次序相關於在解碼器內被緩衝用於解碼之傳送單元，亦即，在前解碼器緩衝器內之緩衝次序。

本發明能夠定義解碼器之接收緩衝器之大小。

以下，一個獨立GOP包括，於解碼次序中，由一個IDR圖像（包括在內）至下一個IDR圖像（不包括在內）之間的圖像。

在本發明中，一表示所須最大緩衝數量之參數被提出。為該參數，數種單元被列入考慮：持續性，位元組，編碼圖像，像框，VCL NAL單元，所有NAL單元類型，以及RTP封包或有效負載。指定持續性之非次序數量造成傳送位元率與指定持續性之依存關係而得到所須緩衝作用之位元組數量。因為傳送位元率通常是未知，基於持續性之方法不採用。指定無次序之位元組數量將須要傳送器仔細檢驗傳送流，使得告知之限制不被超過。這種方法須要許多來自所有伺服器之處理能量。這種方法也須為伺服器指定一緩衝作用查驗器(verifier)。指定在編碼圖像或框內之無次序對於一單元是太粗略的，因為一解碼器之簡單片段插入方法，其不支持任意片段排序，將須要一次圖像解析度，以對恢復解碼次序達成緩衝作用之最小潛伏期。以RTP封包數指定無次序數不被視為妥當的，因為不同型態之聚集封包可能存在，依普遍網路之情況而定。因此，一RTP封包可能包括不同之資料量。不同SEI訊息可能依照普遍網路之情況來傳送。舉例來說，在相當惡劣之情況，傳送對以錯誤復原為目標之SEI訊息是有益處的，例如場景資料SEI訊息。因此，所有NAL單元類型之無次序數決定於普遍網路之情況，亦即，SEI及參數組NAL單元被無秩序傳送之數量。因此，"所有NAL單元類型"也不視為一好的單元。結果，以VCL NAL單元指定之無次序數量被視為最好之選擇。VCL NAL單元在JVT編碼標準中被定義成編碼片段，編碼資料分區，或序列結尾標記。

上述參數是：num－reorder－VCL－NAL－units。其指定最大數量之VCL NAL單元，其在NAL單元傳遞次序之封包流中，居先於任何VCL NAL單元，並且在RTP序列號碼次序中或在包括VCL NAL單元之聚集封包之組合次序中，跟隨於VCL NAL單元。

該參數可作為MIME類型宣告之一選擇性參數或作為選擇之SDP欄位被傳遞。該參數可表示解碼器能力或串流特性或兩者，其依據協定及通信期設定程序之階段。

依據num－reorder－VCL－NAL－units參數所建立之緩衝器之緩衝大小不能夠被正確地以位元組指定。為設計緩衝記憶體需求被正確獲知之接收器，解碼時間符合性之規範被提出。解碼時間符合性係使用一假設緩衝模型說明，其不須假定一恆定輸入位元率，而是要求串流伺服器應包括該模型，以保證被傳送之封包流符合該模型。該指定之假設緩衝模型緩和了可能之突發封包率及記錄從傳送次序至解碼次序之NAL單元，使得結果位元率能以一恆定位元率輸入假設解碼器。

以下揭示本發明藉使用基於編解碼器之系統，但明顯地，本發明也可施行於視訊訊號儲存系統。儲存之視訊訊號可為編碼前之未編碼訊號、編碼後之編碼訊號、或者是經編碼及解碼過程後之解碼訊號。例如，編碼器所產生之解碼次序位元流。檔案系統接收聲訊及/或視訊位元流，其被封裝，例如以解碼次序，並儲存於檔案中。此外，編碼器及檔案系統可產生元資料(metadata)，其告知圖像及NAL單元之主觀重要性及包括次序列之資訊。檔案可儲存於資料庫，從該處一串流伺服器可讀取NAL單元並封裝其於RTP封包。依據選擇性元資料及使用中之資料連接，串流伺服器可修改封包之傳送次序不同於解碼次序、決定傳送何種SEI訊息，等等。在接收端，RTP封包被接收與緩衝。通常，NAL單元首先重新排列成正確次序，然後傳送至解碼器。

此外，以下本發明之揭示係藉使用基於編解碼器之系統。但是，明顯地，本發明也可施行於其他系統，其中，編碼器輸出及傳送編碼資料以解碼次序至另一組件，例如串流伺服器，該另一組件將編碼資料由解碼次序重整至另一次序，並且傳送重新排序形式之編碼資料至解碼器。

根據本發明之方法之主要特徵在於緩衝器大小是如此定義：使得至少兩個傳送單元之整體大小被界定，且緩衝器大小上限是基於該整體大小而決定。根據本發明之系統之主要特徵在於該系統進一步包括一定義器(definer)，其用於定義緩衝器大小，使得至少兩個傳送單元之整體大小被界定，且緩衝器大小上限是基於該整體大小而決定。根據本發明之編碼器之主要特徵在於該編碼器進一步包括一定義器，其用於定義緩衝器大小，使得至少兩個傳送單元之整體大小被界定，且緩衝器大小上限是基於該整體大小而決定。根據本發明之解碼器之主要特徵在於該解碼器進一步包括一處理器(processor)，其用於依據所接收到之緩衝器大小指示參數，分配前解碼緩衝器之記憶體大小，以及用於定義緩衝器之大小，使得至少兩個傳送單元之整體大小被界定，且緩衝器大小上限是基於該整體大小而決定。根據本發明之傳送裝置之主要特徵在於該傳送裝置進一步包括一定義器，其用於定義緩衝器大小，使得至少兩個傳送單元之整體大小被界定，且緩衝器大小上限是基於該整體大小而決定。根據本發明之接收裝置之主要特徵在於該解碼器進一步包括一處理器，其用於依據所接收到之緩衝器大小指示參數，分配前解碼緩衝器之記憶體大小，以及用於定義緩衝器之大小，使得至少兩個傳送單元之整體大小被界定，且緩衝器大小上限是基於該整體大小而決定。根據本發明之編碼器之主要特徵在於定義緩衝器大小，使得至少兩個傳送單元之整體大小被界定，且緩衝器大小上限是基於該整體大小而決定。根據本發明之儲存媒體之主要特徵在於定義緩衝器大小，使得至少兩個傳送單元之整體大小被界定，且緩衝器大小上限是基於該整體大小而決定。根據本發明之電子裝置之主要特徵在於該電子裝置進一步包括一定義器，其用於定義緩衝器大小，使得至少兩個傳送單元之整體大小被界定，且緩衝器大小上限是基於該整體大小而決定。

依據本發明有效實施例，對於在視訊位元流之任何解碼資訊之替代訊號揭示於下。解碼次序號碼(Decoding Order Number(DON))表示NAL單元之解碼次序，即NAL單元至解碼器之傳送次序。以下，DON假定為16位元正整數(unsigned integer)而不失一般性。假設一個NAL單元之DON為D1，另一個NAL單元之DON為D2。若D1<D2及D2－D1<32768，或若D1>D2及D1－D2>＝32768，則在NAL單元傳送次序中，具DON等於D1之NAL單元領先DON等於D2之NAL單元。若D1<D2及D2－D1>＝32768，或若D1>D2及D1－D2<32768，則在NAL單元傳送次序中，具DON等於D2之NAL單元領先DON等於D1之NAL單元。與不同主要編碼圖像有關聯之NAL單元不具相同的DON值。與相同主要編碼圖像有關聯之NAL單元可能具相同的DON值。若所有主要編碼圖像具相同的DON值，則與主要編碼圖像有關聯之額外編碼圖像之NAL單元應與主要編碼圖像NAL單元具相同之DON值。具相同DON值之NAL單元之較可取NAL單元傳送次序如下：1.圖像界定符(delimiter)NAL單元，若存在2.序列參數組NAL單元，若存在3.圖像參數組NAL單元，若存在4.SEINAL單元，若存在5.主要編碼圖像之編碼片段及片段資料分區NAL單元，若存在6.額外編碼圖像之編碼片段及片段資料分區NAL單元，若存在7.填資料NAL單元，若存在8.序列NAL單元之終端，若存在9.資料流NAL單元之終端，若存在本發明改良編碼系統之緩衝作用效率。藉使用本發明，可以告知解碼裝置所需要之前解碼緩衝作用。因此，不須要分配多於所需之前解碼緩衝器於解碼裝置。同時，可避免前解碼器溢流。

解封包規則背後之一般概念是將傳送單元重新排序，使得NAL單元由傳送次序至NAL單元解碼次序。

接收器包括一個接收器緩衝器（或前解碼器緩衝器），其用於將封包由傳送次序重整為NAL單元解碼次序。在本發明之一實際例中，接收器緩衝器之大小，就位元組數目而言，被設定等於或大於deint－buf－size參數值，例如deint－buf－size MIME參數值之1.2倍。接收器也可能將傳送延遲震動(jitter)之緩衝作用列入考慮，並且為傳送延遲震動之緩衝作用保留一分開之緩衝器或將傳送延遲震動之緩衝器與接收器緩衝器結合（因此，在接收器緩衝器中，保留一些額外空間給傳送延遲震動）。

接收器以如下方式，將進入之NAL單元以接收次序儲存至接收器緩衝器中。聚集封包之NAL單元是分開儲存於接收器緩衝器中。為所有NAL單元計算DON值並儲存。

以下，假設N等於選擇性參數num－reorder－VCL－NAL－units（交錯深度參數）值，該值指定VLC NAL單元之最大數量，該等單元領先封包流之任何VLC NAL單元於NAL單元遞送次序中，且跟隨在該VLC NAL單元之後於解碼次序中。若參數不存在，則假設為0。

當視訊流傳送通信期初始化後，接收器8分配記憶體給接收緩衝器9.1以儲存至少N個VCL NAL單元片段。接收器然後開始接收視訊流及儲存接收到的VCL NAL單元至接收緩衝器。初始緩衝作用持續－直至至少N個VCL NAL單元片段儲存於接收緩衝器9.1，或－若max－don－diff MIME參數存在，則直至函數值don_diff(m,n)大於max－don－diff，其中，n相當於接收的NAL單元中，具最大AbsDON值之NAL單元，m則是相當於接收的NAL單元之間具最小AbsDON值之NAL單元，或－直至初始緩衝作用之已持續期間等於或大於選擇的init－buf－time MIME參數。

函數don_diff(m,n)之指定如下：若DON(m)＝＝DON(n), don_diff(m,n)＝0若(DON(m)<DON(n)且DON(n)－DON(m)<32768), don_diff(m,n)＝DON(n)－DON(m)若(DON(m)>DON(n)且DON(m)－DON(n)>＝32768), don－diff(m,n)＝65536－DON(m)＋DON(n)若(DON(m)<DON(n)且DON(n)－DON(m)>＝32768), don_diff(m,n)＝－(DON(m)＋65536－DON(n))若(DON(m)>DON(n)且DON(m)－DON(n)<32768), don－diff(m,n)＝－(DON(m)－DON(n))其中，DON(i)是傳送次序中，具指標i之NAL單元之解碼次序號碼。

don_diff(m,n)之正值表示具傳送次序指標n之NAL單元，以解碼次序，跟隨在具傳送次序指標m之NAL單元之後。

AbsDON表示NAL單元之解碼次序號碼於65535後不回歸至0。換言之，AbsDON之計算如下：假設m與n是傳送次序中之連續NAL單元。對於傳送次序中最先之NAL單元（指標為0），AbsDON(0)＝DON(0)。對於其他之NAL單元，AbsDON之計算如下：若DON(m)＝＝DON(n), AbsDON(n)＝AbsDON(m)若(DON(m)<DON(n)且DON(n)－DON(m)<32768), AbsDON(n)＝AbsDON(m)＋DON(n)－DON(m)若(DON(m)>DON(n)且DON(m)－DON(n)>＝32768), AbsDON(n)＝AbsDON(m)＋65536－DON(m)＋DON(n)若(DON(m)<DON(n)且DON(n)－DON(m)>＝32768), AbsDON(n)＝AbsDON(m)－(DON(m)＋65536－DON(n))若(DON(m)>DON(n)且DON(m)－DON(n)<32768), AbsDON(n)＝AbsDON(m)－(DON(m)－DON(n))其中，DON(i)是傳送次序中，具指標i之NAL單元之解碼次序號碼。

通常在接收器中，有兩個緩衝作用狀態：初始緩衝作用及播放期之緩衝作用。初始緩衝作用發生於當RTP通信期初始化時。在初始緩衝作用後，解碼及播放開始，且播放期緩衝作用(buffering－while－playing)模式被使用。

當接收緩衝器9.1包含至少N個VCL NAL單元時，NAL單元由接收緩衝器9.1中移除且傳送至解碼器2。NAL單元不須依它們被儲存之相同次序由接收緩衝器9.1中移除，而是依照如下所述之NAL單元之DON。封包至解碼器2之傳遞持續直至緩衝器內包含少於N個VCL NAL單元，亦即，N－1個VCL NAL單元。

NAL單元由接收緩衝器9.1中移除是依下述決定：－當接收緩衝器9.1包含至少N個VCL NAL單元時，NAL單元由接收器緩衝中移除且依下述次序傳送至解碼器直至緩衝器內包含N－1個VCL NAL單元。

－若max－don－diff存在，對於所有NAL單元m，其中don_diff(m,n)大於max－don－diff，將由接收緩衝器中移除且依下述次序傳送至解碼器。在此，n相當於接收之NAL單元中具最大AbsDON值之NAL單元。

－變數ts被設定等於系統計時器之值，其初始設定為0於NAL單元流之第一個封包被接收時。若接收緩衝器包括一NAL單元，其接收時間tr滿足ts－tr>init－buf－time之條件，則NAL單元將依下述指定之次序傳送至解碼器（且由接收緩衝器中移除），直至接收緩衝器不包含接收時間tr滿足指定條件之NAL單元。

NAL單元傳送至解碼器之次序詳述如下。

令PDON為一變數，其初設為0於RTP通信期開始時。對每一個與DON值有關聯之NAL單元，DON距離之計算如下。若NAL單元之DON值大於PDON值，則DON距離等於DON－PDON。否則，DON距離等於65535－PDON＋DON＋1。

NAL單元以DON距離之遞增排序傳送至解碼器。若數個NAL單元共用相同之DON距離，它們可以任何次序傳送至解碼器。當一要求之NAL單元數量已傳送至解碼器，對於最後一個傳送至解碼器之NAL單元，PDON值設定為DON值。

額外之解封包準則

以下之額外解封包準則可用於施行一操作的H.264解封包器：智慧型RTP接收器（例如在閘道器中的）可確認遺失之編碼片段資料分區A(DPAs)。若一遺失之DPA被尋獲，則閘道器可決定不傳送相應之編碼片段資料分區B及C，因為他們之資訊對H.264解碼器來說是無用的。在此方法中，網路元件可藉丟棄無用封包以減低網路負載，而不須剖析(parsing)一複雜之位元流。

智慧型RTP接收器（例如在閘道器中的）可確認遺失之分段單元(FU)。若一遺失之FU被尋獲，則閘道器可決定不傳送相同NAL單元之FUs，因為他們之資訊對H.264解碼器來說是無用的。在此方法中，網路元件可藉丟棄無用封包以減低網路負載，而不須剖析(parsing)一複雜之位元流。

必須丟棄封包或NALUs之智慧型RTP接收器可能最先丟棄所有NAL單元類型8位元組之NRI欄位之值等於0之封包/NALUs。如此可將使用者體驗衝擊降至最低。

以下將敘述用於指定解碼器內之緩衝大小上限之參數。該參數deint－buf－size通常不呈現，當封包模式之封包化模式參數指示未呈現或封包化模式參數等於0或1。該參數應呈現，當封包化模式參數等於2。

deint－buf－size參數值被指定與下列之假設性解交錯(de－interleaving)緩衝模型結合。起初，假設性解交錯緩衝器是空的，且最大緩衝容量m設為0。以下處理步驟用於該模型：i)在傳送次序中之下一個VCL NAL單元被插入假設解交錯緩衝器。

ii)假設s是緩衝器內之VCL NAL單元總數，其以位元組計。

iii)若s大於m，則m設定等於s。

iv)若在假設解交錯緩衝器內之VCL NAL單元數小於或等於交錯深度值，則處理過程由步驟vii繼續。

v)在假設解交錯緩衝器之VCL NAL單元之間，以解碼排序之最早VCL NAL單元是決定於VCL NAL單元之DON值，其係依據RFC XXXX之5.5。

vi)該最早之VCL NAL單元由假設解交錯緩衝器中移除。

vii)若在傳送次序中，不再有VCL NAL單元，處理步驟結束。

viii)處理步驟由步驟i繼續開始。

該參數表示一NAL單元流之特徵或接收器施行之能力。當該參數用於表示一NAL單元流之特徵時，該參數值（稱作v）致使：a)產生m值小於或等於v，當NAL單元流完全由假設性解交錯緩衝器模型處理，或b)祇要有緩衝溢流時，決定由解交錯緩衝器中移除最早VCL NAL單元之VCL NAL單元排序是相同於由假設性解交錯緩衝器之VCL NAL單元移除次序。

因此，接收器能重建VCL NAL單元解碼次序是可保證的，當用於VCL NAL單元解碼次序復原之緩衝器大小至少是deint－buf－size，以位元組計之值。

當該參數用於表示接收器施行之能力時，接收器能夠正確地重建任何具相同deint－buf－size值之VCL NAL單元流之VCL NAL單元解碼次序。當該接收器緩衝之位元組數等於或大於deint－buf－size值，則其能夠由傳送次序重建VCL NAL單元解碼次序。

當決定解交錯緩衝器之大小時，非VCL NAL單元也應列入考慮，當此參數呈現時，用於所有NAL單元之解交錯緩衝器之足夠大小是小於或等於大於該參數值20%。

若參數未呈現，則deint－buf－size為0值。deint－buf－size是整數值，其範圍，舉例來說，含括0至4294967295。

以下將參考圖8之編碼器1，圖9之選擇性假設參考解碼器(HDR)5，及圖10之解碼器2，為本發明做更詳細之說明。被編碼之圖像，例如視訊流圖像，是來自於視訊源3，例如攝像機，視訊錄影機，等等。視訊流圖像（像框）可被分割成更小之部分，例如片段。片段可在再分割成區塊。在編碼器1中，視訊流藉編碼以減少傳送至頻道4或至儲存媒體（未圖示於此）之資訊。視訊流圖像傳送至編碼器1。編碼器有一編碼緩衝器1.1（圖9）作為部分將要編碼圖像之暫時儲存。編碼器1還包括一個記憶體1.3及處理器1.2可應用於編碼作業。記憶體1.3及處理器1.2可與傳送裝置6共同在一起，或傳送裝置6可有另外具傳送裝置6之其他功能之處理器及/或記憶體（未圖示於此）。編碼器1執行動態估計及/或一些其他作業以壓縮視訊流。在動態估計中，圖像之間相似處被編碼（目前圖像）且搜尋之前及/或之後之圖像。若有相似處，被比較之圖像或其一部分可作為被編碼圖像之參考圖像。在JVT中，圖像之顯示次序與編碼次序無須相同，其中參考圖像必須儲存於緩衝器（例如於編碼緩衝器1.1），祇要其用作為參考圖像。編碼器1也將圖像之顯示次序插入傳送流中。

若有必要時，編碼圖像於編碼過程中被移至編碼圖像緩衝器5.2。編碼圖像由編碼器1經傳送頻道4傳至解碼器2。在解碼器2中，編碼圖像被解碼以形成非壓縮圖像，並盡可能對應至編碼圖像。每一個解碼圖像被緩衝於解碼器2之解碼圖像緩衝器(DPB)2.1中，除非其於解碼後，立即顯示或不須作為參考圖像。依據本發明之系統，參考圖像之緩衝作用與顯示圖像之緩衝作用是合併的，並且使用同一個解碼圖像緩衝器2.1。如此消除了儲存相同圖像於兩個不同地方之需要，因此減少解碼器2之記憶體之需求量。

解碼器2也包括一記憶體2.3及處理器2.2，其可應用於依據本發明之解碼作業。記憶體2.3及處理器2.2可與傳送裝置8共同一起，或傳送裝置8可有另外具傳送裝置8之其他功能之處理器及/或記憶體（未圖示於此）。

編碼

以下將詳述編解碼過程。視訊源3之圖像進入編碼器1，且儲存於編碼緩衝器1.1。當第一個圖像進入編碼器後，編碼過程不須立即開始，而是等待一定數量之圖像於編碼緩衝器1.1，然後編碼器1試圖尋找適宜圖像作為參考像框。編碼器1然後執行編碼以形成編碼圖像。編碼圖像可為預測圖像(P)，雙預測圖像(B)，及/或內部編碼圖像(I)。內部編碼圖像可被解碼，而不須使用任何其他圖像，但其他圖像型式至少於解碼前須要一個參考圖像。上述任何圖像型式皆可作為參考圖像使用。

編碼器賦予圖像兩個時間標記：解碼時間標記(DST)，及輸出時間標記(OTS)。解碼器可利用時間標記決定正確解碼時間，及圖像之輸出（顯示）時間。然而，這些時間標記沒有須要傳送至解碼器，或解碼器不須使用它們。

編碼器還形成次序列於最低階層0之上的一或更多階層(layers)。階層0之次序列是可獨立解碼的，但是其他較高階層之圖像必須依賴某些較低階層。圖6a有兩個階層：階層0與階層1。圖像I0，P6及P12屬於階層0，其他圖像P1－P5，P7－P11屬於階層1。編碼器形成圖像組(GOP)，使得GOP內之每一個圖像可僅利用同一個GOP內之圖像來重建。換言之，一個GOP包括至少一個獨立可解的圖像，而該圖像是所有其他圖像之參考圖像，或參考圖像鏈之第一個參考圖像。於圖7之例子中，有兩個圖像組。第1個圖像組包括圖像I0(0)，P1(0)，P3(0)on於階層0，及圖像B2(0)，2xB3(0)，B4(0)，2xB5(0)，B6(0)，P5(0)，P6(0)於階層1。第2個圖像組包括圖像I0(1)，及P1(1)於階層0，及圖像2xB3(1)及B2(1)於階層1。每個圖像組之階層1的圖像又進入組成次序列。第1圖像組之第1次序列包括圖像B3(0)，B2(0)，B3(0)，第2次序列包括圖像B5(0)，B4(0)，B5(0)，及第3次序列包括圖像B6(0)，P5(0)，P6(0)。第2圖像組之第1次序列包括圖像B3(1)，B2(1)，B3(1)。括弧內之數字表示圖像組之視訊序列辨識碼。

視訊序列辨識碼傳給每一個圖像。其可傳送於視訊位元流中，例如於補助加強資訊(Supplemental Enhancement Information)資料內。視訊序列辨識碼也可傳送於傳送協定的標頭欄內，例如於JVT編碼標準之RTP有效負載標頭內。獨立GOP區隔之視訊序列辨識碼可被儲存於視訊檔案形式之資料庫，例如MPEG－4AVC檔案格式。圖11a與11b揭示NAL封包型式使用於本發明之實例。封包包括一個標頭11及一個有效負載12。標頭11包括一個錯誤標示欄11.1（F，不准許的），一優先順序欄11.2，及型式欄11.3。錯誤標示欄11.1表示一無位元錯誤之NAL單元。當錯誤表示欄被設定時，解碼器被告知位元錯誤可能發生於有效負載或NALU型式8位元組(octet)。解碼器將無法處理之位元錯誤封包丟棄。優先順序欄11.2表示在封包之有效負載12之圖像之重要性。在一實施例中，優先順序欄可有不同之值如下。00值表示NALU內容無用於重建參考圖像（其可用於未來參考），則如此之NALUs可被丟棄而不危及參考圖像之完整性。值高於00表示NALU之解碼須要維持參考圖像之完整性。此外，值高於00表示相對傳送優先順序，如同編碼器所決定的。智慧型網路元件可利用該資訊以保護較重要之NALUs多於較不重要之NALUs。11表示最高優先順序，之後是10，然後是01，最後則是00。

NAUL之有效負載12包括至少一個視訊序列辨識碼欄12.1，場(field)指標12.2，資料數量欄12.3，計時資訊欄12.4，及編碼圖像資訊12.5。視訊次序辨識碼欄12.1用於儲存圖像之視訊次序辨識碼。場指標12.2用於表示圖像是屬於第1或第2像框，當雙像框圖像格式被使用時。兩個像框可視為分開之圖像予以編碼。第1個場指標等於1表示NALU屬於一個編碼像框，或一編碼場，其優先於同一像框之第2編碼場於解碼次序中。第1個場指標等於0表示NALU屬於一編碼場，其延續同一像框之第1編碼場於解碼次序中。計時資訊欄12.4用於轉換時間相關之資訊，若有必要時。

NAL單元可用不同種類封包遞送。在本實施例中，不同種類封包包括簡單封包與聚集封包。聚集封包可再分成單時聚集封包與多時聚集封包。

依據本發明，簡單封包含一個NALU。於RTP中，由解封裝簡單封包構成之NAL單元流之序列號碼次序應符合NAL單元傳遞次序。

聚集封包是本有效負載規範之封包聚集方案。該方案是反應極大不同的MTU大小於兩種不同型式之網路－有線IP網路（MTU大小通常受限於Ethernet MTU大小－約1500位元組(bytes)），及基於適用傳送單元大小254位元組或更少之無線網路的IP或非IP（例如H.324/M）。為避免兩個不同型式彼此間之轉碼(transcoding)，及避免不須要之封包化附加負載(overhead)，因此引用封包聚集方案。

單時聚集封包(STAP)聚集具相同NALU時間(NALU－time)之NALUs。相對地，多時聚集封包(MTAP)聚集具可能不同NAUL時間之NALUs。兩種不同MTAPs被定義於差異在NALUs時間標記移位之長度。NALU時間被定義為是RTP時間標記得到之值，若NALU傳送於自身之RTP封包。

依據本發明有效實施例，MTAPs及STAP使用以下之無設限封包化規則。RTP時間標記必須設定為所有被聚集NALUs之NALU時間中之最小值。NALU型式之型式欄8位元組必須設定一個如表1所示之適當值。錯誤標示欄11.1必須被清除，當聚集NALUs之所有錯誤標示欄皆為0時，否則必須被設定。

聚集封包之NALU有效負載包括1或多個聚集單元。一聚集封包能夠儘可能攜帶所須之聚集單元，但是，在聚集封包內之資料總數必須能放入IP封包內，且規格大小之選擇應使IP封包小於MTU大小。

單時聚集封包(STAP)應被使用於當聚集具相同的NALU時間之NALUs。STAP之NALU有效負載包括一個視訊序列辨識碼欄12.1（例如7位元），及場(field)指標12.2，其被跟隨著單圖像聚集單元(Single－Picture Aggregation Units(SPAU))。

在另一可替代之單時聚集封包(STAP)之NALU有效負載實施例中，包括一16位元不帶正負號之解碼次序號碼(DON)，其被跟隨著單圖像聚集單元(SPAU)。

依據規範，視訊序列可以是NALU流之任一部分，其可被獨立解碼於其他部分之NALU流。

一個像框包括兩個可被視為分開圖像予以編碼之兩個場(fields)。第1個場指標等於1，表示NALU是屬於一個編碼像框，或一編碼場優先於同一像框之第2編碼場於解碼次序中。第1個場指標等於0，表示NALU屬於一編碼場，其延續同一像框之第1編碼場於解碼次序中。

單圖像聚集單元包括，例如16位元，無符號大小資訊，其表示隨後以位元組計之NALU大小（排除此兩個8位元組，但包括NALU之NALU型式8位元組），及隨後之NALU自身並包含NALU型式位元組。

多時聚集封包(MTAP)與STAP之結構類似。其包括NALU標頭位元組，及一或多數個多圖像聚集單元。不同MTAP之間的選擇是由應用而定－時間標記移位越大，MTAP之彈性越大，但附加負載也越大。

兩種不同多時聚集單元定義於規範中。兩者皆包括，例如無符號16位元，NALU之資料數量資訊（與STAP之資料數量資訊相同）。除上述16位元外，尚有視訊序列辨識碼欄12.1（例如7位元），場(field)指標12.2，及NALU計時資訊n位元，其中n可例如為16或24。計時資訊欄必須設定，使得在MTAP中，每個NALU之RTP封包的RTP計時標記（NALU計時）可藉由MTAP的RTP計時標記之增加額外計時資訊而產生。

另一個選擇性實施例中，多時聚集封包(MTAP)包括NALU標頭位元組，解碼次序基數(decoding order number base(DONB))欄位12.1（例如16位元），及一或多數個多圖像聚集單元。兩種不同之多圖像聚集單元定義如下。兩者皆包括，例如無符號16位元，NALU之資料數量資訊（與STAP之資料數量資訊相同）。除上述16位元外，尚有解碼次序號碼增值(decoding order number delta(DOND))欄位12.5（例如7位元），及NALU計時資訊n位元，其中n可例如為16或24。隨後之NALU的DON等於DONB＋DOND。計時資訊欄必須設定，使得在MTAP中，每個NALU之RTP封包的RTP計時標記（NALU計時）可藉由MTAP的RTP計時標記之增加額外計時資訊而產生。DONB可包括MTAP之NAL單元中最小之DON值。

根據本發明之緩衝模型之性能是由以下參數控制：初始輸入期間（例如，90－kHz時脈之時脈週期），及假設封包輸入緩衝器之大小（例如以位元組計）。較可取的是，預設初始輸入期間及預設假設封包輸入緩衝器之大小為0。PSS用戶可以訊號表示其在能力資訊互換(exchange capability)過程中，提供一較大緩衝器之能力。

最高視訊位元率可被示訊，例如於SDP媒體層頻寬屬性(attribute)，或一專屬SDP參數。若視訊層頻寬屬性未出現在顯示陳述，則最高視訊位元率是依據所使用之視訊編碼形式(coding profile)及階層。

每個位元流之初始參數值可於位元流之SDP陳述中表示，例如使用MIME型式參數或類似之非標準SDP參數。所表示之參數值置換(override)相應之預設參數值。在SDP陳述中表示之參數值保證從位元流開始至結束無暫停之播放（假設一恆定延遲可靠傳送頻道）。

PSS伺服器可更新參數值，以回應RTSP播放(PLAY)之要求。若一更新之參數值呈現，其應取代在SDP陳述中表示之參數值或在PSS緩衝模型操作中之預設參數值。一更新參數值祇有在所指示之播放範圍才有效，在其之後則失去效用。假設一恆定延遲可靠傳送頻道，更新之參數值保證在回應播放要求之實際範圍之無暫停播放。所表示之假設輸入封包緩衝器大小及初始輸入期間之大小應小於或等於在SDP陳述中之相應值，或相應之預設值，無論何者為有效。

伺服器緩衝查驗器是依指定之緩衝模型而定。該模型是基於一假設之封包輸入緩衝器。

以下是有關緩衝作用模型。緩衝器在初始是空的。一PSS伺服器即刻附加每一個具視訊有效負載之傳送RTP封包至假設封包輸入緩衝器1.1，當其被傳送時。所有在RTP之協定標頭或任何較低階層皆被移除。當處於一初始輸入時期，資料不從假設封包輸入緩衝器中移除。當初始輸入時期結束，由假設封包輸入緩衝器中移除資料即便開始。資料移除有效地以最高視訊位元率進行，除非假設封包輸入緩衝器是空的。由假設封包輸入緩衝器中移除之資料被輸入假設參考解碼器5。該假設參考解碼器5執行假設解碼過程，以確保編碼視訊流可依據設定参數破解碼，或者是假如假設參考解碼器5注意到例如假設參考解碼器5之圖像緩衝器5.2溢流，則緩衝器參數可被修改。如此，新參數也可被傳送至接收裝置8，其緩衝器是依情況重新初始設定。

編碼及傳送裝置1，例如PSS伺服器，應查驗傳送RTP封包流遵照下列要求：－緩衝模型應與預設或指示之緩衝作用參數值一起使用。指示之緩衝作用參數置換相應之預設參數值。

－假設封包輸入緩衝器之佔用應該不超過預設或訊號指示之緩衝器大小。

－假設封包輸入緩衝器之輸出位元流應遵照假設參考解碼器之定義。

當緩衝作用模型使用時，PSS用戶應能接收符合PSS伺服器緩衝查驗之RTP封包流，當RTP封包流被傳送於一恆定延遲可靠傳送頻道。此外，PSS用戶之解碼器應藉接收封包流之RTP時間標記所定義之正確速率輸出像框。

傳送

編碼圖像（及選擇的虛擬解碼）之傳送及/或儲存可立即開始於第1個編碼圖像備妥時。此圖像不須是於解碼器輸出次序中之第1個，因為解碼次序與輸出次序可不相同的。

當視訊流之第1個圖像編碼後，傳送可開始。編碼圖像可選擇性地儲存於編碼圖像緩衝器1.2。傳送也可開始於稍後階段，例如，於一特定視訊流部分被編碼後。

解碼器2也應該以正確次序輸出解碼圖像，例如使用圖像次序計數之排序；因此，重新排序過程須定義清楚及合乎標準。

解封包

解封包過程依實施方式而定。因此，以下是一非限制性的有效實施例。其他方案也一樣可採用。依所述之相關方法達到最大效益是極可能的。

解封包規則之基本概念是將NAL單元由傳送次序重新排序至NAL單元遞送次序。

解碼

以下，將揭示接收器8之運作方式。接收器8收集所有屬於一個圖像之封包，將其歸入一個合理之次序。次序之嚴格性決定於使用之型式(profile)。接收封包可儲存於接收緩衝器9.1（解碼前緩衝器）。接收器8棄擲任何無關者，而將其餘傳遞至解碼器2。聚集封包之處理方式是卸下有效負載至攜帶NALUs之各個RTP封包。該等NALUs仿若被接收於分開之RTP封包，依其在聚集封包所安排之次序處理。

以下，假設N等於選擇的num－reorder－VCL－NAL－units MIME類型參數，其值指定VLC NAL單元之最大數量，該等單元於NAL單元遞送次序中，領先於封包流之任何VLC NAL單元，並且，其依循VLC NAL單元在RTP序列號碼次序，或在包括VLC NAL單元之聚集封包之組合次序。若參數沒呈現，即假設為0。

當視訊流傳送通信期開始時，接收器8配置記憶體給接收緩衝器9.1，以儲存至少N個VCL NAL單元。然後，接收器開始接收視訊流，並儲存接收之VCL NAL單元至接收緩衝器，直至至少N個VCL NAL單元被儲存於接收緩衝器9.1。

當接收器緩衝9.1包括至少N個VLC NAL單元時，NAL單元將由接收緩衝器9.1中逐個移除，並且傳遞至解碼器2。該等NAL單元被移除之次序不須與其儲存之次序相同，而是依據以下所陳述之NAL單元之視訊序列辨識碼。至解碼器2之封包遞送是持續，直到緩衝器包括至少N個VCL NAL單元，亦即，N－1個VCL NAL單元。

圖12是緩衝傳送單元在解碼器之前解碼器緩衝器內之實例。其中之號碼代表解碼次序，而傳送單元之排列指的是傳送次序（以及也是接收次序）。

以下，設PVSID是最近一個傳遞至解碼器之NAL單元之視訊序列編號(video sequence ID(VSID))。所有在STAP之NAL單元具相同之VSID。NAL單元傳遞至解碼器之次序如下：若待在緩衝器內最久之RTP號碼相應於一個簡單封包，此簡單封包內之NALU是在NAL單元遞送次序之下一個NALU。若待在緩衝器內最久之RTP序列號碼相應於一個聚集封包，則NAL單元遞送次序依RTP序列號碼次序，被回復於聚集封包內運送之NALUs之間，直至下一個簡單封包（除外的）。該組NALUs於以下稱之為待選(candidate)NALUs。若沒有傳送於簡單封包之NALUs存在於緩衝器，則所有之NALUs皆屬於待選NALUs。

對於待選NALUs之每個NAL單元，VSID距離之計算方法如下。若NAL單元之VSID大於PVSID，VSID距離等於VSID－PVSID，否則，VSID距離等於2^（用於表示VSID之位元數）－PVSID＋VSID。NAL單元以VSID距離之上升次序遞送至解碼器。若數個NAL單元共用相同之VSID距離，則傳遞其至解碼器之次序應遵循本規範之遞送次序。NAL單元之遞送次序可依照以下所述恢復。

第一，片段及資料分區與圖像之結合係依據像框號碼、RTP時間標記、及第一場旗標(flag)：所有NALUs共用相同之像框號碼，RTP時間標記及屬於同一個圖像之第一場旗標。SEINALUs、序列參數組NALUs、圖像參數組NALUs、圖像界定符NALUs、序列NALUs端部、資料流NALUs之終端、及填充符(filler)資料NALUs屬於下一個於傳送次序中之VCL NAL單元之圖像。

第二，圖像之遞送次序終止是基於nal_ref_idc、像框號碼、第一場旗標、及每個圖像之RTP時間標記。圖像之遞送次序是依像框號碼（模數算法，modulo arithmetic)之上升次序。若數個圖像共用一個像框號碼，則具nal_ref_idc等於0之圖像被首先遞送。若數個圖像共用一個像框號碼且都具nal_ref_idc等於0，則圖像被遞送以上升之RTP時間標記次序。若兩個圖像共用同一RTP時間標，則具第一場旗標等於1之圖像優先被遞送。應注意的是，一個主要編碼圖像及相應之額外編碼圖像在此視為一個編碼圖像。

第三，若使用之視訊解碼器不支持任意片段排序，片段之遞送次序及A資料分區在片段標頭是以first_mb_in_slice句法元素之上升次序排序。此外，B及C資料分區緊隨相應之A資料分區於遞送次序中。

上述係使用用語PVSID及VSID。用語PDON（在NAL單元遞送次序中，聚集封包之先前NAL單元的解碼次序號碼）及DON（解碼次序號碼）可替代之使用如下：設第一個傳送至解碼器之NAL單元之PDON為0。傳送至解碼器之NAL單元之次序具體說明如下：若在緩衝器之最久之RTP序列號碼對應至一簡單封包，則於該簡單封包之NALU是下一個在NAL單元遞送次序之NALU。若在緩衝器之最久之RTP序列號碼對應至一聚集封包，則NAL單元遞送次序依RTP序列號碼次序，被回復於聚集封包內運送之NALUs之間，直至下一個簡單封包（除外的）。這一組NALUs在此後，是稱作待選NALUs。若沒有被運送於簡單封包內之NALUs留在緩衝器內，則所有NALUs皆屬於待選NALUs。

對於待選NALUs中之每個NAL單元，DON距離計算法如下。若NAL單元之DON大於PDON，則DON距離等於DON－PDON。否則，DON距離等於2^（位元數代表一DON，及PDON是一正整數值）－PDON＋DON。NAL單元以DON距離之上升次序遞送至解碼器。

若數個NAL單元共用相同之DON距離，則傳送他們至解碼器之次序如下：1.圖像界定符(delimiter)NAL單元，若存在2.序列參數組NAL單元，若存在3.圖像參數組NAL單元，若存在4.SEINAL單元，若存在5.主要編碼圖像之編碼片段及片段資料分區NAL單元，若存在6.額外編碼圖像之編碼片段及片段資料分區NAL單元，若存在7.填充資料NAL單元，若存在8.序列NAL單元之終端，若存在9.資料流NAL單元之終端，若存在若使用之視訊解碼器不支持任意片段排序，則片段之遞送次序及A資料分區在片段標頭是以first_mb_in_slice句法元素之上升次序排序。此外，B及C資料分區緊隨相應之A資料分區於遞送次序中。

以下額外之解封包規則可實施於操作的JVT解封包器：NALUs以RTP序列號碼次序呈現給JVT解碼器。攜帶於匯集封包之NALUs呈現其在匯集封包內之次序。匯集封包之所有NALUs皆被處理於下一個RTP封包處理之前。

智慧型的RTP接收器（例如，於閘道器中）可辨識遺失之DPAs。若遺失之DPA被找到，閘道器可能決定不傳送DPB及DPC，因為該資訊對JVT解碼器是無用的。如此，網路元件藉棄擲無用之封包以減少網路負載，且不須解析(parse)複雜之位元流。

智慧型接收器可能丟棄所有具NAL參考1dc等於0之封包。然而，它們應盡可能處理這些封包，因為若這些封包被丟棄，使用者之體驗可能受影響。

DBP2.1包括用於儲存若干圖像之記憶體空間。這些空間也稱作像框儲存空間。解碼器2將接收到之圖像以正確次序解碼。為達此目的，解碼器檢查接收到之圖像的視訊序列辨識碼。若編碼器已自由地為每個圖像組選擇視訊序列辨識碼，則解碼器將以它們被接收到的次序為圖像組之圖像解碼。若編碼器已藉使用遞增（或遞減）方式，為每個圖像組定義視訊序列辨識碼，則解碼器依視訊序列辨識碼之次序為圖像組解碼。換言之，具最小（或最大）視訊序列辨識碼之圖像組最先被解碼。

本發明可應用於許多系統及裝置。傳送裝置6包括編碼器1，及選擇性之HDR 5，以及傳送器7，其用以傳送編碼圖像至傳送頻道4。接收裝置8包括一個用以接收編碼圖像之接收器9，解碼器2，及一用以顯示解碼圖像之顯示器10。傳送頻道可為，例如，地面線路(landlane)通訊頻道及/或無線通訊頻道。傳送裝置及接收裝置包括1或多個處理器1.2、2.2，其可依據本發明執行控制視訊流之編/解碼處理之必須步驟。因此，依據本發明之方法可主要被施行為處理器之機械執行步驟。圖像之緩衝作用可被施行於裝置中之記憶體1.3、2.3。編碼器之程式碼1.4可儲存於記憶體1.3。解碼器之程式碼2.4可儲存於記憶體2.3。

明顯地，假設參考解碼器5可被置於解碼器1之後，使得假設參考解碼器5重整編碼圖像，若有須要時，並且可保證接收器8之前解碼緩衝器不會溢流。

本發明可被施行於緩衝查驗器，其可為假設參考解碼器5之一部份或與之分離。

1．．．編碼器

2．．．解碼器

3．．．視訊源

4．．．頻道

5．．．選擇性假設參考解碼器

6．．．傳送裝置

7．．．傳送器

8．．．接收裝置

9．．．接收器

9.1．．．接收緩衝器

1.1．．．預先編碼緩衝器

1.2．．．處理器

1.3．．．唯讀記憶體

1.4．．．程式碼

5.2．．．圖像緩衝器

2.1．．．解碼圖像緩衝器

2.2．．．處理器

2.4．．．記憶體

2.4．．．程式碼

11.3．．．型式

12.3．．．NALU數量大小

12.4．．．計時資訊

RAM．．．隨機存取記憶體

ROM．．．唯讀記憶體

圖1遞迴式時間延展性方案之例子，圖2視訊額外編碼之方案，其中一圖像序列被分成二或更多交錯形式之獨立編碼線程，圖3表示預測結構可能改進壓縮效率之例子，圖4可用於改進錯誤復原力之內部圖像延遲法，圖5a及5b揭示不同先前技術之編碼視訊流圖像之編碼方案，圖6a揭示圖像流包括次序列於階層1之例子，圖6b揭示一包括兩個具次序列於階層1之圖像組之圖像流之例子，圖6c揭示一不同圖像組之圖像流之例子，圖7揭示另一個包括次序列於階層1之圖像流之例子，圖8依據本發明之系統之有效實施例，圖9依據本發明之編碼器之有效實施例，圖10依據本發明之解碼器之有效實施例，圖11a揭示可用於本發明之NAL封包化形式的例子，圖11b揭示可用於本發明之NAL封包化形式的另一個例子，圖12傳送單元在前解碼器緩衝器內之緩衝作用之例子。