TW200531454A - Method and apparatus for MPEG-4 FGS performance enhancement - Google Patents

Method and apparatus for MPEG-4 FGS performance enhancement Download PDF

Info

Publication number
TW200531454A
TW200531454A TW93106316A TW93106316A TW200531454A TW 200531454 A TW200531454 A TW 200531454A TW 93106316 A TW93106316 A TW 93106316A TW 93106316 A TW93106316 A TW 93106316A TW 200531454 A TW200531454 A TW 200531454A
Authority
TW
Taiwan
Prior art keywords
quality prediction
picture
prediction
fine
image quality
Prior art date
Application number
TW93106316A
Other languages
English (en)
Other versions
TWI293833B (en
Inventor
Chia-Wen Lin
Su-Ren Chen
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW93106316A priority Critical patent/TWI293833B/zh
Publication of TW200531454A publication Critical patent/TW200531454A/zh
Application granted granted Critical
Publication of TWI293833B publication Critical patent/TWI293833B/zh

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

200531454 玖、發明說明: 【發明所屬之技術領域】 本發明係關於具細緻可伸縮性(gne scalable ’ FGS)之編解碼器(codec),特別係關於此具細緻可 伸縮性之編解碼器的架構、預測模式&re(jicti〇nm〇de)、和 位元分派(bit allocation)。 【先前技術】 多媒體的應用在現今世界已愈來愈廣泛,例如,跨聽 CD播放機、或是透過網際網路存_網頁。透過網際網路吟 多媒體應用的一個普遍的問題是,未經壓縮的視訊資料太 過龐大而不易儲存和傳送。因此,國際組織如1丁1;_丁與岱〇 MPEG委員會,針對資料壓縮的問題,制訂了數種編碼標 準。藉著這些標準的建立,視訊資料的儲存與傳送就變得 簡單許多。 由於網際網路的技術在過去幾年有大幅的進步,現在 人們可以透過網際網路閱讀網頁、玩遊戲、或是下載檔案。 其中,串流視訊(streamingvideo)是一重要的網路應用, 藉著這個應用,人們可以透過網路從視訊伺服器(video server)存取事先編碼好的視訊片段(video clip)。串流視 訊的最大優點是,經由網際網路連線,人們可以從任何地 點接收視訊資料。藉由串流視訊,人們可以可以從非對稱 的網路像是ADSL、Cable Modem等存取視訊。對於串流 200531454 視訊的提供者,因為人們接收視訊的頻寬不一,視訊的位 元流(bitstream)必須以各種位元速率(bitrate)傳送。 位元流位元速率的調整有幾種傳統的方法。一種方法 是在編碼時,就將依視訊節目編碼成多種速率的位元流, 如此雖可解決接收端頻寬不一的問題。但是在一群播 (multicast)的環境,成百或成千的接收端將同時存取相 同之視訊節目,如此一來,這種方法在視訊流提供端所需 的位元速率,會是這多個位元流的位元速率的總和。另一 種方法疋將位元流以最尚可能的連線速率編碼,然後再轉 碼(transcode)成不同速率。首先,轉碼器是先將位元流 解碼,然後,再轉碼成各個接收端適合的位元速率。如此 一來,串流視訊提供者就可以使用此種轉碼器,依照各個 接收端提供各種速率的位元流。 N V . MPEG-4草案增補(Draft Amendment) 4提出並標準化 一個新的概念,稱為FGS。FGS壓縮視訊包含一基礎層 (baselayer)和一加強層(enhancementlayer)。基礎層是 利用一 MPEG-4編碼器,在所有可能連線下的最低的位元 速率來產生的。FGS則採用原來的和重建的離散餘弦轉換 (discrete cosine tansformation,DCT)係數,以位元層 (bit-plane)編碼來產生加強層位元流。產生的方法是這樣 的:將DCT原來的係數減去重建後的係數,就可以得到因 量化(quantization)過程而引入的誤差值(residues)。然 200531454 後,FGS編解碼器用位元層編碼將這些殘留誤差予以編 碼’將產生的各個位元層從最高有效位元(MSB)到最低 有效位元(LSB)--輸出。加強層因此可以在任一位元 數裁截(truncated)。如果接收端在收到基礎層位元流後還有 頻寬的話,接收端可繼續接收加強層位元流,接收到的加 強層位元層愈多,重建後的視訊品質會更好。FGS因為可 以提供從基礎層位元速率到接收端頻寬上限的廣泛速率範 圍’因此FGS非常適合多重播送的串流視訊。如第!圖所 示,所有接收端(接收端卜2、3)在最低的視覺品質下-都可收到FGS基礎層。由於接收端1的頻寬不足,接收端 1無法接收FGS加強層,而接收端2與3則可以盡其可能 的接收FGS加強層位元層。 FGS因為可以提供廣泛的位元速率範圍以因應接收端 ,·的頻寬變化,所以在視訊流應用上要比其他編碼技術更有 彈性,也因而在串流視訊的應用上愈來愈廣泛。然而,FGS 編碼器雖然提供這樣因應頻寬的高彈性,它的編碼效率在 '同一位元速率下要比其他非可伸縮性(non_scalable)編碼器 來的差。FGS編碼效率的不佳主要有兩個因素。第一,FGS 基礎層的運動補償(m〇ti〇n-compensated )預測編碼 (predictiYecoding)只有使用粗略品質預測(c〇arse prediction),而未使用來自加強層重建的編碼殘值(該影像 的細節)。第二,FGS加強層編碼器沒有運動補償預測迴路 (predictionloop)。也就是說,每一 FGS加強層晝面(frame) 200531454 是層内編碼(intra-layer coded )。因為FGS基礎層是以人 類最低的視覺品質在最低位元速率下編碼,FGS基礎層與 時間相關的預測’其編碼增益(codinggain)通常是不如 非可伸縮性的的編碼器。 第2圖說明產生FGS基礎層和加強層位元流的編碼過 程。基礎層是用一 MPEG-4非可伸縮性的的編碼器,以位 元速率凡編碼。加強層用原來的與重建後、解量化的 (de-quantized)係數為輸入,以位元層編碼產生加強層位-元流。加強層位元流的編碼程序是:首先,原來的DCT係 數減去解量化的DCT係數,得到量化誤差。接著,在產生 一個畫面所有的DCT量化誤差後,加強層編碼器找出這些 DCT量化誤差的最大絕對值,以決定這個畫面的最大位元 層數。在決定一個畫面的最大位元層數後,FGS加強層編 ,·碼器從最高有效位元層(MSBplane)—個位元層一個位元 層的輸出加強層資料,直到最低位有效元層(LSBplane) 為止。每一位元層的位元先被轉為符號(symbol),再以可變 -長度的方式編碼,以產生輸出的位元流。下面這個例子說 明了上述的編碼過程,其中以一 DCT區塊之絕對量化誤差 為例。 5, 0, 4, 1,2, 0,···0,0 此DCT區塊之絕對置化誤差的最大值為5 ’而以二進 位制表示5 (101)所需的位元數是3,將這些絕對量化誤 200531454 差寫成二進位制來表示,則形成的3個位元層如下 (MSB) (MSB-1) (LSB) 10,1,〇,〇,〇···〇,〇 0,0,〇,〇,1,〇···〇,〇 IM,1,0,0··· 〇,〇 第3圖說明加強層畫面重建的FGS解碼過程。?(^基 礎層的解碼過程和- MpEG_4非可伸縮性的位元流的解碼 過程一樣。由於FGS位元流内建的特性,解碼器是接收並 以可變長度的方式,從MSB位元層到LSB位元層,解崎-出DCT殘值的位元層。因為解碼器不一定能完整接收某^ 特定位元層的所有區塊,解碼器會在這些位元層之未收到 的區塊裡填〇 ’並且執行反離散餘弦轉換(inversediscrete cosinetansformation,IDCT),以將收到的 DCT 係數轉換 為像素值(pixel value)。這些像素值會後續加到基礎層已解 碼出的畫面,以得到最終改善後的視訊影像。
雖然FGS可以支援廣泛的位元速率,以簡化對頻寬變 •化的調整,然而FGS卻有一些缺點。參考第2圖,魏入加 強層解碼器的輸入訊號係將輸入的視訊相對於它的基礎層 重建所得的版本的預測誤差的量化誤差(quantization error),此基礎層是以最低的視覺品質在最低位元速率下進 行編碼。因此通常不能精確的逼近將輸入的視訊,所以量 化誤差會相當大,進而導致低編碼效率。單層編碼(Single layer coding)的效能在相同的傳輸位元速率下,會比FGS 200531454 好’因為單層編碼是以全品質⑻叫⑽㈣)視訊來作預測。 這種效能的降低可達1.5到2.5dB,如習知技術所述。 為克服這個問題,有數個改進FGS編碼之視覺品質的 相關研究被提出來,這些方法簡述如後。 一種稱為可適性運動補償FGS ( adaptive motion compensated FGS,AMC-FGS)的方法,其編解碼器的特 色是有兩種簡化的具伸縮性編解碼器··單預測迴路 MC-FGS與雙預測迴路MC_FGS,,此兩者各有其不同程度 的編碼效率和容錯能力(errorresilience)。雙預測迴路 MC-FGS僅對B-畫面(B-frames)在加強層編碼器使用一 額外的MCP迴路。由於在編解碼時,其他畫面不會為了預 測而參考到B-畫面,如果有遺失队畫面資料,也不會有誤 ••差蔓延。、如果一個B-畫面有漂移誤差,此 冻移誤差也不會蔓延到後續的畫面。單預測迴路MC—FGS 在P-畫面(P-frames)與B-畫面皆使用精細品質預測(fme Prediction),因此與雙預測迴路MC-FGS相較之下,有相 對較咼的編碼效率。然而,如果用在p_畫面基礎層的預測 的加強層資料,因為頻寬不足或傳輸通道錯誤問題而使封 包丟失,無法被解碼器接收的話,其錯誤強韌性(err〇r robustness)降顯著地降低。AMC-FGS使用一種可適性預 測模式決策演算法,能夠在兩種預測技術間進行切換,以 在編碼效率和抗誤能力兩者之間轉較佳的折衷(better 12 200531454 tradeoff) 〇 一種稱為漸進 FGS(progressive FGS,PFGS )的新 FGS 架構,其加強層不僅可以參考基礎層,也可以參考到先前 的加強層資料。然而,當頻寬被降低時,如果所參考到的 位元層無法保證送達到解碼器的話,相同的漂移誤差同樣 會擾亂輸出品質。 另一種稱為具錯誤強健性FGS (robustFGS,RFGS) · 的方法。這個方法在加強層增加1組運動補償預測迴路並 加入浪漏預測(leaky prediction)以求取編碼效能及抗誤能 力間的較佳之折衷。這個額外的運動補償預測迴路能透過 參考咼畫質畫面(high quality frame memory)以達到增加編 碼效能的目的,而利用洩漏預測來抑制所伴隨而來的漂移 錯誤。在加強層動補償預測迴路利用以預測的漂移錯誤為 準的一個洩漏因子α(〇 □ α □ 1)來獲得重建畫面。此外, 另一個參數,所參考的位元層數々也被利用在部分預測。 '利用調整這兩個參數,RFGS能提供對於各種編碼方式的 彈性。若洩漏因子⑷被設定為〇,那麼RFGS幾乎和原 本的FGS是相同的,若每個參考畫面的《都設定為1,則 RFGS的預測模式跟MC_FGS是相同的。 【發明内容】 本發明增進FGS編解碼器的效能,其主要目的為提供 13 200531454 -種FGS編碼解碼器的新架構,此新架構有三種預測模 式’能適祕去。本發明的另—目的係提供—種方法, 能適切地對輸人訊韻每-巨集轉(職㈣·)去選 擇-種預測模式。本發_又-目_提供—種FGS編解 碼器之加強層位元層裁切方法。 根據本發明,FGS編解碼器的編碼器和解碼器都有一 基礎層和一加強層,此基礎層包含有一粗略品質預測迴路 和一基礎層模式選擇器(base layer mode selector),而此加免 層包含有一精細品質預測迴路和一加強層模式選擇器 (enhancement-layer mode selector)。此基礎層模式選擇器可 以被控制’以選擇基礎層的輸出是粗略畫質預測或是精細 畫質預測。類似地,加強層模式選擇器也可以被控制,以 選擇加強層的輸出是粗略畫質預測或是精細畫質預測。
、 V 本發明的FGS編碼解碼器提供三種預測模式:全精細 畫質預測模式(all-fine prediction mode)是指基礎層模式 -選擇器與加強層模式選擇器都選擇精細晝質預測輸出;全 粗略畫質預測模式(all-coarse prediction mode)是指基礎 層模式選擇器與加強層模式選擇器都選擇粗略畫質預測輸 出;混合預測模式(mix prediction mode)是指基礎層模式 選擇器選擇粗略畫質預測輸出,而加強層模式選擇器選擇 精細畫質預測輸出。 200531454 本發明的編碼器可以針對輸入視訊訊號的每一巨集區 塊,適切地選擇預測模式。本發明使用一種兩階段式 (two-pass)編碼程序。第一階段的編碼收集所有巨集區塊 的編碼參數,這些參數包括:粗略畫質預測與精細畫質預 測的預測誤差值、以及最佳情況與最壞情況下的所預估的 錯誤匹配誤差(estimated mismatch error),此錯誤匹配誤差 是在精細畫質預測時,解碼器不能接收到應用於精細畫質 預測的加強層資料而引起的。然後,一編碼增益(c〇ding gain)是由此粗略畫質預測和精細畫質預測的預測誤差值-所推導出。一估測的錯誤匹配誤差值則是從最佳情況與最 壞情況之兩種錯誤匹配誤差值所估算而得。然後據此可以 計鼻出每一巨集區塊的編碼效益,此編碼效益被定義為編 碼增益除以所預估的錯誤匹配誤差值。一個畫面裡所有巨 集區塊的編碼效益的平均值(mean)和標準差(standard ,.deviation)也會被計算出來。 然後依據每一巨集區塊的編碼效益,將這些巨集區塊 分成三個群組。每一群組的巨集區塊都是用同一個預測模 式來編碼。如果一個巨集區塊的編碼效率小於編碼效率平 均值與編碼效益標準差的一預定倍數(pre_determined multiple)之間的差值(difference),此巨集區塊則以全粗略書 質預測模式編碼來編碼。如果一個巨集區塊的編碼效率大 於編碼效率平均值與編碼效率標準差的一預定倍數的和, 此巨集區塊則以全精細畫質預測模式來編碼。否則的話, 15 200531454 此巨集區塊以混合預測模式來編碼。 本發明進一步提供一種新的速率調節演算法,根據三 種可用頻寬的情況來裁切加強層的位元層,此三種情況分 別是··低位it速率、中位元速率、與高位元速率。在低位 元速率的情況下’ Ι/P·畫面(l/p_frame)的加強層位元層會 儘可月b地被裁切,位元分派(bit allocation)則只給ι/p·書面, 而在B-畫面(B-frame)的加強層資料全被裁切。在中位元 速率的情況下,t Ι/P-畫面的位元分派能保證用於精細聋_ 質預測的Ι/P-畫面位元層可以,完全送出後,多出的 (excessive)位元才會分配給&畫面。在高位元速率的情況 下,分配的位元數是由位元層的大小來控制,而且隨著特 定的位元速率而變。如果沒有多出的位元分配給j/ρ-畫面, 為了避免兩個鄰近畫面之間有太大的變異,畫面彼此之間 ,·的位元分配的分佈就必須要均衡。 茲配合下列圖式、實施例之詳細說明及申請專利範 圍,將上述及本發明之其他目的與優點詳述於後。 【實施方式】 第4與第5圖說明本發明之新的模式FGS編解碼器 的方塊示意圖。如第4圖所示,本發明的編碼器架構包含 一加強層與一基礎層。該加強層有一 DCT單元4〇1、一位 元層位移(bit-plane shift)單元402、一最大值尋找器 200531454 (maximum value finder) 403、一位元層可變長度編碼器 404、和一精細畫質預測迴路。此精細畫質預測迴路包括_ 位元層分割器(bit-plane divider) 405、一 IDCT 單元 406、 一精細畫質畫面記憶體(fine frame memory) 407、和一備 有切換開關SW1的運動補償單元408,此切換開關SW1 用來選擇加強層裡的預測模式。此基礎層有一 DCT單元 411、一量化(quantization)單元412、一可變長度編碼器 413、和一粗略畫質預測迴路。此粗略畫質預測迴路包括一 解量化(inverse quantization)單元 414、一 IDCT 單元 415、_ 一粗略畫質畫面記憶體416、一運 動估測(motion estimation)單元417、和一備有切換開關 SW2的運動補償單元418,此切換開關SW2用來選擇基礎 層裡的預測模式。 如第5圖所示之本發明的解碼器架構也包含一加強層 和一基礎層。此加強層有一位元層可變長度解碼器5〇1、 一第一 IDC丁單元502、和一精細畫質預測迴路。此精細晝 質預測迴路包括一位元層分割器503、一第二IDCT單元 504、一精細畫質晝面記憶體505、和一備有切換開關SW3 的運動補償單元506,此切換開關用來選擇加強層裡的預 測模式。此基礎層有一可變長度解碼器51〇、一解量化單 元511、一第三IDCT單元512、和一粗略畫質預測迴路。 此粗略畫質預測迴路包括一粗略畫質畫面記憶體513、和 一備有切換開關SW4的運動補償單元514,此切換開關用 17 200531454 來選擇基礎層裡的預測模式。 本發明使用的FGS編解碼器的原理和運作方式係熟知 且已描述於習知技術中,而本發明提供的新的^^^編碼解 碼器架構使用了切換開關SW卜SW2、SW3和SW4,能 適切地去選擇預測模式,以改善編碼效率與效能。下文將 描述這幾種預測模式的原理和它們的運作方式。 如第4圖所示,此編碼器包含兩個切換開關SW1與-SW2,分別用來選擇在加強層與基礎層編碼器裡的兩個運 動補償預測迴路的預測模式。在上方的SW1是用來對在加 強層編碼器的動作補償迴路,以選擇來自精細畫質畫面記 憶體或是粗略畫質畫面記憶體的預測。而SW2是用來選擇 基礎層的預測模式(SW=1:精細畫質預測,SW=0:粗略畫 質預測> 如第1表所摘錄的,本發明在編碼器裡提供三種 在巨集區塊等級的編碼模式:全精細畫質預測(AFp : SW1=1且SW2=1)、全粗略畫質預測(ACP : SW1==0且 SW2=0)、與混合預測(mp : SW1=1 且 SW2=0)。 根據本發明,編碼器的預測模式是依據輸入視訊訊號 的每一巨集區塊之特性,經由模式切換開關SW1與SW2 加以適當地選擇的。如第4圖所示,SW1與SW2是由一 錯誤匹配估計與模式決定單元(mismatch estimation and mode decision unit) 419來控制的。此錯誤匹配估計與模式 200531454 決定單元柳計算最好情況與最壞情況下錯誤匹配誤差的 估计量,以做出預測模式的決定。因此,除了運動補償單 元418輸出的最佳情況粗略晝質預測外,最壞情況基礎層 解碼器(base-layer decoder) 420也會輸出最壞情況粗略畫 質重建畫®值。有_騎_繼式的方法將詳細 描述於後。 每一巨集區塊有一個或兩個的經由可變長度編碼 (VLC)位元被送到解碼器,以通知所使用的預測模式。· 這些編碼模式在編碼效率與抗誤能力上有不同的特性。如 果選擇的是AFP模式,基礎層和加強層都會侧精細畫質 畫面記憶體的預測,而達到最高的編碼效率。然而,這種 模式也有引起漂移誤差的高風險,因為接收端可能因為頻 寬不足或封包丟失的原因,而無法完全接收到用於精細畫 ,‘質預測的加強層位元層。整體來說,此模式的運作方式是 非常類似於單預測迴路運動補償FGS (MC-FGS)。相反 地’ ACP模式的基礎層與加強層都使用粗略畫質預測,假 如基礎層位元流能完全被接收,此模式就保證不會有漂移 誤差,但是它的編碼效率則是三種模式裡最低的。MP模 式則是在編碼效率與耐錯能力之間取得折衷,它對加強層 採用的是精細畫質預測,對基礎層則採用粗略畫質預測。 當用於預測的加強層位元層有部份丟失時,此種模式在加 強層還是會有漂移誤差;而,如果解碼器可以接收到完整的 基礎層資料,則基礎層是不會有漂移誤差的。 200531454 除了此新穎的3-模式編碼解碼器之外,另一個特例是 包含MP與ACP編碼模式的一種簡化的FGS編碼解碼器, 此編解碼器犧牲了 AFP編碼模式所提供的某些編碼增益, 但另一方面則降低了漂移誤差。沒有此AFP編碼模式的 話,此編解碼器就剩下如第6圖和第7圖分別所示的編碼 器與解碼器架構。此雙模式編解碼器稱為「低漂移誤差 (low-drift)」模式,而3-模式編解碼器稱為「高增益 (hign-gain)」模式。在此種新的編解碼器裡,將其編碼模式 送出的成本負擔則減至每一巨集區塊一個位元。表1摘錄-了本發明之編解碼器所使用的預測模式。 k 表1本發明的FGS編碼方法所用的三種預測模式
•基礎層與加強層均使用精細畫質 預測。與原始的FGS相同。 有很強的容錯性,但編碼效率較 低0 全粗略畫質預測(SW1 = 0 與 SW2 = 0) 低漂移誤差:1 高增益:10 全精細畫質預測 (swl = l 與 SW2 = 1) 混合預測 (SW1 = 1 與 SW2 = 〇) 低漂移誤差:N.A. 高增益:10 低漂移誤差:〇 高增益:0 基礎層與加強層均使用精細畫質 預測。與單迴路MCJGS相同。 有最兩的編碼效率,但易受漂移 誤差影響。__ 加強層使用的是精細畫質預測, 基礎層使用的是粗略畫質預測。 與PFGS相同。 在基礎層漂移誤差有被限制,並 在高位元速率要比原始的FGS有 更南的編瑪效率^ 根據本發明,為了避免執行運動重新估計(m〇ti〇n 20 200531454 ^’丨崎丨如)以及為了避免每一巨集區塊需要送出一額外 的運動向量(motion vector),從基礎層編碼器得到的運動 向量會重複用於加強層編碼器的運動補償。然而,基礎層 的運動向量對編碼此加強層位元流可能並不是最佳的。 如上所述,用粗略畫質預測的編碼(亦即ACp模式) 和用精細畫質預測的編碼(亦即AFP和]y[p模式)相比是 效率較低的,而如果使用精細畫質預測,但某些用於預測 的加強層位元層未能被解碼器所接收的話,則可能會因而厂 發生漂移誤差。本發明發展出一種統計的方法,在編碼前 使用者位元速率是未知時,來估計預測模式的最佳選擇。 如第8圖所示,本發明使用一種兩階段的編碼程序。 當執行第一循環編碼時,收集所有巨集區塊的編碼參數, '這些參數包括粗略畫質預測與精細畫質預測各自的預測誤 差值、以及在精細畫質預測下因用於預測的加強層資料無 法被解碼器接收而衍生的預估之錯誤匹配誤差(estimated mismatch error)。在這些參數中,這兩種預測的預測誤差值 的差異反映了它們編碼增益的差異,而錯誤匹配誤差會蔓 延到後續的畫面。例如,精細畫質預測的編碼增益要比粗 略畫貝預測明顯著地咼出許多,而這種差異可以用粗略畫 質與精細畫質預測誤差值的差異來估計如下: -户以叫1卜1尤(叫-< (―||)⑴ 200531454 其中’尤代表第/個進來的巨集區塊,分別代 表尤的粗略畫質預測與精細畫質預測。請注意,方程式(i) 的兩個絕對值分別代表粗略畫質預測模式與精細畫質預測 模式預測誤差值的能量值(energy value)(亦即它們的大 小)。一個大的G,值代表這個巨集區塊的精細畫質預測要 比粗略畫質預測精確許多。 然而,編碼增益會導致產生漂移誤差的風險,因為精 細畫質預測使用部分的加強層資料,此加強層資料因為简 寬不足或封包丟失的緣故而可能無法完全被解碼器接收q 為了有效地估測這樣的漂移誤差量,我們使用下列兩種估 測量: = ^ ^ \\PXBU - PXlEL (/W, n)\\ (2)
Di * ^ ^ ||^BL2 n) - PX1^ {m, w)|| (3) 其中AB與乃广分別代表在使用零運動向量進行錯誤隱蔽 (error concealment)之錯誤匹配誤差的最佳和最差估計 值。尤BU是使用前一張(僅使用基礎層之資料而未使用任何 之加強層資料進行重建)進行預測編碼,因此其編碼效率較 Zbu為低。因此最佳值π意謂著先假定所編碼晝面之前的 畫面皆有收到完整的加強層資料,然後估算粗略晝質預測 編碼的錯誤匹配誤差量。相反地,最差值則是表示在所 編碼畫面之前的畫面皆僅收到基礎層的資料,所有加強層 22 200531454 的資料皆遺失的情況下,所估算之粗略晝質酬編碼的錯 誤匹配誤差里。在此種情形下會導致其錯祕配誤差的問 題持續蔓延下去,也錄魏移縣的問題更為嚴重。 -般而言,在預存視訊之串流應用,因為編碼器無法 事先得知用戶端醜敏之大小及狀況的好壞,因此無法 很精確的估計錯誤匹配誤差值。然而,因為已經知道實際 的錯誤匹配誤差是落在這兩個估計值之間,亦即 DB ^ Dw ,丨,。本發明利用這兩個估計值的加權平均-(weighted value)來預測實際的錯誤匹配誤差·· 、 PD,kDD卜(Hd)D, (4) 其中&e[o,i]。么的選擇是依解碼器端可用頻寬而定。 為了決定每一巨集區塊的編碼模式,以達到良好的編 碼效能同時又能兼顧足夠的抗誤能力,使用如下一個新的 指標值 CODE ( coding gains over drifting error): CODE, ^Gi!PDl (5) 其中G,與/是由方程式(1)與(4)分別求得。方程式 (5)的CODE指標值可以有效的表示出各個巨集區塊之 編碼效益和漂移誤差之間的關係,例如CODE值愈大表示 如果使用機系畫質參考畫面進行預測編碼得到的編碼效益 較高且其前在之漂移誤差量相對地較小。 23 200531454 在擷取出一個畫面所有巨集區塊的特徵後, 的平均值⑺⑺沉與標準差GcQde可以計算如下· 值
•CODE
CODE ⑹
^CODE
ifMB
CODE •code > ⑺ 其中他是一個畫面裡的巨集區塊的數目
這些巨集區塊然後被分成三個群組,此三個群組各以 不同的預測模式(亦即ACP、AFP、MP模式)來編碼^ 巨集區塊是利用CODE值的平均值與標準差分類如下· ACP if CODE, < mC0DE -koc〇DE MODE, = AFP if CODE, > mC0DE + kaC0DE (g) MP otherwise
bc〇DE 與 ^CODE -免 JCODE 第9圖說明對多個巨集區塊,其錯誤匹配誤差和編碼 增益之間的關係及繪出的一個範例分佈圖。其X軸與γ轴 为別代表方程式(4)與方程式(1)所計算出來的錯誤匹 配誤差與編碼增益。一巨集區塊的Y值愈南,表示在到精 細畫質重建畫面記憶體裡使用更多加強層位元層,因此對 此巨集區塊的精細畫質預測愈精準,而產生較高之編碼增 益。但是在採用這些額外的位元的情況下,編碼增益的增 加會伴隨著漂移誤差的增加。第9圖的每一點代表位於每 一類別之一巨集區塊的(GA)對(pair),圖中的上下兩條 實線分別代表CODE值等於π。% + 24 200531454
(在此灸―丨)的所有(砂)對,而其中的虛線代表CODE 值等於^的所有(砂)對。(以))位於上實線之上的 巨集區塊是以App模式編碼,因為此可預期可能可以達到 較而的、、扁碼效a ’而同時如果解碼器沒有收到某些用於預 測的加強層資料封包,⑽的漂移誤差不會聰嚴重。彳目 · 反地,(砂)位於下實線之下的巨集區塊因為較易受到漂 、 移誤差的n是以ACP模式編碼。其他集區塊是以 MP模式編碼集區以在編碼增益與漂移誤差中取得較佳的 折衷。 φ 由於P-畫面是用作後續B/P-畫面編碼的參考,本發明 決疋預測模式的方法是應用在p_畫面上。再者,由於B_ 晝面不會用作其他畫面的預測,此漂移誤差不會傳播到其 他畫面。因此在本發明中,B_畫面皆使用全精細畫質預測 編碼來達到最高的編碼效率 在提供視訊流時,視訊流伺服器會裁切每一加強層畫 面到一適當的大小,以符合客戶端終端設備的頻寬。如杲 精細畫質預測是用來編碼基礎層與加強層,用來裁切FGS 加強層畫面的位元分派方法(bit-allocation scheme)對效能 會有很大的影響。例如,如果更多位元可以合理地分派給 Ι/P-畫面而不是B-畫面的話,解碼器可能接收到更多I/P-畫面的位元層,進而導致較低的漂移誤差與較高的視訊品 質。此外,B-畫面也可以在編碼器端預測時、或解碼器端 25 200531454 重建時,參考較佳品質的圖像,如果有更多用來預測的這 些參考圖像的加強層位元層被收到的話。 本發明另外提出-種新的速率調節加強層位元層裁切 演算法,在視訊伺服器端以低位元率、中位元率、與高位 元率三種不_可㈣寬來裁切加強層位元層。在低位元 率的情況下,在編碼過程中,可用的頻寬不夠送出用於兩 層精細畫質預測的Ι/P畫面的所有加強層位元層。所以, 當用來預測的部份加強層資料在裁切過程中被丟棄時,漂_ 移誤差是無法避免的。另一方面”如果可用頻寬夠大到送 出所有用於精細畫質預測的加強層位元層,但頻寬仍小於 一圖像群(group 〇f pictures,GOP)所有畫面的#Bp個 加強層MSB位元層的位元數時’所有多出來的位元可以在 B-畫面裡分配,以平衡I/P_畫面與B_畫面之間的圖像品 質。如果頻寬的情況更好的話,多餘的位元也將被分配到 Ι/P-畫面,而相關的位元會被保留以避免漂移誤差。這樣的 加強層位元層裁切的位元率調節行動可以在伺服器或路由 -器進行。針對不同狀況的裁切方法將分別詳述如下。底下 的表2說明本發明的伺服器位元層裁切演算法所用的各個 參數。 表2用於伺服器速率調節的參數 參數 說明 MjOP GOP畫面數 —---- 一 GOP裡的I-畫面與P-畫面數 --一 Nb 一 GOP 裡的 B-畫面= iV〇OP - AW) -- ----- 26 200531454 一 — —~— 一 編瑪器的預編瑪(pre-encoding) jVbp 編碼時精細畫質預測所用的位元層數 PBel 一 GOP裡用於精細畫質預測的加強層位元總數 — PB\ScP,EL 一 GOP裡用於精細畫質預測的所有μ書面與畫面的加強層 位元數 PBq^el 一 ϋΟΡ裡所有B-畫面的iVBP個加強層MSB位元層的位元數 一 GOP裡用於精細畫質預測的第”個!^—書面的加強層位元 數 · ^BJEL 一 GOP裡第m個B-畫面的tVbp個加強層MSB位元層的位元 數 飼服器端位元層裁切的參數 tbel 一 GOP裡加強層分派的位元數 -----! _►_ ^®I&P,EL 一 GOP裡加強層第λ個ι/p—畫面分派的位元數 TB^ 一 GOP裡加強層第/w個B-畫面分派的位元數
情況 1 :低可用頻寬(low available bandwidth) 此鯈況中,在伺服器端估計一頻道可用的頻寬為小於 在編碼時用於精細畫質預測的1_畫面與p—畫面的加強層位 元數。因為可用的頻寬不足以送出所有用於精細畫質預測 的位元’本發明儘可能的裁切畫面與p_畫面的加強層。 每一 Ι/P-畫面的裁切方法是根據該畫面用於預測的位元數 來調節如下的:
27 (9) 200531454 在此情況中,B-畫面分派的位元數都設定為零, = q J ' ,m - 1,2, 方程式(9)是用在當可用的 位元數小於/>5I&P,EL時,而且位元僅分派給μ畫面與p_書 面,而所有B-畫面的加強層資料都在裁切中丟棄。此方法 在低位元速率時可以達到更好的效能。 情況 2 ·中可用頻寬(medium availab丨e bandwidth) 如果可用頻寬夠大於送出用於精細畫質預測的畫面 與P-畫面的所有加強層位元,但頻寬仍小於户万^此時,词厂 服器會先將位元分派給Ι/P-畫面”以保障用於精細畫質預 測的I/P_畫面位元層可以完全送給接收端,然後伺服器才 將還多餘的位元分派給B-畫面。 情況 3 ··高可用頻寬(high availab丨e bandwidth) 如果可用的頻寬大於送出用於精細畫質預測的加強層 位元層數所需的頻寬,則用於分派的位元數是由位元層的 大小來控制,並且隨著特定的位元速率而變。然而,當位 -元速率快速提升時,如果不再有更多位元分派給J/p_畫面, 則兩個相鄰畫面之間會有很大的差異。所以,位元需要平 衡地分派給各個畫面以避免巨大的品質差異。 本發明的加強層位元分派演算法可以用一虛擬程式碼 (pseudo program)摘述如下:
Begin: 28 200531454 \ί{ΤΒ^ ^ ΡΒι&?^) /* perform low-rate bit truncation */ x , n=U2^^Nl&P;
名 PBi&P EL = 〇, /w = 1,2, ···,iVe; else if (TjBel ^ PBEL) /* perform medium-rate bit truncation */ PB^
Ί&Ρ,Εί 一乂 "I&P王L «= 1,2,..., M&p;
else /* perform high-rate bit truncation */
WeL =户忍I&p玉L +户丑BJEL x "IAP ^ ,
2 户Aap,el + 芝尸^EL «-ο /5¾ endif 本發明的編碼解碼器的有效性可以由模擬的實驗結果 .呈現出來。此實驗巾使㈣組分別為C()astguard肖Mabile 的測試畫面。這些畫面是以(30,2) GOP架構來編碼,基 礎層是用TM5速率控制方法以及3G &的畫面率在384 kbits/sec的速率下編碼。畫面大小為αρ352χ288。精細畫 質預測('亦即在AFT與MP模式)使用兩個加強層位元層。 第1〇圖和第11圖說明本發_方法與其他三種方法 29 200531454 分別在這兩組測試畫面系列下的效能。此這三種方法是: 基線(baSellne)FGS、全精細畫質預測、與單層刪μ編 ,瑪器。模擬的結果·本發明的方法在廣泛的位元速率 耗圍内的確勝過其他三種方法。全細模式與基線FGS方法 刀另J代表在最南位元速率與最低位元速率下兩個重要而不 同的品質界限。本發明的目的就是在一廣泛的位元速率範 圍^這兩個方法間找到一個良好的折衷方法。而這個目 的是藉由在基礎層的運動補償預測,導入一預定數目的位 疋層來達成,然而在叫、段低位元速率的範固 (384 512kbps) ’可以觀察到由於漂移誤差所致的輕微品 質降低。本發明的方法要比全精細畫質預測具有更大的耐 錯能力。 全精細畫質测是用在所有的B_畫面,這樣可以顯著 ,改善編瑪效率而又不會引起誤差的傳播。運動向量是用高 品質預測轉。賴馨(i祕seleeti(m)方法是^ P-畫面上實施,以改善基礎層的編碼效率,而有相同運動 資訊(m〇ti〇ninformati〇I^這兩層,其運動補償的參考畫面 可以是不_。基礎層與加強層是不需要兩組運動向量, 因為會需要更多的運算和額外的位元速率來估計和傳送多 出的-組運動向量。因此基礎層估計出的運動向量是重複 用在加強層的運動補償。當位元速率低時,全精細畫質預 測會遭受大約ldB的損失。利用本發明,低位元速率下由 於漂移誤差所致的品質降低,可以顯著的減輕,而在高位 200531454 元速率下,達到的編碼增益要比原始的FGS高約1〜L5dB。 第12圖和第13圖說明本發明的方法與其他三種方法 分別在這兩、组測試晝面系列、384kbps的基礎層位元速率、 與二種加騎位元速率:Qkbps、256kbps、與7舰咖下, 連續畫面的PSNR效能。本發明的方法,在可㈣寬低時, 可以比全精細晝質預測更有效率地的降低漂移誤差,而在 可用頻寬高時,可轉持接近全精細畫質酬的編碼效 率。本發明的方法能達到比原始的FGS明顯更高的PSNR-品質改善。第14圖說明使用本發明與原始的FGS解碼出 的兩幅圖像,以提供客觀的效能比較。 惟’以上所述者,僅為本創作之較佳實施例而已,當 不能以此限定本創作實施之範圍。即大凡依本創作申請專 利範圍所作之均等變化與修飾,皆應仍屬本創作專利涵蓋 之範圍内。
31 200531454 【圖式簡單說明】 第1圖說明FGS位元流傳送到不同頻寬的接收端。 第2圖說明產生FGS基礎層與加強層位元流的編碼過程。 第3圖說明FGS基礎層與加強層畫面重建的解碼過程。 第4圖說明根據本發明之層内預測的新的FGS編解碼器的 編碼器架構。 第5圖說明根據本發明之層内預測的新的FGS編解碼器的 解碼器架構。 第6圖說明根據本發明之層内預測的新的FGS編解碼器的-編碼器架構,其中,基礎層僅具有粗略畫質預測。 > 第7圖說明根據本發明之層内預測的新的FGS編解碼器的 解碼器架構,其中,基礎層僅具有粗略畫質預測。 第8圖說明本發明的兩階段編碼程序。 第9圖說明對多個巨集區塊,其錯誤匹配誤差和編碼增益 之間的關係及繪出的一個範例分佈圖。 第10圖說明本發明的方法與其他三種傳統方法使用 Mobile測試數列下的效能比較。 第11圖說明本發明的方法與其他三種傳統方法使用 Coastguard測試數列下的效能比較。 第12圖說明本發明的方法與其他三種傳統方法使用 Coastguard測試數列下,以384kbps基礎層位元速率和三 種加強層位元速率,(a) 0kbps (b) 256kbps (c) 768kbps,的 效能比較。 第13圖說明本發明的方法與其他三種傳統方法在Mobile 32 200531454 測試數列下,以512kbps基礎層位元速率和三種加強層位 元速率,(a) 0kbps (b) 256kbps (c) 768kbps,的效能比較。 第14圖說明在512kbps的基礎層與512kbps的加強層,以 ⑷原始的FGS編碼器(27.5dB)和(b)本發明的Hybrid MB-MSFGS方法(32.4dB)的第4幅解碼出的圖像。 圖號說明 401 DCT單元 402位元層位移 403最大值尋找器 404位元層可變長度編碼器- 405位元層分割器 406IDCT 單元 、 407精細畫質畫面記憶體 408運動補償單元 411DCT單元 412量化單元 413可變長度編碼器 414解量化單元 415IDCT 單元 416粗略晝質畫面記憶體 417運動估計單元 418運動補償單元 419錯誤匹配估計與模式決定單元 420基礎層解碼器 SW卜SW2切換開關 501位元層可變長度解碼器 502第一 IDCT單元 503位元層分割器 504第二IDCT單元 505精細畫質畫面記憶體 506運動補償單元 510可變長度解碼器 511解量化單元 512第三IDCT單元 513粗略畫質畫面記憶體
33 200531454 514運動補償單元 SW3、SW4切換開關

Claims (1)

  1. 200531454 拾、申請專利範圍: 1· 一種具細緻可伸縮性之編碼器,包含有: 一基礎層編碼區塊,包括一粗略晝質預測迴路,該粗略書 質預測迴路備有一粗略畫質預測輸出; 一加強層編碼區塊,包括一精細晝質預測迴路與一加強声 . 模式選擇器,該精細晝質預測迴路備有一精細畫質預測輸 , 出; ] 其中,當該加強層模式選擇器切換去選擇該精細畫質預測 輸出時,該編碼器係運作於一混合預測模式,而當該加強 φ 層模式選擇器切換去選擇該粗略晝質預測輪出時,該編碼 器係運作於一全粗略畫質預測模式。 2·如申請專利範圍第1項所述之具細緻可伸縮性之編碼器,該 基礎層編碼區塊更包含一基礎層模式選擇器,其中,當該基 礎層模式選擇器與該加強層模式選擇器均切換去選擇該精 、、、田畫貝預測輸出時’該編碼器係運作於一全精細晝質預測模 式,而當該基礎層模式選擇器與該加強層模式選擇器均切換 去選擇該粗略畫質預測輸出時,該編碼器係運作於一全粗略 鲁 晝質預測模式,而當該基礎層模式選擇器切換去選擇該粗略 畫質預測輸出,且該加強層模式選擇器切換選擇該精細畫質 預測輸出時,該編碼器係運作於一混合預測模式。 3·如申請專利範圍第2項所述之具細緻可伸縮性之編碼器, · 該編碼器更包含一模式決定單元,用來適切地控制該加強 、 層和該基礎層模式選擇器。 4·如申請專利範圍第3項所述之具細緻可伸縮性之編碼器, 35 200531454 Ζί決定單元更包含—錯誤匹配估計單元’用來估計該 粗略旦質預測輪出與該精細晝質預測輪出之匹配 誤差。 5· 6.- 如申請專概_4 叙熟财伸紐之編碼器, 該編碼15更包含—最壞情況基礎層料ϋ,用來供-最壞 情況的粗略畫質酬輸出給該錯觀崎計單元。 種具細緻可伸縮性之解碼器,包含有:
    :基礎層解碼區n粗略tf测迴路,該粗略畫 f _迴路備有-粗略4質卿輸itj ; . 加強層解碼區塊,包括一精細畫質預測迴路盘一加強層 模式選擇器,該精細畫質預測迴路備有一精細畫質預測輸 其中,當該加強層模式選擇器切換去選擇該精細畫質删 2出時’該解碼器係運作於—混合預測模式,而當該加強 :模式選擇器切換去選擇該粗略畫質預測輸出時,該解碼 器係運作於—全粗略畫質糊模式。
    7.如申請專利範圍第丨項所述之具細敏可伸縮性之解碼器, 該基礎層解碼區塊更包含-基礎層模式選擇器,1中,當 該基礎層模式選擇器與該加強層模式選擇器均切換去選擇 該精細畫質預測輸出時,該解碼器係、運作於—全精細畫質 預測模式’而當礎雜式選擇ϋ與該加強層模式選擇 器均切換去選擇該粗略畫質預測輸出時,該解碼器係運作 於—全粗略畫質預測模式,而當該基礎層模式選擇器切換 去選擇該粗略畫質預測輪出,且該加強層模式選擇器切換 36 200531454 選擇該精細畫質預測輪出時,該解碼器係運作於一混合預 測模式。 8· -種具有至少兩種編碼模式的編碼方法,職碼方法包含 下列步驟: (a) 從輸入訊號的複數個巨集區塊的每一巨集區塊去收集 - 編碼參數; · (b) 分析該編碼參數以決定每一巨集區塊的編碼模式;以及 ⑷根據該步驟⑹裡決定的編碼模式,對每一巨集區塊編 碼。 鲁 •如申。月專利範圍第8項所述之具有至少兩種編碼模式的編 碼方法,其中,該複數個巨集區塊在該步驟(b)裡被分類為 至少兩編碼群組,在同一群組的每一巨集區塊被指定一相 同的編碼模式。 说如申請專利範圍第8項所述之具有至少兩種編碼模式的編 ,碼方法,其中,該編碼方法具有一全粗略畫質預測模式、 一全精細畫質預測模式、與一混合預測模式,而該複數個 巨集區塊在該步驟(b)裡被分類為一全粗略畫質預測群組、 · 一全精細畫質預測群組、與一混合預測群組,該全粗略畫 質預測群組裡的每一巨集區塊均指定採用該全粗略畫質預 測模式,該全精細畫質預測群組裡的每一巨集區塊均指定 採用該全精細畫質預測模式,該混合預測群組裡的每一巨 集區塊均指定採用該混合預測模式。 Λ 11·如申請專利範圍第8項所述之具有至少兩種編碼模式的編 碼方法,其中,該編碼方法包括一粗略畫質預測的基礎層 37 200531454 與一精細畫質預測的加強層,而在該步驟(b)裡從每一巨集 區塊收集到的編碼參數包括一精細畫質預測誤差值、一粗 略畫質預測誤差值、以及在精細畫質預測下的最佳情況與 最壞情況的錯誤匹配誤差。 12.如申請專利範圍第n項所述之具有至少兩種編碼模式的編 碼方法,其中,該編碼方法具有一全粗略畫質預測模式、 一全精細畫質預測模式、與一混合預測模式,而該複數個 巨集區塊在該步驟(b)裡被分類為一全粗略畫質預測群組、 一全精細畫質預測群組、與一混合預測群組,該全粗略晝_ 質預測群組裡的每一巨集區塊均指定採用該全粗略畫質預 測模式,該全精細畫質預測群組裡的每一巨集區塊均指定 採用該全精細畫質預測模式,該混合預測群組裡的每一巨 集區塊均指定採用該混合預測模式。 13·如申請專利範圍第u項所述之具有至少兩種編碼模式的編 •碼方法,其中,根據一編碼增益與一預估的錯誤匹配誤差, 該複數個巨集區塊被分類為至少兩編碼群組,該編碼增益 係從每一巨集區塊的該精細畫質預測誤差值和該粗略畫質 預測誤差值所導出,該預估的錯誤匹配誤差係從每一巨集 區塊的該最佳情況與該最壞情況的錯誤匹配誤差所導出。 14·如申請專利範圍第13項所述之具有至少兩種編碼模式的編 碼方法,其中,該編碼方法具有一全粗略畫質預測模式、 一全精細畫質預測模式、與一混合預測模式,而該複數個 巨集區塊在該步驟(b)裡被分類為一全粗略晝質預測群組、 一全精細畫質預測群組、與一混合預測群組,該全粗略畫 200531454 質預測群組_每-巨㈣塊均指定採職全粗略畫質預 測模式,該全精細畫質綱群組裡的每集區塊均指定 採用該全精細畫質預測模式,該混合預測群組裡的每一巨 集區塊均指定採用該混合預測模式。 15·如申請專概_ 13撕述之具有至少兩機碼模式的編 碼方法,其中,一巨集區塊的編碼增益除以該巨集區塊預 測的錯誤匹配誤差被定義為該巨集區塊的編碼效率,然後 該巨集區塊根據其編碼效率被指定採用該全粗略畫質預測 模式、該全精細畫質預測模式、與該混合預測模式三者之 其中一種。 I6·如申請專利範圍第I5項所述之具有至少兩種編碼模式的碲 碼方法,其中,從該複數個巨集區塊的編碼效率,計算出 一編瑪效率平均值與一編碼效率標準差,然後藉由比較該 給定之巨集區塊的編瑪效率,和由該編碼效率平均值與該 編碼效率標準差來決定的值,該巨集區塊被指定採用該全 粗略畫質預測模式、該全精細畫質預測模式、與該混合預 測模式三者之其中一種。 17·如申請專利範圍第16項所述之具有至少兩種編碼模式的編 碼方法,其中,該巨集區塊的編碼效率若小於該編碼平均 值與該編瑪標準差的一預定倍數兩者的差,則該巨集區塊 被指定採用該全粗略畫質預測模式,該巨集區塊的編碼效 率若大於該編瑪平均值與該編瑪標準差的一預定倍數兩者 的和,則該巨集區塊被指定採用該全精細畫質預測模式, 否則的話,該巨集區塊被指定採用該混合預測模式。 39 200531454 18·—種裁切一組圖像的一加強層裡的位元層以分派位元的方 法,該位元係被送至一客戶端頻道,該方法包含下列步驟: (a) 如果該加強層可用於分派的位元總數小於或等於該組 圖像所有Ι/P-畫面用於精細畫質預測的加強層位元總 數,則實施低速率位元裁切; (b) 如果該加強層可用於分派的位元總數小於或等於該組 圖像用於精細畫質預測的加強層位元總數,但大於該組 圖像所有Ι/P-畫面用於精細畫質預測的加強層位元總 數,則實施中速率位元裁切;以及 (c) 如果該加強層可用於分派的位元總數大於該組圖像用-於精細畫質預測的加強層位元緯數,則實施高速率位岑 裁切。 19·如申請專利範圍第18項所述之一種裁切一組圖像的一加 強層裡的位元層以分派位元的方法,其中該低速率位元裁 切以一位元數分派給該加強層的每一 Ι/P-畫面,該位元數 正比於、一比值,該比值為每一 1/?_畫面用來預測的位元數 與該組圖像所有Ι/P-畫面用於精細畫質預測的位元總數 的比,且該低速率位元裁切未分派位元給該加強層的任何 畫面。 20·如申請專利範圍第19項所述之一種裁切一組圖像的一加 強層裡的位元層以分派位元的方法,其中該中速率位元截 刪以一位元數分派給該加強層的每一 Ι/p-畫面,該位元數為 每一 Ι/p·畫面用來精細畫質預測的位元數,且該中速率位元 裁切以一位元數分派給該加強層的每一 B-畫面,該位元數 200531454 正比於一比值,該比值為每一 B-畫面用來精細畫質預測的 加強層最顯著位元數與該組圖像所有畫面用於精細畫質 預測的加強層最顯著位元總數的比。 21·如申請專利範圍第20項所述之一種裁切一組圖像的一加 強層裡的位元層以分派位元的方法,其中該高速率位元截 刪以一位元數、加上另一位元數、以及該組圖像所有B-畫 面用於精細畫質預測的加強層最顯著位元總數,分派給該 加強層的每一 Ι/P-畫面,該位元數為每一 Ι/P-畫面用來精細 畫質預測的位元數,該另一位元數正比於一比值,該比值 為每一 Ι/P-畫面用來精細畫質預測的位元數與該組圖像所 有Ι/P-畫面用於精細畫質預測的位柔總數的比,並且該高缚 率位元裁切以一位元數、以及該組圖像所有B-畫面用於精 細畫質預測的加強層最顯著位元總數,分派給該加強層的 每一 B·畫面,該位元數正比於一比值,該比值為每一 B-畫面用來精細畫質預測的加強層最顯著位元數與該組圖像 所有B-畫面用於精細畫質預測的加強層最顯著位元總數的 比。 22·如申請專利範圍第21項所述之一種裁切一組圓像的一加 強層裡的位元層以分派位元的方法,其中該中速率位元裁 刪以一位元數分派給該加強層的每一 Ι/P-畫面,該位元數為 每一 Ι/P-畫面用來精細畫質預測的位元數,且該中速率位元 裁切以一位元數分派給該加強層的每一 B-畫面,該位元數 正比於一比值,該比值為每一 B-畫面用來精細畫質預測的 加強層最顯著位元數與該組圖像所有畫面用於精細畫質 200531454 預測的加強層最顯著位元總數的比。 23·如申請專利範圍第18項所述之一種裁切一組圖像的一加 強層裡的位元層以分派位元的方法,其中該高速率位元截 刪以一位元數、加上另一位元數、以及該組圖像所有B—畫 面用於精細畫質預測的加強層最顯著位元總數,分派給該 加強層的每一 Ι/P-畫面,該位元數為每一 Ι/P-畫面用來精細 畫質預測的位元數,該另一位元數正比於一比值,該比值 為每一 Ι/P-畫面用來精細畫質預測的位元數與該組圖像所 有Ι/P-畫面用於精細畫質預測的位元總數的比,並且該高速 率位元裁切以一位元數、以及該組圖像所有B-畫面用於精, 細畫質預測的加強層最顯著位元缚數,分派給該加強層兮 每一 B-畫面,該位元數正比於一比值,該比值為每一 B-畫面用來精細畫質預測的加強層最顯著位元數與該組圓像 所有B-畫面用於精細畫質預測的加強層最顯著位元總數的 2〇〇5m 式: 附加第1圖〜第14(b)圖,共19頁。
    43
TW93106316A 2004-03-10 2004-03-10 Method and apparatus for mpeg-4 fgs performance enhancement TWI293833B (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW93106316A TWI293833B (en) 2004-03-10 2004-03-10 Method and apparatus for mpeg-4 fgs performance enhancement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW93106316A TWI293833B (en) 2004-03-10 2004-03-10 Method and apparatus for mpeg-4 fgs performance enhancement

Publications (2)

Publication Number Publication Date
TW200531454A true TW200531454A (en) 2005-09-16
TWI293833B TWI293833B (en) 2008-02-21

Family

ID=45067980

Family Applications (1)

Application Number Title Priority Date Filing Date
TW93106316A TWI293833B (en) 2004-03-10 2004-03-10 Method and apparatus for mpeg-4 fgs performance enhancement

Country Status (1)

Country Link
TW (1) TWI293833B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI387349B (zh) * 2008-10-12 2013-02-21 Mediatek Inc 數位媒體資料的編碼方法、已編碼的數位媒體資料的解碼方法以及數位媒體資料的位元流的處理方法
TWI411303B (zh) * 2007-12-20 2013-10-01 Broadcom Corp 視頻處理系統和方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8366552B2 (en) * 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI411303B (zh) * 2007-12-20 2013-10-01 Broadcom Corp 視頻處理系統和方法
TWI387349B (zh) * 2008-10-12 2013-02-21 Mediatek Inc 數位媒體資料的編碼方法、已編碼的數位媒體資料的解碼方法以及數位媒體資料的位元流的處理方法

Also Published As

Publication number Publication date
TWI293833B (en) 2008-02-21

Similar Documents

Publication Publication Date Title
US7227894B2 (en) Method and apparatus for MPEG-4 FGS performance enhancement
JP4833296B2 (ja) 多階層を基盤としたスケーラブルビデオコーディング方法および装置
Chen et al. Recent advances in rate control for video coding
JP5384694B2 (ja) 多層ビデオ設計のためのレート制御
CN101120591B (zh) 对图像数据流执行可扩展编码和解码的设备和方法
DK2382784T3 (en) Video coding with multi-bit-rate using variable-bit-rate and dynamic resolution for adaptive video streaming
US6233017B1 (en) Multimedia compression system with adaptive block sizes
US20060088094A1 (en) Rate adaptive video coding
EP1249131A1 (en) Video compression for multicast environments using spatial scalability and simulcast coding
KR20060122671A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US20080130757A1 (en) Method and system for scalable bitstream extraction
Reibman et al. DCT-based scalable video coding with drift
TW200531454A (en) Method and apparatus for MPEG-4 FGS performance enhancement
van der Schaar et al. Motion-compensation fine-granular-scalability (MC-FGS) for wireless multimedia
KR100714446B1 (ko) Mpeg 계층화 동영상 전송 방법
Chen et al. MPEG-4 FGS coding performance improvement using adaptive inter-layer prediction
Lie et al. Dynamic rate control for MPEG-2 bit stream transcoding
MX2008012360A (es) Metodo de asignar prioridad para controlar la velocidad binaria de un flujo de bits, metodo para controlar la velocidad binaria de un flujo de bits, metodo de decodificacion de video y aparato que usa el mismo.
Liu et al. A comparison between SVC and transcoding
Özbek et al. Viterbi-like joint optimization of stereo extraction for on-line rate adaptation in scalable multiview video coding
Mendes et al. Two-scale transmission of DCT-coded video over lossy packet networks
Zhou New techniques for streaming MPEG video over the internet
Su et al. Efficient bandwidth resource allocation for low-delay multiuser MPEG-4 video transmission
Parthasarathy et al. Optimal rate control methods for fine granularity scalable video
Vora et al. Rate control for scalable video model (h. 264/avc)

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees