TW420935B

TW420935B - Method and apparatus for increasing memory resource utilization in an information stream decoder

Info

Publication number: TW420935B
Application number: TW088107451A
Authority: TW
Inventors: Shipeng Li
Original assignee: Sarnoff Corp
Priority date: 1998-05-07
Filing date: 1999-05-07
Publication date: 2001-02-01
Also published as: EP1078529B1; KR20010043394A; BR9910270A; JP2002514867A; CN1369175A; EP1078529A1; KR100651316B1; WO1999057908A1

Description

420935 五、發明說明（l) 本申請書聲言該1998年5月7曰提出之美國臨時申請案號瑪60/084, 63 2的利益。本發明概略地說明通訊系統；且更明4地說明一種於一資訊流解碼器（如一mpeg類的視訊解碼器）中，用以增加記憶體利用之方法和裝置β 多明背景於數個通訊系統中，將該傳輸的資料壓縮，以便更有效率地利用該可用的頻寬。例如，該動態圖形專家小組 (MPEG)公佈了數個和數位資料傳遞系統相關的標準。首先係已知為MPEG-1 ，意指國際標準協會/國際電子委員會 (ISO/IEC)標準1 11 72，並以提及的方式併入本文中。其次係已知為MPEG-2，意指國際標準協會/國際電子委員會 (ISO/ IEC)標準13818，並以提及的方式併入本文中°於該高階電視系統委員會（ATSC)的數位電視標準公文A/53中，說明一個壓縮的數位視訊系統，並以提及的方式併入本文中。該等上面參考的標準說明了資料處理，及適合該視訊壓縮和傳遞、聲頻及其它利用固定或變化長度數位通訊系統的資訊之操縱技藝。特別是，該上面參考的標準、和其它 ” MPEG類的”標準和技藝，說明了利用視框内編碼技藝f如連續值歷縮編碼法，貨夫曼編碼等等）、框間的編碼 (如正向和逆向預測編碼，移動補償等等）壓縮視功明確地說，於該視訊處理系統的事例中，植美· β 、貝訊。編碼的視訊圖框為MPEG和MPEG類的鉬β * 土於預剛壓縮讯讯愿理系統之特徵， 420935 五、發明說明（2) 其中該視訊圏框具有或不具"視框内償編碼。或間移動補於一典型的MPEG解碼器令’係就—個工作區圖框）解碼預測的編碼像素區匡（即一個移動向量和一個剩餘錯誤元件的區卩^ 個或多個存於該解碼器内一個工作區圖框；：)體广工作區圖框儲 =圖框記憶體。因將-個工作區圖;、的：：個以：-雙，解碼區塊和該雙重圖框記憶體的―；一解碼，憶體該第-個部份中的解碼區塊= 重圖棺記 -第二個部份耦合。如{ 雙重圖框記憶體的 :個部份儲存該最近裝滿的工作“框圖該第份依次利用，作為該用…㈣雜：u芦就t錢和積體電路晶粒大小(影響電路的複作C圖r;ΐ 用和熱分散）的觀點，執行-個工該=需的金錢損失可能相當的高。此外’如之増力:？的糧增加時，㈣需的記憶體大小亦隨體摘量必續ΐ，於一尚晝質電視（HDTV)解碼器中，該記憶憶:量必須足以執行該（雙重）工作區圖框所需的工作區記 ::二f碼該最高的解析度影像，，因當該被解碼求Γ:Λ 度增加時’該圖框儲存記憶體的該等頻寬需記惟科貝料儲存和擷取的速度）亦隨之增加，故該圖框儲存 ° 體的頻寬必須能夠處理該被解碼之最高解析度影像的

第6頁 420935 五、發明說明（3) 需求。因此，察覺到，提供—種所需的記憶體和記情體頻^顯，者減少解碼一視机影像該的全解析度或縮小同時實質地保留該-產生較可取的。之視訊影像的品質”之方法和裝置，係發明總結本發明包括一種於一 , a 體和記憶體頻寬需求之方=解瑪器中、用以減少記憶訊，並在利用該裝置。藉儲存前壓縮影像資模前，解壓縮該儲存的(壓縮的)影像資訊移= 記憶體和記憶體頻寬的需求。說明-種方法和裝置：二一 Η·微波變換、一優先量化和 J父利用或多個像素…以產生一個或多個個別乂壓：二別的文字包括"優先量化的H a a Γ微波係數”和，，相其中個 :標”：於-動態圖形專家小組(MpEG)類的處理 = 即中，藉一個"二”的因素減少記憶體資 ^如儲存）。於另一個體系中，每一個像素區塊的受需广(：圖框弦變換（DCT)處理和高階DCT係數捨去，藉以1於離散餘訊一改良的壓縮率。生該像素資明確地說，一種根據本發明所揭露的方法 ^ 驟：利用一Haar微波變換，變換—個像素區塊，了該等步個Haar係數區塊；利用多個縮放因素，量化該以形成一塊，以形成一個個別的量化Haar係數區塊，選=ar係數區縮放因素，使優先地將一可用的位元預算該等多個罝蛤量化的 η 4209 35 五、發明說明' ' ~

Haar係數，其中該等量化的Haar係數代表該像素區塊極低的垂直和水平空間頻率元件；將”該等每一個量化的“盯係數11和κ該等多個縮放因素中至少一個縮放因素,，封入一個別的文子中；及.儲存該文字於該解碼系統内一個記憶體模組中。 ^ 圖式簡皁藉考量下面的詳述、連同該伴隨的圖示，能迅速容易地瞭解本發明的教旨，其中：圖1說明拫據本發明的一個Μ P E G類的解碼器之一個體系；圖2說明〜個適用於圖1該MPEG類的解碼器之壓縮模組；圖3說明~~個適用於圖1該MPEG類的解碼器之解壓縮模組；圖4說明一種根據本發明的資料壓縮方法之流程圖，適用於圖1該壓縮模組或該MPEG類的解碼器；圖5說明圖4該資料壓縮方法之一圖形表示；圖6說明根據本發明的一個壓縮處理之方塊圖；及圖7說明根據本發明的一個壓縮處理之方塊圖。為了易於瞭解，儘可能使用相同的參考數字指示該等圖示中共有的相同元件。詳述 ' 將於一視訊解碼器的章節内，就一個MPEG-2視訊解碼器例證說明本發明。然而，對那些熟知此技藝的人來說，將察覺本發明適用於任何視訊處理系統，包括該等改編成

第8頁 420935 五、發明說明（5) DVB，MPEG-1和其它資訊流的系統。明確地說’將於一 Μ P E G類的解碼系統之章.節中主要的說明本發明，其中該MPEG類的解碼系統接收和解碼一壓縮的視訊資訊流I N，以產生一個視訊輸出流OUT。本發明藉儲存前壓縮影像資訊，並在利用該影像資訊於例如，該解碼器的一移動補償模組中之前，解壓縮該儲存的（壓縮的）影像資訊，使減少記憶體和記憶體頻寬的需求。圖1說明根據本發明的一個Μ P E G類的解碼器1 〇〇之一個體系。明確地說，圖1的解碼器1 〇〇接收和解碼一壓縮的視訊資訊流I Ν，以產生一視訊輸出流OUT。該視訊輸出流out適合與例如，一簡報裝置（未顯示）内的一顯示驅動器電路耦合° MPEG類的解碼器1 〇〇，包括一輸入緩衝記憶體模組丨〗1，一可變長度的解碼器（VL D )模組丨1 2，一逆轉量化器（IQ )模組1 1 3，一逆轉離散餘弦變換（I D CT )模組1 1 4，一加法器 1 1 5 ’ 一移動補償模組1 1 6，一輸出緩衝模組11 8，一工作區圖框記憶體模組11 7，一壓縮模組2 0 0及一解壓縮模組 3 0 0 °可選擇地，MPEG類的解碼器1 0 0包括一副取樣模組 2 0 0 X和一交叉法模組3〇〇χ。輸入緩衝記憶體模組1丨1接收該壓縮的視訊流IΝ，就一可變長度的編碼位元流代表例如，從一傳輸分工器/解碼器電路（未顯示）輸出的一高畫質電視信號（HDTV)或標準晝質電視信號（SDT V )，例證說明之。利用輸入缓衝記憶體模組1 1 1暫存該接收的壓縮視訊流I N，直到可變長度的解碼

第9頁 420935 五'發明說明（6) 器模組112準備好接受該用以處理的視訊資料為止。VL]) 11 2有一個輸入，和輸入緩衝記憶體模組丨丨丨的一資料輸出耦合，以擷取例如該儲存之可變長度的編碼視訊資料，為資料流S1。 ' VLD 112解碼該擷取的資料，以產生—固定長度的位元流S2，S2包括量化的預測錯誤DCT係數和一移動向量流 MV。緊接著固定長度位凡流§2之後，模組丨丨3執行一逆轉量化操作，以產生一位元流S3，S3包括標準形式的量化預測錯誤係數。緊接著位元流83之後，IDCT模組114執行一逆轉離散餘弦變換，以產生一位元流S4，S4包括"像素χ 像素"預測錯誤。加法器115將"像素X像素"預測錯誤流^增加至一移動補償預測像素值流S6中，其中S6由移動補償模組116產生。如是’於該例證的體系中，加法器115的輸出為一包括重建像素值的視訊流S5。加法器丨丨5產生的視訊流S5，和壓縮模組200、輸出緩衝模組丨18耦合。可選擇地，加法器 11 5產生的視訊流S 5，和副取樣模組2 〇〇 χ耦合。壓縮模組1 1 8，以區塊基礎將視訊流s 5壓縮在一個區塊上，以產生一壓縮的視訊流S5，。於下將就圖2，圖4和圖 3，對壓縮模組2 0 0的操作作更詳細的說明。簡短地說，壓縮模組20 0以像素區塊的基礎（例如—個4)(4，4χ8或8)^的像素區塊），於一個像素區塊上操作，根據—.Haar微波 ’換處理該區塊，以壓縮一個工作區圖框内的每一個像素區塊，優先地量化該產生的Haar係數區塊，縮放該等產生

420935 五、發明說明⑺ 的耋化系數’並包封該等縮放的係數和相關的縮放因素， >乂形成該像素區塊一個縮放、量化和Haar定義域的表示，真该代表和該壓縮模組的輸出耦合，作為壓縮視訊流s 5 ’ 的〆部份。該等發明者注意到，該工作區圖框該一個縮放、量化和Haar定義域的表示，大約只需求該像素定義域工作區圖框表示所需記憶體的一半。如是，藉一個,，二„的因素’減少該工作區圖框記憶體模組丨丨7的記憶體需求。在一個像素區塊上執行一個Haar微波變換之前，可利用一 ’’ 一次元的11或"二次元的"DCT功能處理該像素區塊，且 <選擇地利用一DCT係數捨去功能。接著，根據該“⑶微波變換處理該等產生的DCT係數（捨去或未捨去）。於本發明的一個體系中，4x4的像素區塊受制於一2D的 Haar微波變換，在該等結果封入資料文字中作為隨後存至例如，工作區圖框記憶體模組丨丨7中之前，先適當地量化和縮放該等結果。該等4χ4像素區塊之該等每一個產生的縮放、Haar定義域表示，均占據約6 4個位元或更少的位元。本發明的該體系產生一個2:1壓縮的像素資訊，且將於下就圖4和5作更詳細的討論。於士孓月的另一個體系中，利用一 ^或⑼的^口處理4x8 的像素區塊（即4個像素列χ 8個像素行），以產生dct係數之個別的4x8區塊。在捨去蚱古略玷n 甘何玄為冋的DCT係數之德，DCT # 數該等產生的4x4區塊受制於, '、及又刺於的Haar微波變換，在該箄結果封入資料文字中之前，春、s a认Θ 供隹通寻 * ^ 4r ^ ^ 先適*地罝化和縮放該等結果。邊#像素區塊之該篝在—袖其+ 忒寻每一個產生的縮放、Haar定義域

第11頁 42〇935 五、發明說明（8) ^ 2 j占據約6 4個位元或更少的彳立_ Ϊ;—個4。壓縮的像素資訊，且將位二。本發明的該體系 5寸淪。將於下就圖6作更詳細的作圖樞記憶體模组1 S5。有利地，因係以該像辛=二儲存該塵縮的視訊流之，而非儲存該像素區塊本身，故2墨縮的表示儲存 ;組117的大小減少成該正常大：的可將丰工作區圖框記憶體存於工作區翮4「^ t *穴j的~ +。必須將該等儲給移動中的壓縮像素區塊，提供動補償』更進一步的處理。然而，因該移 S7,、先磨縮的像素資料，故經由信號路徑解壓縮之用二區塊提供給解壓縮模組3〇。作為模组30 0x1人解I縮模組300的輸出和交又法未壓縮像以於移動補償模組116處理之前，作為該木歷細像素資料的向上取樣（即重新縮放）。壓縮模組30 0實質地反映上述壓縮模組2〇〇的操作。也 ΐ尤疋況解壓縮模組300接收每一個Haar定義域區塊，且未，封遠接收的Haar定義域區塊，以擷取該等H a打係數和該等先前使用的縮放因素。接著，利用該等未包封的縮放因素縮放該等未包封的H aar係數，且該等未包封的Haar係數受制於一逆轉的Haar微波變換，以實質地重新產生該原始的像素區塊。可選擇地，該逆轉的Haar微波變換產生」個DCT係數的區塊’並接著受制於一逆轉的j)CT變換，以實質地重新產生該原始的像素區塊。將於下就圖3對解壓縮模組3 0 0作更詳細的討論。 ''' > 420935

sfiif。動補償模組1丨6，經由信號路徑S7存取解壓縮模組也就疋說，移動補償模組116利用一個或多個儲存的區圖框（例如，形成該視訊信號該最近的卜圖框或p_ C之該等實質重新產生的像素區塊，其中該視訊信號係在加法器115的輸出上產生的），和從VLD 112中該接收的 f，向1信號MV，以計算該移動補償預測像素值流％的該，在將忒明可選擇的副取樣模組2 0 0 X和交叉法模组3 〇〇 X 之操作。副取樣模組2 00 X執行”副取樣”或，，減去十分之一,, ，訊流S5内的該像素資訊，以產生該視訊影像（由該像素資料所表示的）一個重新縮放（即縮小）的效果。例如，可將一個p 1 920個像素χίο條線11的高晝質影像重新縮放成個較小的影像’如一個標準的η 72 〇個像素χ48 〇條線,，的 $像，或選取其它一些非標準的格式以概略地減少記憶體需求’或將記憶體需求減少至一特殊的等級，例如由可用半導體區域或其它因素所判定的等級。接著，藉壓縮模組 2 0 0於該應用中別處所描述的方式處理該副取樣視訊流。利用交又法模組3 0 〇 X重新縮放（即放大）該副取樣模組 2 0 0 X操作先前所產生的縮小影像資訊。交叉法模組3 〇〇 χ利用解壓縮模組3 0 0提供的該影像資訊，以計算（即估計）副取樣模組2 0 〇 X操作先前所移除的影像資訊，使移動補償模組11 6接收代表一適當影像大小的像素資訊。須注意，副取樣模組2 0 0 X和交叉法模組3 〇〇 X的操作，將天生地導致影像解析度和影像品質的一個損耗。然而，例如於該一無法，420935

五、發明說明（ίο) 提供該解析度（即一個小的顧千答兩、^ 备〜 „ ^ n 顯不管電視系統）的簡報系統之章節内，將不會提及該影像解妬择认Α ^ 界鮮析度的損耗，且該金錢減飨產生的成本節省，對該簡報系鲚的# +β > ^ i史啤縮

尔既的市場成功性來說，可飴非常重要且具決定性的。 I π & j I 圖2說明一個適用於圖1該MPFr猫ΑΛ _ 類的解碼器之壓縮模組 200。壓縮模組2 0G包括一可選柽沾触也从 ^ 』进释的離散餘弦變換模组 (DCT)21〇，一微波變換模組22〇(以—仏盯微波變換模址 (HAAR)例證說明之），一量化模組（Q)23〇，一包封模纽 mcKmG及-比率控制模組25G。可如—特別應用積路（ASIC) ’或如-根據本發明所規劃、執行特殊功能用電腦，執行該壓縮模組的功能。壓縮模組2 00，於一離散餘弦變換（DCT)壓縮模式和— DCT壓縮模式中的一個操作，以產生包含於該視訊流s5

該像素資訊的一個塵縮D 於該非DCT壓縮模式中，壓縮單元2〇()產生—個2: 1壓縮的像素資訊。例如，於該一具有8個位元動態範圍^包括 128個位元的資訊）的4x4像素區塊之事例中，於該非DCT模式中操作的該壓縮模組，對每一個4x4像素產生」64個位' 元的表示，且影像品質中無實質的損耗。同樣地，於該— 8x8像素區塊（約51 2個位元）或該一8x4像素區塊（約2 5 6個位元）之事例中’於該非DCT模式中操作的該壓縮模組，分別產生一 256個位元或一 128個位元的表示，且影像品質中無實質的損耗。

於該DCT壓縮模式中（即於Haar變換之前捨去高階DCT

420935 五、發明說明（11) 數）’壓縮單元200產生一 4:1壓縮的像素資訊《如是，於該一 8x8像素區塊（約512個位元）或該一 8x4像素區塊（約 2 5 6個位元）之事例中，於該Dct模式中操作的該壓縮模組，分別產生該像素資訊一 1 28個位元或一 64個位元的表示’雖然在南頻率影像資訊（例如《端"資訊）中有些微的減 ^1/* 。 DCT模組210的輸出和Haar變換模組220耦合，其中該輸入像素區塊或D C T係數區塊受制於一 η a a r變換處理^該產生的Haar係數區塊和量化器230耦合。量化器230，回應比率控制器250產生的一控制信號rc，並優先地量化和縮放該H a a r微波係數區塊，以產生一個和包封模組2 4 0輕合的資料字作為資訊流S5’ 。比率控制器250監督”至量化器230 的該輸入”和”量化器2 3 0的該輸出"，以判定該等量化的係數區塊之形態和大小。於該非DCT壓縮模式中，以4x4的像素區塊例證說明之，其中每一個4x4的像素區塊（即像素％到心5)受制於一個二次元的Haar微波變換，以產生一個相對應的4x4Haar係數區塊（即係數\到Xis) °該等每一個Haar係數，代表和，1該 4 X 4像素區塊内該視訊資訊該水平空間頻率元件和垂直頻率元件一部份"相關的該分光譜能。接著，以一優先的方式量化該等Haar係數，以便"重要的係數（即該等代表空間頻率元件、更迅速地提供人類眼晴可辨識之影像資訊的係數）比較不重要的係數配置到更多的位元。接著，藉— 個” 1 / 2n ”的縮放該等量化的係數’其中選取η使其為滿足

第15頁 420935 五、發明說明（12) 該下面關係的最小值：小於一組微波係數該絕對值的最大值，其中一紲意指該等共用該相同縮放因素的係數，且m為配置給該組中每一個係數的位元總數。最後，將該等縮放係數和該等相關的縮放因素封入一（約）6 4個位元的文字中。接著’該64個位元的文字和工作區圖框記憶體模組1 1 7耦合，作為壓縮視訊流S5’的一部份。於該D C Τ壓縮模式中，以4 X 8的像素區塊例證說明之，其中每一個4x8的像素區塊（即像素xQ到)^31 )受制於一個1D或 2D的DCT功能，以產生一個相對應的4X8 DCT係數區塊（即係數Χα到X31 )。捨去該等高階DCT係數區塊（即係數Χ16到 Xsi )，導致一個4x4DCT係數區塊（即係數Χ0到Χ15)。接著，該產生的DCT係數區塊受制於一個二次元的Haar微波變換’以產生一個相對應的4 X 4 H a a r微波係數區塊（即係數xq 到5 )。接著’以實質上該非D C T模式操作中所提供之相同的方式，優先地量化、縮放和包封該等H a a r微波係數，以產生C就該一個4 X 8像素區塊的事例而言）一相對應6 4個位兀的文字。接著，該64個位元的文字和工作區圖框記憶體模組U 7耦合，作為壓縮視訊流S5，的一部份。可根據一特殊應用的該等需要，選擇DCT模式或非DCT模式。例如，於一低解析度或標準晝質（即非高晝質）電視應用中，於該影像中"產生π某些該高頻率的詳細資訊為可接受的，雖然對一個高晝質應用來說，該資訊可能非常重要且具決定性的。此外，限制在一設計的解碼器内之該記憶體，可指定使两—增強的壓縮等級，如該DCT模式操作所提供的。

第16頁

圖3說明一個適用於圖1該MPEG類的解踩抵 30 0。圖3的解壓縮模組3 0 0包括以一個夫胂坚糨模組 ^ ^ ^ ^ 调禾包封模組310提及的該次序之一連串的耦合，一個逆轉量化（Q_ 一個逆轉“&1'變換（以乂卜1)模組33 0及—個7讲、' 個可選擇的逆趙離散餘弦變換模組（IDCT)340。該解壓飨斑4 将 w龙难模組以反向的次序、並就壓縮模組200該上述相對應模組的逆轉功能執― 之。因此，將不詳盡的討論該壓縮模組的操作◊簡短地^ 說，壓縮模組3 0 0接收一包封的資料文字，拆封該資料文字以榻取一個Haar微波係數區塊’並於該未包封的胃係數區塊上執行一個逆轉Haar微波變換，以產生—個DCT係數區塊或一個像素區塊D於壓縮模組2〇〇未捨去一個DCT儀數區塊的該事例中’該D C T係數區塊受制於一個逆轉的ρ〔 τ操作，以產生一個像素區塊。於壓縮模組2〇〇捨去—個〇CT係數區塊的該事例中’空係數增加至該DCT係數區塊中，以將該DC 1係數區塊填滿成該適當的大小，該,，填好的"τ係數區塊受制於一個逆轉的DCT操作，以產生一個像素區塊。現在，將就圖4和圖5對壓縮模组2 〇〇的操作作更詳細的說明。圖4說明一種根據本發明的資料壓縮方法之流程圖，適用於圖2的該壓縮模組或圖1該抑“類的解碼器。圖 5說明圖4該資料壓縮方法之一圖形表示。可如圖1該評£{；類的解碼器1 0 0的合作模组間之一邏輯功能，執行圖4的壓縮常式400。亦可如一通用計算裝置内的一個常式，執行壓縮常式40 0。壓縮模式40(3執行，就一個視訊流（即在圖1

第17頁五、發明說明（14) 該MPEG類的編碼器中、加法器丨丨5輸出上產生的視訊流S5) 中的4 X 4像素區塊例證說明之，壓縮每一個4 x 4像素區塊，以產生一個資料組’代表該具有一極小資料量的4 χ 4像素區塊。於步驟402 ’開使壓縮常式4〇〇，例如當壓縮模組2〇〇接收一個4x4像素區塊時（圖5，參考號碼51 〇)。壓縮常式4〇〇進行至步驟4 03 ’其中產生—有關該壓縮模組操作模式的詢問。於步驟40 3，如該詢問的回答指出在一非DCT模式的操作令執行該壓縮模組’則常式4 〇〇進行至步驟4 〇 6。於步驟40 3，如該詢問的回答指出在一DCT模式的操作中執行該壓縮模組’則常式400進行至步驟4〇4。於步驟404，在該4x4像素區塊上執行一離散餘弦變換 (DCT)，以產生一個4x4的DCT係數區塊（圖5，參考號碼 5 20 )。該DCT可以為一個一次元的或二次元的κτ。接著，壓縮常式400可選擇地進行至步驟4〇5 ,其中捨去步驟4〇4 中該DCT變換所產生的該等高階DCT係數（圖5中未顯示）。接著，常式4 00進行至步驟4〇6。該DCT變換（步驟404)和高階DCT係數捨去（步驟4〇5)的组合係特別有效的，其中需要較大的壓縮。例如，考慮該等包括4x8像素區塊（即4個像素列χ 8個像素行）的輸入像素區快之事例’而非考慮4χ4的像素區塊，其中該記憶體配、置維持不變（即一4:1的壓縮為必要的）。於步驟4〇4，執行例如-個2D的DCT、產生了-個個別的4χ8的D(：T係數區塊之後’則可選#地捨去該等高階町係數（即代表該像素區

第18頁 420935 五、發明說明（15) 塊内該最高像素光譜的該等16個DCT係數），以產生一個 4x4的DCT係數區塊。該4x4 j)CT係數區塊包括t，以形成該像素區塊内該大多數的像素定義域資訊（僅無該最高頻率像素定義域資訊）。為了重新架構該像素定義域資訊（例如解壓縮模組3 00上），16個空DCT係數增加至該等16個未捨去的DCT係數中’以形成—個4χ8的DCT係數區塊，當根據一個逆轉的DCT模組處理時，該4X8的DCT係數區塊將產生一個4x8的像素區塊。該產生的像素區塊，可缺少該原始4x8像素區塊中找到的該某些高頻率（即詳細的）資訊，但對該應用來說，該資訊可能並不重要且不具決定性的。於該一 4x4像素區塊或一 8x8像素區塊之事例中，步驟 405的該高階捨去將分別導致一個2?(4的DCT區塊或一個4X8 的DCT區塊。可改裝該捨去係數的總數，以捨去更多或較少的DCT係數。例如，可捨去一個8χ8像素區塊的一2D DCT 處理所產生的該8x8的DCT係數區塊，以產生一個4χ4的像素區塊（於高頻率影像資訊中有一相對應的減少）。於步驟406 ’在該原始的4x4像素區塊（51〇)，和該步驟 404(52 0 )產生的該DCT係數區塊、或可選擇地該步驟4〇5產生的邊捨去的DCT係數區塊上’執行一個二次元的jjaar微波變換。該二次元的Haar微波變換導致一個4χ4的微波係數區塊（圖5 ’參考號碼530)。該等每一個微波係數，代表該4x4像素區塊5 1〇之該一特殊頻率範圍的垂直和水平空間頻率元件。現在參考圖5，根據該代表的垂直和水平光譜，將該4χ4

第19頁 420935 五、發明說明（16) 的微波係數區塊（5 30)分割成限，表示為一"L L"象限，勹四個象限。一個左上的象垂直空間頻率元件和低水f $代表該4x4像素區塊5 1 0的低數。一個右上的象限，_表八空間頻率元件之該等微波系直空間頻率和高水平空間:^ — LH”象限，包括代表低垂的象限，表示為一” HLt[象-Y之该等微波系數。一個左下件和低水平空間頻率元件 ^括代表高垂直空間頻率元限，表示為-” M”象限，台波系數。一個右下的象古皮单允鬥舾* -从 > 枯代表高垂直空間頻率元件和问水干二間頻率70件之該等微波系數。該LL象限，更進一步根撼兮τ τ $ 孚异碰，八刻# 伽工Α據5^LL象限内該代表的垂直和水 +先語，为割成四個子象限。一 ^ 一” LLLL”子象限，包括代表上的子象限，表不為 ....τ . 表。亥4χ4像素區塊51〇的一實質⑽

垂直和水平空間頻率元件 Λ DL 限，表示為一 ” LLLH"子象m ^ ^ L 冢高水平空間頻率之該等微浊备叙丨两手和示為一"LLHL"子象限》包括技#古+ + 豕限表水平空間頻率元件之該等微-备者 #低表示為一"LLHH,f子象限，台括讲志上本豕限，高水平空間頻率元件之該等微波系數。件和於執行該2D的Haar微波變換（步驟4〇6)之後’壓縮 40 0進行至步驟408，其中利用—個，的縮放因素式參考號碼540)量化該等微波系數。該量化處理圖‘ 確性，其中以該精確性’並藉"-組量化值或-組縮放= "該等微波係數、適當的四捨五入成整數值以：

O:\58\58399.

第20頁 420935 五、發明說明（17) 波係數。對每一組微波係數個別地設定該量化值。以該值量化該等DCT係數，將許多該等DCT係數轉換成零，藉以改良影像壓縮的效能。明確的說，優先地量化該等微波係數’以便較重要的"係數（即該等代表空間頻率元件、更迅速地提供人類眼睛可辨識之影像資訊的微波係數）比，，較不重要的係數配置到更多的位元。也就是說，該用以表示每一個係數的位元總數，藉和"該表示一影像的係數其相對重要性”成反比例的—個數量而減少。因^類的眼睛對低空間頻率影像元件較敏感，故一個影像的名DC元件係最重要的。如是，利用一個”四，，的縮放因素至—八個位兀的精確等級中’量化該XQ係數（即該LLLL 子象限）’導致—個量化的^匸元件x〇q。利用一個""的縮放I素至了，個位元（加上一個符號位元）的精確等級中，里化，等每—個剩餘的LL象限係數，即X】，X2和χ3係數導致里化的LL元件xiQ，x2(j和x3Q。該縮放因素"m"包括一個"2 -位元11的整數。於遠例證的體系中’該等發明者將LH象限視為該第二個最重，的象限:然而，該LH象限的量化，係視該64個位元的文子預算在量化該剩餘的兩個象限中（即該孔和該hh象限）>肖耗了多少而定。如是，在處理該LH象限之前，先處理該兩個"最不重要的11象限一該HL和該HH象限。利用一個4木2n"的縮放因素至一兩個位元（加上一個符

X 號位70)的精確等級上，量化該等每一個HL象限係數，即 V - Y ，γ 和 X -

lJ2 13 導致量化的HL元件X8(J，X ，和义 13Q

O:\58\58399.PTD 第21頁 420935 五、發明說明（18) 利用一個M 4* 2n"的縮放因素至一兩個位元（加上一個符號位元）的精確等級上，量化該等每一個HH象限係數，即 X10，Xu，X14和乂15，導致量化的HH元件⑽，X11Q，X14(3和 X15e。如該一係數的量化導致一零值的係數，則一符號位元不用於該係數上。該縮放因素” η"包括一個” 3 -位元"的整數。在量化了該等LL，HL和ΗΗ象限的係數之後（步驟408 )，壓縮常式400進行至步驟410，其中產生一有關該零編碼係數的總數是否大於3的詢問。也就是說，在步驟4 0 8量化的該等系數中，是否有四個或四個以上的係數量化成一個零值’以致不使用四個或四個以上的符號位元。如肯定地回答步驟410的該詢問，則壓縮常式400進行至步驟414，其中利用一個"4* 2(ηΜ”的縮放因素至一三個位元（加上一個符號位元）的精確等級中，量化該等每一個LH 象限係數’即Χ2，χ3，Χ6和\7，導致量化的LH元件X2C1， X3Q，Xee和、。接著，壓縮常式400進行至步驟41 6。如否定地回答步驟41〇的該詢問，則壓縮常式4〇〇進行至穸騍41 2 ’接著利用一個” 2n «的縮放因素至一兩個位元 (加上一個符號位元）的精確等級，量化該等每一個LH象限係數’即I ’ X3，X6和)(7，導致量化的LH元件X2(J，X3!J，X6(3 和X7Q。接著，壓縮常式400進行至步驟416。於步驟41 6 ’將該等量化的微波係數到Χι印包封（圖5，參考號瑪5 5 0 )’以產生壓縮輸出流s 5，。也就是說，於上述該例證的4x4像素區塊處理之事例中，藉連結該等縮放

第22頁 420935

五、發明說明（19) 係數和縮放因素如下，以 ^ AA ^ „ V 啦成一個約八-位元組（6 4個位凡）的文子.Xnn，m，X 、.X,n，X

^7Q * ^8Q ' ^9Q

"OQ 10Q

l1Q

l2Q

!1Q

l3Q k13Q

l3Q l14Q η l53

6Q 在包封了該等縮放係數^，Λ叫，Λ⑷，h5Q 。式進行至” 4ΐδ1放因素之後（步驟416)，常多的像素區塊要處理的詢；產生-有，框内是否有更詢問，則常式40 0進行至牛問驟：如肯定地回答步驟418的該 Λί]Λλ ^ ^ 延订主步驟406 (或可選擇的至步驟該下一個像素區塊重複該上述的變換，量化， η η 〇匕·封處理。如否定地回答步驟4 1 8的該詢問，則常 ^ 進行至步驟4 20，並轉出。當例如，接收到一隨後影像圖框的該第一個像素區塊時，可於步騍402再進入該常式。須注意’該包封的次序和本發明的實行無關。然而，因要求某些係數和縮放因素，在例如逆轉縮放和變換操作之如使用’故於該一mpeg類的視訊資訊流之章節中，該等發明者辨識出該揭露的次序為一較可取的次序。對其它形態的資訊流，可以不同的包封次序達到最佳化。於本發明該範例的體係中，在一非DCT模式中處理一 4x4 的像素區塊，在一DCT模式的操作中處理一4x8的像素區塊。因此，該等上述每〆個子象限只包含一個微波係數。對那些熟知此技藝的人來說，將可迅速地瞭解到因可根據本發明處理任何大小的區塊’故該等子象限可包括—個以上的微波係數。此外，該等象限和子象限可包括一個非對稱的微波系數群組。

O:\58\58399.PTD

420935 五、發明說明（20) 該上述討論之4x8像素區塊的事例’為一個兆^重要的事例。如上述就圖4所討論的，於H a a r微波變換之前’該 4x8的像素區塊可受制於DCT處理和捨去’以產生一個4x4 的Haar微波係數區塊。如未利用該可選擇的步驟該 DCT係數捨去，則該Haar微波係數區塊的每一個象限將包括一個2x4的係數象限。於處理該一個區塊的該等子象限中，可隨意地指定該等子象限，以強調該最重要的資訊。例如，於本發明一利用一個非捨去的4x8區塊之體系中，該LLLL子象限包括微波係數χ〇，該LLLH子象限包括微波系數Χ4和Χ5，該LLHL子象限包括微波係數X1和义2，且該LLHH子象限包括微波係數χ3，Xs和χ7。選擇性地，可藉平均或不然結合該等產生的微波，將每—個子象限該等產生的微波系數減少成一信號係數。圖6說明根據本發明的一個壓縮處理之方塊圖。明確地說，圖β說明一個處理⑼〇的方塊圖，用以將像素定義域資訊分解成微波定義域資訊。明確地說，根據一個標準的 Haar變換處理四個像素6 1〇_6丨3，以於第一個等級的分解上產生四個Haar微波變換係數63 0-6 33。此外，利用一第二個等級的分解（利用該Haar微波變換）處理該最先的兩個微波係數630，631，以產生一對DCT定義域係數。在S亥像素區塊上，執行—利用一 H aar微波變換之第一個等級的分解’以產生一個相對應的Haar微波係數區塊。明破地說，藉一第一個加法器620，將像素610增加至像素 δ Π中’以產生—第—個微波係數63 〇 (即χ〇 ^^藉一第二個

第24頁 420935 五，發明說明C21) 加法器622 ’將像素6 12增加至像素613中，以產生一第二個微波係數63U即X〗）。從像素61 0令減去像素611，以產生第三個微波係數632(即X2)。藉一第二個減法器62 3，從像素612中減去像素613，以產生一第四個微波係數633(即 X3)。如是’該像素區塊（xa -x3)受制於一第一個等級的分解，以產生一個相對應的Haar微波係數區塊（XQ-X3)。此外，於該等第一個和第二個微波係數6 30和631上，執行一第二個等級的分解。明確地說，藉一第三個加法器 641 ’將微波係數630增加至微波係數631中，以產生一第五個微波係數65 0(即Υσ);且藉一第三個減法器642，從微波係數6 3 0中減去微波係數6 3 1，以產生一第六個微波係數 651(即丫丨）。如是，利用該Haar變換處理像素610-613，以產生第一個等級分解Haar微波係數6 32和633，及第二個等級分解微波係數6 5 0和6 5 1。以該方法處理像素6 1 〇 - 6 1 3，產生邊專產生的微波係數632 ’633 ,650和651，其代表該微波定義域中該相同的像素資訊。該上述的處理6 0 0，適用於例如圖1或圖2的壓縮模组 200、在非DCT壓縮模式中。同樣地，圖1或圖3的解壓縮模組300、在非DCT壓縮模式中，將執行該上述處理6〇〇的一反映影像，以從該等不同的係數、壓縮模組200壓縮的該原始像素區塊中擷取。圖7說明根據本發明的一個壓縮處理之方塊圖。明確地說，圖7說明一個處理700的方塊圖，用以將像素定義域資訊分解成微波定義域資訊。一個包括像素710-717(即

第25頁 420935 五、發明說明（22) x0-x?)的像素區塊，受制於一DCT變換處理720，以產生一個包括〇(：1'係數7 30 -737(即\()-\7)之相對應的1)(：1'係數區塊。捨去該等高階DCT係數734-737，同時該等低階〇CT係數730-733分別和縮放單元740-743搞合。藉"2的平方根，，除一個"1"的因素（即0.7071) ’縮放單元740-743分別縮放低階DCT係數730 -733 ° 接著’該等縮放係數（即該一個別縮放單元的輸出上之該等系數）受制於一個修改的Haar變換（即一Haar變換，其中該等加算和減算的次序已將一標準Haar變換的次序修改過）。明確地說，藉一第一個加法器750，將縮放器740產生的該係數增加至縮放器741產生的該係數中，以產生一第一個微波係數760(即ZQ)。藉一第一個減法器751，從縮放器740產生的該係數中減去縮放器741產生的該係數，以產生一第二個微波係數761 (即？」。藉一第二個加法器 752，將縮放器742產生的該係數增加至縮放器743產生的該係數中，以產生一第三個微波係數762 (即22)。藉一第一個加法器753，從縮放器742產生的該係數中減去縮器 743產生的該係數，以產生一第四個微波係數了63(即23)。於該等最先的兩個微波係數760和761上，如下執行一第二個等級的微波分解。藉一個加法器770，將該第一個微波係數7 6 0增加至該第二個微波係數7 61中，以產生一第一個”第二等級的分解微波係數780。藉一個減法器771，從該第一個微波係數760中減去該第二個微波係數761，以產生一第二個等級的分解微波係數781。

第26頁 4209 35 五、發明說明（23) 如是，已將像素710-717表示的該像素區塊壓縮成兩個微波係數（即76 2和 h 數（ 7 80 和781 )。〇，適用於例如圖1 式中。同樣地，圖式中，將執行該上同的係數、壓縮模腦執行的處理、和亦可將本發明以電編入，如磁碟磁片可讀取的儲存媒體私式碼時，該電腦將本發明以該電腦儲存媒體中，是否些傳輪媒體上傳輸或經由電磁幅射，式屬時，該電腦變通用的微處理器上處理器，以產生特 =詳述了併入本發藝的人來說，可迅就併入該等教旨中 ”第一等級"的分解等級"的分解微波ί 該上述的處理70 200、在DCT壓縮模 3 00、在DCT壓縮模影像，以從該等不像素區塊中擷取。可將本發明以電裝置之形式編入。入’以實體的媒體機或任何其它電腦载入並執行該電腦發明的裝置。亦可例如是否儲存於一或執行，是否於某上、經由纖維光學入和執行該電腦程明的骏置。當於一式瑪分斯架構該微雖然於此已顯示系，但對熟知此技變化的體系，而仍 763)，和兩個π第二或圖2的壓縮模組 1或圖3的解壓縮模址述處理700的一反映組2 0 0壓縮的該原％用以實行該等處理的腦程式碼的形式編 ’唯讀光螺機， ’其"由—個電腦變成一個用以實行本程式碼的形式編入，藉一個電腦栽入和/ ’如電子線路或電徵其中當由.一個電腦栽成一個用以實行本發執行時’該等電腦程殊的邏輯電路。明教旨中不同的體速地設什出其它％ $

Claims

420935 六、申請專利範圍 ' —- 1. 一種於一系統中用以處理一 MPEG類的视訊流之方法，該方法包括該等步驟：利用一Haar微波變換’變換一個像素區塊’以形個Haar係數區塊；利用多個縮放因素，量化該肫”係數區塊，以形成一個個別的量化Haar係數區塊，選取該等多個縮放因素，使優先地將一可用的位元預算配置給量化的Haar係數，其中該等量化的Haar係數代表該像素區塊極低的垂直和^ 間頻率元件； ^ 將"該等每—個量化的Haar係數"和"該等多個縮放因素中至少一個縮放因素”包封至一個別的文字中；及儲存該文字於該解碼系統内一個記憶體模组中。 2. 如申請專利範圍第丨項之方法，其中對每—個塊重複該等變換、量化、包封和儲存的步驟，形成一'個^ 像圖框，以便該記憶體模組儲存一個完整的壓縮影像框。 u 3·如申請專利範圍第丨項之方法，更進一步包括該驟：少從該記憶體模組讀取該儲存的文字； ,，*拆封該儲存的文字，以擷取”該等量化的Haar係數"和該等多個縮放因素中該至少一個的縮放因素"；利用該等多個縮放因素中該至少擷取的一個縮放因素’逆轉量化該Haar係數區塊，以形成一個個別的化Haar係數區塊；及里

d2〇935

=科燹換該逆轉量化Ha (Λ X 六、申請專利範圍利用該Haar 區塊，以形成一個個別的像素區塊。 4.如申請專利範圍第3項之方法，龙塊重複該等變換、量化、包封和，、中對每一個像素區，像圖框，以便該記憶體模組儲存—個^驟’形成一個影框α 电什個疋整的壓縮影像圖括m請專利範圍第1項之方法’其中該變換的步驟包括該等步驟：利用一離散餘弦變換（DCT)，變換該相素區塊，以形成一個DCT係數區塊；及利用該修改的Haar微波變換，變換該DCT係數區塊，以形成該Haar係數區塊。 6·如申請專利範圍第1項之方法，其中該變換的步驟包括該等步驟：利用一離散餘弦變換（DCT )，變換該像素區塊，以形成一個DCT係數區塊；捨去該DCT係數區塊内多個高階DCT係數，以形成一個捨去的DCT係數區塊，·及利用該修改的Haar微波變換’變換該捨去的DCT係數區塊，以形成該Haar係數區塊° 7.如申請專利範圍第6項之方法，其中該捨去的步驟，藉一個至少為π二”的因素，減少該DCT係數區塊中的係數總數。 8.如申請專利範圍第1項之方法，其中該量化的步驟包

第29頁 d20935 申請專利範圍括該等步驟：將該等Haar微波係數’和談合：一個低垂直和低水平其中一個象限結和高水平空間頻率象限（Lii) a ,率象限（LL)，一個低垂直率象限（HL)，及一個高垂直=個兩垂直和低水平空間頻該LL象限包括一個κ子象 ^水平空間頻率象限（〇)，剎用帛加和多個非DC子象限；的Haar係數；置|化該等和該DC子象限相關利用一第二個位元配置相關的Haar係數；量化該等和該等非DC子象限利用一第二個位元配置，量化該等和該等HL和㈣象限相關的Haar係數；及利用一第四個位元配置，量化該等和該“象限相關的 Haar係數’其中該等LL，HL和別象限係數中，如有預定個以上的係數量化成零’則增加該第四個位元配置。 9‘如申請專利範圍第8項之方法，其中於該等包括一 4χ4 像素區塊的像素區塊之事例中：該第一個位元配置，包括一八個位元的配置；該第二個位元配置，包括一四個位元的配置和一個符號位元的配置；該第三個位元配置’包括一兩個位元的配置和一個符號位元的配置；及該第四個位元配置’包括一兩個位元的配置和一個符號位元的配置，或是一三個位元的配置和一個符號位元的

第30頁 20935 六、申請專利範圍配置。 10.如申請專利範圍第8項之方法，其中：利用一第一個縮放因素，量化該等和該DC子象限相關的Haar係數；利用一第二個縮放因素，量化該等和該等非DC子象限相關的H a a r係數；利用一第三個縮放因素’量化該等和該等HL和HH象限相關的Haar係數；及利用該第三個縮放因素或一第四個縮放因素中的一個’量化該等和該LH象限相關的Haar係數。 1 1.如申請專利範圍第1 〇項之方法’其中：該第一個縮放因素為一預定值；該第二個縮放因素包括2a乘該預定值；該第三個縮放因素包括2n乘該預定值；及該第四個縮放因素包括2(n)或2(n-〗）乘該預定值。 12.如申請專利範圍第8項之方法，其中：利用一個'，四的”縮敌因素，量化該等和該DC子象限相關的H a a r係數；利用一個4*2的缔敌因素，量化該等和該等非DC子象限相關的H a a r係數；利用一個"4*2n的端故因素，量化該等和該等HL和㈣象限相關的H a a r係數；及利用一個4*2n或的縮放因素，量化該等和該LH象限相關的數。

420935 申請專利範圍 1 3‘如申請專利範圍第1 2項之方法，其中塊’重複該等變換、重新計算該等縮放因對多個像素區塊的每一個像素區量化、包封和儲存的步驟；及對每一個個別的Haar係數區塊，素變數η和m。 14,於一系統中用以處理一視訊資訊流内一個或多個影 2 a其十每一個影像包括多個像素區塊，一種用以處理該等每一個像素區塊之方法包括該等步驟：根據一Haar微波變換，處理該等像素區塊，以產生一個個別的Haar微波係數區塊；將該等Haar微波係數，和該等下面其中一個象限結合*· 一個低垂直和低水平空間頻率象限（LL)，一個低垂直和高水平空間頻率象限（LH)，—個高垂直和低水平空間頻率象限（HL) ’及一個高垂直和高水平空間頻率象限（HH )，該LL象限包括一個DC子象限和多個非dc子象限；以該下面的次序，優先地量化該等和該〇(：子象限相關的Haar係數、該等和該等非叫子象限相關的Haar係數、該等和該LH象限相關的Haar係數、及該等和該等心和別象限相關的Haar係數’其中提供一個相當大的位元配置給該等和該D C子象限相關的H a a r係數，並根據一個位元配置量化該等LH象限係數’其中該等ll，HL和HH象限係數中，如有預定個以上的係數量化成零’則增加碎一個位元配置。將該等量化的Haar係數和相關的量化縮放因素指標包封至一個文字中。

第32頁