TW517501B - Quality based image compression - Google Patents

Description

M7501 、發明說明（1) 發明背景 1 ·發明領域 本舍明係關於影像處理。更明4地說，本發明係關於一 用於影像信號之以品質為基礎之壓縮方法，且該壓縮方法 $用經編碼之離散餘弦轉換係數資料之適應型調整大小的 11塊與子區塊。 II·相關技術說明 。在視訊信號，例如用於投射”影片”或”電影，，之視訊信 5虎’之傳輸與接收的領域中，影像壓縮技術已獲得各種改 良。許多目前與建議之視訊系統運用數位編碼技術。數位 ^碼提供一適用於通訊鏈結之強键性，該強健性可抗拒許 f損害，例如多重路徑衰落與阻塞或信號干擾，否則每一 『述損害皆會嚴重破壞影像品質。另外，數位技術便利信 唬加密技術之使用，而信號加密技術對於政府與許多新開 發之商業廣播應用而言是有益的，或甚至必要的。 山高解析度視訊是一受益於改良之影像壓縮技術之領域。 當最初提出時，由於龐大之頻寬需求，高解析度視訊之無 線傳輸（或甚至經由導線或光纖傳輸）似乎不切實際。典型 之無線，或正受到設計之其他傳輸系統無法輕易提供足夠 之頻寬。但是，吾人已發覺數位視訊信號之壓縮可達一 位準，以致可使用合理之頻寬來進行傳輸。此種位準 號壓縮，連同信號之數位傳輸，可使一視訊系、统，當佔； 一更合理與有用之頻寬時，進行傳輸，而只使用較小 率，且對於通道損害具有較大抵抗力。

517501 五、發明說明（2) 許多可供使用之壓縮技術提供巨幅之壓縮，但是導致視 訊信號之品質之惡化。一般而言，用以轉移壓縮之資訊之 技術要求以一恆定位元率來轉移壓縮之資訊。 能夠提供巨幅壓縮，且同時保持視訊信號之所欲品質位 準之一壓縮技術，運用編碼之離散餘弦轉換（DCT)係數資 料之適應型調整大小的區塊與子區塊。其後，此技術將稱 為適應型區塊大小離散餘弦轉換方法（ABSDCT)。此技術揭 示於美國專利第5，021，891號’名稱為,’Adaptive Block

Size Image Compression Method and System丨，，且是指 配給本發明之權利人，並在此提及該專利以供參考。Dct 技術也揭示於美國專利第5, 1 07, 34 5號，名稱為

Adaptive Block Size Image Compression Method And S y s t e mn，且指配給本發明之權利人，並在此提及該專利 以供參考。另外，使用ABSDCT技術以及一差動式四元樹轉 換技術也在美國專利第5, 452, 1 04號受到討論，該專利之 名稱為’’Adaptive Block Size Image Compression

Method And System"，且也指配給本發明之權利人，並在 此提及該專利以供參考。揭示於該等專利之系統運用所謂 之’’視框内^編碼，其中在不論任何其他視框之内容為何之 下’影像貧料之每一視框受到編碼。藉由使用absdct技 術，在不k成可覺察之影像品質惡化下，可達成之資料率 可自大約每秒1 5億位元降低至大約每秒5千萬位元。 ABSDCT技術可用以壓縮一黑白或彩色影像，或一表示影 像之信號。彩色輪入信號可處於γ丨Q格式，其中γ是每一

第6頁 517501

4 χ 4像素區塊之發光度，或 色彩取樣。其他著名之格式 也可受到使用。因為眼晴對 數研究已顯不’對於水平及 一之次取樣是合理的。因此 量與二色度分量來表示。 党度取樣，且I與Q是色度，或 ’例如YUV，YCbCy，或RGB格式 於色彩之低空間敏感度，大多 垂直方向之色彩分量進行4取 ，一視訊信號可利用四亮度分

藉由使用ABSDCT，一視訊信號通常將分割成為許多像 區塊以供處理。對於每一區塊，亮度與色度分量傳送至二 區塊交織器。例如，一16 χ 16(像素）區塊可傳送至區塊交 織器，而區塊交織器排列或組織每一丨6 χ 1 6區塊之影像^ 樣’以產生用於離散餘弦轉換（DCT)分析之資料區塊7與複 合子區塊。DCT運算法是一種轉換一時間與空間取樣之传 號成為相同信號之頻率表示之方法。藉由轉換成為頻率名 示，因為量化器可設計成為善加運用影像之頻率分佈特 徵，DCT技術已獲展示可達成極高位準之壓縮。在一較佳 實例中，一 1 6 χ 1 6 D C Τ施加至第一排序，四8 χ 8 D C 丁施力口 至第二排序，16 4x 4 DCT施加至第三排序，且64 2 χ 2 DCT施加至第四排序。

DCT運作降低視訊源之固有空間冗餘。在DCT受到執行之 後，大部份之視訊信號能量傾向於集中在一些DCT係數。 一額外之轉換，差動式四元樹轉換（DQT)，可用以降低dc了 係數間之冗餘。 對於16 χ 16區塊與每一子區塊，DCT係數值與DQT值（如 果DQT受到使用）受到分析，以決定編碼該區塊或子區塊所

第7頁 517501 五、發明說明（4) ^ ^^〜- 需之位元數目。接著，雲| 私曰夕/六-* 而要取少數目之位兀來鵠碼之區塊 或子&塊之，、且&文到選擇來表示該影像區段。 一 8x8子區塊，六4x4子區塊’與八2χ2子區^到： 以表示該影像區段。 了又到選擇 選定之區塊或子區塊組合接著依序適當配置 區塊。DCT/DQT係數值接著可經歷頻率加權，量化，盥 碼（例如可變長度編碼）以準備用於傳輸。雖然之、、” ABSDC丁技術表現極為出色，其需要繁複之計算。因此，兮 技術之緊密硬體建構可能很難達成。 ^ 發明摘要 使侍硬體建構更具效率之其他替代技術提供一些優點。 :些系統運用離散餘弦轉換（DCT)之係數資料之適應型調 正大小的區塊與子區塊。雖然以DCT為基礎之系統之一些 部份運用品質做為-壓縮參#,但是資料之其他部份則—是 以編碼率為基礎，+同於使用以品質為基礎之量度。此種 為ί礎之參數之一範例&，以對比為基礎之適應 生&鬼大小影像壓縮演算法之量化步階選擇。 本=明是一用於影像壓縮之以品質為基礎之系統與方 =地其中運用離散餘弦轉換係數資料之適應型調整大小之 子區塊，與1品質為基礎之量化比例因數。-像 m區塊輸人至_編碼器。該編碼器包含—區塊大小^ 小户s? θ且盆件，以分割像素輸入區塊來進行處理。區塊大 C輸入區塊與進-步細分之子區塊之方差。通 乂大方差之區域細分成為許多較小之區塊，且具

第8頁 517501 五、發明說明（5) 有較小方差之區域則去為 望值屬於不同之預先決：二为’假設區塊與子區塊之期 臨限值，視…圍。因此，首先-區塊之方差 接著該區塊之方差盥一餘阳之私稱值文到修改，且 臨限值，則該區塊受到細分。 °，方差大於該 一轉換組件配備該區塊大小指配，以 二=斗。該轉換只執行於經由區塊大小指以=為 區鬼與子區塊。該轉換資料接著藉由量化與串=擇之 縮放。轉換資料之量化是以一影像品質量度 來經歷 數，為基礎來受到量化，其中該比例因數係相對於=例因 係數計數，速率畸變，區塊大小指配之密度，及/、或^比 之比例因數來調整。鋸齒狀掃描也可用以使得資 來產生一資料流。該資料流可藉由一可變長度編碼=== 碼以準備用於傳輸。編碼之資料是經由一傳輪通道^ 、、扁 至一解碼器，其中像素資料受到重組以準備用於^ ^傳送 本發明之一特點與優點是提供一以品質為基礎^ 。 縮系統。 衫像壓： 本發明之另一特點與優點是藉由以視框為單位 一 管理來達成彈性影像品質控制。 之位tl率 本發明之另一特點與優點是藉由以區塊為單位 管理來達成彈性影像品質控制。 之位疋率 本發明之另一特點與優點是維持資料伴隨活 動叢集，之品質影像壓縮與位元率控制。’ ’例如運 本發明之另一特點與優點是使用信號雜 ❿比參數來定量 § 第9頁 M75U1 五、發明說明（6) 化影像品夤 本發明之另一特戥 該量化比例因數係相f優點是運用一量化比例因數，其中 本發明之另—牿駐，於影像之對比來進行調整。 該量化比例因數係相：優點是運用-量化比例因數，其中 計數來進行調整^目對於構成一影像之DCT區塊之AC係數 本發明之另一特點 間之畸變與位元率來進行 該量化比例因數俘相：優點是運用-量化比例因數，其中 調整。 致係相對於諸視框 本發明之另 該量化比例因數：點與優點是運用-量化比例因數，其中 整0 ， * /、 相對於以前之·量化比例因數來進行調 ,▲ _間姐祝明 §參照附圖來間士矣 瞭本發明之特：：：下文所述之詳細則’應可更加明 表不類似之組件，其中· 〜 > 可现碼 =1是一以品質為基礎之影像處理系統之一 :方塊圖’該編瑪器部份包含本發明之以方差為基V之伤 塊大小指配系統與方法； 區 圖2疋以°口貪為基礎之影像處理系統之一解馬器部广 的方塊圖’該解碼器部份包含本發明之以方差為基 77。 塊大小指配系統與方法； 土區 圖3是一展示涉及以方差為基礎之區塊大小指配之严 步驟的流程圖； &里

517501 五、發明說明（7) 圖4a，4b，與4c展示一示範區塊 樹分解，與對應之Pqr資料； 9义，對應之四元 圖5是一展示量化比例因數與每一 之關係的圖形； 像素之千均位元率間 圖6疋一以DCT區塊之AC係數計數為美旦 的流程圖； 土礎之I化比例因數 一基於速率畸變之量化比例因數之流程圖. 圖7b疋一以圖7a之速率畸變為其 曰 图， 圖的後續圖。 ”、'土礎之1化比例因數流程 較佳實例詳細說明 為便利數位信號之數位傳輸盥 ，用某種型式之信號I缩β當：：：：旦之：處，通常必 ::維持影像之高品質也很重要。成2之高度I缩 的。 體建構在终多應用中是报重要 本發明提供一以皙 法，其中在執行影像屋縮^ ^縮^系統或裝置與方 系統之每區塊或視框位準。區塊= :為區塊位準系統使用較多二常多於視框位準控制， 識。 之条二位7^於特定區塊之辨 $ 11頁 cos 517501 五、發明說明（8) 在詳細解釋本發明之一實例之前，應可瞭解本發明之應 用未受限於陳述於下列說明，或展示於下列附圖，之元件 之構造與配置的細節。本發明具有其他實例，且可利用多 禮方式來實施。同時，應可瞭解本文所用之片語與術語是 為了說明起見，而不應視為限制。 本發明之影像壓縮是以離散餘弦轉換（DCT)技術為基 礎，例如揭示於共同未決之美國專利申請n C 〇 n t r a s t Sensitive Variance Based Adaptive Block Size DCT Image Compression·’，序列號碼 0 9 /436, 08 5，於 1 9 9 9 年 11 月8日歸樓，指配給本發明之權利人，且在此提及該專利 申請以供參考。通常，一要在數位領域受到處理之影像包 含區分成為一陣列之非重疊區塊之像素資料，其中該等區 塊之大小為N X N。一 2 -維D C T可執行於每一區塊。該二維 DCT是藉由下列關係來定義：

{2n + \)Mm • 2iV 其中撕，且 x(m，n) 是位於一 NxM區塊之位置（m，n)之像素，且 X(k，1)是對應之DCT係數。 因為像素值是非負的，DCT分量X(0, 〇)永遠是正的且通 常具有最大能量。事實上，對於典型之影像而言，大部份 之影像能量集中於分量x(o, 0)附近。此能量緊密特性是使

第12頁 五、發明說明（9) 件DCT技術成為如此吸引—、 影像壓縮技術運用對 έ;缩方法之原因。 率降柄。五 4 τ比適應型編碼來達成進一步之位兀 之平、：F二人t觀察到大多t自然影像包含相當缓慢變化 對比適應型編碼法匕例如物件邊界與高對比紋理。 較少位元給較不忙綠；位元給忙：區域及指配 ^ ^ 來善加運用此因素。 所述月j μ ^ ^未決專利申請，序列號碼為〇 9/436, 085， ΑΧ 型編碼也有助於降低阻塞效應。在影像之 =解丄2用-較小大小之DCT時，阻塞效應可受到降 田使用2 X 2 DCT時，雖然每一像素之位元表現可能 Μ化，但是阻塞效應變為幾乎看不見。 另外，對比適應型法】軍、a t 、曰上 无運用視框内編碼（空間處理），而非 :框際編碼（空間/時間處理）。除了更複雜之處理電路以 卜’視框際編碼本質上需要多個視框緩衝器。在許多應用 中，實際建構要求複雜度之降低。視框内編碼也適用於下 列情況’其中空間/時間編碼法失效且執行效果很差。例 如，因為，由於機械快門，整合時間相當短，所以每秒Μ $框之電影可屬於此類別。短整合時間允許較高程度之時 間混淆。對於快速運動而言，因為運動變為抖動，所以 框與視框具有關聯性之假設不成立。當同時涉及50赫兹盘 6〇赫茲之電力線頻率時，視框内編碼也較易桿準化。電視 目前是以50赫兹或60赫兹來傳送信號。使用視框内編碼’ 這是一數位方法，藉由以視框率來換取空間解析度，可調

第13頁 517501

整成為50赫茲與60赫茲之運作 框0 或甚至調整成為每秒2 4視 為影像處理之故，DCT運作勃 > 从 素資料區分成為一陣列之非重最仃:素資料，且該等像 大小在本文討論中是ΝχΝ，應以各雖然區塊 到使用。例如，一Νχ Μ區塊大小可；；2塊X皆可受 是整數，且Μ可大於或小於N 1了„^到使用，a其中N與Μ皆 分成為至少一位準重要方面疋區塊可區 M/. 7 半之子 £塊，例如，N/ix N/i，N/ix ΝΛ ’ N/i X M/j，等等，其中i與]·是整數。 討論之示範區塊大小是一丨6丨 卜，本文所 X 1 b像素塊，以及η ρ τ在舍冬 = 區塊。應可進一步理•，各種其他整數， 例如偶或可整數，值皆可受到使用，例如9 χ 9。 口，1與2展示一影像處理系統1〇〇，其中包含本發明之以 。口免為基礎之壓縮系統。影像處理系統1〇〇包含一編碼器 ’以壓縮一接收之視訊信號。壓縮之信號是使用一 剧通迢108來傳送，且藉由一解碼器U2來接收。解碼器 11 2解碼接收之信號成為影像取樣，且該等影像取樣 可受到顯示。 ^ ^ 影像是區分成為許多像素區塊以供處理。一彩 色信號可藉由使用一 RGB至YCi(：2轉換器116以自RGB空間轉^ 換至YqC2空間，其中Y是亮度分量，且q及匕是色度，或彩 色分量。因為眼睛對於色彩之低空間敏感度，許多系統以 ，數4對於水平及垂直方向之Ci與匕分量進行欠取樣。但 是’欠取樣不是必要的。一全解析度影像，稱為4 : 4 : 4格 517501 五 、發明說明（11) ί芸在數么應用中可能非常有用，或是必要的，例如稱為 一孤數位电影院Π之應用。二可能之YC'2表示法是YIQ表 :法與YUV表示法，且前述二表示法在本技術領域皆是為 眾所知。也可運用一稱為YCbCr iYUV表示法之變<型。

Z : J佳實例中，γ，⑶與。分量之每一分量是在未進 I =取樣之下受到處理。因此，一丨6 χ丨6像素區塊之每一 分量之一/輸入傳送至編碼器104。為展示之故，Y分量之編 碼器1 0 4受到展示。類似之編碼器用於⑶與以分量。編碼 |§1 〇4 /包含一區塊大小指配組件12〇，且區塊大小指配組件 1 2 0執行區塊大小指配，以準備用於視訊壓縮。區塊大小 指配組件120基於區塊之影像之視覺特徵來決定16 χ 16區 塊之區塊分解。視一丨6 x i 6區塊之活動而定，區塊大小指 配組件以四元樹之方式來細分每一丨6 χ i 6區塊成為一些較 小區塊。區塊大小指配組件丨2 〇產生一四元樹資料，稱為 PQR資料’且PQR資料之長度可介於1與2丨位元之間。因 此，如果區塊大小指配組件決定一丨6 χ i 6區塊要受到分 割’則PQR資料之R位元受到設定，且隨後緊接著q資料之 對應於4为割之8 χ 8區塊的四額外位元。如果區塊大小指 配組件決定該等8 χ 8區塊之任何區塊要受到細分，則受到 細分之每一 8 χ 8區塊之P資料的四額外位元受到增加。 現在請參看圖3，一展示區塊大小指配組件丨2 〇之運作細 節之流程圖受到提供。一區塊之方差是做為決定是否要細 分一區塊之一量度。開始於步驟2〇2，一16 χ 16像素區塊 受到讀取。在步驟2 〇 4，該1 6 χ 1 6區塊之方差ν 1 β受到計

第15頁 M/501 五、發明說明（12) 算。該方差是如下受到計算 van N = 16，且Xij是位於Νχ N區 在步驟206，如果區塊之 弟]仃之像素。 則方差臨限值T16受到2望，於二預先決定值之間，

^ ^ ^ 到修改以提供一臨限值T，1 6，接荖F 塊方差與新臨限值τ，1 6受到比較。 镬者區 如果方差V1 6未大於臨pp伯τ彳β θιϊ . μ 16 x U區塊之啟如位Ί限值m，則在步驟208，該

位元設定成為〇，°以：至暫時儲存器，且PQR資料之R ^ t tf ^ T -16 Xr16/ ^ ^ ^ "J ^ ^ ° '；t 限值TU，則在步驟21n f素區塊。如果方差v16大於臨 顯干州 β「驟210，R資料之R位元設定成為1，以 顯^I6xl6區塊要細分成為四8χ8區塊。 步細分，如步驟212;:依序受到考慮是否要受到進-214，方差v8l受到計斤曾不二對於每一8X 8區塊，在步驟 望值是介於二預先争：：纟驟2 1 6 ’百先如果區塊之期 以提供一新臨限ίτ决广值之間，貝1]方差臨限值T8受到修改 到比較。 1 8 ’且接著區塊方差與此新臨限值受 谕i ^ ^差以1未大於臨限值T8，則在步驟218 ’該8 x 8區 塊之啟始位址寫入 設定成為0。τ_8 '暫％儲存器，且對應之Q位元，Qi ’ 大於臨限值T8，Μ Λ區塊接著受到處理。如果方差4 只】在步驟220，對應之Q位元，Qi，設定成

第16頁 517501 五、發明說明（13) 為1以顯示該8χ8區塊要細分成為四區塊。 ，四4>< 4區塊，j = l:4，依序受到考慮是否要受到進 v、、、田分，如步驟222所示。對於每—4χ 4區塊，在步〜 =4，方差v4ij受到計算。在步驟226，首先如果區塊之爱 值疋介於二預先決定值之間，則方差臨限值丁4受到月 =提供一新臨限值T’4、且接著區塊方差與此新臨 > 改 到比較。 m定

如果方差v4h·未大於臨限值T4，則在步驟228，該4 X 4 F 塊之啟始位址受到寫入，且對應之p位元，匕，設定為〇 j 下一4x 4區塊接著受到處理。如果方差以。大於臨限值（ T4 ’則在步驟230，對應之p位元，、，設定為i，以顯_ 該4x 4區塊要細分成為四2χ 2區塊。除此之外，該四2 X、 區塊之位址寫入至暫時儲存器。 臨限值Τ16，Τ8，與Τ4可為預先決定之常數。這是稱為 硬決定、。此外，一適應型或軟決定可受到建構。例如/軟 決疋可視2Ν X 2Ν區塊之期望像素值來改變方差之臨限值， 其中Ν可為8，4，或2。因此，期望像素值之函數可做為臨 為便於展示之故，考慮下列範例。令1 6 X 1 6，8 X 8，與 4 X 4區塊之Υ分量之預先決定方差臨限值分別是5 〇， 1100 ’ 與 880。換句話說，T16 = 5〇，Τ8 = 11〇〇，且丁 4 = 。 令期望值之範圍為8 0與1 〇 0。假設丨6 χ丨6區塊之計算方差 為60。因為60大於Τ16，且期望值9〇介於8〇與1〇〇之間，所 以該1 6 X 1 6區塊細分成為四8 χ 8子區塊。假設8 χ 8區塊之

第17頁 517501

計算方差為1180，935，980，與1210。因為該四8>< 8。 之二區塊具有大於T 8之方差，所以該二區魏進一步总區塊 分以產生總共八4 X 4子區塊。最後，假設八4 χ 4區^司細 差是620，630，670，610，590，525，930，與69〇，之方 應之期望值是90，120，110，與115。因為第二4 γ 且對 之期望值落在範圍（80，100)内，其之臨限值將降低成；^ 小於8 8 0之T ’ 4 = 2 0 0。所以，此4 X 4區塊以及第七個4 χ ^ 塊將受到細分。合成之區塊大小指配展示於圖4a。對废區 四元樹分解展示於圖4b。除此之外，此區塊大小招=之 生之PQR資料展於圖4c。 所產 請注意，一類似程序是用以指配區塊大小給色彩分量C 與C2。該二色彩分量可在水平方向，垂直方向，或同 平及垂直方向，受到欠取樣。 除此之外，請注意雖然區塊大小指配已說明成為一由上 至下方式’其中最大區塊（本範例之1 6 X 1 6 )首先受到評 估，但是也可使用一由下至上方式。由下至上方式將首先 評估最小區塊（本範例之2 X 2 )。 請參看圖1，P Q R資料，連同選定區塊之位址，傳送至一 DCT組件1 24。DCT組件1 24使用PQR資料來執行適當大小之 離散餘弦轉換於選定區塊。只有選定之區塊需要經歷dct 處理。 影像處理系統1 00可任選地包含DQT組件1 28，以降低該 等DCT之諸DC係數間之冗餘性。一DC係數出現於每一DC丁區 塊之左上角。DC係數，通常，大於ac係數。大小之差異使

第18頁 517501

得設計一高效率可變長度編碼器很困難。因此，降低該等 DC係數間之冗餘性是有利的。 -Λ DQT级件128執行一 2-D DCT於DC係數，且一次處理一 2 X 2。開始於4X 4區塊之2 X 2區塊，一2-D DCT執行於該 四DC係數。此2χ 2 ])口稱為該四…係數之差動式四元樹轉 換1或DQT。接著，DQT之冗係數，以及一 8 χ 8區塊内之三 相鄰DC係數，是用以計算下一位準之DQT。最後，一 16 X 16區塊内之四8 x 8區塊之該等DC係數是用以計算 DQT因此，在一 Hx 16區塊中，有一真正之係數，且 其餘是對應於DCT與DQT之AC係數。 轉換係數（D C T與D Q T )傳送至一量化器以進行量化。在一 較佳實例中’ DCT係數是利用頻率加權遮罩（FWM)與一量化 比例因數來受到量化。一FWM是一頻率加權表，且具有相 同於輸入DCT係數區塊之維度。該等頻率加權提供不同之 加權至不同之DCT係數。該等加權是設計成為強調具有人 類視覺或光學系統較敏感之頻率含量之輸入取樣，且不強 调具有視覺或光學系統較不敏感之頻率含量之取樣。該等 加權也可設計成為是以一些因數為基礎，例如觀看距離， 等等。 該等加權是以經驗資料為基礎來選擇。一設計8 χ 8 DCT 係數之加權遮罩之方法揭示於IS〇/IEC jTQ cd 10918，

Digital compression and encoding of continuous-tone still images-part 1 : Requirements and guidelines” ，國際標準聯盟，i994，且在此提及此

第19頁 517501 五、發明說明（16) 標準以供參考。通常，二FWM受到設計，一用於亮度分量 且—用於色度分量。區塊大小2x2，4x4之二FWM表是藉 由欠取樣來取得，而16x16之FWM表是藉由8x8區塊之FWM 表之内插來取得。比例因數控制受到量化之係數之品質與 位元率。 因此，每一DCT係數是根據下列關係來受到量化： DCTq(ij)« S*DCT(i，j) 1 | Lfwm(i,j”q 2」 其中DCT( i，j )是輸入DCT係數，f wm ( i，j )是頻率加權遮 罩’ q是比例因數，且D C T q ( i，j ) ·是受到量化之係數。請注 意，視DCT係數之正負號而定，括號内之第一項受到捨 入。DCT係數也可使用一適當之加權遮罩來量化。但是， 多個表或遮罩也可受到使用，及應用於γ，Cb，cr分量之 每一分量。 像素資料與頻率加權遮罩之區塊接著是藉由一量化比例 因數組件來進行縮放。在一較佳實例中，存在對應於平均 位元率之3 2比例因數。不同於其他壓縮方法，例如 MPEG2，平均位元率是以處理影像之品質為基礎，而非標 的位元率與緩衝器狀態，來受到控制。在一較佳實例中， 特定之s化比例因數組件是由一選擇器丨3 〇來預先選定。 但是’應注意的是，本發明未要求量化比例因數組件是預 先受到選定。 在一以區塊為基礎之實例中，量化比例因數是以對比為

第20頁 517501

土礎（132)。吾人已發現人類視覺 對於低對比區域敏感。以對比為基礎之旦、南對比區域較 位元率與量化比例因數間之一二 比例因數使用 中，BSA函數以對比為基礎來分割二:區^在一實例 區塊，以致較多之細分出現於高對比區龙成為一些子 出現於低對比區域。本發明是以 ^ ^ 且較少之細分 之比值來定量化對比。明確地一旦 根與平均強度 BSA來選擇，如下列關係所示：° 一里化比例因數是根據 S /? +玉J〇g2’ ，· 15i£4 i P.、2 : ί 1大區塊之位元數目，β是第i種區塊之方差，且 化比例因函數取得之则區塊之百分率。量 決定關係來Π 位元率與量化比例因數間之-預先 位元率虚旦 量化比例因；ΙΓί間之關係展示於圖5。位元率與 二;象：^決定描述-像素所需之平㈣^ 因數也合拗^母一像素之平均位元數目增加時，量化比例 因_‘日到選擇因此’對於一對應值之R1 ’ 一特定之比例 DCT之係數以外區塊為基礎之實例中，一量化比例因數是以 u數為基礎來受到選擇（136)。一般而言，係數

第21頁 517501 五 、發明說明（18) 。十數系統與方法對於每一區塊需要一位元之架办 一 比例因數方法300展示於圖6。在區塊大小指配:^ 一量化 含^^ N資料區塊之資料區片受到選擇（3〇4)。傻1，一包 D，二，該資料區片包含16列乘16行之像素資料區塊1V圭一實 DCT執行於資料區塊（3〇8),且另外子區塊可 參照圖3所述。每—資料區塊之—臨限值受到日，’如 該臨限值可在程序之任何階段受到決定。在一較 / ° 中，該臨限值是以經驗法則預先受到決定。接著，二例 上超過該預先決定之臨限值之AC係數的數由== 係來決定（316): 疋精由下列關 Σ\χ(κΐ)/\^χ(κΐ)\>^τ}

其中T疋^^限值，X(k，l)表示位於一 NxN區塊之位置（k i) 之DCT係數，而且Μ是一N X N區塊内超過臨限值之DCT之AC 係數的數目。一比例因數接著是根據超過臨限值丁之“係 數之數目來指配（320)。 ’ 在厂區片之第一資料區塊受到評估且獲得指配一比例因 數之後，該區片之下一 N X N資料區塊受到選擇（3 2 4 )。該 比例因數受到增加（3 2 8 )，且另一 D CT受到執行（3 3 2 )。舊 與新DCT間之一均平方誤差（MSE)受到決定（336 )。該比^ 因數接著受到減少（340) ’且另一 DCT受到執行（344)。舊 與新DCT間之均平方誤差（MSE)再度受到決定（gw)。該二 均平方^差X到比較，且指配相關於較小之均平方誤差之

第22頁 517501 五、發明說明（19) 料區塊(352)。接著，針對區片内之每- (360)。 俊τ ,#&片^選擇且此循環繼續 決定量化比例因數之另一以區塊 哭之方。吊，速率畸變量化器是以類似於係數計數量化 之方式來運# ’但是需要較多架空位元 化 數受到檢視而定。在區塊大小指配之後d因 區塊之資料區片受到選擇（偏）。在—較佳實例中n料 料區片包含16列乘16行之像素資料區塊。一DCT執行;；= 料區塊U08)，且另外子區塊可受到尾DCT執仃於貢 述二每-資料區塊之一臨限值在程序曰之任何;:二圖产3戶： 決疋(412)。一平均畸變卩盘 卷 又 又又到 受到決定（4 i 6 )。接^ /“母二像素之平均位元率R也 述之關係，在大Λ超：預由先使; 的數目受到決定（420 )。—預比先/因\之2限值⑷之AC係數 值τ謂數之數目來受到= 數之後品該區3之；：^ :受到評估且獲得指配-比例因 比例因數區塊受到選擇⑷”。該 (440)。對應於一量化比又到决疋 素之平均位元㈣著受到干均崎變D與-每-像 、Q 4 4 )，其中該量化比例因

517501 五、發明說明（20) 數相關於步驟440之MSE速率。 該比例因數接著是自前一 (448)，且另一DCT受到 ^之比例因數受到減乂 誤差⑽)再度受到決定(4:( 5。2)對/ 間之均：方 -平均畸變D與一每一像辛 ：應於-量化比例因數之 (46〇)，#中該量化比例因率R接著受到決定 該二平均畸變率D間之相：於步驟456之。 之差受到衫（4⑷。母—像素之平均位元料間 (468)： 干 < 支化的比值來如下受到決定 謂 纪ale factors 對於目前之區塊，導致S ， 擇⑷2)。接著，對於區只最之大/、邑對比值之比例因數受到選 ⑷6)。在一區片之每：資料區塊’此循環重複 後，下次U / 貝枓區塊皆獲得指配一量化器之 量：：=片受到選擇，且此循環繼續(侧。 視框為可以視框為單位來受到選擇。但是，以 ί=ΐ=; ;Γ能達成之平均位元率通常低於前 框為單位來：决之、、t控制。另夕卜’因為位元轉移是以視 之速率控制需要使用更多緩衝器。 巧土規 以為單位之量化器實例中，-量化比例因數可 =種大小指配之密度為基礎(圖i，區塊144)。一影 整個視框之量化比例因數是以一量度為基礎來決 第24頁 517501 五、發明說明（21) U中Sir關於該影像之視覺品質。視覺品質是藉 dr之l6x 16區塊之數目與8x8區塊之數目 1 6 : 1!換句活况’如果一給定視框具有之8 χ 8區塊多於 影像通常需要較細密之量化以維二口 ^-較複雜之 給定視框具有之16χ16區塊多二持。相反地，如果-為較不複雜。®此，一較小之量化品塊’則f影像是視 且仍然維持視覺品t。因此，對 列因，可受到使用’ 法受到執行，且該比例因數是基視框，—BSA演算 其中η16 8 X 8區 佳實例 數接著 受到選 此外 量4匕比 利用前 引+1之 比例因 數是利 位之視 表示一視框之16χ_16區塊之數目，η8表示-視框之 塊之數目’且L表不超過—臨限值之比值 中，臨限值是:乂經驗法則預先受到決定。該比例因 HP MS ^胃8χ 8區塊之數目為基礎來 擇。 ’ 一以視框為基礎之量化比例因數可以前一視框之 例因數為基礎（U8)。在此實例中，—目前視之 一視框之比’對應於前一視框之比例因數索 比例因數，與對應於前一視框之比例因 = 數，來壓縮。在目前視框之壓縮中，實際之 ： 用BSA資訊來決疋，如針對前所討論之以視框^口 覺品質法所述。對應於一比例因數一 為早 517501 五、發明說明（23) 值，且受到111^丨11^11編碼。非零值則受到分離之111^£11^11編 碼。 量化係數之一修改型Huff man編碼也是可行的，且在較 佳實例中受到使用。在本文中，在鋸齒狀掃描之後，一行 程長度編碼器將決疋母一 8 X 8區塊之行程長度/大小對。 該等行程長度/大小對接著受到Hu f f man編>5馬。

Huffman碼是根據一影像之量測或理論統計值來設計。 吾人已觀察到大多數自然影像包含平淡或相當緩慢變化之 區域，與忙碌區域，例如物件邊界與高對比紋理。具有頻 域轉換之Huff man編碼器，例如DCT，藉由指配較多；|立元給 忙碌區域，及指配較少位元給平谈區域，來利用該等特 點。通常，Huffman編碼器運用檢查表來編碼行程長度與 =零值:通常多個表受到使用，其中雖然依照需求i或2個 表也可受到使用，但是本發明偏好3個表。 =，|§1〇4所產生之壓縮影像信號可使用緩衝器來暫 著使用傳輸通道108來傳送至解瑪器112。包 =塊大^日配資訊之PQRf料也傳送至解碼器ιΐ2。解碼 :!心二一緩衝器164與一可變長度解碼器168，其中解 馬m； 1 6 8解碼行程長度與非零值。 化m解二器!68之輪出傳送至一逆鋸齒狀掃描串列 係i逆’Λ狀掃^匕/17 2根據所用之掃描法來排列該等 當排列：：= m接收m資料，以協助適 田排列忒專係數至一複合係數區塊。 複合區塊是使用一選擇哭1 74央德、、， k详i 笊傳迗至一對應於編碼器 517501 五、發明說明（24) 104所用之量化器之遂量化器176，178，180，182，或 1 8 4，以還原由於使用量化比例因數與頻率加權遮罩所導 致之處理。 如果差動式四元樹轉換已獲使用，則係數區塊接著傳送 至一 IDQT組件186，且隨後緊接著一 IDCT組件19〇。否則， 係數區塊直接傳送至IDCT組件190。IDQT組件186與IDCT組 件1 90逆轉換該等係數，以產生一像素資料區塊。像素資 料接著必須受到内插，轉換成為RG]B型式，且接著受到^ 存以用於未來顯示。 因此，，一用於影像壓縮之系統與方法已獲展示，其中以 ，素方差為基礎來執行區塊大小指配。以方差為基礎 塊m己提供許多優點。因為離散餘弦轉換是在決定區 :大：之後受到執行，所以可達成高效 學需=以區：。除此之外，像= :為r差為基礎 覺為基礎。傻去古兰θ广1 1炎點疋其疋以知 緣，紋ϊ，ί:方區塊之活動之量度，且提供邊 能力傾向於遠優於像：值：：：值其=捉-區塊之細節之 差為基礎之方法指配較小之且=此，本發明之以方 且指配較大之區，、⑺具有較多邊緣之區域， rb π、土 尼餘孕父平淡之區域。έ士里 . 中可達成卓越之品質。 Α 結果，在重組之影像 關於許多量區無關於位元率，且相 致在衫像品質控制上可達成較 第28頁

因ί ΐ。错由允許一以品質為基礎之量化比例 衫像壓鈿疋處於一真正可變位元率。這允許影像壓 二糸、、先保留位於顯著可視度臨限值以上之所有區域之細 二，不同於—些方法’例如移動影像專家群組 衫像技術，以方差為基礎之影像壓縮提供一較不顯 領域uy，。這對於-些應用’例如數位電影院之 由於對於數位視訊 數位浮水印是一遏阻 因為浮水印是應用於 方差為基礎之區塊大 術0

之咼度需求’隱私性是一嚴重威脅。 著作權侵害與收益損失之重要需求。 知覺上很重要之影像之領域，所以以 小指配是一 ·用於浮水印之自然候選技 幸父佳實例之前面說明是用以使得熟悉本技術者可製造或 使，本發明。該等實例之各種修改對於熟悉本技術領域者 應是顯而易見❾，且在未使用原創性技能之下，本文所定 義^通屬原理可應用於其他實例。因此，本文未意謂本發 明受限於本文所示之實例，而應理解成為本發明涵蓋符合 本文揭示之原理與新奇特點之最大範圍。 本發明之其他特點與優點陳述於下列申請專利範圍。

第29頁

Claims (1)

1. 517501 _案號90101652_年9身/今日：修正本_ 六、申請專利範圍 ^ 一——-....... 1 . 一用以壓縮一數位影像之方法，該影像包含像素資 料，該方法包含下列步驟： 讀取一像素資料區塊； 產生一區塊大小指配，以分割資料區塊成為像素資料 子區塊； 轉換像素資料子區塊成為對應之頻域表示；與 縮放該等頻域表示成為一資料流，其中縮放之步驟是 以一品質量度為基礎，且該品質量度相關於該影像之品 質。 2 .如申請專利範圍第1項之方法，其中縮放之步驟進一 步包含下列步驟：提供一頻率加權遮罩給像素資料之該等 子區塊，以致頻率加權遮罩提供強調至人類視覺系統較敏 感之影像部份，且提供較少強調至人類視覺系統較不敏感 之影像部份。 3 .如申請專利範圍第1項之方法，其中縮放之步驟進一 步包含下列步驟：以影像之品質為基礎來量化像素資料之 該等子區塊。 4.如申請專利範圍第1項之方法，其中品質量度是信號 雜訊比。 5 .如申請專利範圍第1項之方法，其中轉換之步驟執行 一離散餘弦轉換。 6 .如申請專利範圍第1項之方法，其中轉換之步驟執行 一離散餘弦轉換，且隨後緊接著一差動式四元樹轉換。 7.如申請專利範圍第5項之方法，其中縮放之步驟是以區

   O:\68\68960-910919.ptc 第32頁 517501 案號 90101652 ih 修正 六、申請專利範圍 塊為單位。 8.如申請專利範圍第7項之方法，其中縮放之步驟是以 像素資料子區塊之對比為基礎。 9 ·如申請專利範圍第7項之方法，其中縮放之步驟是以 一子區塊内在大小上超過一預先決定臨限值之A C係數之數 目為基礎。 1 〇.如申請專利範圍第7項之方法，其中縮放之步驟是以 子區塊之均平方誤差為基礎。 1 1.如申請專利範圍第5項之方法，其中縮放之步驟是以 視框為單位。 1 2.如申請專利範圍第1 1項之方法，其中縮放之步驟是 以每一視框之區塊大小指配之數目與大小為基礎。 1 3.如申請專利範圍第1 1項之方法，其中縮放之步驟是 以前一視框之比例因數為基礎。 14.如申請專利範圍第1項之方法，其中產生之步驟進一 步包含下列步驟： 決定該像素資料區塊之該等像素值之一方差； 比較該方差與一臨限值； 基於比較步驟之結果來判定是否要細分該區塊； 如果該判定是要細分該區塊，則對於每一子區塊重複 用以決定，比較，與判定之步驟，直到滿足一預先決定之 標準為止；與 指定未受到進一步細分之每一區塊或子區塊之區塊大 小指配。

   O:\68\68960-910919.ptc 第33頁 517501 案號 90101652 1 华 a1 修正 六、申請專利範圍 1 5.如申請專利範圍第1 4項之方法，其中如果方差大於臨 限值，則判定之步驟要求一區塊要受到細分。 1 6.如申請專利範圍第1 5項之方法，其中臨限值是預先 受到決定。 其中臨限值是受到 -期望值函數。 其中每一細分位準 1 7.如申請專利範圍第1 5項之方法 評估之區塊或子區塊之該等像素值的 1 8.如申請專利範圍第1 5項之方法 之臨限值有所不同。 1 9.如申請專利範圍第1 4項之方法，其中不再重複用以 決定，比較，與判定之步驟之預先決定標準，是以像素資 料之一預先選定之最小區塊大小為基礎。 2 0.如申請專利範圍第1項之方法，其中縮放係數資料成 為一資料流之步驟進一步包含係數資料之鋸齒狀掃描。 2 1.如申請專利範圍第2 0項之方法，其中鋸齒狀掃描之 步驟是使用一 8 X 8像素區塊大小來執行。 2 2.如申請專利範圍第1項之方法，其中縮放之步驟進一 步包含下列步驟：編碼資料流成為一資料串列化流，以準 備用於傳輸。 2 3.如申請專利範圍第2 2項之方法，其中編碼之步驟包 含一霍夫曼（Huffman)編碼器。 2 4.如申請專利範圍第23項之方法，其中Huff man編碼器 運用多個檢查表，以編碼行程長度與非零值。 2 5.如申請專利範圍第2 4項之方法，其中存在三檢查 表0

   O:\68\68960-910919.ptc 第34頁 517501 ：'C T月/义曰

   修正 案號 90101652 六、申請專利範圍 L— -----------〜 2 6.如申請專利範圍第1項之方法，其中產生之步驟是以 影像之知覺特徵為基礎。 2 7. —壓縮像素資料之以品質為基礎之影像壓縮系統， 該系統包含： 區塊大小指配裝置，以分割資料區塊成為像素資料子 區塊； 轉換裝置，以轉換像素資料子區塊成為對應之頻域表 示；與 縮放裝置，以縮放該等頻域表示成為一資料流，其中 縮放裝置以一品質量度為基礎，且該品質量度相關於該影 像之品質。 2 8.如申請專利範圍第2 7項之系統，其中縮放裝置進一 步包含一用於像素資料之該等子區塊之頻率加權遮罩裝 置，以致頻率加權遮罩提供強調至人類視覺系統較敏感之 影像部份，且提供較少強調至人類視覺系統較不敏感之影 像部份。 2 9.如申請專利範圍第2 7項之系統，其中縮放裝置進一 步包含一量化器，以基於影像之品質來量化像素資料之該 等子區塊。 3 0.如申請專利範圍第2 7項之系統，其中品質量度是信 號雜訊比。 3 1.如申請專利範圍第2 7項之系統，其中轉換裝置執行 一離散餘弦轉換。 3 2.如申請專利範圍第2 7項之系統，其中轉換裝置執行-

   O:\68\68960-910919.ptc 第35頁 517501 _案號90101652 9/\年^月〖彳日:修正__ ： f 六、申請專利範圍 離散餘弦轉換，且隨後緊接著一差動式四元樹轉換。 3 3.如申請專利範圍第3 1項之系統，其中縮放裝置是以 區塊為早位來縮放資料。 3 4.如申請專利範圍第3 3項之系統，其中縮放裝置是以 像素資料子區塊之對比為基礎。 3 5.如申請專利範圍第3 3項之系統，其中縮放裝置是以 一子區塊内在大小上超過一預先決定臨限值之A C係數之數 目為基礎。 3 6.如申請專利範圍第3 3項之系統，其中縮放裝置是以 子區塊之均平方誤差為基礎。 3 7.如申請專利範圍第3 1項之系統，其中縮放裝置是以 視框為單位。 3 8.如申請專利範圍第3 7項之系統，其中縮放裝置以每 一視框之區塊大小指配之數目與大小為基礎。 3 9.如申請專利範圍第3 7項之系統，其中縮放裝置是以 前一視框之比例因數為基礎。 4 0.如申請專利範圍第2 7項之系統，其中區塊大小指配 裝置決定該像素資料區塊之該等像素值之一方差；比較該 方差與一臨限值；基於比較之結果來判定是否要細分該區 塊；如果該判定是要細分該區塊，則對於每一受到細分之 區塊重複下列動作：決定方差，與一臨限值比較，與判定 是否要細分，直到滿足一預先決定之標準為止；與指定未 受到進一步細分之每一區塊或子區塊之區塊大小指配。 4 1.如申請專利範圍第4 0項之系統，其中如果方差大於臨

   O:\68\68960-910919.ptc 第36頁 517501 _案號90101652 7 /年1月/ f曰 修正_ 六、申請專利範圍 - 限值，則是是否要細分之判定會要求一區塊要受到細分。 4 2.如申請專利範圍第4 1項之系統，其中臨限值是預先 受到決定。 4 3.如申請專利範圍第4 1項之系統，其中臨限值是受到 評估之區塊或子區塊之該等像素值的一期望值函數。 4 4.如申請專利範圍第4 1項之系統，其中每一細分位準 之臨限值有所不同。 4 5.如申請專利範圍第4 0項之系統，其中不再細分之預 先決定標準是以像素資料之一預先選定之最小區塊大小為 基礎。 4 6.如申請專利範圍第2 7項之系統，其中縮放進一步包 含一鋸齒狀掃描器。 4 7.如申請專利範圍第4 6項之系統，其中鋸齒狀掃描器 運用一 8 X 8像素區塊大小於鋸齒狀掃描。 4 8.如申請專利範圍第47項之系統，其中縮放裝置進一 步包含一編碼器，以編碼資料流成為一資料串列化流，來 準備用於傳輸。 4 9.如申請專利範圍第4 8項之系統，其中編碼器是一霍 夫曼（Huffman)編碼器。 5 0.如申請專利範圍第49項之系統，其中Huff man編碼器 運用多個檢查表，以編碼行程長度與非零值。 5 1.如申請專利範圍第5 0項之系統，其中存在三檢查 表。 5 2.如申請專利範圍第2 7項之系統，其中區塊大小指配裝

   O:\68\68960-910919.ptc 第37頁 517501 _案號90101652_7/年-7月/ 7日 修正_ I / '·， . 六、申請專利範圍 置是以影像之知覺特徵為基礎。 5 3. —用以壓縮一數位影像之方法，該影像包含像素資 料，該方法包含下列步驟： 言買取一像素資料區塊， 產生一區塊大小指配，以分割像素區塊成為像素資料 子區塊； 轉換像素資料子區塊成為對應之頻域表示；與 縮放該等頻域表示成為一資料流，其中縮放之步驟是 以一品質量度為基礎，且該品質量度相關於該影像之品 質；其中縮放之步驟進一步包含下列步驟：提供一頻率加 權遮罩給像素資料之該等子區塊，以致頻率加權遮罩提供 強調至人類視覺系統較敏感之影像部份，且提供較少強調 至人類視覺系統較不敏感之影像部份；且其中縮放之步驟 進一步包含下列步驟:以影像之品質為基礎來量化像素資 料之該等子區塊。 5 4.如申請專利範圍第5 3項之方法，其中品質量度是信 號雜訊比。 5 5.如申請專利範圍第5 3項之方法，其中轉換之步驟執 行一離散餘弦轉換。 5 6.如申請專利範圍第5 3項之方法，其中轉換之步驟執 行一離散餘弦轉換，且隨後緊接著一差動式四元樹轉換。 5 7.如申請專利範圍第5 3項之方法，其中縮放之步驟是 以區塊為單位。 5 8.如申請專利範圍第5 7項之方法，其中縮放之步驟是以

   O:\68\68960-910919.ptc 第38頁 517501 _案號90101652_f/智月/1 a 修正_ / 六、申請專利範圍 像素資料子區塊之對比為基礎。 5 9.如申請專利範圍第5 7項之方法，其中縮放之步驟是 以一子區塊内在大小上超過一預先決定臨限值之AC係數之 數目為基礎。 6 0.如申請專利範圍第5 7項之方法，其中縮放之步驟是 以子區塊之均平方誤差為基礎。 6 1.如申請專利範圍第5 5項之方法，其中縮放之步驟是 以視框為單位。 6 2.如申請專利範圍第6 1項之方法，其中縮放之步驟是 以每一視框之區塊大小指配之數目與大小為基礎。 6 3.如申請專利範圍第6 1項之方法，其中縮放之步驟是 以前一視框之比例因數為基礎。 6 4. —壓縮像素資料之以品質為基礎之影像壓縮系統， 該系統包含： 區塊大小指配裝置，以分割像素區塊成為像素資料子 區塊； 轉換裝置，以轉換像素資料子區塊成為對應之頻域表 示；與 縮放裝置，以縮放該等頻域表示成為一資料流，其中 縮放裝置是以一品質量度為基礎，且該品質量度相關於該 影像之品質；其中縮放裝置進一步包含一用於該等像素資 料子區塊之頻率加權遮罩裝置，以致頻率加權遮罩提供強 調至人類視覺系統較敏感之影像部份，且提供較少強調至 人類視覺系統較不敏感之影像部份；且其中縮放裝置進一

   O:\68\68960-910919.ptc 第39頁 517501 _案號90101652 7八车 7月/ y曰 修正_ / 六、申請專利範圍 ...... 步包含一量化器，以基於影像之品質來量化像素資料之該 等子區塊。 6 5.如申請專利範圍第64項之系統，其中品質量度是信 號雜訊比。 6 6.如申請專利範圍第64項之系統，其中轉換裝置執行 一離散餘弦轉換。 6 7.如申請專利範圍第6 4項之系統，其中轉換裝置執行 一離散餘弦轉換，且隨後緊接著一差動式四元樹轉換。 6 8.如申請專利範圍第6 7項之系統，其中縮放裝置是以 區塊為單位來縮放資料。 6 9.如申請專利範圍第6 7項之系統，其中縮放裝置是以 像素資料子區塊之對比為基礎。 7 0.如申請專利範圍第6 7項之系統，其中縮放裝置是以 一子區塊内在大小上超過一預先決定臨限值之A C係數之數 目為基礎。 7 1.如申請專利範圍第6 7項之系統，其中縮放裝置是以 子區塊之均平方誤差為基礎。 7 2.如申請專利範圍第6 7項之系統，其中縮放裝置是以 視框為單位。 7 3.如申請專利範圍第7 2項之系統，其中縮放裝置是以 每一視框之區塊大小指配之數目與大小為基礎。

   O:\68\68960-910919.ptc 第40頁