TWI502550B - Differential layered image compression method - Google Patents

Description

差分分層影像壓縮方法

本發明係與影像處理技術有關，更詳而言之是指一種差分分層影像壓縮方法者。

按，一般彩色靜態影像，是由許多像素(pixel)所組成，每一個pixel由R(紅)、G(綠)、B(藍)三原色所構成，通常在電腦系統中每一個原色用1byte來表示，因此每一個pixel會佔有3bytes的記憶體。一張未經壓縮的影像在儲存時，會佔用非常大量的記憶體，如果一張未經壓縮的圖片要在網路中進行傳輸時，將會佔用非常大量的時間與頻寬，這樣在資訊傳輸過程當中是非常沒有效率的。

若能將影像壓縮，除了可以減少儲存時所佔用的記憶體以外，也可以減少資訊在網路中傳輸的時間。目前常見的壓縮法有許多種，如PCX、TGA、TIFF、VQ、JPEG、JPEG2000及GIF等，而最廣泛使用的則有JPEG、JPEG2000及GIF，其中又以JPEG及JPEG2000為壓縮倍率最高且效果最好的壓縮演算法。

JPEG壓縮演算法係先將影像切割成8×8像素(pixels)的小圖像區塊，再分別對各個小區塊執行壓縮計算。由於人類對於色調(hue,chrominance)變 化的敏感度比對於亮度(brightness,luminance)的變化更不敏感，JPEG壓縮法根據這項感知的差異，不對RGB或CMYK顏色值作分析，而是先將圖像數據轉換到亮度/色調的色彩空間(luminance/chrominance color space)，如YUV，如此即可對這兩個因素分別壓縮，再對整個區塊套用離散餘弦變換(Discrete Cosine Transform,DCT)，以轉換為DCT係數矩陣，再參考要求之JPEG圖像壓縮品質(如Photoshop設定的‘low quality’,‘medium quality,’...)，並據此計算出兩個量化常數表--亮度與色度，兩個表的常數可用來量化的DCT係數，每個DCT係數除以量化表內相對應的常數，並四捨五入至最接近的整數，量化後的DCT係數之結果是將較小、不重要係數變成零，最後使用霍夫曼或算術編碼(arithmetic encoding)方案來壓縮這些係數，通常是使用霍夫曼編碼，霍夫曼編碼法在使用時必須儲存編碼樹並且將連同壓縮資料一起儲存，因此會增加資料量。

一般而言，JPEG以及JPEG2000壓縮演算法雖然在人眼可以接受的範圍內可以得到很好的壓縮倍率，但耗費資源過於龐大，對於小系統的負擔甚重，例如JPEG壓縮演算法其離散餘弦轉換運算的時間大約佔整體壓縮時間的80%以上，且是以連續的乘加運算為主，會消耗掉系統的大量時間與資源，以一顆微處理器來說，若要在短時間內達到壓縮的功能的話，處理器必須內建乘法器，如中華民國發明第109946號「應用於影像壓縮中加速JPEG量化運算的方法」、第121157號「影像壓縮前處理之方法及其裝置」、第I326853號「邊緣增強型影像壓縮及解壓縮方法」等專利所示。

換言之，目前壓縮倍率最高且效果最好的JPEG、JPEG2000壓縮演算法仍有耗費大量系統資源等缺點。

本發明之主要目的即在提供一種可解決前揭缺失之差分分層影像壓縮方法，其不需使用乘法器，可大量減少運算的時間與系統資源，硬體需求甚低，相較於習知影像壓縮演算法，顯然效果更佳、甚具實用價值者。

緣是，為達成前述之目的，本發明係提供一種差分分層影像壓縮方法，其步驟至少包含有：擷取影像；色彩空間轉換：將該影像之色彩空間由第一色彩模式轉換為第二色彩模式；取樣：對轉換色彩空間後之影像資料作彩度取樣，用以獲致影像之像素資料；前處理：以一固定的閥值為基準自左而右調整影像之像素資料中每一列之像素值，若影像之像素資料每一列中右方鄰近像素值小於閥值，使右方像素值等於左方像素值，用以獲致一第一影像區塊資料；差分運算：對該第一影像區塊資料每一列進行差分運算，用以將該第一影像區塊資料中每一列的值化簡為0與若干差值，而獲致一第二影像區塊資料；影像分層編碼：將差分運算後之第二影像區塊資料中每一差值予以分層，用以形成多數第三影像區塊資料，再分別將各該第三影像區塊資料進行摺疊與編碼，用以獲得該影像資料之壓縮碼。

以下，茲舉本發明一較佳實施例，並配合圖式做進一步之詳細說明如後：首先，請參閱圖一所示，本發明一較佳實施例之差分分層影像壓縮方法100，其第一步驟係擷取影像110。

本發明之第二步驟係色彩空間轉換120：係將影像的色彩空間由一第一色彩模式轉換為一第二色彩模式，該第一色彩模式係RGB色彩模式，該第二色彩模式係YCbCr色彩模式。

本發明之第三步驟係取樣130：係以如圖二所示，4：2：2或4：1：1的規則對轉換色彩空間後之影像資料作彩度取樣，其中，Y係顏色之亮度成分，Cb係指藍色色度，Cr係指紅色色度，用以獲致如圖三所示之一影像像素資料22(8×8區塊)。此步驟的目的是因為人的眼睛對亮度的敏感度比對彩度還要高，故可將較重要的亮度保留而將彩度做取樣。

本發明之第四步驟係前處理140：主要係將影像資料中人眼無法分辨的微小變化先進行處理，係以一固定的閥值(threshold)(或稱門檻值)為基準，自左而右調整該影像像素資料22每一列之像素值，若該影像像素資料22每一列中左方鄰近像素值與右方相鄰像素質之差值的絕對值小於閥值，使右方像素值等於左方像素值，用以獲致一第一影像區塊資料24，如圖四所示。事實上，依據本步驟之技術，亦可自右而左調整該影像像素資料22每一列之像素值。

詳言之，一般影像之色彩分佈幾乎呈現漸層之變化，因此，相鄰像素值多為相同或相似，表示在影像像素資料22中有相當多不相關或重複出現的資料累贅(data redundancy)，因此，本發明先對該影像像素資料22做前處理，處理方法為單獨處理每一列，由左至右如果鄰近像素的值小於一固定的閥值(以閥值為5來做計算)，則右方像素的值將會相等於左方像素值，用以獲致該第一影像區塊資料24，其次，閥值越高可提高越多的壓縮倍率，不過影像卻會逐漸失真。

本發明之第五步驟係差分運算150：係以下列運算式對該第一影像區塊資料24每一列進行差分運算：f (x ,y )=f (x ,y )-f (x +1,y )

其中，x 代表行，y 代表列。

如圖五(a)、圖五(b)所示，用以可將該第一影像區塊資料24中每一列的值化簡為0與若干差值，繼而再對最後一行進行差分運算，俾獲得一第二影像區塊資料26，其中，差值係介於-255至255之間(以8Bits為標準處理)，可以大量的減少對0的描述而達到壓縮的功能。

本發明之最後步驟係影像分層編碼160：係將差分運算後之第二影像區塊資料26中每一差值予以分層，用以形成多數第三影像區塊資料28，如圖六所示，該第二影像區塊資料26中含有9種差值(14,19,146,-3,-4,-5,-6,-9,-22)，因此可以分為9層、9個第三影像區塊資料28，因各該第三影像區塊資料28分別只含一種差值，故可把各該第三影像區塊資料28分別當做一張二值化圖30(灰階值分割)來做壓縮，各該二值化圖30每一點都是以1個位元來代表，如圖七所示。再分別將各該二值化圖30進行摺疊、以減少編碼量，其方式係先將各該二值化圖30分為左右兩邊然後進行摺疊，摺疊之後有值的部份就會變成2位元，如圖八所示，再進行第二次摺疊、上下摺疊，如圖九所示(先上下摺疊再左右摺疊亦可)。

摺疊完畢後有數值的部份將會變成4位元，再進行跑長長度(run length)編碼，將區塊以<L，N>格式編 碼，L指的是非0值前面的0的數量，N則是非0值，因此，上例可以表示為<0,0001><2,1000><0,0001><2,1000><3,1000><0,0100>，全部以10進位表示則為<0,1><2,8><0,1><2,8><3,8><0,4>，為了解碼以及跟其他差值層做區分，此編碼需加上標頭以及控制碼以形成一個完整的資料封包，其格式為：<差值><控制碼，差值數量n><L ₀ ,N ₀ >...<L _{n -1} ,N _{n -1} >

其中控制碼代表跑長編碼的最少位元數，因此，差值-6的完整封包為：<-6><2,6><0,1><2,8><0,1><2,8><3,8><0,4>二進位表示則為：<111111010><010,0110><00,0001><10,1000><00,0001><10,1000><11,1000><00,0100>

故，差值-6編碼完後只剩下6.5Bytes。

將全部影像都進行編碼後，便可以得到效果良好且資料量極小的影像資料壓縮碼。

至於影像解碼，只要照前述步驟反向運算就可以得到解壓縮之後的影像。

以下，茲使用Matlab軟體進行本發明之模擬，並與習知JPEG、JPEG2000壓縮法做比較：

由附件可知，本發明的壓縮倍率跟JPEG差不多但 比JPEG2000差一點，在複雜的圖案中壓縮效果則以JPEG2000為最好。雖然本發明之壓縮效果在部分圖片未比習知壓縮演算法好，但計算量與使用的資源明顯比習知壓縮演算法少。

由於在JPEG裡的運算是使用DCT的方式，因此在使用上必須要使用大量的乘加運算，而本發明因為使用差分運算，所以在計算時將完全用不到乘法運算，且運算量也大幅的降低。

而在編碼法方面，JPEG使用霍夫曼編碼法，霍夫曼編碼法在使用時必須儲存編碼樹並且將連同壓縮資料一起儲存，也因此會增加資料量，而本發明的分層編碼法，則是使用算術編碼的方式，因此不需要額外儲存資料。

在硬體需求方面，由於JPEG的DCT運算使得在硬體部分需要乘法器，而壓縮過程中的量化與編碼則需要額外的記憶體，而本發明則完全用不到乘法運算，在運算過程中也僅需要一些暫存記憶體，在硬體的需求相較於JPEG低非常多。在運算速度上，JPEG是使用8×8的區塊為運算單位，如果JPEG需要以並行運算的方式提高運算速度，則又必須多使用乘法器與記憶體，這對硬體來說是很大的負擔，本發明因為是直接對整張圖像進行處理，因此如果要並行處理，只需要多使用減法器就可以解決了。

由上可知，本發明該差分分層影像壓縮方法利用擷取影像、色彩空間轉換、取樣、前處理、差分運算與影像分層編碼之一連串步驟，其計算時完全用不到乘法運算，運算量甚低、運算時間短，且不需額外儲存資料，硬體需求甚低，相較於習知影像壓縮演算法，顯然效果良好、甚具實用價值；緣是，本發明確實符合發明專利之要件，爰依法提出申請。

100‧‧‧差分分層影像壓縮方法

110‧‧‧擷取影像

120‧‧‧色彩空間轉換

130‧‧‧取樣

140‧‧‧前處理

150‧‧‧差分運算

160‧‧‧影像分層編碼

22‧‧‧影像像素資料

24‧‧‧第一影像區塊資料

26‧‧‧第二影像區塊資料

28‧‧‧第三影像區塊資料

30‧‧‧二值化圖

圖一為本發明一較佳實施例之流程圖。

圖二係本發明一較佳實施例中取樣方式之示意圖。

圖三係本發明一較佳實施例中取樣後之影像像素資料圖。

圖四係本發明一較佳實施例中前處理後之第一影像區塊資料圖。

圖五(a)、圖五(b)係本發明一較佳實施例中差分運算後獲得第二影像區塊資料之過程示意圖。

圖六係本發明一較佳實施例中第二影像區塊資料影像分層編碼後獲得之第三影像區塊資料圖。

圖七係本發明一較佳實施例中第三影像區塊資料之二值化圖。

圖八係本發明一較佳實施例中二值化圖左右摺疊後之示意圖。

圖九係圖八上下摺疊後之示意圖。

100．．．差分分層影像壓縮方法

110．．．擷取影像

120．．．色彩空間轉換

130．．．取樣

140．．．前處理

150．．．差分運算

160．．．影像分層編碼

Claims (10)

1. 一種差分分層影像壓縮方法，其步驟至少包含有：擷取影像；色彩空間轉換：將該影像之色彩空間由一第一色彩模式轉換為一第二色彩模式；取樣(down-sampling)：對轉換色彩空間後之影像資料作彩度取樣，用以獲致影像之像素資料；前處理：以一固定的閥值(threshold)為基準自左而右調整影像之像素資料中每一列之像素值，若影像之像素資料每一列中左方鄰近像素值與右方相鄰像素質之差值的絕對值小於閥值(threshold)，使右方像素值等於左方像素值，用以獲致一第一影像區塊資料；差分運算：先對該第一影像區塊資料每一列進行差分運算後，再對最後一行進行差分運算，用以將該影像區塊資料中每一列的值化簡為0與若干差值，進而獲致一第二影像區塊資料；及影像分層編碼：將差分運算後之第二影像區塊資料中每一差值予以分層，用以形成多數第三影像區塊資料，再分別將各該第三影像區塊資料進行摺疊與編碼，用以獲得該影像資料之壓縮碼。
2. 如申請專利範圍第1項所述之差分分層影像壓 縮方法，其中，色彩空間轉換之步驟中，該第一色彩模式係RGB色彩模式。
3. 如申請專利範圍第1項所述之差分分層影像壓縮方法，其中，色彩空間轉換之步驟中，該第二色彩模式係YCbCr色彩模式。
4. 如申請專利範圍第1項所述之差分分層影像壓縮方法，其中，取樣之步驟中，係依4：2：2或4：1：1的規則做取樣。
5. 如申請專利範圍第1項所述之差分分層影像壓縮方法，其中，前處理之步驟中，閥值為5。
6. 如申請專利範圍第1項所述之差分分層影像壓縮方法，其中，差分運算之步驟中，係以下列運算式對該第一影像區塊資料每一列進行差分運算：f (x ,y )=f (x ,y )-f (x +1,y )，其中，x 代表行，y 代表列。
7. 如申請專利範圍第6項所述之差分分層影像壓縮方法，其中，差分運算之步驟中，差值係介於-255至255之間。
8. 如申請專利範圍第1項所述之差分分層影像壓縮方法，其中，影像分層編碼之步驟中，各該第三影像區塊資料分別只含一種差值，用以可分別作為二值化之圖來壓縮。
9. 如申請專利範圍第8項所述之差分分層影像壓 縮方法，其中，影像分層編碼之步驟中，各該第三影像區塊資料之摺疊方式，係可先左右摺疊再上下摺疊或先上下摺疊再左右摺疊。
10. 如申請專利範圍第9項所述之差分分層影像壓縮方法，其中，影像分層編碼之步驟中，各該第三影像區塊資料摺疊後係進行跑長長度(run length)編碼，將區塊以<>格式編碼，並加上標頭以及控制碼形成一個完整的資料封包，其格式為：<差值><控制碼，差值數量n><L ₀ ,N ₀ >...<L _{n -1} ,N _{n -1} >其中控制碼代表跑長編碼的最少位元數。