TWI789187B

TWI789187B - 壓縮方法與相關的電子裝置

Info

Publication number: TWI789187B
Application number: TW110149316A
Authority: TW
Inventors: 李宗軒; 唐婉儒; 陳世澤
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2021-12-29
Filing date: 2021-12-29
Publication date: 2023-01-01
Also published as: TW202327352A; US20230206389A1

Abstract

本發明揭露了一種壓縮方法，其包含有以下步驟：設置一量化函數；設置多個伸縮倍率；接收一影像資料；針對該影像資料中一圖框的一區塊，使用一轉換矩陣來對該區塊的資料進行轉換以計算出多個轉換後資料；根據該多個轉換後資料以自該多個伸縮倍率中決定出一特定伸縮倍率；使用該量化函數來對多個調整後資料進行量化操作，以產生壓縮後資料，其中該多個調整後資料係透過該多個轉換後資料與該特定伸縮倍率來得到。

Description

壓縮方法與相關的電子裝置

本發明係有關於一種透過量化的資料壓縮方法。

為了降低影像的資料量，一般來說可以透過量化(quantization)的資料壓縮(data compression)方法來進行，其中壓縮後的資料量主要取決於編碼簿(codebook)中碼字(codeword)的個數，亦即每個碼字的索引值(index)需要使用幾個位元來表示，而每個資料單元的資料量(例如，每一個像素的亮度值)便可以使用位元數較少的索引值來替代，以供後續的儲存或傳輸。此外，為了盡可能地減少壓縮失真，會希望每個資料單元與其最相近的碼字之間的差異越小越好，因此，常見的作法可以透過預測器(predictor)或轉換(transform)以使得資料的分布盡可能地集中在0附近，並透過非均勻(non-uniform)量化的方式來得到較小的量化誤差。

然而，當預測器失準、或者轉換無法是資料的稀疏表示(sparse representation)時，此時資料可能會與0差距很大、甚至會超出編碼簿的邊界而發生過載(overload)的現象。一般要解決過載問題，最直接的做法是增加碼字個數，但這種作法也會增加資料量；此外，也可以透過擴展編碼簿的邊界來避免資料超出編碼簿的數值邊界，但這可能會使碼字的取樣率(sampling rate)較低而產生較嚴重的顆粒雜訊(granular noise)與邊緣毛躁(edge busyness)。

因此，本發明的目的之一在於提出一種自適應(adaptive)的資料壓縮方法，其可以在避免過載的情形下，盡可能地減少額外資料量並降低顆粒雜訊與邊緣毛躁的程度，以解決先前技術中所述的問題。

在本發明的一個實施例中，揭露了一種壓縮方法，其包含有以下步驟：設置一量化函數；設置多個伸縮倍率；接收一影像資料；針對該影像資料中一圖框的一區塊，使用一轉換矩陣來對該區塊的資料進行轉換以計算出多個轉換後資料；根據該多個轉換後資料以自該多個伸縮倍率中決定出一特定伸縮倍率；使用該量化函數來對多個調整後資料進行量化操作，以產生壓縮後資料，其中該多個調整後資料係透過該多個轉換後資料與該特定伸縮倍率來得到。

在本發明的一個實施例中，揭露了一種電子裝置，其包含有一壓縮電路，其中該壓縮電路設置了一量化函數以及多個伸縮倍率，且該壓縮電路包含有一伸縮倍率決定電路與一量化電路。該伸縮倍率決定電路，用以接收該影像資料，並針對該影像資料中一圖框的一區塊，使用一轉換矩陣來對該區塊的資料進行轉換以計算出多個轉換後資料，且根據該多個轉換後資料以自該多個伸縮倍率中決定出一特定伸縮倍率。該量化電路，耦接於該伸縮倍率決定電路，且用以使用該量化函數來對多個調整後資料進行量化操作，以產生壓縮後資料，其中該多個調整後資料係透過該多個轉換後資料與該特定伸縮倍率來得到。

100:電子裝置

110:影像擷取裝置

120:壓縮電路

122:伸縮倍率決定電路

124:量化電路

130:儲存元件

140:影像處理電路

200~214:步驟

第1圖為根據本發明一實施例之電子裝置的示意圖。

第2圖為根據本發明一實施例之壓縮方法的流程圖。

第1圖為根據本發明一實施例之電子裝置100的示意圖。如第1圖所示，電子裝置100包含了一影像擷取裝置110、一壓縮電路120、一儲存元件130以及一影像處理電路140，其中壓縮電路120包含了一伸縮倍率決定電路122以及一量化電路124。在本實施例中，電子裝置100可以是任何可以拍攝影像的電子裝置，例如數位相機、筆記型電腦、手機、或是安裝了攝影鏡頭的桌上型電腦。

在電子裝置100的操作中，影像擷取裝置110會拍攝外部環境以產生多筆影像資料，例如多個連續的影像圖框。接著，為了降低多筆影像資料的資料量，壓縮電路120會對多筆影像資料進行資料壓縮，以產生多筆壓縮後影像資料，並將該多筆壓縮後影像資料儲存至儲存元件130中。之後，影像處理電路140再讀取儲存元件130所儲存之該多筆壓縮後影像資料，並對該多筆壓縮後影像資料進行一些影像處理操作，例如降低雜訊操作，以產生一處理後影像資料至後端電路。此外，如先前技術中所述，傳統的壓縮電路可能會遭遇到過載現象、資料量增加、顆粒雜訊或是邊緣毛躁等問題，因此，本實施例提出的壓縮電路120採用了自適應(adaptive)的資料壓縮方法，其可以根據目前所處理之影像資料的內容來採用不同的伸縮倍率，以在避免過載的情形下，盡可能地減少額外資料量並降低顆粒雜訊與邊緣毛躁的程度。此外，上述的影像擷取裝置110及影像處理電路140的操作已為本領域具有通常知識者所熟知，且並非是本發明的重點，故以下內容僅針對壓縮電路120的內容來進行說明。

首先，壓縮電路120會先被設置一個值域範圍為[-R,R]的量化函數Q(x)，其中R可以是任意適合的數值，例如“2048”，亦即當數值範圍介於“-2048”~“2048”之間時，量化函數Q(x)的操作不會有過載(overload)的問題。

接著，壓縮電路120會先被組態為具有一組伸縮倍率，其中該組伸縮倍率包含了1、S₀、S₁、...、S_n-1，其中S_k=2^k。舉例來說，假設n等於4，則該組伸縮倍率包含了1、2、4、8，四個伸縮倍率。此外，針對壓縮電路120在處理時所有可能的資料d，皆存在一個倍率S_k而使得

R。具體來說，假設壓縮電路120每一次所處理的一個區塊包含了1*8個像素，而每一個像素的亮度值係以12位元來表示，而壓縮電路120在進行壓縮過程中會將透過一轉換矩陣，例如8*8的阿達瑪矩陣(Hadamard)，來將1*8個像素的亮度值轉換至頻域以得到轉換後資料。詳細來說，參考以下的公式：

其中d1~d8分別表示1*8個像素的亮度值，而d1’~d8’分別表示轉換後資料。在8*8的阿達瑪矩陣中，第一列(row)係為直流係數，而第2~8列則為高頻係數，而在本實施例中，係透過高頻係數所計算出的轉換後資料d2’~d8’來設計出該組伸縮倍率，亦即上述“壓縮電路120在處理時所有可能的資料d”指的是對應到高頻的轉換後資料d2’~d8’。舉例來說，假設d1~d8分別為(2¹²-1)、(2¹²-1)、 (2¹²-1)、(2¹²-1)、0、0、0、0，則透過阿達瑪矩陣第5列的高頻係數所計算出的轉換後資料d5’為4*(2¹²-1)-4*0<2₁₄，而由於上述轉換後資料d5’為壓縮電路120在處理時的最大值，故可以設計出最大伸縮倍率為8，以使得4*(2¹²-1)-4*0<2₁₄=8*R，其中R為2048。

接著，在壓縮電路120接收來自影像擷取裝置110的影像資料並進行壓縮的過程中，首先，針對每一個區塊，伸縮倍率決定電路122會使用阿達瑪矩陣來計算出對應到高頻的多個轉換後資料，並根據對應到高頻的多個轉換後資料中的最大者來決定出多個轉換後資料的伸縮倍率。就上述公式(1)來進行說明，伸縮倍率決定電路122可以根據轉換後資料d2’~d8’中取絕對值後的最大者M，並找到可以滿足

R的最小的伸縮倍率S_k，其中所決定出的最小的伸縮倍率S_k係供所有的轉換後資料d2’~d8’使用。舉例來說，假設R=2048，若是轉換後資料d2’~d8’中取絕對值後的最大者M小於2048，則伸縮倍率決定電路122可以決定伸縮倍率為“2”；若是轉換後資料d2’~d8’中取絕對值後的最大者M介於2048~4096之間，則伸縮倍率決定電路122可以決定伸縮倍率為“2”；若是轉換後資料d2’~d8’中取絕對值後的最大者M介於4096~8192之間，則伸縮倍率決定電路122可以決定伸縮倍率為“4”；而若是轉換後資料d2’~d8’中取絕對值後的最大者M介於8192~16384之間，則伸縮倍率決定電路122可以決定伸縮倍率為“8”。

在伸縮倍率決定電路122的操作中，使用滿足

R的伸縮倍率是為了避免先前技術中所提到之過載現象(亦即，轉換後資料的數值超出量化函數Q(x)的值域範圍為[-R,R])，而選擇滿足

R的最小的伸縮倍率S_k則是為了避免後續解碼時產生顆粒雜訊及影像邊緣毛躁的現象。

在決定出伸縮倍率之後，量化電路124根據使用伸縮倍率來調整轉換後資料d2’~d8’所產生的調整後資料(亦即，(d2’/S_k)~(d8’/S_k))來進行量化操作，以產生壓縮後資料，亦即量化電路124使用量化函數Q(d2’/S_k)來計算出對應到轉換後資料d2’的壓縮後資料、使用量化函數Q(d3’/S_k)來計算出對應到轉換後資料d3’的壓縮後資料、...、使用量化函數Q(d8’/S_k)來計算出對應到轉換後資料d8’的壓縮後資料。此外，由於透過阿達瑪矩陣第1列之直流係數所計算出的轉換後資料d1’可能會具有較高的數值，故量化電路124可以獨立地對轉換後資料d1’來進行量化操作，以產生對應到轉換後資料d1’的壓縮後資料。

接著，壓縮電路120將壓縮後資料暫存至儲存元件130。影像處理電路140使用內部的一解壓縮電路，以對應於量化函數Q(x)的一反量化函數以及每一個區塊所對應的伸縮倍率來對壓縮後資料進行解壓縮以得到解壓縮後資料，亦即，針對每一個區塊，解壓縮電路所接收到的內容包含Q(d’/S_k)與數值“k”，而解壓縮電路計算出的解壓縮後資料

，其中Q^-1為反量化函數，d’包含了轉換後資料d2’~d8’。

在以上的實施例中，由於對應到高頻的轉換後資料d2’~d8’共用相同的伸縮倍率S_k，因此可以避免伸縮倍率S_k的資料量過大而影響到整體的壓縮後資料。且透過決定出滿足

R的最小的伸縮倍率S_k，可以在避免過載的情形下，盡可能地減少額外資料量並降低顆粒雜訊與邊緣毛躁的程度。

舉一例子來進行說明，假設壓縮電路120每一次所處理的一個區塊包含了8個像素，而每一個像素的亮度值係為12位元，則本實施例中可以對轉換後資料d1’進行量化操作以產生13位元的壓縮後資料，並對轉換後資料d2’~d8’中的每一者進行量化操作以產生7位元的壓縮後資料(亦即，編碼簿的碼字個數為128個)，再加上四個伸縮倍率可以使用2位元來表示，故壓縮電路120所產生的資料量可以是64個位元(亦即13+7*7+2=64)，而對於一個區塊的8個像素來說平均每個像素的壓縮後資料為8位元。因此，本實施例可以在有效對影像資料進行壓縮的情形下，同時地避免過載且改善顆粒雜訊與邊緣毛躁的現象。

需注意的是，以上區塊的大小以及阿達瑪矩陣的大小與內容僅是作為範例說明，而非是本發明的限制。在其他的實施例中，壓縮電路120一次所處理的區塊大小及對應的阿達瑪矩陣可以根據設計者的考量以及影像內容而有所改變。

第2圖為根據本發明一實施例之壓縮方法的流程圖。同時參考第1、2圖及以上實施例的內容，本實施例之壓縮方法的流程如下所述。

步驟200：流程開始。

步驟202：設置一個值域範圍為[-R,R]的量化函數Q(x)。

步驟204：設置多個伸縮倍率1、S₀、S₁、...、S_n-1，其中S_k=2^k，且針對在處理時有可能的資料d，皆存在一個倍率S_k而使得

R。

步驟206：接收來自影像擷取裝置的影像資料。

步驟208：針對影像資料中一圖框的每一個區塊，使用一轉換矩陣來對該區塊的資料進行轉換以計算出對應到高頻的多個轉換後資料，並根據該多個轉換後資料中的最大者來決定出一特定伸縮倍率。

步驟210：使用量化函數Q(x)來對多個調整後資料進行量化操作，以產生壓縮後資料，其中該多個調整後資料係透過該多個轉換後資料與該特定伸縮倍率來得到。

步驟212：將該壓縮後資料暫存至儲存元件。

步驟214：使用對應於量化函數Q(x)的一反量化函數以及該伸縮倍率來對該壓縮後資料進行解壓縮。

在以上的實施例中，所使用的阿達瑪矩陣的高頻係數只具有水平方向，然而，在其他的實施例中，壓縮電路120所使用的阿達瑪矩陣可以包含多個不同方向之高頻係數的子矩陣，而每一組子矩陣可以根據各自轉換後資料中取絕對值後的的最大者來決定自己的伸縮倍率，以更有效地減少顆粒雜訊與邊緣毛躁在解壓縮的過程中被放大。舉例來說，壓縮電路120所使用的阿達瑪矩陣可以表示如下：

其中V代表子矩陣具有垂直方向的高頻係數，H代表子矩陣具有水平方向的高頻係數，而D代表子矩陣具有對角方向的高頻係數。在本實施例中，所有的子矩陣V具有單一伸縮倍率，所有的子矩陣H具有單一伸縮倍率，且所有的子矩陣D也具有單一伸縮倍率。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。