TWI452906B

TWI452906B - 基於小波轉換域訊號與人眼視覺特性之壓縮取樣影像編碼方法

Info

Publication number: TWI452906B
Application number: TW100102685A
Authority: TW
Inventors: Day Fann Shen; Yung Shiang Wang
Original assignee: Univ Nat Yunlin Sci & Tech
Priority date: 2011-01-25
Filing date: 2011-01-25
Publication date: 2014-09-11
Also published as: TW201233183A

Description

基於小波轉換域訊號與人眼視覺特性之壓縮取樣影像編碼方法

本發明係關於一種壓縮取樣之影像編碼技術，乃基於利用小波轉換欲訊號之特性及人眼視覺次頻帶之JND(Just Noticeable Difference)特性；並提出具體改善訊號特性之技術，可應用於低複雜度影像/視頻壓縮、背景減法和物件追蹤、臉部辨認與分類、分散式壓縮視訊感測、網路資料傳輸等等。

按，在影像/視訊的應用中，為了降低儲存、處理和傳輸的成本，人們採用壓縮方式以較少的位元數表示信號，丟掉一些不重要的數據，這種取樣在壓縮的過程浪費了大量的取樣資源，於是很自然的引出一個問題，能否在保持信號不損失的情況下，又能遠低於Nyquist取樣定理要求的速率，同時可以完整的恢復信號；壓縮取樣就是針對上述問題所作的解套方式，在2006年由Stanford University的David Donoho和Emmanuel Candes以及華裔科學家T.Tao所提出。大部分的信號都是稀疏的或是可壓縮的，因此去除這些不太重要的信息對信號而言是沒有太大的損害。

根據信號的稀疏性(Sparseness)，能以遠低於Nyquist取樣率將信號很好的恢復；又信號的稀疏性(Sparseness)是壓縮取樣技術的必備條件；壓縮取樣技術的三個要素是信號的稀疏變換(目前的稀疏變換有DCT、DWT等)，稀疏信號的測量矩陣及稀疏信號的重建算法。壓縮取樣技術的理論在測量與還原時會遇到什麼問題，首先信號必須是可壓縮的或是在某個轉換域是稀疏的，那麼就可以用一個與轉換域不相關(incoherence)的測量矩陣，將高維的信號投影到低維空間上，而這中間遇到的問題，像是在測量時必須要滿足約束等距性(Restrictedisometry property,RIP)，還有測量矩陣與變換矩陣必須滿足不相關性，接著從低維空間正確的還原出原始信號，最直接的方法是通過L0範數下求解，但在數學上是一個NP-hard問題，因此有學者從信號稀疏分解的相關理論中尋找更有效的求解途徑，使L1範數可得到相同的解。因此構建硬體容易實現的測量矩陣和快速穩定的重建算法是將壓縮取樣技術推向實用化的關鍵，也是壓縮取樣技術主要研究內容。

現今壓縮取樣這塊領域除了針對架構上的改良外，將壓縮取樣理論實際應用在硬體實現也是一大課題。而就架構上的改良，主要對測量矩陣以及重建演算法進行研究，重建演算法的目的是為了要找到最稀疏解，主要包括最小11-norm的BP(Basis Pursuit)、以高運算速度和良好的重建效果著稱的梯度投影(Gradient Projection Sparse Reconstruction,GPSR)，基於11-norm greedy algorithm的正交匹配追蹤(OrthogonalMatching Pursuit,OMP)、CoSaMP(CompressiveSampling Matching Pursuit)，這種方法是通過每次疊代時選擇一個局部最優解來逐步逼近原始信號。

而硬體實現部分RICE大學已經研發出單像素相機，該架構是一種全新的相機結構，取代傳統數位相機拍照時需要採集大量的像素。除了RICE大學外其它還有麻省理工學院L.L.Wald等人研製的MRI RF設備，麻省理工學院W.T.Freeman等人研製的編碼口徑相機等，但是除了RICE大學外其餘硬件均缺乏嚴格的理論分析。

請參閱第三十圖所示者，係為現行的一種以測量率(Measurement Rate)以及Big-oh當作評估架構的標準及建立在影像編碼/解碼的壓縮取樣程序，在該編碼程序中；首先輸入一張原始影像f(x ,y )，其解析度N為mx n，經過一個小波或DCT轉換T轉為同維度mx n的係數矩陣F(u,v )_{m x n} ，再以縱向量C(Column-wise)轉成_{N x 1} (N=m x n)之行向量X_{N x 1} ，接著經過測量矩陣ψ_{M x N} 得到測量向量Y_{M x 1} =ψ_{M x N} x X_{N x 1} ，且M的數量會遠小於N，其中轉換T的目的，係方便隨機抽樣經測量向量以獲得稀疏表示；又在該解碼程序中，先輸入測量向量Y_{M x 1} 且執行ψ^-1 _{M x N} 重建，可獲得X’_{N x 1} 後再以逆縱向量C^-1 (Column-wise)轉成F’(u,v)_{m x n} ，及經逆轉換T^-1 則可回復成影像f’(x,y)_{m x n} 。

另，表示信號最大可能功率和影響它的表示精度的破壞性雜訊功率的比值的峰值信噪比(以下縮寫為PSNR)，由於許多信號都有非常寬的動態範圍，峰值信噪比常用對數分貝單位來表示；峰值信噪比經常用作圖像壓縮等領域中信號重建質量的測量方法，它常簡單地通過均方差(MSE)進行定義；兩個m ×n 單色圖像I 和K ，如果一個為另外一個的噪聲近似，那麼它們的的均方差定義為：故，峰值信噪比定義為：其中，MAX _I 是表示圖像點顏色的最大數值，如果每個採樣點用8位表示，那麼就是255。更為通用的表示是，如果每個採樣點用B 位線性脈衝編碼調製表示，那麼MAX _I 就是2^B -1，對於每點有RGB三個值的彩色圖像來說峰值信噪比的定義類似，只是均方差是所有方差之和除以圖像尺寸再除以3；圖像壓縮中典型的峰值信噪比值在30到40dB之間且愈高愈好。

請參閱第三十一圖所示者，在西元1998年Shen and Yuan提出之JND(Just Noticeable Difference)視覺模型(簡稱SY JND model)，SY的JND視覺模型主要是採用小波分解之方法；另JND_threshold可視為在該次頻帶每個頻率所對應的JND值，各個次頻帶的JND_threshold基本上主要與人眼的特性有關。

本發明人有鑑於此，乃憑恃著長期對壓縮取樣影像編碼技術之構思，而發明出一種基於小波轉換域訊號與人眼視覺特性之壓縮取樣影像編碼技術，其方法係包含：(a)提出新的演算法之性能評估準則，以峰值信噪比與位元率(PSNR vs.Bit Rate)及計算複雜度來估計；(b)提出以稀疏性與均勻性兩個估計的方法；(c)利用信號的特性，加入頻帶權重以及量化於影像壓縮取樣架構中。

茲由以上說明得知，本發明相較先前技術，確可達到如下之功效：

(一)本發明所提出的「JND量化+頻帶權重+小波方向」方法，其PSNR值會比原始的壓縮取樣架構高出1.5dB~5dB。

(二)本發明所提出的「JND量化+頻帶權重+小波方向」的方法，其計算量只比原始壓縮取樣架構多花了4%的時間而已。

(三)本發明所提出的「JND量化+頻帶權重+小波方向」的方法，其JND_PSNR比原始的壓縮取樣架構高出3dB~12dB。

首先，請參閱第一圖所示，係關於一種基於小波轉換域訊號與人眼視覺特性之壓縮取樣影像編碼技術，其方法係包含：(a)提出新的演算法之性能評估準則，以峰值信噪比與位元率(PSNR vs.Bit Rate)及計算複雜度來估計；(b)提出以稀疏性與均勻性兩個估計的方法；(c)利用信號的特性，加入頻帶權重以及量化於影像壓縮取樣架構中；因此，本發明人針對提出壓縮取樣原理於影像編碼之效能評估，提出：測量率(Measurement Rate)、位元率(bit rate)、JND_PSNR、稀疏性(Sparsity)、壓縮取樣架構之效能評估、比較小波WAVELET與離散餘弦轉換之效能等幾個方案；由於測量率(Measurement Rate)已在先前技術提出詳細說明，在此就不再贅述，直接針對其它方案作說明；從影像編碼觀點，本發明所關注的是編碼成影像f(x,y)的平均位元率(bit-rate；bpp)，而不是不正確性的測量率(Measurement Rate)，且必須面對的是許多不同量測向量但具相同維度的Ys及同維度的M可能有不同的位元率；與跟隨後的編碼技術一樣(如在JPEG編碼的Huffamn和H.264的算術編碼)，其藉信號的機率分配下以決定該位元率所編碼成的影像f(x,y)；無論如何，位元率與向量Y信號的熵(entropy)具有密切關連，所以本發明應該藉由向量Y的熵(entropy)的量測值，以評估實際的位元率；本發明提出位元率的求法如下：

(一)估計量測向量Y的M維度的熵(entropy)。

(二)

1.求輸出測量向量Y _M
*1 ={y ₁ ，y ₂ .........y _M } ^T 的機率分佈(histogram)：這邊要注意的是本發明將Y _M
*1 裡面的M 個係數都四捨五入到整數位，向量Y _M
*1 中共有b 個不同係數值，b =y _max -y _min +1 ，其中y _max 及y _min 分別為Y _M
*1 的最大值和最小值，則Y _M
*1 測量向量的機率分佈histogram其中n _k 是第k 個係數k {1,2,...,b }出現在Y _M
*1 的次數。

2.計算出向量Y _M
*1 的熵Entropy。公式為：單位：bits /symbol

3.計算位元率Bit Rate(bpp,bits per pixel)。公式為：單位：bpp (bits /pixel )

除了PSNR外，本發明還提出及建立JND_PSNR和VLLCVD來評估。而JND_PSNR與PSNR兩者之間最大的差異，即在於獲得MSE值的方法不同如下所示。

上述公式中的sb=subband、n=total subband number、N：number of pixel、c (k ,l )為原小波係數，(k ,l )為重建之小波係數、Γ_sb 為JND threshold(Table 1)，而JND_Err_sb 是說原始小波係數減去重建過後的小波係數取絕對值，如果大於JND threshold則視為0，不去計算它的Error。

西元1998年Shen and Yuan提出之JND視覺模型(簡稱SY JND model)，SY的JND視覺模型主要是採用小波分解之方法。JND_threshold可視為在該次頻帶每個頻率所對應的JND值，各個次頻帶的JND_threshold基本上主要與人眼的特性有關。(如第三十一圖所示者)

另，在測試的環境是在沒有執行其它程式與其他干擾因素下執行，測試平台如第二圖所示者；在評估Johns Hopkins University Thong Do的架構，現今在壓縮取樣研究領域，大多以測量率(Measurement Rate)vs.PSNR以及Big-oh作為演算法之性能評估準則；然而本發明提出的方法係在原始壓縮取樣架構加入量化，會使得整個係數變小，而使用測量率(Measurement Rate)來估計較不合理，因此本發明以影像/視訊編碼的觀點上，提出性能評估準則；首先

(一)請參閱第三圖所示，本發明由measurement vector估計影像的位元率(bit rate)。

(二)除PSNR外本發明提出與人眼一致JND_PSNR作為影像的品質的評估。

(三)請參閱第四圖所示，以計算速度評估影像的編碼與解碼之硬體複雜度。

又，稀疏性(Sparsity)的定義(K 表示非零個數，N 表示影像總係數)，S 越大代表非零個數越少，亦即稀疏性越高。但是一般影像經轉換後之非零係數較接近N(K~N) 。若非經過量化或門檻值零化，就並非稀疏向量。

而，均勻性主要是係數之間的分佈，可以由平均值和變異數來表示，而且在不同的情況下(例如：CASE1：相同稀疏性、CASE2：不同稀疏性)會有不同的結果，CASE1係由第五圖的三張圖(第五a圖、第五b圖、及第五c圖)來探討。首先，先探討CASE1：

(一)將圖形變成稀疏性：因為加入量化以後的係數分佈是屬於稀疏性的，因此在此也加入稀疏性來討論，而稀疏性是假設threshold小於5的係數都設為0如第六圖所示的三個圖。

(二)因為第六圖的係數分佈不一致，因此本發明設定起始值1跟終值20，讓這三張圖的範圍固定，如第七圖所示者。

第七圖的第七a圖的平均值可以由下面的公式求出，平均值(Mean)公式：,N 是圖中全部係數裡面大於5的總數，而N+1 是因為多了起始值和終值且是求間距。

變異數(Variance)公式： Variance =31.36

接者，CASE2係在不同稀疏性下討論的，由第八圖的兩張圖來探討：該第八a圖的平均值：4，變異數：6.4

第八b圖的平均值：3.3，變異數：5.09

原始壓縮取樣定理是將矩陣的每行取出來，且依照各個頻帶由低頻到高頻，從左到右從上到下的掃描，轉換為一個向量進行編解碼，但這樣會破壞影像行與行之間相關性。因此本發明提出一個方法，利用小波各個次頻帶的方向性，去探討與分析依照方向性(Along-direction)和相反方向性(Cross-direction)的現象。

在這做個小實驗，由第九圖至第十二圖所示者來討論均勻性和稀疏性，針對依照方向Along-direction、相反方向Cross-direction的現象，本發明可以由第十三圖及第十四圖可以看出在相同稀疏性下，Cross-direction的均勻性比較小，而且當稀疏性越小的時候均勻性的數值會變大。

接著，本發明比較小波(WAVELET)和離散餘弦轉換(DCT)係數，首先本發明必須選定WAVELET的階數，接著使用三個方法來評估：稀疏性、R-D Performance和計算複雜度，從第十五圖和第十六圖可以看出幾個特性：

(一)階數越高相對的編碼時間也越長。

(二)位元率越高也就是M的個數越多，因此在編碼端花的時間較長，但是解碼端反而較短。

(三)Level 5與Level 6的品質相近、計算量方面Level 5較快，因此選定Level 5，如第十七圖所示。

再由第十八圖和第十九圖可以看出兩個現象：

(一)DWT品質大於DCT(+2.5dB)。

(二)DWT解碼計算量小於DCT：因為DWT的熵Entropy小於DCT，因此在相同bit rate下DWT的測量值會比較多，所以解碼的速度比較快。

關於次頻帶的感知權重的測量向量：一般壓縮取樣的測量向量M是經過測量矩陣隨機得到的，而本發明提出另一個機制，以各次頻帶之間的影像重要性來取得測量向量的大小。頻帶權重之測量向量如第二十圖所示，將輸入的影像切成四個次頻帶，各別經過測量矩陣得到測量向量，最後經過重建演算法還原出影像。

而CS的JND的量化，係主要是將上一節提出的頻帶權重之測量向量架構，加入第二圖的各個次頻帶的JND_threshold，在架構上的表現是在小波轉換後再加入JND量化。然後探討原始架構與做了方向性(D)加權重(W)加JND量化(JND quantization)之間的關係。由理論來看做了方向性加權重加量化的架構，在編碼端YM*1它的熵Entropy會比原始還小(如第二十一圖表示)，相對地Bit Rate也會較低，因此如果要在相同Bit Rate下評估，「JND量化+頻帶權重+小波方向」的M數量會比原始還多，所以在編碼端的計算量，會比較複雜，而解碼端因為M的數量較多因此重建回來的速度較快。關於JND的小波係數量化的特徵，可從第二十二圖看出在不同稀疏性的情況下，稀疏性越大則均勻性越大，稀疏性越小則均勻性越小。關於JND的量化影響，由第二十二圖及第二十三圖可以看出加入「JND量化+頻帶權重+小波方向」的架構品質會比原始的還要好，但解碼端計算量原始的會比較快一點。

針對以上編碼觀點以及信號的特性，加入本發明提出的方法如小波的方向性、各個頻帶的重要性以及量化觀念後，經實驗的結果如下：

(一)本發明所提出的「量化+權重+方向」方法，其PSNR值會比原始的壓縮取樣架構高出1.5dB~5dB，誠如第二十四圖所示。

(二)本發明所提出的「量化+權重+方向」的方法，其計算量只比原始壓縮取樣架構多花了4%的時間而已，誠如第二十五圖所示。

(三)本發明所提出的「量化+權重+方向」的方法，其JND_PSNR比原始的壓縮取樣架構高出3dB~12dB，誠如第二十六圖所示。

請參閱第二十七圖及第二十九圖，綜合以上說明，本發明首先建立編碼觀點之壓縮取樣評估準則：PSNR vs.Bit Rate、計算複雜度，取代原本壓縮取樣的PSNR vs.Measurement Rate，以(1)評估選擇THONG之方法。(2)比較WAVELET與DCT轉換之效能。針對編碼觀點以及信號的特性，本發明提出小波的方向性、各個頻帶的重要性以及量化觀念，由實驗可以看出在相同Bit Rate下，JND-Q+W+D的架構，該PSNR值會比原始的壓縮取樣架構高出5db左右，而在計算量上只比原始壓縮取樣架構多花了4%的時間而已。在最後本發明使用了JND_PSNR來評估，發現JND-Q+W+D後的品質會比原始的JND_PSNR高出12db，且其未曾見於書刊或公開使用，誠符合發明專利申請要件，懇請鈞局明鑑，早日准予專利，至為感禱；需陳明者，以上所述乃是本發明之具體實施立即所運用之技術原理，若依本發明之構想所作之改變，其所產生之功能作用仍未超出說明書及圖式所涵蓋之精神時，均應在本發明之範圍內，合予陳明。

(a)、(b)、(c)‧‧‧步驟流程

第一圖：為本發明的方法流程圖。

第二圖：為本發明係在沒有執行其它程式與其他干擾因素下所運作執行的測試環境之軟硬體設備一覽表。

第三圖：為Lena影像的PSNR vs.Bit Rate的關係圖。

第四圖：為Lena影像係在解碼時的複雜度的圖式。

第五圖：為本發明影像係在相同的稀疏性的情況下的係數分佈圖。

第六圖：為本發明影像係在加入量化的情況下的係數分佈圖，條件為threshold小於5的係數都設為0。

第七圖：為本發明影像係在加入量化的情況下的係數分佈圖，且設定起始值1跟終值20，讓其三張圖的範圍固定。

第八圖：為本發明影像係在不相同的稀疏性的情況下之係數分佈圖。

第九圖：為本發明所提供的原始影像之圖式。

第十圖：為本發明對原始影像做一階小波之圖式。

第十一圖：為本發明原始影像的相反方向性(cross-diraction)的H水平頻帶之圖式。

第十二圖：為本發明原始影像的依照方向性(along-diraction)的 H水平頻帶之圖式。

第十三圖：為本發明原始影像的threshold truncating前的稀疏性與均勻性。

第十四圖：為本發明原始影像的threshold truncating後的稀疏性與均勻性。

第十五圖：為本發明評估Lena影像不同階(Level)的R-D Performance。

第十六圖：為本發明針對麗娜(Lena)影像不同Level的編解碼複雜度。

第十七圖：為本發明針對麗娜(Lena)影像比較轉換前與轉換後的稀疏性。

第十八圖：為本發明評估麗娜(Lena)的DWT和DCT的R-D Performance。

第十九圖：為本發明針對比較麗娜(Lena)影像其DWT和DCT的編解碼的複雜度。

第二十圖：為本發明加入頻帶權重之測量向量的影像壓縮流程圖。

第二十一圖：為本發明比較麗娜(Lena)影像及加入「JND量化+頻帶權重+小波方向」影像的稀疏性之一覽表。

第二十二圖：為本發明比較麗娜(Lena)影像及加入「JND量化+頻帶權重+小波方向」影像的R-D Performance之一覽表。

第二十三圖：為本發明比較Lena影像及加入「JND量化+頻帶權重+ 小波方向」影像的計算量之一覽表。

第二十四圖：為本發明比較及加入「JND量化+頻帶權重+小波方向」影像的PSNR V.S Bit Rate分別在(a)猴子(baboon)影像(b)麗娜(Lena)影像(c)蔬菜(peppers)影像之圖式。

第二十五圖：係本發明分析猴子(baboon)影像、麗娜(Lena)影像、蔬菜(peppers)影像在原始影像及「JND量化+頻帶權重+小波方向」影像的計算複雜度。

第二十六圖：為本發明比較及加入「JND量化+頻帶權重+小波方向」影像的JND_PSNR V.S Bit Rate分別在(a)猴子(baboon)影像(b)麗娜(Lena)影像(c)蔬菜(peppers)影像之圖式。

第二十七圖：係本發明針對猴子(baboon)影像所作的實驗數據結果一覽表。

第二十八圖：係本發明針對麗娜(Lena)影像所作的實驗數據結果一覽表。

第二十九圖：係本發明針對蔬菜(peppers)影像所作的實驗數據結果一覽表。

第三十圖：為一般影像壓縮取樣之流程架構圖。

第三十一圖：為一般影像各個次頻帶的JND_threshold模型圖。

Claims

一種基於小波轉換域訊號與人眼視覺特性之壓縮取樣影像編碼方法係包含下述步驟：a.運用離散小波轉換(DWT)轉換一影像，經過一測量矩陣獲得一測量向量M；b.其中將該影像小波分解成LL、HL、LH、HH四個次頻帶；c.再依據各個次頻帶的小波方向性的壓縮性能評估，並選用其反方向性(cross-direction)；d.加入JND(Just Noticeable Difference)量化，亦即對各個次頻帶訂出一個門檻值，進一步取得較高的稀疏性；及e.依各個次頻帶的權重輸出一測量向量值，其中各個次頻帶LL的權重設為M/2、LH的權重設為M/5、HL的權重設為M/5、HH的權重設為M/10。
依據申請專利範圍第1項所述基於小波轉換域訊號與人眼視覺特性之壓縮取樣影像編碼方法，其中步驟(c)中小波方向性的壓縮性能評估方法為對小波的依照方向性(along-direction)及相反方向性(cross-direction)分別計算出稀疏性(sparsity)、均勻性(uniformity)，然後再進行評估。
如申請申請專利範圍第2項所述基於小波轉換域訊號與人眼視覺特性之壓縮取樣影像編碼方法，其中該稀疏性(sparsity)，係由以下公式求得： (K 表示非零個數，N 表示影像總係數)，S 越大代表非零個數越少，亦即稀疏性越高，但是一般影像經轉換後之非零係數較接近N(KN) 。
如申請專利範圍第2項所述基於小波轉換域訊號與人眼視覺特性之壓縮取樣影像編碼方法，其中該均勻性(uniformity)係由一平均值(Mean)及一變異數(Variance)來表示，該平均值與變異數，係由以下求的：平均值(Mean)公式：,N 是圖中全部係數裡面大於5的總數，而N+1 是因為多了起始值和終值且是求間距；變異數(Variance)公式： Variance =31.36。