TWI404421B

TWI404421B - 應用人類視覺恰可辨別差（ｊｎｄ）模型之快速ｊｐｅｇ２０００影像壓縮編碼方法及壓縮影像品質評估方法

Info

Publication number: TWI404421B
Application number: TW99100155A
Authority: TW
Inventors: Day Fann Shen; Reui Cheng Jian
Original assignee: Univ Nat Yunlin Sci & Tech
Priority date: 2010-01-06
Filing date: 2010-01-06
Publication date: 2013-08-01
Also published as: TW201125367A

Description

應用人類視覺恰可辨別差(JND)模型之快速JPEG2000影像壓縮編碼方法及壓縮影像品質評估方法

本發明係關於一種影像壓縮編碼方法及壓縮影像之品質評估方法，尤指一種應用人類視覺恰可辨別差(JND)模型之快速JPEG2000影像壓縮編碼方法及壓縮影像品質評估方法。

隨著多媒體資訊，例如影像、圖像、視訊、語音和音樂的快速發展，目前首先面臨到的問題，即是影像資訊日漸龐大的資料量，目前係藉由數位影像壓縮技術，來降低儲存及傳輸影像資訊的成本，常見的壓縮標準包含JPEG(Joint Photographic Experts Group，聯合圖像專家小組)，或是JPEG組織在1997年所推動的新一代影像壓縮標準JPEG2000。

JPEG主要是採用離散餘弦轉換(Discrete Cosine Transform，簡稱DCT)為主的區塊編碼方式，其仍是目前在全球資訊網(World Wide Web)上最普遍被用來儲存和傳輸照片的格式，然而隨著無線網路的普及，其傳輸頻寬的限制，卻也造成JPEG壓縮標準有著無法處理較大的影像、無抗錯誤性、無法任意存取(Random Access)及低位元壓縮品質較差的缺點。

而JPEG2000即是針對JPEG加以改良所衍生，JPEG2000壓縮標準則改以小波轉換(Wavelet Transform)為主的多解析編碼方式，雖然複雜度及計算量較JPEG壓縮標準增加，但確實改善了上述JPEG的缺點，例如具有高壓縮率、具有錯誤回覆功能等優點，尤其在低位元時，JPEG2000的影像品質明顯超越了JPEG。

然而，自然影像的統計特性都是非穩態(nonstationary)型態，且判定一幅重建影像品質的好壞，是著重在人眼的感受，而不是單純的像素與像素間誤差，因此視覺影像壓縮編碼應考慮人眼視覺特性(human visual system，簡稱HVS)，原有的JPEG影像壓縮標準有將人眼視覺特性列為影像計算的考慮因素，惟JPEG2000影像壓縮標準卻沒有將此特性列入考慮；此外，在接收端要求重建無失真影像時，因JPEG2000在量化小波係數及處理較小係數時極為費時，且位元率之耗費較大，使整體計算效率降低。

此外，一般對於影像品質好壞的評估，最直接的方式是藉由人的眼睛判斷，然而此一方法評估可能因個人的主觀意識而失真，若評等僅有佳、好、普通、不好、劣等，則個人的主觀意識將嚴重影響評比的準確度。

目前最廣泛的一種評定重建影像品質好壞的方法，係以訊雜比(The peak signal-to-noise ratio，簡稱PSNR)作為評定影像品質的標準，在PSNR的計算中，每個次頻帶的權重皆為，這也表示PSNR的計算方法隱含了所有的次頻帶都對人眼有一樣的重要性。惟其並不合理，因為人眼對空間頻率不同的高低與方向有不同的敏感度。因此，有必要對PSNR的計算方法加入人眼視覺特性做修正。

為提高JPEG(Joint Photographic Experts Group，聯合圖像專家小組)2000影像壓縮編碼技術的計算效率，但仍顧及維持一定之重建影像品質，本發明之主要目的在提供一種應用人類視覺恰可辨別差(Just Noticeable Difference，簡稱JND)模型之快速JPEG2000影像壓縮編碼方法及影像壓品質評估方法，該影像壓縮編碼方法融入了人眼視覺特性(human visual system，簡稱HVS)，故可得較佳的計算效率及較佳的重建影像品質。

為達成前述目的所採取之主要技術手段係令前述JPEG2000影像壓縮編碼方法包括下列步驟：將原始影像進行離散小波轉換(Discrete Wavelet Transformation)後得到小波係數；將小波係數進行恰可辨別差純量量化(Just Noticeable Difference Scalar Quantization，簡稱JND_SQ)得到JND_SQ小波係數；將JND_SQ小波係數進行量化、最佳化區塊壓縮編碼(Embedded Block Coding with Optimized Truncation，簡稱EBCOT)及解量化後得到重建前JND_SQ小波係數；將重建前JND_SQ小波係數進行JND_SQ重建後得到JND_SQ重建後小波係數；將JND_SQ重建後小波係數進行反離散小波轉換(Inverse Discrete Wavelet Transformation)後得到已重建無失真影像。

上述技術手段係利用人眼視覺特性(HVS)對次頻帶中的係數做最佳的量化，對於每一個次頻帶根據實驗推導出一個視覺無失真臨界值(Visually Lossless JND_threshold)，此乃人眼在視覺無失真下容忍該頻帶係數錯誤的最大範圍，再依此臨界值定出每個次頻無失真之量化步階值(step size)；而實際之量化步階值可根據影像品質需求或不同的位元需求(bit rate budget)等比例地調大或調小；經實驗證明，此無失真量化步階值可有效地得到最佳之視覺品質與位元率組合，且在過程中重新依視覺重要性調整小波係數之權重，將大量高頻係數量化為零，進而大幅降低計算量。

又為準確評估影像之視覺品質，本發明之另一主要技術手段係令前述壓縮影像品質評估方法包括下列步驟：顯示原始影像；以與原始影像相同之大小，且於與原始影像重疊之位置顯示已重建無失真影像，並將原始影像與已重建無失真影像進行切換；取得且記錄觀測數據；以觀測數據計算壓縮影像之視覺品質指標。

利用上述技術手段可得出更為主觀且精確的品質評估結果，藉由該品質指標之數值作為品質評估的依據，可更精準地判斷出各種不同影像壓縮編碼方法的優劣。

請參閱第一圖所示，本發明應用人類視覺恰可辨別差(Just Noticeable Difference，簡稱JND)模型之快速JPEG(Joint Photographic Experts Group，聯合圖像專家小組)2000影像壓縮編碼方法的一較佳實施例，係包括離散小波轉換(Discrete Wavelet Transformation)(10)、恰可辨別差純量量化(Just Noticeable Difference Scalar Quantization，簡稱JND_SQ)(20)、量化(30)、最佳化區塊壓縮編碼(Embedded Block Coding with Optimized Truncation，簡稱EBCOT)(40)、解量化(50)、JND_SQ重建(60)及反離散小波轉換(Inverse Discrete Wavelet Transformation)(70)等步驟。

首先，係將原始影像進行離散小波轉換(10)後得到小波係數，接著將該小波係數進行JND_SQ(20)。所謂JND，乃是人眼區別亮度變化的能力，對一般人而言，此能力與背景之明亮有極大的關聯。

JND_SQ(20)可以1997年由Watson、Yang、Solomon及Villasenor所提出的JND視覺模型(簡稱WYSV視覺模型)或1998年Shen及Yuan提出之JND視覺模型(簡稱SY視覺模型)作為基礎，以下係以SY視覺模型加以舉例，其找出人類視覺JND與空間頻率及方向性的關係，如第二圖所示，人眼對於各種空間頻率敏感度的不同，且隨著空間頻率的增加，JND值也隨之增大，水平空間頻率和垂直空間頻率的JND曲線差異不大，但值得注意的是，在高頻時，斜45度空間頻率其曲線就要比前兩者高出許多，也就是說在高頻時人眼對傾斜的頻率變化較水平或垂直要不敏感許多；因此可知，人類視覺對低頻的變化較高頻敏感，在方向性上變化的敏感度由低至高依次為對角、水平、垂直，依特性進而對每一個次頻帶推導出JND臨界值Γ_sb ，每個次頻帶的JND臨界值Γ_sb 的計算方法為：

JND _sb _, _ori (u ,v )的意義是：次頻帶(sb)在頻域中的每一個頻率計算出其綜合頻率，而由頻率JND曲線所對應的JND值。JND臨界值Γ_sb 可視為在該次頻帶上各頻率JND值的方均根，各個次頻帶的JND臨界值只與人眼特性有關而不受影響，而第三圖所示即是由上述公式計算出之JND臨界值的例子，可依據JND臨界值將不重要的係數捨去，所謂的捨去就是把絕對值小於JND臨界值的係數量化為零，對於絕對值大於JND臨界值的係數及最低頻的係數則保留，約可省去(另會為零)73%的係數，但不會影響到影像重建的視覺品質。而若採用WYSV視覺模型，則是以不同方法取得不同的JND臨界值。

此外，本發明又依據每個次頻帶的JND臨界值來決定其次頻帶係數純量量化的步階值S _ab ，故進行JND_SQ(20)時，係將未進行JND_SQ的小波係數以每個次頻帶之步階值S _ab 加以量化，其公式如下：

其中C _sb (k ,l )為未JND_SQ的小波係數，係為JND_SQ小波係數，而Φ 是壓縮控制因子，Φ =1時，重建影像在一般觀測距離為60公分處係視覺上無損失，所以Φ 越小，所得到的影像品質會越好，只是在大多數的情況下，S _sb 必須大於1。

在經過JND_SQ(20)後，各次頻帶有小於之係數被量化為零，在越高頻的次頻帶量化為零較多，但在較低頻的次頻帶量化為零數較少，此為JND_SQ(20)之優點，即保留低頻係數並儘量去除高頻係數，原因在於：高頻次頻帶之係數數量對重建影像之品質的重要性較低，而低頻次頻帶之係數數量對重建影像之品質的重要性較高。

JND_SQ小波係數尚需進一步量化(30)，JPEG2000所提供的量化方式為純量量化法(Scalar dead-zone quantization)。

而在量化(30)之後的下一步，是進行EBCOT(40)將經量化的JND_SQ小波係數壓縮，EBCOT(40)是一套嵌入式區塊壓縮技術，係JPEG2000原本就採行的壓縮技術，JPEG2000採用EBCOT(40)的原因，在於此種區塊壓縮技術對於經過小波轉換後的影像資料，具有較佳的壓縮品質；請進一步參閱第四圖所示，EBCOT(40)主要包含一第一層編碼器(Tier-1 Encoder)(41)、一第二層編碼器(Tier-2 Encoder)(42)及一位元控制單元(Rate-control)(43)，其中第一層編碼器(41)主要執行編碼程序的演算法，用以結合位元編碼和算數編碼兩部分，第二層編碼器(42)則主要是將第一層編碼器(41)所產生的資料包裝起來，而位元控制單元(43)則是用以預估影像的失真度，藉由決定量化(30)步驟的步階值，以決定哪些編碼程序的輸出應被放入封包(Packet)中，其判斷依據係以位元率和失真度作為基礎，並預估還原影像的失真度，以得到最佳的壓縮效果。

接著，經壓縮的影像資料再透過解量化(50)步驟得到重建前JND_SQ小波係數，而繼續進行JND_SQ重建(60)。每一個重建前JND_SQ小波係數係以JND_SQ(20)時的步階值S _ab 進行JND_SQ重建(60)，其公式如下為r _sb (k ,l )=x _sb (k ,l )‧S _sb ，其中r _sb (k ,l )係為JND_SQ重建後小波係數，x _sb (k ,l )係為重建前JND_SQ小波係數。

最後，JND_SQ重建後小波係數再進行反離散小波轉換(70)，即可得到無失真的重建影像。

由於本發明之方法係藉由SY視覺模型及JND_SQ(20)方法搭配現有的JPEG2000演算法，在維持一定的視覺無失真影像品質前提下，可將視覺不重要之係數大量化簡，故可在JPEG2000的基礎上產生兩個效果：

1.相同位元率之下，無論由本發明之品質評估方法或視覺模型矯正後之客觀指標JND訊雜比(The peak signal-to-noise ratio，簡稱PSNR)進行品質評估，本發明之快速JPEG2000影像壓縮編碼方法所產生之重建影像均有較佳之視覺品質。

2.可大幅的提昇編碼效率及降低計算量，如第五圖所示，顯示本發明之方法相較既有JPEG2000影像壓縮編碼技術在相同位元率(bit rate)時的編碼執行時間比較，可知本發明之方法所需的編碼執行時間較既有JPEG2000的編碼執行時間短，尤其是在低位元率時的壓縮效率，其效果更是顯著。

此外，請參閱第六圖所示，本發明影像壓縮編碼技術之品質評估方法係包括下列步驟：顯示原始影像(601)，可由電腦螢幕顯示，此時，由觀測者與電腦螢幕相隔一觀測距離(例如：60公分)，以其眼睛對原始影像進行觀測；於本實施例中，係由多位觀測者進行觀測；以與原始影像相同之大小，且於與原始影像重疊之位置顯示已重建無失真影像(602)，該已重建無失真影像可由本發明之JPEG2000影像壓縮編碼方法所產生，或是由其他影像壓縮編碼方法所產生，並將原始影像與已重建無失真影像進行切換；若觀測者察覺已重建無失真影像與原始影像有異，則進一步拉長觀測距離直至觀測者察覺無法重建無失真影像與原始影像有異時，記錄下當時的觀測距離為觀測數據；又若觀測者一開始無法察覺已重建無失真影像與原始影像有異，則進一步縮短觀測距離直至觀測者察覺已重建無失真影像與原始影像有異時，記錄下當時的觀測距離為觀測數據；取得觀測數據(603)，係將上述取得之觀測數據加以記錄；以觀測數據計算品質指標(604)，例如若有多位觀測者參與測量時，可將所有觀測者的觀測數據加總後再除以觀測者數，以取得觀測數據的平均數作為品質指標。

由上述可知，本發明之品質評估方法有以下兩種特色：

1.將已重建無失真影像與相同大小之原始影像在同一位置上交互切換，利用人類視覺在切換瞬間容易檢驗出兩者差異的能力進行測量，故準確度較高。

2.品質評估方法之輸出是客觀的距離(cm or inch)，而非籠統的主觀好壞等級(如：非常好，很好，好，一般，差，很差，不堪使用，等)。這兩個特色令本發明之品質評估方法有精密客觀之輸入與輸出規範，能更有效分辨出影像品質好壞。視覺無失真臨界觀測距離是一客觀的數據，以之作為判斷基準，可將各影像壓縮編碼方法所產生之重建影像，由人眼實際觀測以評估品質，並得出數值化的品質指標，因而可更直覺地瞭解各影像壓縮編碼方法之品質差異，而非籠統的主觀好壞等級，如：非常好，很好，好，一般，差，很差，不堪使用等。

惟本發明雖已於前述實施例中所揭露，但並不僅限於前述實施例中所提及之內容，在不脫離本發明之精神和範圍內所作之任何變化與修改，均屬於本發明之保護範圍。

綜上所述，本發明已具備顯著功效增進，並符合發明專利要件，爰依法提起申請。

(10)．．．離散小波轉換

(20)．．．恰可辨別差純量量化(JND_SQ)

(30)．．．量化

(40)．．．最佳化區塊壓縮編碼

(41)．．．第一層編碼器

(42)．．．第二層編碼器

(43)．．．位元控制單元

(50)．．．解量化

(60)．．．JND_SQ重建

(70)．．．反離散小波轉換

第一圖：係本發明快速重建無失真影像之JPEG2000影像壓縮編碼方法的一較佳實施例之編碼流程圖。

第二圖：係恰可辨別差(JND)值與空間頻率之關係示意圖。

第三圖：係SY視覺模型在不同次頻帶所得JND臨界值表。

第四圖：係本發明快速重建無失真影像之JPEG2000影像壓縮編碼方法的一較佳實施例中最佳化區塊壓縮編碼步驟之詳細流程圖。

第五圖：係利用本發明之JPEG2000影像壓縮編碼方法與既有JPEG2000影像壓縮編碼技術之編碼執行時間比較表。

第六圖：係本發明影像壓縮編碼技術之品質評估方法的流程圖。