TW201601522A

TW201601522A - 基於最小可覺差之感知性視訊編碼方法

Info

Publication number: TW201601522A
Application number: TW103121576A
Authority: TW
Inventors: 高偈愷; 陳宏銘; 黃崇堯
Original assignee: 國立臺灣大學
Priority date: 2014-06-23
Filing date: 2014-06-23
Publication date: 2016-01-01

Abstract

一種基於最小可覺差之感知性視訊編碼方法，其可藉由一個或多個處理器予以執行。此方法包含以下步驟：首先，決定一最小可覺差模型(JND model)；接著，根據最小可覺差模型，對於一輸入圖框執行位元率-誤差最佳化(RDO)之運算，並進行量化及模式判定，以獲得至少一最佳量化轉換係數。

Description

基於最小可覺差之感知性視訊編碼方法

本發明係有關感知性視訊編碼方法，特別是關於一種基於最小可覺差模型之感知性視訊編碼方法。

鑑於一般傳統影片編碼方法並未考量人眼感知特性，而其中一些方法雖然提出了在影片編碼過程中採用最小可覺差模型以增進影片壓縮效果，惟現行採用最小可覺差模型的方法卻未完整考慮到位元率-誤差最佳化議題，因而往往在影片編碼過程中需使用大量位元率，致使其編碼效率低，且亦未能有效產生人眼視覺感知無損之影片。

因此亟需發展出一種經考量人眼視覺感知之影像編碼，以能夠產生視覺感知無損影片，抑或在使用最少位元率下產生視覺感知有損影片之新穎視訊影像編碼機制。

鑑於上述，本發明實施例的目的之一在於提出一種基於最小可覺差(JND)模型之感知性視訊編碼方法，以有效產生視覺感知無損影片，抑或在使用最少位元率下產生視覺感知有損影片。

根據本發明實施例，一種基於最小可覺差(JND)模型之感知性視訊編碼方法，其包含以下步驟：首先，決定一最小可覺差模型(JND model)；接著，根據最小可覺差模型，對於一輸入圖框執行位元率-誤差最佳化(RDO)之運算，並進行量化及模式判定，以獲得至少一最佳量化轉換係數。

第一圖顯示本發明實施例之基於最小可覺差之感知性視訊編碼方法100的流程圖，其可使用處理器、軟體或其組合予以執行。以下所述實施例可適用於H.264/AVC視訊編碼標準，但不限定於此。

於視訊編碼方法100，首先係決定一最小可覺差模型(JND model)。接著，根據最小可覺差模型，對於一輸入圖框執行位元率-誤差最佳化(RDO)之運算，並進行量化及模式判定，以獲得最佳量化轉換係數。

而在本實施例所使用之最小視覺模型，其中失真臨限值係為基礎臨界值(base threshold)T_b 與亮度適應因數(luminance adaptation factor)F_l 、對比遮蔽因數(contrast masking factor)F_c 及時域調變因數(temporal modulation factor)F_t 之三個調變因數的乘積，如下所示： (1) 其中n 為一影像塊（image block）的指數，(i , j ) 為轉換係數（transform coefficient）之指數。

藉此，每一轉換係數則可經由最小可覺差模型予以計算，而對應產生一失真臨限值T_JND 。另外，雖然本實施例所使用之最小視覺模型係基於考量基礎臨界值與亮度適應因數、對比遮蔽因數及時域調變因數之三個調變因數，惟本發明不以此為限，其他態樣之最小視覺模型亦可依實際需求而予以採用之。

再者，本方法即可根據上述最小視覺模型，提出一失真矩陣(distortion metric)，用以最佳化轉換編碼(transform coder)之量化(quantization)及模式判定(mode decision)，亦即將元率-誤差最佳化(RDO)導入量化及模式判定時，同步考慮最小可覺差(JND)。更進一步地說，而該失真矩陣則係透過以下導入結合最小視覺模型之計算方程式，予以量測影像塊之失真(E )。(2) 其中，(3) 並且其中t 及分別表示轉換係數(transform coefficient)及重構轉換係數(reconstructed transform coefficient)。

然而經考量最小可覺差模型所產生之視覺失真與實際失真的絕對值之間的關係，如第二圖所示。

如此一來，於視覺感知無損編碼時，其最佳化問題即可簡化以藉由如下列目標函示予以計算解決之，可應用在量化及模式判定上。(4) 其中N_u 代表影像塊數量，r_n 代表第n個影像塊之位元率。

另一方面，於視覺感知有損編碼時，其最佳化問題相同地亦可以藉由如下列目標函示予以計算解決之，並可應用在量化及模式判定上。(5) 其中R_c 為最大可允許位元率。

更具體地說，在本發明之用以進行視覺感知無損編碼的實施例中，首先係藉由將位元率最小化至零視覺感知失真，進而對於輸入影像塊之每一轉換係數予以對應計算產生一失真臨限值。接著，根據輸入影像塊之最小失真臨限值，向每一影像塊予以計算其對應之量化步階尺寸 (quantization step size)。再者，根據轉換係數之最終量化參數(即，量化步階尺寸)與失真臨界值，計算每一轉換係數之偏移係數(rounding offset)。最後，藉由使用量化參數與偏移係數，予以對影像塊進行編碼。

在此實施例中，由於為了在編碼後要達到視覺感知無損，因此在決定量化步階尺寸時，必須同步考慮失真臨限值。然而，於估算最佳量化步階尺寸時，最開始係透過一中間平坦均勻量化器(mid-tread uniform quantizer)進行遞迴運算，其中，本實施例所使用之中間平坦均勻量化器如下所示：(6) 其中，為下取整數運算，為量化步階尺寸。

接著，均勻量化器經由導入考量偏移係數並予以進行第回演算後，將成為非均勻量化器。然而，最終獲致之量化器，則如下所示：(7) 其中f (i ,j )為偏移係數且f (i ,j )＜0.5，Q_m 為最佳量化步階尺寸。

另外，由於量化器之最大量化誤差係為(1-f (i ,j ))Q_m ，因此每一轉換係數t (i , j ) 之偏移係數即可藉由下列方程式予以決定之。(8)

如此一來，每一轉換係數t (i , j ) 之偏移係數則可確定如下所示：(9)

然而，其中由於當失真臨限值大於量化步階尺寸時，偏移係數將是一負數值。換句話說，當處理正數值之轉換係數時，下取整數運算之運算量將維持為負數值。因此，當藉由方程式(7)下取整數運算之輸出值為負數值時，其轉換係數之重構值將設為零。如此一來，量化器即可修正為如下所示：(10)

再者，在模式判定上，由於失真值已經藉由量化器之視覺感知無損設計而予以控制在零值，其位元-失真成本(rate-distortion cost)則亦對應降低至位元成本(rate cost)，因此最佳模式即為具有最低位元率之編碼模式。

此外，本發明之另一態樣係有關視覺感知有損編碼。因此在本發明之用以進行視覺感知有損編碼的另一實施例中，其更包含：藉由一給定量化步階尺寸，運算產生影像塊之每一轉換係數的失真臨限值。而此運算處理係應用於一輸入圖框之各個影像塊。接著，依據每一轉換係數的失真臨限值及量化步階尺寸，決定輸入圖框之拉格朗日乘數(Lagrange multiplier)，並計算產生最終參數。再者，將最終參數用以執行位元-失真最佳化(rate-distortion optimized)之模式判定及量化運算。

更具體地說，於拉格朗日乘數之決定上，在視覺感知有損的影像編碼下，量化及模式判定係可視作為最佳化問題並程式化處理之，其目標函式表示如下：(11) 其中λ_f 代表拉格朗日乘數。

因此，經藉由導入考量最小視覺模型，並透過中間平坦均勻量化器計算轉移係數之視覺量化誤差，將可運算推導出影像圖框之拉格朗日乘數如下。此外，由於每一轉換係數具有一對應失真臨限值，所以每一轉換係數的拉格朗日乘數亦不相同。(12) 其中N_f 代表圖框中之具有非零(nonzero)視覺感知損失之轉換係數的數量。

至於在本實施例中，其編碼模式判定係透過使用以下位元-失真成本的目標函式，並取其最小化而判定編碼模式。(13) 其中s 代表原始影像塊，m 代表編碼模式，R 代表位元率，且ε 代表重構影像塊c 之視覺感知失真。

再者，於本實施例中，其係藉由進行考量位元-失真最佳量化(RDOQ)及其估算，予以設計量化器。亦即，編碼方法更包含，藉由影像塊之轉換係數t (1,1),…,t (N ,N )，計算求出最佳化轉移係數，以最小化影像塊之位元-失真成本。其中，位元-失真最佳量化(RDOQ)之估算，可藉由如下所示之極小化目標函示。(14) 其中ε_n 代表第n 個影像塊之視覺感知失真，而R_Q (· ) 代表量化移轉係數(quantized transform coefficient)之位元率。

再者，由於位元模型(rate model)可修正以估算量化移轉係數之位元率，如下所示：(15) 其中參數α 與β 可藉由離線訓練以遞迴運算取得最佳參數值，並且其中(16)

因此，當其導入至上述位元-失真最佳量化(RDOQ)之極小化目標函示後，其極小化目標函示則可修正調整為如下：(17)

然而因為移轉係數x (i , j )彼此係分開且獨立，所以每一移轉係數x (i , j )可以個別獨立處理以計算出最佳值，如下所示：(18) 其中(19) 並且(20)

如此，藉由上述考慮每一移轉係數x (i , j )之最小位元-失真成本之運算過程，將可有效取得之最佳量化移轉係數。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

100‧‧‧方法

第一圖繪示依據本發明實施例之基於最小可覺差(JND)模型之感知性視訊編碼方法的流程圖。第二圖繪示依據本發明實施例之考量最小可覺差模型所產生之視覺失真與實際失真的絕對值之間的關係圖。

100‧‧‧方法

Claims

一種基於最小可覺差(JND)模型之感知性視訊編碼方法，其中藉由一個或多個處理器執行該方法，該方法包含以下步驟：決定一最小可覺差模型(JND model)；及根據該最小可覺差模型，對於一輸入圖框執行位元率-誤差最佳化(RDO)之運算，並進行量化及模式判定，以獲得至少一最佳量化轉換係數。
如申請專利範圍第1項所述之方法，其中最小可覺差模型表示為：其中n 為一影像塊（image block）的指數，(i , j ) 為轉換係數（transform coefficient）之指數，係為失真臨限值，基礎臨界值T_b ，亮度適應因數F_l ，對比遮蔽因數F_c 及時域調變因數F_t 。
如申請專利範圍第1項所述之方法，其中更包含根據該最小視覺模型，提出一失真矩陣(distortion metric)，以量測輸入圖框之影像塊之失真(E)，如下所示：其中，並且其中t 及分別表示轉換係數(transform coefficient)及重構轉換係數(reconstructed transform coefficient)。
如申請專利範圍第3項所述之方法，其中當於視覺感知無損編碼時，位元率-誤差最佳化(RDO)之運算目標函示，表示如下：其中N_u 代表影像塊數量，r_n 代表第n個影像塊之位元率。
如申請專利範圍第3項所述之方法，當於於視覺感知有損編碼時，位元率-誤差最佳化(RDO)之運算目標函示，表示如下：其中Rc 為最大可允許位元率。
如申請專利範圍第1項所述之方法，其中當進行視覺感知無損編碼時，更包含以下步驟：藉由將位元率最小化以達到零視覺感知失真，進而對於該輸入圖框之影像塊之每一轉換係數予以對應計算產生一失真臨限值；根據該輸入圖框之影像塊之最小失真臨限值，向每一影像塊予以計算其對應之一量化步階尺寸 (quantization step size)；根據每一該轉換係數之該量化步階尺寸與該失真臨界值，計算每一該轉換係數之一偏移係數(rounding offset)；及藉由使用該量化步階尺寸與該偏移係數，予以對該輸入圖框之影像塊進行編碼。
如申請專利範圍第6項所述之方法，其中在估算最佳量化步階尺寸時，首先係使用一中間平坦均勻量化器(mid-tread uniform quantizer)進行遞迴運算，該中間平坦均勻量化器，表示為：其中，為下取整數運算，為量化步階尺寸。
如申請專利範圍第6項所述之方法，其中該最佳量化轉換係數表示為：
如申請專利範圍第1項所述之方法，其中當進行視覺感知有損編碼時，更包含以下步驟：藉由一量化步階尺寸，運算產生該輸入圖框之影像塊之每一轉換係數的一失真臨限值；依據每一轉換係數的該失真臨限值及該量化步階尺寸，決定該輸入圖框之一拉格朗日乘數(Lagrange multiplier)，並計算產生至少一最終參數；及將該至少一最終參數用以執行位元-失真最佳化(rate-distortion optimized)之模式判定及量化。
如申請專利範圍第9項所述之方法，其中該拉格朗日乘數(Lagrange multiplier)：其中N_f 代表圖框中之具有非零(nonzero)視覺感知損失之轉換係數的數量。