TWI473503B - Mobile forecasting method for multimedia video coding - Google Patents

Description

多媒體視訊編碼之移動預測方法

本發明係與影像處理之技術有關，特別是指一種多媒體視訊編碼之移動預測方法。

可調式視訊編碼(Scalable Video Coding,SVC)除了具有傳統H.264/AVC高編碼效率優點外，更提昇了編碼彈性，主要的原因為SVC擁有時間可調性(Temporal Scalability)、空間可調性(Spatial Scalability)以及訊雜比可調性(SNR Scalability)三大特性。可調式視訊編碼由一個基礎層(Base Layer)以及數個增強層(Enhancement Layer)所構成，其中基礎層的編碼方式類似於H.264/AVC，其解析度較低，而增強層則是相同於基礎層的視訊內容，但具有較高的解析度，增強層除了可做本層(增強層)預測與編碼外，亦利用基礎層之編碼資訊進行跨層預測與編碼，稱為階層預測模式(Inter-Layer Prediction)。由於預測的來源增加，其運算複雜度即因此而提高，進而使得裝置本身對於能源功率的需求更高，在無線裝置之低功率與即時性通信的需求下，可調式視訊編碼器設計將更具有挑戰性。

以H.264/AVC為基礎之階層預測模式中可分成三種測模式：階層間畫面內預測(Inter-Layer Intra Prediction,ILIP)、階層間移動預測(Inter-Layer Motion Prediction,ILMP)以及階層間差值預測(Inter-Layer Residual Prediction,ILRP)。其中階層間差值預測與H.264/AVC之本層畫面間預測(Inter Mode)皆需執行移動預測運算，對增強層而言，移動預測運算為編碼器之主要運算需求。如果可以從二種模式的移動預測選擇只作一種預測編碼，對於軟體或硬體編碼而言，就能節省50%移動預測的運算量。

在H.264/AVC之畫面間預測中，正在編碼巨集區塊(Current Macroblock)經過移動預測與移動補償(Motion Compensation)後，正在編碼巨集區塊會找到參考畫面(Reference Frame)內最相似的區塊內容，最後編碼時，便是將兩者之間的殘留值(即兩者相減的值)資訊進行熵編碼(Entropy Coding)後，即成為編碼完成的影片，之後再加以向外傳送。然而可調式視訊編碼，增強層與基礎層之殘留值(Residual)[請參考下方的名詞說明]具有很大的相關性，因此需要將增強層之殘留值降到最低，使用的方式便是階層間殘留值預測模式。可調式視訊編碼的增強層可以利用將增強層正在編碼巨集區塊對應於已編碼的基礎層巨集區塊的殘留值，根據增強層與基礎層之解析度大小比例將基礎層的對應區塊進行SVC之上升取樣(Up-sampling)後，再將增強層正在編碼巨集區塊各畫素值減去對應的基礎層巨集區塊經上升取樣後的殘留值所對應的畫素值，得到已消除殘留值的跨層移動預測之搜尋比對樣本(Search Pattern)，便可大幅減少增強層的殘留值，進而提高編碼效益。

由上述說明可以發現，在增強層中，跨層與本層移動預測的搜尋比對樣本之差異。本層的搜尋比對樣本是增強層正在編碼巨集區塊，跨層的搜尋比對樣本是增強層正在編碼巨集區塊各畫素值減去基礎層對應巨集區塊經上升取樣之殘留值的相對應畫素值。基礎層對應巨集區塊經上升取樣後的殘留值越小，跨層與本層之移動預測結果越接近一樣；基礎層對應巨集區塊經上升取樣後的殘留值越大，跨層與本層之移動預測結果才會越不相同。在以其他技術進行視訊壓縮時也可以藉由對原始畫面做上升取樣或是下降取樣在不同畫面間實施上述的移動預測技術。

名詞說明：

殘留值(Residual)：一個MxN畫素區塊，由一個原始區塊各畫素值減去預測區塊相對應畫素值得到MxN個值，其中該畫素區塊也可以視為上述之一巨集區塊。殘留值是將MxN畫素區塊之所有畫素值各別取絕對值，再將每個絕對值全部相加之和。

基礎層殘留值(BL_Residual)：增強層正在編碼巨集區塊所對應之基礎層對應巨集區塊，將對應巨集區塊各畫素值減去預測巨集區塊相對應畫素值，經過上升取樣後所得到的殘留值。

增強層殘留值(EL_Residual)：增強層經編碼流程後，由正在編碼巨集區塊各畫素值減去預測巨集區塊相畫素值之殘留值。

增強層移動預測殘留值(EL_Residual_ME )：增強層正在編碼巨集區塊經移動預測後，得到最佳的移動向量(Motion Vector,MV)，移動補償依照最佳的移動向量取得預測巨集區塊，由正在編碼巨集區塊各畫素值減去預測巨集區塊相對應畫素值取得殘留值。

本發明之主要目的在於提供一種多媒體視訊編碼之移動預測方法，其在增強層中針對移動預測，提出一個不同於前揭先前技術的方法來選擇跨層與本層之移動預測，除了可顧及畫質與編碼效能之外，又能節省50%移動預測的軟、硬體運算成本，進而降低了運算能量的消耗。

為了達成前述目的，依據本發明所提供之一種多媒體視訊編碼之移動預測方法，包含有下列步驟：a)定義一多媒體視訊編碼是由一基礎層以及複數增強層影音資料所組成，該基礎層以及該等增強層均為相同內容但分別為不同解析度，該基礎層是最低解析度，於該基礎層以及各該增強層中定義複數巨集區塊，把目前正在進行編碼的巨集區塊定義為正在編碼巨集區塊，以及定義各該增強層中的各該巨集區塊具有對應的基礎層殘留值、增強層殘留值以及增強層移動預測殘留值；b)在該等增強層的其中一個增強層中，取得該正在編碼巨集區塊所對應的基礎層殘留值；c)判斷該基礎層殘留值是否為零；若為零，則在本層進行視訊編碼的移動預測，並跳至步驟e)結束；若不為零，則跳至步驟d)；d)將正在編碼巨集區塊所對應的該基礎層殘留值與一臨界值進行比較，若該基礎層殘留值小於該臨界值，則在本層進行視訊編碼的移動預測；若該基礎層殘留值大於該臨界值，則進行跨層間視訊編碼的移動預測；其中，該臨界值係為：對該正在編碼巨集區塊的複數個相鄰巨集區塊分別取得對應的基礎層殘留值、增強層殘留值以及增強層移動預測殘留值，並對該等殘留值三者的其中之一或三者的任意相加組合進行動態移動平均的計算或取中間值的計算，藉以取得平均基礎層殘留值、平均增強層殘留值以及平均增強層移動預測殘留值，並對該平均基礎層殘留值、平均增強層殘留值以及平均增強層移動預測殘留值進行預定運算而得到一臨界值；e)結束。藉此，除了可顧及畫質與編碼效能之外，又能節省50%移動預測的軟、硬體運算成本，進而降低了運算能量的消耗。

為了詳細說明本發明之技術特點所在，茲舉以下之較佳實施例並配合圖式說明如後，其中：

如第一圖至第三圖所示，本發明一較佳實施例所提供之一種多媒體視訊編碼之移動預測方法，主要包含有下列步驟：

a)定義一多媒體視訊編碼是由一基礎層以及複數增強層影音資料所組成，該基礎層以及該等增強層均為相同內容但分別為不同解析度，該基礎層是最低解析度，於該基礎層以及各該增強層中定義複數巨集區塊，把目前正在進行編碼的巨集區塊定義為正在編碼巨集區塊(3)(示於第二圖)，以及定義各該增強層中的各該巨集區塊具有對應的基礎層殘留值、增強層殘留值以及增強層移動預測殘留值。

b)在該等增強層的其中一個增強層中，取得該正在編碼巨集區塊(3)所對應的基礎層殘留值。在第二圖中，上升取樣殘留值巨集區塊(1)是該正在編碼巨集區塊(3)所對應的基礎層對應巨集區塊(2)經過上升取樣後所得到的殘留量。

c)判斷該基礎層殘留值是否為零；若為零，則在本層進行視訊編碼的移動預測，並跳至步驟e)結束；若不為零，則跳至步驟d)。

d)將正在編碼巨集區塊(3)所對應的該基礎層殘留值與一臨界值進行比較，若該基礎層殘留值小於該臨界值，則在本層進行視訊編碼的移動預測；若該基礎層殘留值大於或等於該臨界值，則進行跨層間視訊編碼的移動預測。其中，該臨界值係為：對該正在編碼巨集區塊(3)的複數個相鄰巨集區塊(4)分別取得對應的基礎層殘留值、增強層殘留值以及增強層移動預測殘留值，並對該等殘留值三者的其中之一或三者的任意相加組合進行動態移動平均的計算或取中間值的計算，藉以取得平均基礎層殘留值、平均增強層殘留值以及平均增強層移動預測殘留值，並對該三個平均後的殘留值進行預定運算而得到一臨界值。在第三圖中，該正在編碼巨集區塊(3)之相鄰巨集區塊(4)係位於其左、左上、上、以及右上側。

在本步驟d)中，該預定運算係以下述之步驟d1)為例，d1)將該平均基礎層殘留值以及該平均增強層殘留值的比值做為調整參數來對該平均增強層移動預測殘留值進行調整(於本實施例中係為相乘)，並對調整後的該平均增強層移動預測殘留值加入由使用者自行定義的一偏移量，進而得到該臨界值。其算式依下述之式(1)所示。

e)結束。

藉由上述步驟可知，本發明可對正在編碼巨集區塊(3)所對應的該基礎層殘留值進行判斷，在等於零或小於該臨界值時；即判斷在本層進行視訊編碼的移動預測，在大於或等於該臨界值時，則判斷進行跨層間視訊編碼的移動預測。藉此，本發明利用上述方式來選擇本層或跨層其中一種移動預測運算，可顧及畫質與編碼效能。又由於本發明並非上述兩種運算都全部進行，因此可以節省50%的運算成本，降低了運算能量的消耗。

(1)．．．上升取樣殘留值巨集區塊

(2)．．．基礎層對應巨集區塊

(3)．．．正在編碼巨集區塊

(4)．．．相鄰巨集區塊

第一圖係本發明一較佳實施例之流程圖。

第二圖係本發明一較佳實施例之示意圖，顯示正在編碼巨集區塊進行上升取樣而取得殘留值的狀態。

第三圖係本發明一較佳實施例之示意圖，顯示選擇正在編碼巨集區塊相鄰的巨集區塊的狀態。

Claims (2)

1. 一種多媒體視訊編碼之移動預測方法，包含有：a)定義一多媒體視訊編碼是由一基礎層以及複數增強層影音資料所組成，該基礎層以及該等增強層均為相同內容但分別為不同解析度，該基礎層是最低解析度，於該基礎層以及各該增強層中定義複數巨集區塊，把目前正在進行編碼的巨集區塊定義為正在編碼巨集區塊，以及定義各該增強層中的各該巨集區塊具有對應的基礎層殘留值、增強層殘留值以及增強層移動預測殘留值；b)在該等增強層的其中一個增強層中，取得該正在編碼巨集區塊所對應的基礎層殘留值；c)判斷該基礎層殘留值是否為零；若為零，則在本層進行視訊編碼的移動預測，並跳至步驟e)結束；若不為零，則跳至步驟d)；d)將正在編碼巨集區塊所對應的該基礎層殘留值與一臨界值進行比較，若該基礎層殘留值小於該臨界值，則在本層進行視訊編碼的移動預測；若該基礎層殘留值大於該臨界值，則進行跨層間視訊編碼的移動預測；其中，該臨界值係為：對該正在編碼巨集區塊的複數個相鄰巨集區塊分別取得對應的基礎層殘留值、增強層殘留值以及增強層移動預測殘留值，並對該等殘留值三者的其中之一或三者的任意相加組合進行動態移動平均的計算或取中間值的計算，藉以取得平均基礎層殘留值、平均增強層殘留值以及平均增強層移動預測殘留值，並對該平均基礎層殘留值、平均增強層殘留值以及平均增強層移動預測殘留值進行預定運算而得到一臨界值；e)結束。
2. 依據申請專利範圍第1項所述之多媒體視訊編碼之移動預測方法，其中：在步驟d)中的預定運算，係指步驟d1)將該平均基礎層殘留值以及該平均增強層殘留值的比值做為調整參數來對該平均增強層移動預測殘留值進行調整，並對調整後的該平均增強層移動預測殘留值加入由使用者自行定義的一偏移量，進而得到該臨界值。