TWI382770B - 視訊影像傳輸中遇到封包遺失時的有效選取方法 - Google Patents
視訊影像傳輸中遇到封包遺失時的有效選取方法 Download PDFInfo
- Publication number
- TWI382770B TWI382770B TW097148217A TW97148217A TWI382770B TW I382770 B TWI382770 B TW I382770B TW 097148217 A TW097148217 A TW 097148217A TW 97148217 A TW97148217 A TW 97148217A TW I382770 B TWI382770 B TW I382770B
- Authority
- TW
- Taiwan
- Prior art keywords
- missing
- block
- tile
- blocks
- image frame
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本發明涉及一種視訊影像傳輸中遇到封包遺失時的有效選取方法，混合錯誤隱藏方法，尤其是利用空間與時間冗餘資訊以隱藏經編碼之圖框影像中缺失圖塊所造成的空間影像錯誤。
影像傳輸是目前通訊產業或資訊電子產業中很重要的服務項目，比如視訊會議、網頁瀏覽、影像圖檔傳送。由於原始影像資料量龐大，無法有效的在網際網路上傳輸，或佔用太多儲存裝置的記憶體空間，因此通常需要經高壓縮比且低損失率的壓縮編碼方法處理，以降低影像資料量。該壓縮編碼方法包括TIFF、JPEG、MJEP、MPEG、H.264/AVC，可視系統對影像壓縮比、損失率以及解壓縮速度的需求，對靜態影像或連續影像選取具最佳演算法的壓縮編碼方法。
經編碼的影像資料在傳輸過程中，常因傳輸介面的干擾或接收端電氣系統的干擾，而造成部分影像資料缺失或錯誤，使得接收端無法以預設的相對應解碼方法，將該編碼影像解碼回復成正確影像。
依據視覺心理學，個別的邊緣不會影響視覺上的認知，但是會與附近邊緣交互影響而產生複合效應，因此，人類的視覺對邊緣失真最為敏感，包括原有的邊緣被糢糊化，以及新產生的錯誤邊緣。影像處理中最重要的是要保
持原有的邊緣，並避免產生錯誤的新邊緣。
利用缺失圖塊的同一圖框中正確圖塊的影像資料，以重建或找出該缺失圖塊的影像資料的方法，一般是稱作空間錯誤隱藏(Spatial Error Concealment，SEC)法。另一方法是時間錯誤隱藏(Temporal Error Concealment，TEC)法，以下稱作TEC法，則是利用前一圖框中的正確影像資料，藉適當方法獲得缺失圖塊的移動向量，因而依據該移動向以移動參考圖框，得到缺失圖塊的影像資料，達到隱藏缺失圖塊對整個圖框影像的影響。
先說明習用技術的SEC法。
習用技術中有許多演算法可達到空間錯誤隱藏的目的，包括雙線性內插法(Bilinear Interpolation，以下稱作BI)、方向性內插法(Directional Interpolation，以下稱作DI)以及最佳鄰近匹配法(Best Neighborhood Matching，以下稱作BNM)。詳細運算原理可參考相關文獻，比如：P.Salama,N.B.Shroff,and E.J.Delp,“Error concealment in encoded video streams,”in Signal Recovery Techniques for Image and Video Compression and Transmission,A.K.Katsaggelos and N.P.Galatsanos,Eds.Norwell,MA：Kluwer,ch.7,1998；H.Sun and W.Kwok,“Concealment of damaged block transform coded images using projection onto convex set,”IEEE Trans.Image Processing,vol.4,pp.470－477,Apr.1995；以及Z.Wang,Y.Yu,and D.Zhang,“Best neighborhood matching：An information loss
restoration technique for block-based image coding systems,”IEEE Trans.Image Process.,vol.7,no.7,pp.1056－1061,Jul.1998.以下僅作一般的說明。
參閱第一圖，習用技術BI法的示意圖，其中不具正確影像資料的缺失圖塊20是被具正確的影像資料的外緣參考像素21包圍住。缺失圖塊中位於座標(x,y)的像素P(x,y)是利用水平與垂直方向上二端的外緣正確影像資料，藉方程式[1]的內插運算而獲得。
參閱第二圖，習用技術DI法的示意圖，其中外緣像素具正確的影像資料，而被包圍的區域為缺失圖塊，亦即影像資料不正確。缺失圖塊中位於座標(x,y)的像素P(x,y)是利用具某一方向上的二外緣正確影像資料，藉方程式[2]的內插運算而獲得。
參閱第三圖，習用技術DI法的方向示意圖。第三圖顯示習用技術DI法中將邊緣方向分成八方向，每一方向均等間隔22.5度角，其中DI(0°)表0度角的方向、DI(22.5°)
表22.5度角的方向，以此類推，而圖2中的像素P1與P2即位於該等八方向中的其中之一，。
習用技術DI法中方向性的判別是使用邊緣方向偵測(Edge direction detection)技術中的方向濾波器(Direction filter)，而常用的運算子包含Sobel運算子(Sobel Operator)，或Prewitt運算子(Prewitt Operator)，以下說明Sobel運算子的操作。Sobel運算子又稱Sobel濾波器，底下為3x3 Sobel運算子，
其中Sx與Sy分別偵測出X與Y方向的邊緣特性，並得到方程式[4]所表示的X方向梯度與Y方向梯度，亦即Gx
與Gy
。
方程式[4]：GX
＝Xi＋1,j－1
－Xi－1,j－1
＋2Xi＋1,j
－2Xi－1,j
＋Xi＋1,j＋1
－Xi－1,j＋1
Gy
＝Xi－1,j＋1
－Xi－1,j－1
＋2Xi,j＋1
－2Xi,j－1
＋Xi＋1,j＋1
－Xi－1,j－1
進一步利用方程式[5]與方程式[6]求得方向梯度(Grand)與方向角度(θ)。
方程式[6]：θ＝tan－1
(Gx
/Gy
)
其中方向梯度(Grand)用以判斷該方向性強弱的定量參數，亦即選取具最大方向梯度的方向角度當作該缺失圖塊的方向性參考。
如果所有方向梯度數值太小，或低於某一臨限值時，則缺失圖塊不具方向性，不適合用DI法進行空間錯誤隱藏。因此，對於不具方向性的缺失圖塊，便需採用其它方法，比如BI法。
參閱第四圖，習用技術BNM法的示意圖，其中圖框40中的缺失圖塊20被複數個參考圖塊22包圍住，而在尋找區42的複數個目標圖塊30包圍住最佳匹配圖塊32。BNM法主要是找出最佳匹配圖塊32以取代缺失圖塊20。BNM法的處理步驟如下：第一，使用包圍住缺失圖塊的N像素寬邊緣圖塊群當作尋找影像；第二，辨識缺失圖塊附近的最佳匹配圖塊；以及第三，用最佳匹配圖塊所對應的圖塊，亦即最佳匹配圖塊所包圍的圖塊，取代缺失圖塊。
以下說明習用技術BI法、DI法以及BNM法的特點。
DI法的優點是，如果缺失圖塊附近只有一明顯的邊緣，則可以保護原有的邊緣，並避免該邊緣變糢糊。但是對於缺失圖塊附近具有多個邊緣時，DI法會產生數個糢糊的錯誤邊緣，而人類視覺對糢糊的錯誤邊緣特別敏感。相對的，BI法可以避免產生新的糢糊錯誤邊緣。然而，如果缺失圖塊附近只有一明顯的邊緣，BI法卻會讓該原有的明顯邊緣變糢糊，因為缺失圖塊的邊緣部經內插處理而與相鄰像素混合。此外，對於具複雜圖案結構的缺失圖塊來說，附近可能沒有有效的參考圖塊可用，而BNM法可重建該複雜的缺失圖塊，但是可能會造成邊緣不連續，並且運算量非常龐大又耗時，因此整體效率不佳。
習用技術中，針對多方向邊緣區使用多方向內插
(Multi－Directional Interpolation，MDI)法以解決上述問題，詳細MDI法說明如下。
參閱第五圖，習用技術MDI法的參考圖塊示意圖，其中空間錯誤隱藏方法選定複數個N像素寬的外緣參考圖塊50當作參考圖塊群，該參考圖塊群包圍住缺失圖塊20。
首先，利用Sobel運算子求出4x4參考圖塊中個別像素的方向強度(即方向梯度)以及方向角度，如同DI法，再利用方程式[7]計算方向亂度H d
(Directional Entropy，DE)，用以代表方向參數。
方程式[7]：H d
＝－Σp
(d x
)log2 p
(d x
)其中d x
表示該參考圖塊中某一像素的方向角度，而p(dx)是與方向角度有關的方向機率密度函數。
愈大的方向亂度表示方向性愈小，亦即沒有特定方向，而最大值1表示所有方向分佈均等。
接著，利用方程式[8]計算方向臨界值β，用以取得該4x4參考圖塊的整體方向性指標，藉以決定是否採用該參考圖塊的方向角度當作缺失圖塊群的方向角度。
其中Max
(H d
)表示所有H d
中的最大值。
判斷準則是，當方向臨界值β低於某一臨界判別值時，才會採用該方向角度，大於該臨界判別值時，則視為不具特定方向性。該臨界判別值一般定義成介於0.7至0.9之間
的某一值，視系統的要求而定。因此，可藉由方向臨界值β將參考圖塊群分成四類：無方向背景區、單一方向邊緣區、多方向邊緣區以及複雜多方向邊緣區。針對不同類型的參考圖塊，使用不同的內插法或匹配法以重建該缺失圖塊，亦即，無方向背景區使用BI法，單一方向邊緣區使用DI法，複雜多方向邊緣區使用BI法或BNM法，而多方向邊緣區則使用MDI法。
當4x4參考圖塊具有大於二強烈方向性邊緣時，該缺失圖塊被視為多方向邊緣區，重建方式是依據4x4參考圖塊的方向性，以內插補償求出該缺失圖塊的像素。最常使用到的MDI法是三方向性加權內插法，亦即使用垂直、水平以及度45角的方向進行內插補償，參閱第六圖，習用技術MDI法的三方向性加權內插法示意圖，其中缺失像素P的重建是利用位於水平方向的二水平像素PH1與PH2，位於垂直方向的二垂直像素PV1與PV2，以及位於對角方向上的二對角像素PD1與PD2。如果缺失像素不具有強烈方向性邊緣，則可使用沿著最近缺失像素的方向進行內插補償。因此，MDI法非常類似於DI法。
如果大部分4x4參考圖塊具有大於二強烈方向性邊緣且方向臨界值β大於臨界判別值時，該缺失圖塊被分類為複雜多方向邊緣區。如果缺失圖塊內容複雜，就重建的影像品質來說，BNM法是很適合的重建方法，但是代價是巨大的運算量以及很長的運算時間。然而，BI法則是運算量不太大卻還能維持一般影像品質水準的另一替代選擇。
以上所述的方法在此稱為習用技術的尋常SEC法。以
下將說明習用技術的快速MDI法。
MDI法中一般耗費40%至90%的運算時間在尋找可能的方向角度以及方向梯度。然而，該傳輸影像在原編碼過程中會記錄相關的影像圖塊方向性的資訊，因此可利原編碼所包含的相關資訊以縮小運算量並節省運算時間。在H.264/AVC編碼中，內部預測模式與邊緣方向之間具有關聯性，比如八方向性4x4預測模式與三方向性16x16預測模式，可用以預估實際影像的邊緣方向。H.264的內部預測資訊(Intra Prediction Information)包含與原始圖塊方向性有關的資料，因此，習用技術的快速MDI法便是利用另一快速判斷方法，以決定是否使用原編碼資訊中有關該缺失圖塊的方向性資訊，直接進行內插補償，平均可節省約70%至95%的運算量與時間，大幅提高解碼效率。
參閱第七圖，習用技術的快速MDI法之快速分類流程圖。圖式中顯示出先依據原編碼資訊中的內部預測資訊51，將缺失圖塊分成通用區(Flat Region)53與複合區(Compound Region)54，其中通用區的缺失圖塊是直接利用內部預測資訊，進行DI法或BI法的補償處理，而複合區則是使用上述的方法進行補償。
對於通用區的缺失圖塊附近的六圖塊而言，比如上部、右上部、右部、下部與左下部，至少有五相鄰圖塊是經16x16預測模式選取出。不需使用Sobel運算子對影像的平滑區進行邊緣偵測，可直接依據相對應參考圖塊的16x16預測模式的多數決，包括模式0(垂直)、模式1(水平)、模式3(平面)與模式2(DC)，沿單一方向(水平、垂直
或對角)或雙方向(水平與垂直)進行內插補償，以求出缺失圖塊的像素資料。
對於複合區而言，在參考圖塊的混合16x16與4x4預測模式中，四像素寬邊緣區被分解成4x4像素圖塊，如第八圖所示。為了確認每個4x4像素圖塊的主要邊緣，使用內部模式資訊(Intra Mode Information)以及少量的邊緣方向濾波器，亦即Sobel濾波器。第八圖顯示出預估內層像素P1、P2、P3與P4的方向角度與方向梯度時Sobel濾波器的計算次序。如果找到所需的圖塊，則停止進一步計算。對於4x4像素圖塊，從P1與P2開始進行邊緣偵測，如果P1與P2至少其中之一具有一強烈邊緣是與由內部模式資訊所獲得的相同時，該圖塊邊便被當作是所需的圖塊。如果P1與P2都沒有強烈邊緣，則進一步計算P3與P4。內部DC模式是直接將4x4像素圖塊視為沒有主要邊緣存在，而不需使用Sobel濾波器。最後的處理步驟類似於上述的空間錯誤隱藏方法，亦即分成四類：無方向背景區55、單一方向邊緣區56、多方向邊緣區57以及複雜多方向邊緣區58。不同類型使用不同的方法。無方向背景區使用BI法，單一方向邊緣區使用DI法，多方向邊緣區則使用MDI法，而複雜多方向邊緣區使用BI法或BNM法。
以上所述的方法在此稱為習用技術的內部高速(Intra High－Speed)SEC法。
以下說明習用技術的TEC法。
習用技術中的TEC法包括使用零移動向量、鄰近移動向量、前一圖框中空間圖塊的移動向量、平均空間相鄰的
移動向量等。最近的TEC法技術有移動場內插法，係在H.264 JM的解碼中，利用邊緣匹配演算法(boundary matching algorithm)，以下稱作BMA法，沿著缺失圖塊與參考圖塊之間的一像素寬邊緣，計算絕對差和(Sum of Absolute Difference，SAD)，以最小值的SAD來決定最佳移動向量。
然而，利用複雜的運算以求得較佳的移動向量，所需運算量太大，也太耗費時間，影響整體解碼效率。
假設，所有的缺失圖塊都已精確偵測出，而且所有包圍住缺失圖塊的邊緣圖塊皆具有正確的影像資料，包括移動向量(Motion Vector)。參閱第九圖，習用技術的時間錯誤隱藏方法的流程圖，包括步驟S100~S180，將分別在以下說明中描述。
首先，在步驟S100中，依據邊緣圖塊之移動向量以建立最佳迴歸平面。包圍住缺失圖塊的N像素寬區塊群，包含複數個NxN像素寬區塊，其中N為正整數。
因此，如第十圖所示，習用技術的邊緣圖塊的示意圖，其中缺失圖塊20包括16個缺失區塊，亦即缺失區塊DB1、缺失區塊DB2、…、缺失區塊DB16，而該缺失圖塊被16個邊緣區塊包圍住，亦即邊緣區塊BB1、邊緣區塊BB2、…、邊緣區塊BB16。此外，邊緣區塊BB1~BB16各具有移動向量MV1~MV16，用以表示與前一圖框的時間關聯性。
為清楚說明起見，在第十圖中建立XY座標系統，以缺失圖塊20的中心點P0為原點，亦即P0(0，0)，並以像素為單位長，因此，邊緣區塊BB1~BB16的座標分別為：BB1(x 1 ,y 1
)＝(－6,10
)
BB2(x 2 ,y 2
)＝(－2,10
) BB3(x 3 ,y 3
)＝(2,10
) BB4(x 4 ,y 4
)＝(6,10
) BB5(x 5 ,y 5
)＝(10,6
) BB6(x 6 ,y 6
)＝(10,2
) BB7(x 7 ,y 7
)＝(10,－2
) BB8(x 8 ,y 8
)＝(10,－6
) BB9(x 9 ,y 9
)＝(6,－10
) BB10(x 10 ,y 10
)＝(2,－10
) BB11(x 11 ,y 11
)＝(－2,－10
) BB12(x 12 ,y 12
)＝(－6,－10
) BB13(x 13 ,y 13
)＝(－10,－6
) BB14(x 14 ,y 14
)＝(－10,－－2
) BB15(x 15 ,y 15
)＝(－1０,2
) BB16(x 16 ,y 16
)＝(－10,6
)而且等移動向量是標示在相對應邊緣區塊的中心點上。
利用以下方程式[9]的多項式迴歸模型以建立最佳迴歸平面。
方程式[9]Z
(x,y
)＝c
＋a 1 x
＋a 2 x 2
＋b 1 y
＋b 2 y 2
其中Z為移動向量，而a1
,a2
,b1
,b2
,c為需決定的係數。
經迴歸分析後得到以下的方程式[10]。
方程式[10]
方程式[10]所建立的曲面即為所需的最佳迴歸平面，如第十一圖所示，習用技術的邊緣圖塊的示意圖。因此，在步驟110中，藉方程式[2]得到缺失區塊DB1~DB16的相對應預測空間移動向量。
在步驟S120中，依據前一圖框以建立時間移動向量，亦即以缺失圖塊在前一圖框中相對應位置處的移動向量當作具強烈時間關聯性的時間移動向量。
在步驟S130中，依據邊緣匹配演算法(Boundary Matching Algorithm，BMA)以建立候選移動向量。上述步驟110得到空間移動向量，而步驟120得到時間移動向量，現在將以相鄰外部邊緣匹配誤差(AEBME)來估計每個空間移動向量以及時間移動向量之間的定量差異性，選取具最小AEBME的移動向量當作候選移動向量。
參閱第十二圖，習用技術的邊緣匹配演算法與相關區塊的示意圖，其中缺失圖塊20的16個缺失區塊重新以A00、A01、A10、A11、B00、B01、B10、B11、C00、C01、C10、C11、D00、D01、D10、D11表示，以方便進一步說明。
缺失區塊A11、B11、C11、D11是位於缺失圖塊20的內層，亦即不與周圍具正確影像資料的區塊相鄰，而其餘的缺失區塊位於缺失圖塊的外緣，因此與正確影像資料的區塊相鄰。由於對稱性的關係，所以只需說明缺失區塊A00、A01、A10、A11的情形，便可以此類推到其它缺失區
塊。
缺失區塊A00與正確的邊緣區塊BB1與BB16相鄰，因此依據以下方程式[11]求出AEBME00
值。
其中A 00 (x,y)
代表目前圖框中缺失區塊A00的像素，R(x,y)
代表前一圖框的像素，(x 0 ,y 0 )
代表缺失區塊A 00
的座標，(v,u)
代表空間移動向量或時間移動向量，N
代表缺失區塊數目(此處為4)，M
代表外部邊緣的像素寬度(此處為4)。
缺失區塊A10與邊緣區塊BB15相鄰，依據方程式[4]求出AEBME10
值。
位於內層的缺失區塊A11、B11、C11、D11沒有相鄰的正確區塊，因此依據相鄰的缺失區塊，以多數決方式選取候選移動向量。
在步驟S140中，依據缺失圖塊的候選向量的複雜程度，將缺失圖塊分割成複數個具最佳大小的次圖塊，比如16x16、16x8、8x16或8x8像素的次圖塊，如第十三圖所示，
其中T1代表16x16像素次圖塊，T2代表16x8像素次圖塊，T3代表8x16像素次圖塊，T4代表8x8像素次圖塊。實際處理方式是，針對候選移動向量所構成的移動場，藉拉普拉斯模型移動場以及Bayes原理，選取T1、T2、T3、T4中具最大機率的次圖塊。如果缺失圖塊具有較規則性的移動，則較大的次圖塊，比如16x16像素次圖塊，比較適合後續的移動微調。如果缺失圖塊具有複雜性的移動，則較小次圖塊的8x8像素次圖塊比較適合。
參考下列方程式[13]以求出具最大機率的次圖塊。
上述的方程式[13]進一步展開的下列的方程式[14]。
方程式[14]進一步利用拉普拉斯分佈而得下列的方程式[15]。
方程式[15]
其中表示平均水平分量，表示平均垂直分量，而與表示成：
取自然對數得下列的方程式[16]。
在步驟S150中，對缺失次圖塊的次圖塊的移動向量進行微調處理。利用以平均移動向量為起始點的螺旋狀搜尋路徑，依序以相對應AEBME值為基礎，沿著所有周圍區塊的移動向量，求出第一相鄰外部邊緣匹配誤差而得到自適性搜尋範圍(ASR)。如果該ASR等於或小於動態臨界值，則以該移動向量當作缺失圖塊的移動向量，而該動態臨界值是由AEBME與絕對差和(SAD)之原始殘留值的接近程度而定。自適性搜尋範圍(ASR)是依據AEBME表示成下列的方程式[17]。
其中AEBME(u,v)
表示在起始點的第一相鄰外部邊緣匹配誤差，μ表示絕對差和(SAD)之原始殘留值，W
表示最大搜尋大小，λ與ε表示常數(λ＝32,ε＝0)，此外D X
與D Y
是以下列的方程式[18]表示。
方程式[18]D x
＝max
|X(MVs)－u
|D y
＝max
|Y(MVs)－v
|
其中X(MVs)
表示移動向量的X分量，而Y(MVs)
表示移動向量的Y分量。
動態臨界值(DT a )
是以下列的方程式[19]表示。
方程式[19]DT a
＝μ
＋N
×α
其中N
為像素總數，α為常數。通常，μ為未知數，需要增加α以計算DT a
。
參閱第十四圖，習用技術的螺旋狀搜尋路徑的示意圖。該螺旋狀搜尋路徑是從標示為0的起始點開始，亦即以候選移動向量的平均移動向量為起始點，接著依箭頭所指示的次序，逐一進行微調處理，藉以找尋最佳移動向量。例如，第十四圖中標示為2的移動向量表示為所需的移動向量，則該微調處理只進行3個移動向量的處理，之後的移動向量則不進一步進行處理，所以節省搜尋比對處理的運算量。
最後，在步驟S180中，依據缺失圖塊的移動向量，移動參考圖塊以建立缺失圖塊以獲得缺失圖塊的影像資料，進而隱藏該缺失圖塊對整個圖框影像的影響。
習用技術的TEC法、尋常SEC法與內部高速SEC法的詳細操作，請參考文獻“Optimization of Hybridized Error Concealment for H.264”，IEEE TRANSACTIONS ON BROADCASTING,VOL.54,NO.3,SEPTEMBER 2008，本說
明書僅作摘要性說明而已。
上述習用技術的缺點是，雖然時間錯誤隱藏法的演算效率高於空間錯誤隱藏法，然而若是發生場景變化，圖像運動快速、圖像不規則運動、物體出現或消失的狀況，則無法使用時間錯誤隱藏法，因為沒有具時間相關性的正確圖框可供參考。因此，需要一種有效選取時間錯誤隱藏法與空間錯誤隱藏法的方法，提高整體解碼效率及解碼品質。
本發明之主要目的在提供一種視訊影像傳輸中遇到封包遺失時的有效選取方法，係針對已解碼之圖框中的缺失圖塊，利用同一圖框的空間冗餘資訊以及不同圖框的時間冗餘資訊，回復該缺失圖塊。本發法對啟始圖框係利用內部高速空間錯誤隱藏法進行隱藏處理，而對於其他圖框，當外部邊緣匹配誤差值小於動態臨界值時，採用解碼效率較佳的時間錯誤隱藏法，如果相鄰圖塊為內部編碼時，採用內部快速空間錯誤隱藏法，否則使用尋常空間錯誤隱藏法，以達到隱藏缺失圖塊對整體圖框所造成的影響。
藉由本發明的有效選取方法，可針對具不同空間與時間冗餘資訊的缺失圖框，選取最佳的隱藏法，大幅減少計算時間，提升整體影像解碼效率，並提高解碼影像之品質。
以下配合圖式及元件符號對本發明之實施方式做更詳細的說明，俾使熟習該項技藝者在研讀本說明書後能據以實施。
本發明的視訊影像傳輸中遇到封包遺失時的有效選取方法主要係利用上述的內部高速SEC法、尋常SEC法以及TEC法，針對不同空間與時間冗餘資訊的缺失圖框，選取最佳的隱藏法，回復缺失圖框，藉以隱藏缺失圖框對整體圖框的視覺影響。
在本發明所使用的內部高速SEC法、尋常SEC法以及TEC法中，以TEC法的解碼效率最高，因此本發明優先選用TEC法進行缺失圖框的回復，但是對於影像串列中的第一圖框，亦即啟始圖框，因沒有可參考的時間冗餘資訊，所以採用內部高速SEC法，以第一圖框中的其它正確圖塊，藉空間冗餘資訊，回復缺失圖框的影像資料。另外，在發生場景變化、物體出現或消失、圖像運動快速、圖像不規則運動、物體轉動或物體形狀改變時，由於接續圖框之間缺乏強烈的時間相關性，會使TEC失效，所以本方法會採用內部高速SEC法或尋常SEC法以回復缺失圖框，視包圍缺失圖塊的相鄰圖塊是否皆為內部編碼而定。如果相鄰圖塊皆為內部編碼，則選用內部高速SEC法，否則選用尋常SEC法。
參閱第十五圖，本發明第一實施例的流程圖。本發明的第一實施例係針對視訊串列中的某一已編碼圖框在解碼時所產生的錯誤影像資料時，利用TEC法、尋常SEC法以及內部快速SEC法，對該已解碼圖框進行隱藏處理。
如第十五圖所示，本發明的有效選取方法係在該已解碼影像圖框包含一缺失圖塊時，由步驟S230開始進行隱藏處理，並進入步驟S240。在步驟S240中，判斷所處理的圖
框是否為第一圖框，亦即是否為啟始圖框，如果是，則進入步驟S270，如果否，則進入步驟S280。在步驟S270中，進行內部高速SEC法，以回復該缺失圖塊，接著進入步驟S260，結束解碼操作。在步驟S280中，判斷外部邊緣匹配誤差值(AEBME)是否大於動態臨界值(DTα
)，如果是，則進入步驟S290，如果否，則進入步驟S300。在步驟S290中，判斷包圍缺失圖塊的相鄰圖塊是否皆為內部編碼，如果是，則進入步驟S270，如果否，則進入步驟S310。在步驟S300中，進行TEC法的操作，以回復該缺失圖塊，接著進入步驟S260，結束解碼操作。
其中外部邊緣匹配誤差值(AEBME)係定義於上述習用技術TEC法的方程式[11]以及方程式[12]，而動態臨界值(DTα
)的定義如同上述習用技術TEC法的方程式[19]，因此不再贅述。
參閱第十六圖，本發明第二實施例的流程圖。本發明的第二實施例係針對整體視訊串列在解碼時所產生的錯誤影像資料時，利用TEC法、尋常SEC法以及內部快速SEC法，對所有已解碼圖框進行隱藏處理。
如第十六圖所示，本發明的有效選取方法係由步驟S210開始操作，接著進入步驟S220，進行編碼圖框之影像資料的解碼操作，產生已解碼的視訊圖框，之後進入步驟S230。在步驟S230中，判斷已解碼的視訊圖框中是否包含缺失圖塊，如果是，則進入步驟S240，如果否，則進入步驟S250，判斷是否完成所有圖框之解碼操作，如果完成所有圖框，則進入步驟S260，結束解碼操作，如果未完成所
有圖框，則回到步驟S220，對其它圖塊進行影像資料的解碼操作。在步驟S240中，判斷所處理的圖框是否為第一圖框，亦即是否為啟始圖框，如果是，則進入步驟S270，如果否，則進入步驟S280。在步驟S270中，進行內部高速SEC法，以回復該缺失圖塊，接著進入步驟S250，判斷是否完成所有圖框之解碼操作。在步驟S280中，判斷外部邊緣匹配誤差值(AEBME)是否大於動態臨界值(DTα
)，如果是，則進入步驟S290，如果否，則進入步驟S300。在步驟S290中，判斷包圍缺失圖塊的相鄰圖塊是否皆為內部編碼，如果是，則進入步驟S270，如果否，則進入步驟S310。在步驟S300中，進行TEC法的操作，以回復該缺失圖塊，進入步驟S250，判斷是否完成所有圖框之解碼操作。在步驟S310中，進行尋常SEC法，以回復該缺失圖塊，接著進入步驟S250，判斷是否完成所有圖框之解碼操作。
實驗結果顯示，本發明的有效選取方法遠比H.264標準中參考軟體Joint Model(JM)的解碼器高出約10.62dB增益，並且在大範圍基準序列下不會增加任何額外的時間，其中參考軟體JM係由JVT協會(Joint Video Team of ISO/IEC MPEG and ITU－T VCEG)所提供。
以上所述者僅為用以解釋本發明之較佳實施例，並非企圖據以對本發明做任何形式上之限制，是以，凡有在相同之發明精神下所作有關本發明之任何修飾或變更，皆仍應包括在本發明意圖保護之範疇。
20‧‧‧缺失圖塊
21‧‧‧參考像素
22‧‧‧參考圖塊
30‧‧‧目標圖塊
32‧‧‧最佳匹配圖塊
40‧‧‧圖框
42‧‧‧尋找區
50‧‧‧外緣參考圖塊
51‧‧‧內部預測資訊
53‧‧‧通用區
54‧‧‧複合區
55‧‧‧無方向背景區
56‧‧‧單一方向邊緣區
57‧‧‧多方向邊緣區
58‧‧‧複雜多方向邊緣區
d1、d2、d3、d4‧‧‧距離
DI(0°)、DI(22.5°)、DI(45°)、DI(67.5°)、DI(90°)‧‧‧角的方向
DI(112.5°)、DI(135°)、DI(157.5°)‧‧‧角的方向
A00、A01、A10、A11‧‧‧缺失區塊
B00、B01、B10、B11‧‧‧缺失區塊
C00、C01、C10、C11‧‧‧缺失區塊
D00、D01、D10、D11‧‧‧缺失區塊
DB1~DB16‧‧‧缺失區塊
MV1~MV16‧‧‧移動向量
P‧‧‧缺失像素
P0‧‧‧像素
P1、P2、P3、P4‧‧‧像素
PD1‧‧‧對角像素
PD2‧‧‧對角像素
PH1‧‧‧水平像素
PH2‧‧‧水平像素
PV1‧‧‧垂直像素
PV2‧‧‧垂直像素
S100‧‧‧建立最佳迴歸平面
S110‧‧‧建立空間移動向量
S120‧‧‧建立時間移動向量
S130‧‧‧建立候選移動向量
S140‧‧‧分割缺失圖塊
S150‧‧‧建立缺失圖塊的移動向量
S180‧‧‧建立缺失圖塊
S210‧‧‧開始操作
S220‧‧‧進行解碼
S230‧‧‧已解碼之視訊圖框包含缺失圖塊
S240‧‧‧是否為第一圖框
S250‧‧‧是否完成所有圖框之解碼操作
S260‧‧‧結束
S270‧‧‧內部高速SEC法
S280‧‧‧是否AEBME大於DT a
S290‧‧‧是否相鄰圖塊皆為內部編碼
S300‧‧‧TEC法
S310‧‧‧尋常SEC法
T1、T2、T3、T4‧‧‧次圖塊
第一圖為習用技術的BI法的示意圖。
第二圖為習用技術的DI法的示意圖。
第三圖為習用技術的DI法的方向示意圖。
第四圖為習用技術的BNM法的示意圖。
第五圖為習用技術的MDI法的參考圖塊示意圖。
第六圖為習用技術的MDI法的三方向性加權內插法示意圖。
第七圖為習用技術的快速MDI法之快速分類流程圖。
第八圖為習用技術的快速MDI法之的示意圖。
第九圖為習用技術的時間錯誤隱藏方法的流程圖。
第十圖為習用技術的時間錯誤隱藏方法的邊緣圖塊的示意圖。
第十圖為習用技術的時間錯誤隱藏方法的邊緣圖塊的立體示意圖。
第十一圖為習用技術的時間錯誤隱藏方法的邊緣圖塊的示意圖。
第十二圖為習用技術的邊緣匹配演算法與相關區塊的示意圖。
第十三圖為習用技術的時間錯誤隱藏方法的邊緣圖塊的示意圖。
第十四圖為習用技術的螺旋狀搜尋路徑的示意圖。
第十五圖為本發明第一實施例的流程圖。
第十六圖為本發明第二實施例的流程圖。
S230‧‧‧已解碼之視訊圖框包含缺失圖塊
S240‧‧‧是否為第一圖框
S260‧‧‧結束
S270‧‧‧內部高速SEC法
S280‧‧‧是否AEBME大於DTa
S290‧‧‧是否相鄰圖塊皆為內部編碼
S300‧‧‧TEC法
S310‧‧‧尋常SEC法
Claims (10)
- 一種視訊影像傳輸中遇到封包遺失時的有效選取方法，係針對一視訊影像串列的一已編碼影像圖框在解碼時因封包遺失所產生的錯誤影像資料，有效選取一TEC法、一尋常SEC法或一內部快速SEC法以進行隱藏處理，該視訊影像串列包括複數個已編碼影像圖框，該TEC法係利用一時間冗餘資訊，該尋常SEC法係利用一空間冗餘資訊，該內部快速SEC法係利用方向性資訊以縮短尋找可能的一方向角度以及一方向梯度，該混合錯誤隱藏方法包括以下步驟：步驟A，在該已解碼影像圖框包含一缺失圖塊時，開始進行該隱藏處理，進入步驟B，其中該缺失圖塊係具有該視訊影像串列在解碼時所產生的該錯誤影像資料；步驟B，如果該已編碼圖框為該視訊影像串列的一第一已編碼影像圖框，則進入步驟C，如果該已編碼圖框不為該視訊影像串列的第一已編碼影像圖框，則進入步驟D；步驟C，進行該內部高速SEC法的操作，以回復該缺失圖塊，進入步驟H；步驟D，如果一外部邊緣匹配誤差值(AEBME)大於一動態臨界值(DT α )，則進入步驟E，如果該外部邊緣匹 配誤差值非大於該動態臨界值，則進入步驟F；步驟E，如果包圍缺失圖塊的相鄰圖塊皆為內部編碼，則進入步驟C，如果包圍缺失圖塊的相鄰圖塊非皆為內部編碼，則進入步驟G；步驟F，進行該TEC法的操作，以回復該缺失圖塊，進入步驟H；步驟G，進行該尋常SEC法的操作，以回復該缺失圖塊，進入步驟H；以及步驟H，結束該隱藏處理；其中該缺失圖塊包括複數個缺失區塊，該等缺失區塊中的一缺失區塊A00係位於該缺失圖塊之一角落，該等缺失區塊中的一缺失區塊A10係非位於該缺失圖塊之任一角落且相鄰於一外部邊緣區塊。
- 依據申請專利範圍第1項所述之混合錯誤隱藏方法，其中該動態臨界值(DT α )為：DT a =μ +N ×α 其中N 為一像素總數，μ 表示一絕對差和之原始殘留值，α 為介於0與1的一實數。
- 依據申請專利範圍第1項所述之混合錯誤隱藏方法，其中該外部邊緣匹配誤差值(AEBME)為該等缺失區塊對該等外部相鄰邊緣區塊的匹配誤差值中的一最小值。
- 依據申請專利範圍第1項所述之混合錯誤隱藏方法，其中該缺失區塊A00的外部邊緣匹配誤差值(AEBME)為 AEBME00 ，表示如下：
- 依據申請專利範圍第1項所述之混合錯誤隱藏方法，其中該缺失區塊A10的外部邊緣匹配誤差值(AEBME)為AEBME10 ，表示如下：
- 一種混合錯誤隱藏方法，係針對一視訊影像串列的複數個已編碼影像圖框在解碼時封包遺失所產生的錯誤影像資料，有效選取一TEC法、一尋常SEC法或一內部快速SEC法以進行隱藏處理，該TEC法係利用一時間冗餘資 訊，該尋常SEC法係利用一空間冗餘資訊，該內部快速SEC法係利用方向性資訊以縮短尋找可能的一方向角度以及一方向梯度，該混合錯誤隱藏方法包括以下步驟：步驟A，開始進行解碼操作，進入步驟B；步驟B，對該等已編碼影像圖框的其中一已編碼影像圖框進行解碼，產生一已解碼影像圖框，該已解碼影像圖框包括複數個圖塊，該等圖塊的每一圖塊包括複數個像素資料，進入步驟C；步驟C，如果該已解碼影像圖框包含一缺失圖塊，則進入步驟D，如果該已解碼影像圖框不包含該缺失圖塊，則進入步驟E，其中該缺失圖塊係具有該視訊影像串列在解碼時所產生的該錯誤影像資料；步驟D，如果該已編碼圖框為該視訊影像串列的一第一已編碼影像圖框，則進入步驟F，如果該已編碼圖框不為該視訊影像串列的第一已編碼影像圖框，則進入步驟G；步驟E，如果完成所有該等已編碼影像圖框的解碼操作，則進入步驟K，如果未完成所有該等已編碼影像圖框的解碼操作，則回到步驟B；步驟F，進行該內部高速SEC法的操作，以回復該缺失圖塊，進入步驟E；步驟G，如果一外部邊緣匹配誤差值(AEBME)大於一動態臨界值(DT α )，則進入步驟H，如果該外部邊緣匹配誤差值非大於該動態臨界值，則進入步驟I；步驟H，如果包圍缺失圖塊的相鄰圖塊皆為內部編碼，則 進入步驟F，如果包圍缺失圖塊的相鄰圖塊非皆為內部編碼，則進入步驟J；步驟I，進行該TEC法的操作，以回復該缺失圖塊，進入步驟E；步驟J，進行該尋常SEC法的操作，以回復該缺失圖塊，進入步驟E；以及步驟K，結束解碼操作；其中該缺失圖塊包括複數個缺失區塊，該等缺失區塊中的一缺失區塊A00係位於該缺失圖塊之一角落，該等缺失區塊中的一缺失區塊A10係非位於該缺失圖塊之任一角落且相鄰於一外部邊緣區塊。
- 依據申請專利範圍第6項所述之混合錯誤隱藏方法，其中該動態臨界值(DT α )為：DT a =μ +N ×α 其中N 為一像素總數，μ 表示一絕對差和之原始殘留值，α 為介於0與1的一實數。
- 依據申請專利範圍第6項所述之混合錯誤隱藏方法，其中該外部邊緣匹配誤差值(AEBME)為該等缺失區塊對該等外部相鄰邊緣區塊的匹配誤差值中的一最小值。
- 依據申請專利範圍第6項所述之混合錯誤隱藏方法，其中該缺失區塊A00的外部邊緣匹配誤差值(AEBME)為AEBME00 ，表示如下：
- 依據申請專利範圍第6項所述之混合錯誤隱藏方法，其中該缺失區塊A10的外部邊緣匹配誤差值(AEBME)為AEBME10 ，表示如下：
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW097148217A TWI382770B (zh) | 2008-12-11 | 2008-12-11 | 視訊影像傳輸中遇到封包遺失時的有效選取方法 |
| US12/369,753 US8116383B2 (en) | 2008-12-11 | 2009-02-12 | Efficient adaptive mode selection technique for H.264/AVC-coded video delivery in burst-packet-loss networks |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW097148217A TWI382770B (zh) | 2008-12-11 | 2008-12-11 | 視訊影像傳輸中遇到封包遺失時的有效選取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201023654A TW201023654A (en) | 2010-06-16 |
| TWI382770B true TWI382770B (zh) | 2013-01-11 |
Family
ID=42240496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW097148217A TWI382770B (zh) | 2008-12-11 | 2008-12-11 | 視訊影像傳輸中遇到封包遺失時的有效選取方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8116383B2 (zh) |
| TW (1) | TWI382770B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0500332D0 (en) * | 2005-01-08 | 2005-02-16 | Univ Bristol | Enhanced error concealment |
| TWI359617B (en) * | 2008-07-03 | 2012-03-01 | Univ Nat Taiwan | Low-complexity and high-quality error concealment |
| JP2011166326A (ja) * | 2010-02-05 | 2011-08-25 | Sony Corp | 画像処理装置および方法 |
| KR101702822B1 (ko) | 2010-04-01 | 2017-02-06 | 소니 주식회사 | 화상 처리 장치 및 방법 |
| TWI443557B (zh) | 2010-09-30 | 2014-07-01 | Wintek Corp | 觸控面板資料傳輸方法 |
| US9420294B2 (en) | 2011-02-23 | 2016-08-16 | Lg Electronics Inc. | Intra-prediction method using filtering, and apparatus using the method |
| CN102214356A (zh) * | 2011-06-07 | 2011-10-12 | 内蒙古大学 | 基于nvidia gpu平台的最佳邻域匹配并行图像恢复方法 |
| US9282338B2 (en) * | 2011-06-20 | 2016-03-08 | Qualcomm Incorporated | Unified merge mode and adaptive motion vector prediction mode candidates selection |
| JP5058362B1 (ja) * | 2011-06-23 | 2012-10-24 | 株式会社東芝 | 動画像復号装置及び動画像復号方法 |
| KR101600615B1 (ko) * | 2011-07-22 | 2016-03-14 | 구글 테크놀로지 홀딩스 엘엘씨 | 비디오 코딩에서 직사각형 변환을 스캐닝하기 위한 장치 및 방법 |
| EP2795901A1 (en) | 2011-12-20 | 2014-10-29 | Motorola Mobility LLC | Method and apparatus for efficient transform unit encoding |
| JP6273945B2 (ja) | 2013-04-26 | 2018-02-07 | 日亜化学工業株式会社 | 発光装置 |
| WO2014190468A1 (en) | 2013-05-27 | 2014-12-04 | Microsoft Corporation | Video encoder for images |
| EP3120556B1 (en) | 2014-03-17 | 2021-01-13 | Microsoft Technology Licensing, LLC | Encoder-side decisions for screen content encoding |
| CN106416254B (zh) | 2015-02-06 | 2019-08-02 | 微软技术许可有限责任公司 | 在媒体编码期间跳过评估阶段 |
| US10038917B2 (en) | 2015-06-12 | 2018-07-31 | Microsoft Technology Licensing, Llc | Search strategies for intra-picture prediction modes |
| US10136132B2 (en) | 2015-07-21 | 2018-11-20 | Microsoft Technology Licensing, Llc | Adaptive skip or zero block detection combined with transform size decision |
| CN114827632A (zh) * | 2022-04-11 | 2022-07-29 | 维沃移动通信有限公司 | 视频帧错误隐藏方法、装置、电子设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070153898A1 (en) * | 2006-01-05 | 2007-07-05 | Konkuk University Industrial Cooperation Corp. | Hybrid error concealment method |
| US20080084934A1 (en) * | 2006-10-10 | 2008-04-10 | Texas Instruments Incorporated | Video error concealment |
| US20080186404A1 (en) * | 2005-01-08 | 2008-08-07 | Provision Communication Technologies Limited | Video Error Concealment |
-
2008
- 2008-12-11 TW TW097148217A patent/TWI382770B/zh not_active IP Right Cessation
-
2009
- 2009-02-12 US US12/369,753 patent/US8116383B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080186404A1 (en) * | 2005-01-08 | 2008-08-07 | Provision Communication Technologies Limited | Video Error Concealment |
| US20070153898A1 (en) * | 2006-01-05 | 2007-07-05 | Konkuk University Industrial Cooperation Corp. | Hybrid error concealment method |
| US20080084934A1 (en) * | 2006-10-10 | 2008-04-10 | Texas Instruments Incorporated | Video error concealment |
Non-Patent Citations (2)
| Title |
|---|
| Agrafiotis, D.; Bull, D.R.; Canagarajah, C.N., "Enhanced error concealment with mode selection", IEEE Transactions on Circuits and Systems for Video Technology, Vol.16, Issue: 8, Page: 960-973, August 2006 * |
| Belfiore S. Grangetto M. Magli E. Olmo G., "Spatiotemporal error concealment with optimized mode selection and application to H.264", Signal Processing: Image Communication, Vol.18, Issue: 10, Pages 907-923, November 2003 * |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201023654A (en) | 2010-06-16 |
| US20100150253A1 (en) | 2010-06-17 |
| US8116383B2 (en) | 2012-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI382770B (zh) | 視訊影像傳輸中遇到封包遺失時的有效選取方法 | |
| CN110832855B (zh) | 利用包含追加区域的分割单位的影像解码方法以及装置 | |
| US8223846B2 (en) | Low-complexity and high-quality error concealment techniques for video sequence transmissions | |
| TWI442777B (zh) | 空間性錯誤隱藏方法 | |
| Ma et al. | Edge-directed error concealment | |
| EP3709644A1 (en) | Method for image processing and apparatus for implementing the same | |
| US20030189980A1 (en) | Method and apparatus for motion estimation between video frames | |
| Liu et al. | Codingflow: Enable video coding for video stabilization | |
| US20060198445A1 (en) | Prediction-based directional fractional pixel motion estimation for video coding | |
| US8155213B2 (en) | Seamless wireless video transmission for multimedia applications | |
| JP2006157938A (ja) | 量子化効果減少のための映像データ後処理方法及び装置 | |
| Lan et al. | Exploiting non-local correlation via signal-dependent transform (SDT) | |
| JP2003032688A (ja) | 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法 | |
| Pesquet-Popescu et al. | Motion estimation techniques | |
| Ahmmed et al. | Motion segmentation initialization strategies for bi-directional inter-frame prediction | |
| EP3629580A1 (en) | Method for image processing and apparatus for implementing the same | |
| Paul et al. | Pattern-based video coding with dynamic background modeling | |
| KR100335434B1 (ko) | 움직임 추정방법 | |
| KR101362545B1 (ko) | 비디오 시퀀스에서 가변 외형 움직임 추정 | |
| Kaur et al. | Artifacts reduction based on separate modes in compressed images | |
| CN113038144B (zh) | 一种去除块效应的方法、装置和计算机可读存储介质 | |
| Chan et al. | A novel predictive global motion estimation for video coding | |
| Günyel et al. | Multi-resolution motion estimation for motion compensated frame interpolation | |
| Pyko et al. | Motion Vectors Estimation for Video Encoding Based on the Macroblock Signatures | |
| Radmehr et al. | Content-adaptive Gradient-based Error Concealment Scheme for H. 264/AVC |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |