TWI426785B - 於可調式影像解碼的全畫面錯誤掩蓋方法 - Google Patents

於可調式影像解碼的全畫面錯誤掩蓋方法 Download PDF

Info

Publication number
TWI426785B
TWI426785B TW99131632A TW99131632A TWI426785B TW I426785 B TWI426785 B TW I426785B TW 99131632 A TW99131632 A TW 99131632A TW 99131632 A TW99131632 A TW 99131632A TW I426785 B TWI426785 B TW I426785B
Authority
TW
Taiwan
Prior art keywords
block
reference frame
zeroth
pixel
frame
Prior art date
Application number
TW99131632A
Other languages
English (en)
Other versions
TW201215163A (en
Inventor
Sheau Fang Lei
Yu Sheng Lin
Original Assignee
Univ Nat Cheng Kung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Cheng Kung filed Critical Univ Nat Cheng Kung
Priority to TW99131632A priority Critical patent/TWI426785B/zh
Publication of TW201215163A publication Critical patent/TW201215163A/zh
Application granted granted Critical
Publication of TWI426785B publication Critical patent/TWI426785B/zh

Links

Description

於可調式影像解碼的全畫面錯誤掩蓋方法
本發明係關於影像處理之技術領域，尤指一種於可調式影像解碼的全畫面錯誤掩蓋方法。
H.264/AVC視訊編碼中引進了網路抽象層(network abstract layer,NAL)的概念。網路抽象層的應用提高了影像編碼位元串的網路可親性，不論是採用Byte-Stream Format或Packet-Transport的系統都能很簡單的運用。而可調式視訊編碼(scalable video coding,SVC)為H.264/AVC的延伸標準，自然也承襲網路抽象層這種特性。
在現今網路上的傳輸，其可靠度往往受到許多因素影響，例如通道頻寬的不穩定、通道的雜訊等都可能會造成傳送的封包接收不完整甚至遺失。而封包的遺失便造成編碼影像的接收不完整，因而在進行影像解碼時就會使得畫面中的部分影像或全部影像有所缺失。在某些低位元率的影像傳輸系統，如3G通訊網路，由於其影像編碼後的資料量通常不高，因此封包的丟失容易會造成整個影像畫面的丟失(whole frame lost)。
錯誤掩蓋方法(frame error concealment)是利用已經接收到的正確的資訊來修補或掩蓋掉因為傳輸的錯誤所產生的影像遺漏或錯誤的部分。錯誤掩蓋方法係屬於解碼端的後處理(post processing)。而其中一種重要的錯誤掩蓋方法便是時域上的錯誤掩蓋方法。
時域置換方法(Temporal Replacement,TR)係為一種習知的時域錯誤掩蓋方法，其係將丟失的方塊的運動向量(motion vector)直接設為零向量，也就是該方塊直接以參考幀上相同的空間位置的對應方塊(co-located block)的內容來做置換，此方法通常適用於掩蓋的區域沒有動作的狀況。
另一種習知的時域錯誤掩蓋方法係利用邊界匹配演算法(boundary matching algorithm,BMA)以改善時域置換方法的缺點，其係將丟失的方塊的運動向量由周圍方塊的運動向量中選取，以選取一個能夠使得補償後的方塊與周圍方塊的邊界失真最小的當作重建的運動向量。
前述以邊界匹配演算法(boundary matching algorithm)為基礎的錯誤掩蓋方法，都需要周圍的方塊的資訊做為判斷丟失方塊重建運動向量的依據，然而當運用在一個低位元率的影像傳輸環境時，比如說行動網路，則往往傳輸的錯誤會造成整個影像畫面的丟失，在此情形周圍方塊的資訊也同樣遺失，而不可得知。
針對前述問題，在SVC的標準草案討論會議中則針對全畫面影像丟失提出兩種基本的方法，分別為幀複製方法(frame copy,FC)及時域直接方法(temporal direct,TD)。
幀複製方法(FC)的方法是當有一個畫面的丟失發生時，直接把參考幀的內容當作現在這個畫面的內容直接複製過來，因此在實現上十分容易。但是幀複製方法(FC)只適用在丟失的畫面與其參考幀的時間差距小，且畫面變動不大的影像中，若兩者的差異大則運用幀複製方法(FC)來進行錯誤掩蓋將會造成很大的誤差而使得重建的畫質降低許多。
在全畫面影像丟失的情況下，當前畫面的所有資訊，不論是運動向量、畫面殘值、方塊編碼模式等資訊都視為不可得知。然而若可以利用影像在時域上的相關性，計算估計出丟失的運動向量，再利用運動補償的方法就可從參考畫面重建出丟失的畫面，時域直接方法(TD)即是利用這個概念來對全畫面的影像丟失進行錯誤掩蓋。
如圖1所示，在時間t有一個B幀丟失，記做F t ，其第一表單(list 1)的參考幀記作F t1 ，F t1 的第零表單(list 0)參考幀記作。F t 與F t1 兩幀的時間差距為TRd，F t 與兩幀的時間差距為TRb，而TRp0為F t1 與兩幀間的時間差，亦即TRp0=TRb+TRd。假設針對F t 上的任一個方塊B L ，在F t1 上可以找到與B L 有相同的空間位置的對應方塊B C1 ，其中可以找到一個由F t1 指向的運動向量，此即F t1 的第零表單(list 0)運動向量。由於在時序上跨過F t ，由於在短時間內影像的移動具有連續性，因此可以利用在時序上進行內插來得出F t 指向的運動向量以及F t 指向F t1 的運動向量。其中，F t 指向的運動向量及F t 指向F t1 的運動向量可用公式(1)表示：
當為F t 的第零表單(list 0)，再藉由公式(1)計算出F t 中每個方塊的與，便可利用雙向預測與運動補償以便將丟失的畫面重建回來。
前述時域直接方法(TD)提供了一個利用時序上的關係來重建出丟失的畫面的運動向量，藉此達成錯誤掩蓋的方法。然而時域直接方法(TD)在某些情況下仍然有可以改進的部分。
考慮一個圖片組(group of pictures,GOP)大小為8的階層式B畫面架構，其幀間預測的關係如圖2所示。圖2係圖片組為8的階層式B畫面結構之示意圖。當幀6(Frame 6)在傳送的時候遺失，根據時域直接方法(TD)的方法，F t =Frame 6 ，F t1 =Frame 8 ，=Frame 0 。在此情況下，由於與F t 1 的時間跨度(TRp0=8)相較於F t1 與F t 之時間跨度(TRd=2)差距太大，因此利用公式(1)所計算出來的運動向量將會有較大的誤差。
圖3係習擴充時域直接方法的運動向量推導之示意圖。如圖3所示，F t 的第零表單(list 0)參考幀記作F t0 ，而F t0 的第一表單(list 1)參考幀記作，對F t 上的任一方塊B L ，我們同樣可在F t0 上找到一個相對應的方塊B C0 ，其中可以找到一個為從F t0 指向之運動向量；F t 與F t0 兩幀的時間差距為TRb，F t 與兩幀的時間差距為TRd，而TRp1為F t0 與兩幀間的時間差，則可利用在時序上進行內插來得出F t 指向F t0 的運動向量以及F t 指向的運動向量。其中，F t 指向F t0 的運動向量及F t 指向的運動向量可用公式(2)表示：
考慮前例，F t =Frame 6 ，F t0 =Frame 4 ，=Frame 8 。此時F t0 與便擁有一個較小的時間跨度(TRp1=4)，因此能夠計算出一個誤差較小的運動向量。而擴充時域直接方法(extend temporal direct method,ETDM)便是在做運動向量的估計之前，先行計算TRp0與TRp1，倘若TRp0較小則利用公式(1)來做運動向量之估計，反之若TRp1較小則利用公式(2)來做運動向量之估計，因而對TD做出了改進。
前述之習知之時域直接方法(TD)與擴充時域直接方法(ETDM)利用了影像時域上的連續性，在時域上利用前後參考幀的運動向量以計算出丟失的畫面的運動向量，藉此來進行錯誤掩蓋。然而，不論是時域直接方法(TD)與擴充時域直接方法(ETDM)，對每一個丟失的畫面中的方塊，其運動向量都是由前後參考幀的相對應位置的方塊的運動向量得之。
圖4係習知動作補償概念之示意圖。考慮如圖4的情況，在丟失的畫面中有一個方塊B L ，x與y分別是此方塊B L 最左上角的像素在空間中的水平與垂直位置，以B L (x,y) 來表示，而在第一表單(list 1)參考幀中與B L 有相同空間位置的方塊稱為B L 的相對應方塊，以 (x,y) 表示，其中上標的1代表的是第一表單(list 1)參考幀。
在時域直接方法(TD)與擴充時域直接方法(ETDM)中，由B L (x,y) 指向第零表單(list 0)參考幀的運動向量與指向第一表單(list 1)參考幀的運動向量可由 (x,y) 的第零表單(list 0)參考幀之運動向量算出，由公式(1)可以得出：
以v 0x 、v 0y 代表的水平與垂直分量，v 1x 、v 1y 代表的水平與垂直分量。因此B L (x,y) 由向量指向第零表單(list 0)的參考方塊其最左上角像素的水平與垂直位置分別為x +v 0x 、y +v 0y ，則此方塊就以 (x +v 0x ,y +v 0y ) 表示。而由向量指向第一表單(list 1)的參考方塊其最左上角像素的水平與垂直位置分別為x +v 1x 、y +v 1y ，則此方塊以 (x +v 1x ,y +v 1 y ) 表示。
B L (x,y) 便藉由 (x +v 0x ,y +v 0y ) 及 (x +v 1x ,y +v 1 y ) 進行雙向運動補償(bi-directional motion compensation)，也就是方塊B L ( x,y) 的每一個像素都是由 (x +v 0x ,y +v 0y ) 及 (x +v 1x ,y +v 1y ) 內的對應像素做平均而得。而這個補償的動作其實就意味著將方塊B L (x,y) 與方塊 (x +v 0x ,y +v 0y ) 及方塊 (x +v 1x ,y +v 1y ) 視為在不同時序上擁有相同內容的方塊，而此方塊移動的軌跡，以方塊之左上角像素為代表，即從(x +v 0x ,y +v 0y ) 經過到(x +v 1x ,y +v 1y ) 。
前述說明是將時域直接方法(TD)與擴充時域直接方法(ETDM)所得出的參考運動向量所代表的移動軌跡進行分析，也就是經過錯誤掩蓋後的移動軌跡。因為上述運動補償用的運動向量與皆是由得出，因此再來將針對所代表的移動軌跡進行分析。
以v C,0x 、v C,0y 代表的水平與垂直分量，由於是由第一表單(list 1)參考幀上的方塊 (x,y) 指向第零表單(list 0)的運動向量，因此 (x,y) 在第零表單(list 0)參考幀上的參考方塊其左上角像素的位置為(x +v C,0x ,y +v C,0y ) ，而此方塊就以 (x +v C,0x ,y +v C,0y ) 表示。而由 (x,y) 指向丟失的畫面的運動向量，可以藉由對做內插，得出該向量為：
其水平與垂直分量分別為-v 1x 、-v 1y ，因此 (x,y) 在丟失畫面的參考方塊其左上角像素位置為(x -v 1x ,y -v 1y ) ，該方塊就以B L (x -v 1x ,y -v 1y ) 表示。
同樣的，也可將方塊 (x+v C,0x , y +v C,0y ) 與方塊 (x,y) 還有方塊B L (x-v 1x ,y -v 1y ) 視為不同時序上擁有相同內容的方塊，而此方塊移動的軌跡，以方塊左上角的像素為代表，即從(x +v C , 0x , y +v C , 0y ) 經過(x -v 1x ,y -v 1y ) 到(x,y) 。而此軌跡乃是由這個已知的運動向量建構出來的，因此可以視為是實際的移動軌跡。
由前述說明可知，經過時域直接方法(TD)或擴充時域直接方法(ETDM)錯誤掩蓋的移動軌跡與實際的移動軌跡實際上是不完全相同的。當這兩個軌跡所包含的方塊在畫面中是屬於同一個物件，或者兩者的移動是一致的，則此時畫面上不同位置的運動向量差異不大，利用經過時域直接方法(TD)或擴充時域直接方法(ETDM)錯誤掩蓋的移動軌跡來做運動補償將不會對畫面的重建造成影響。但當兩個軌跡包含的方塊是屬於不同的物件，且物件的移動並不一致，有相對的位置變化，則時域直接方法(TD)或擴充時域直接方法(ETDM)計算出來的運動向量與正確的運動向量將會存在差異，因此若利用經過時域直接方法(TD)或擴充時域直接方法(ETDM)錯誤掩蓋的移動軌跡來做運動補償將可能重建出一個錯誤的畫面，因而使得重建的效果變差。
表1係針對時域直接方法(TD)或擴充時域直接方法(ETDM)所計算出來的運動向量與未經過損失的正確的運動向量進行比較並統計兩者之間的差異。假設擴充時域直接方法(ETDM)計算出來的運動向量為MVETDM，正確的向量為MVCRCT，將MVETDM與MVCRCT的距離平方，與一個門檻值(threshold,以RTH表示)進行比較，統計兩者距離平方大於此門檻的比例。如表1所示，當門檻值RTH設為256時，亦即MVETDM與MVCRCT的距離大於16，依照各影片的特性，最高有47.23%的比例兩者距離大於16，而當門檻值RTH設為64，亦即MVETDM與MVCRCT的距離大於8，此時最高有58.40%的比例兩者距離大於8，且最低也有17.52%的比例。由此數據可以得出時域直接方法(TD)或擴充時域直接方法(ETDM)所計算出來的向量與正確的向量的確有相當的差距。故習知全畫面錯誤掩蓋方法仍有改善空間。
本發明之主要目的係在提供一種於可調式影像解碼的全畫面錯誤掩蓋方法，其係一全新架構，同時，其可較習知技術獲得正確的重建結果。
依據本發明之一特色，本發明提出一種於可調式影像解碼的全畫面錯誤掩蓋方法，其係運用於一影像幀序列解碼中以重建在時序上位於一第零參考幀及一第一參考幀之間的一遺失幀，該遺失幀分成複數個方塊，該第零參考幀屬於一第零表單，該第一參考幀屬於一第一表單，該第零參考幀對應於該第一表單內具有一第零對應參考幀，該第一參考幀對應於該第零表單內具有一第一對應參考幀，該方法包含(A)係偵測該第零參考幀及該第一參考幀之間是否有一遺失幀；(B)當步驟(A)中偵測該第零參考幀及該第一參考幀之間有一遺失幀時，獲取該遺失幀的一方塊；(C)獲取該方塊的位置；(D)分別計算該方塊在該第零參考幀及該第一參考幀的一第零時間差距及一第一時間差距；(E)判斷該第零時間差距是否小於該第一時間差距；(F)當判定該第零時間差距小於該第一時間差距時，設定該第一參考幀及該第一對應參考幀為現行參考幀組，並以該現行參考幀組計算補償方塊位置；以及(G)擴展該方塊，以產生一擴充區域，依據該擴充區域以對該方塊進行重建。
圖5係本發明一種於可調式影像解碼的全畫面錯誤掩蓋方法的流程圖，其係運用於一影像解碼裝置的影像幀序列解碼中以重建在時序上位於一第零參考幀F t0 及一第一參考幀F t1 之間的一遺失幀F t ，該遺失幀分成複數個方塊。
圖6係本發明圖片組(group of pictures,GOP)的關係之示意圖。圖7係本發明圖片組(GOP)的另一關係之示意圖。如圖6所示，例如當幀6(frame number 6)為遺失幀F t 時，第零表單(list 0)則為幀號碼在幀6之前的幀之集合，第一表單(list 1)則為幀號碼在幀6之後的幀之集合。於圖6中，第零表單(list 0)為幀0至幀5之集合，第一表單(list 1)為幀7至幀8之集合。
該第零參考幀F t0 屬於第零表單(list 0)，該第一參考幀F t1 屬於第一表單(list 1)，該第零參考幀F t0 對應於該第一表單(list 1)內具有一第零對應參考幀(幀號碼為8之幀)，該第一參考幀F t1 對應於該第零表單(list 0)內具有一第一對應參考幀(幀號碼為0之幀)。
而圖7的情形，為熟於該技術者可由圖6推知，不予贅述。
首先於步驟(A)中，偵測該第零參考幀F t0 及該第一參考幀F t1 之間是否有一遺失幀F t 。其可判斷該第零參考幀F t0 及該第一參考幀F t1 之間的幀號碼是否連續，當該第零參考幀F t0 及該第一參考幀F t1 之間的幀號碼非連續時，表示有一遺失幀F t ，此時執行步驟(B)，反之，重回步驟(A)。
當步驟(A)中偵測該第零參考幀F t0 及該第一參考幀F t1 之間有一遺失幀F t 時，於步驟(B)中獲取該遺失幀F t 的一方塊。
於步驟(C)中獲取該方塊的位置(x,y)。
於步驟(D)中分別計算該方塊在該第零參考幀F t0 及該第一參考幀F t1 的一第零時間差距TR p0 及一第一時間差距TR p1 。其中，該第零時間差距TR p0 為F t1 與的時間差距，該第一時間差距TR p1 為與F t0 的時間差距。於一實施例中，第零時間差距TR p0 可計算F t1 與的幀號碼差距，該第一時間差距TR p1 可計算與F t0 的幀號碼差距。
於步驟(E)中，判斷該第零時間差距TR p0 是否小於該第一時間差距TR p1 。
當判定該第零時間差距TR
p0 小於該第一時間差距TR p1 時，於步驟(F)中設定該第一參考幀F t1 及該第一對應參考幀為現行參考幀組，並以該現行參考幀組計算補償方塊位置。
圖8係本發明當第零時間差距TR p 0 小於該第一時間差距TR p1 時之示意圖。於步驟(F)中設定該第一對應參考幀為該第零表單(list 0)的參考幀，設定該第一參考幀F t1 為該第一表單(list 1)的參考幀，並分別計算該方塊對應於該第零表單(list 0)及該第一表單(list 1)相對方塊的運動向量(與)，並依據該運動向量(與)設定該方塊位置、該方塊對應於該第零表單(list 0)之方塊位置、及該方塊對應於該第一表單(list 1)之方塊位置。
該方塊對應於該第零表單(list 0)相對方塊的運動向量及該方塊對應於該第一表單(list 1)相對方塊的運動向量)分別為：
當中，為該第一參考幀F t1 對應於該第零表單(list 0)的運動向量，TRb為該遺失幀F t 與該第一對應參考幀的時間差距，TRd為該遺失幀F t 與該第一參考幀F t1 的時間差距。並設定該方塊位置為(x -v 1x ,y -v 1y ) ，該方塊對應於該第零表單(list 0)之方塊位置為(x +v C,0x ,y +v C,0y ) ，該方塊對應於該第一表單(list 1)之方塊位置為(x,y) 。v 1x 、v 1y 代表的水平與垂直分量，v C,0x 、v C,0y 代表的水平與垂直分量。
於步驟(G)中，擴展該方塊以產生一擴充區域，依據該擴充區域以對該方塊進行重建。
當判定該第零時間差距TR p 0 非小於該第一時間差距TR p1 時，於步驟(H)中，設定該第零參考幀F t0 及該第零對應參考幀為一現行參考幀組，以該現行參考幀組計算補償方塊位置，並執行步驟(G)。
圖9係本發明當第零時間差距TR p0 非小於該第一時間差距TR p1 時之示意圖。於步驟(H)中設定該第零參考幀F t0 為該第零表單(list 0)的參考幀，設定該第零對應參考幀為該第一表單(list 1)的參考幀，並分別計算該方塊對應於該第零表單(list 0)及該第一表單(list 1)相對方塊的運動向量(與)，並依據運動向量(與)設定該方塊位置、該方塊對應於該第零表單(list 0)之方塊位置、該方塊對應於該第一表單(list 1)之方塊位置。
該方塊對應於該第零表單(list 0)相對方塊的運動向量及該方塊對應於該第一表單(list 1)相對方塊的運動向量分別為：
當中，為該第零參考幀F t0 對應於該第一表單(list 1)的運動向量，TRb為該遺失幀F t 與該第零參考幀F t0 的時間差距，TRd為該遺失幀F t 與該第零對應參考幀的時間差距。並設定該方塊位置為(x -v 0x ,y -v 0y ) ，該方塊對應於該第零表單(list 0)之方塊位置為(x,y) ，該方塊對應於該第一表單(list 1)之方塊位置為(x +v C,1x ,y +v C,1y ) 。v 0x 、v 0 y 代表的水平與垂直分量，v C,1x 、v C,1y 代表的水平與垂直分量。
於步驟(I)中，判斷該方塊是否為該遺失幀F t 的最後方塊，若是，結束該全畫面錯誤掩蓋方法，若否，獲取下一方塊，並重回步驟(C)。
圖10係本發明動作補償後的重疊與未包含區域之示意圖。由於本發明是利用丟失畫面的參考幀上的相對應方塊之運動向量的移動軌跡來決定重建的方塊的位置，因此在畫面重建的時候，就會如圖10所示會有部分方塊重疊(overlap area)以及部分像素未包含(uncover area)的狀況。為了解決這個問題，在步驟(G)中對運動補償的部分進行了修改。
為了處理重疊區域的運動補償情形，必須了解正在補償的像素位置是否已於前面方塊進行運動補償時被補償過，且現在的像素位置是否位於一擴充區域(expansion area)亦會影響補償的結果。因此利用一個矩陣PxCheck[pic_width][pic_height]來記錄每個像素目前的狀態。
其中，PxCheck[x][y]=0，表示在(x,y)位置的像素尚未被重建；PxCheck[x][y]=-1，表在(x,y)位置的像素已被重建，但屬於一擴展區域(extend area)；PxCheck[x][y]=1，表在在(x,y)位置的像素已被重建，且非擴展區域(extend area)。於開始時，將所有像素的PxCheck[x][y]均初始化為0。
圖11係本發明步驟(G)之詳細流程圖。該方塊由M×N個像素所組成。在H.264的標準中，該方塊的大小可以有4×4、8×4、4×8、8×8、16×8、8×16、16×16像素。為了避免重建時有像素未被包含，於步驟(G)中將該方塊由M×N個像素擴充為(M+abs(v 0x )+abs(v 1x ))×(N+abs(v 0y )+abs(v 1y ))個像素的該擴充區域(expansion area)，當中v 0x 為運動向量在x軸的大小，v 0y 為運動向量在y軸的大小，當中v 1x 為運動向量在x軸的大小，v 1y 為運動向量在y軸的大小。
於步驟(G1)中，獲取該擴充區域(expansion)的一像素，其中該擴充區域係由該方塊及一擴展區域(extend area)。圖12係本發明擴充區域之示意圖，由圖12可知，擴展區域(extend area)係指非該方塊的斜線部分。
於步驟(G2)中，獲取該像素的位置(x,y)。
於步驟(G3)中，判斷該像素的位置(x,y)是否位於該擴展區域。
其中，於步驟(G3)中擴展區域的判斷則是由運動向量的方向來決定，圖13、圖14所示為擴展區域的分布。圖13係本發明經錯誤掩蓋後的方塊與參考方塊的關係之示意圖，其係以第零表單(list 0)參考幀為基礎(TRp0 >TRp1 )。圖14係本發明經錯誤掩蓋後的方塊與參考方塊的關係之示意圖，其係以第一表單(list 1)參考幀為基礎(TRp0 <=TRp1 )。
依照重建方塊與相對應方塊的相關位置，可分為8種情形，其可歸納如表2所示，其中情形0(case 0)到情形3(case 3)為以第零表單(list 0)參考幀為基礎(TRp0>TRp1)。情形4(case4)到情形7(case 7)以第一表單(list 1)參考幀為基礎(TRp0<=TRp1)。
依據表2，步驟(G3)即可判斷該像素的位置(x,y)是否位於該擴展區域。
若步驟(G3)判定該像素的位置(x,y)位於該擴展區域(非4X4的部分)，於步驟(G4)中，再判斷該像素是否已有重建值，且位於先前重建方塊的非擴展區域。其係判斷PxCheck[x][y]是否為1。
若判定該像素已有重建值且位於該先前重建方塊的非擴展區域，於步驟(G5)中，再判斷該像素是否為該擴充區域(expansion area)最後一像素，若是，結束步驟(G)，若否，獲取下一像素，並執行步驟(G2)。
若步驟(G4)判定該像素沒有重建值，且非位於先前重建方塊的非擴展區域，於步驟(G6)中，再判斷該像素是否尚未被重建。其係判斷PxCheck[x][y]是否為0。
若步驟(G6)判定該像素尚未被重建，於步驟(G7)中，則對該像素進行重建。步驟(G7)包含步驟(G71)及步驟(G72)。於步驟(G71)中，設定PxCheck[x][y]為-1，於步驟(G72)中，將該像素之值設定為(pelc0 +pelc1 +1)>>1，並執行步驟(G5)。當中，pelc0 為區塊Bc0 相對應的像素值，pelc1 為區塊Bc1 相對應的像素值，>>為位元右移運算(right shift)。
若步驟(G6)判定該像素已被被重建，表示該像素已有重建值且位於該先前重建方塊的擴展區域，於步驟(G8)中，則對該像素進行重建並與該先前重建方塊的擴展區域之重建值平均，再執行步驟(G5)。
於步驟(G8)中將該像素之值設定為(2×pel+pelc0 +pelc1 +3)>>2，當中，pel為該像素先前的重建值，pelc0 為區塊Bc0 相對應的像素值，pelc1 為區塊Bc1 相對應的像素值，>>為位元右移運算(right shitt)。
若步驟(G3)判定該像素的位置(x,y)非位於該擴展區域，於步驟(G9)中，再判斷該像素是否已有重建值，且位於該先前重建方塊的非擴展區域。其係判斷PxCheck[x][y]是否為1，若是，執行步驟(G8)，若否，設定PxCheck[x][y]為1，並執行步驟(G72)。
由於時域直接方法(TD)與擴充時域直接方法(ETDM)是以經過錯誤掩蓋的移動軌跡來進行運動補償，而這並不能在所有的情況中都獲得正確的重建結果，當畫面中的物件不是一致的移動時，時域直接方法(TD)與擴充時域直接方法(ETDM)利用經過錯誤掩蓋的移動軌跡將會對重建後的結果產生誤差。本發明的錯誤掩蓋方法在對丟失的畫面進行運動補償時，選擇了確實的移動軌跡而非經過錯誤掩蓋的移動軌跡來判斷補償的對象方塊，可較習知的時域直接方法(TD)與擴充時域直接方法(ETDM)獲得正確的重建結果。本發明的錯誤掩蓋方法較時域直接方法(TD)在信噪比(PSNR)上有平均0.32dB的改善，而與擴充時域直接方法(ETDM)相比，本發明的錯誤掩蓋方法在信噪比(PSNR)上有平均0.2dB的改善。
由前述說明可知，本發明提供一種全新架構的於可調式影像解碼的全畫面錯誤掩蓋方法，其可較習知的時域直接方法(TD)與擴充時域直接方法(ETDM)獲得正確的重建結果。
由上述可知，本發明無論就目的、手段及功效，在在均顯示其迥異於習知技術之特徵，極具實用價值。惟應注意的是，上述諸多實施例僅係為了便於說明而舉例而已，本發明所主張之權利範圍自應以申請專利範圍所述為準，而非僅限於上述實施例。
步驟(A)~步驟(I)
步驟(G1)~步驟(G9)
圖1係習知時域直接方法的運動向量推導之示意圖。
圖2係圖片組為8的階層式B畫面結構之示意圖。
圖3係習知擴充時域直接方法的運動向量推導之示意圖。
圖4係習知動作補償概念之示意圖。
圖5係本發明一種於可調式影像解碼的全畫面錯誤掩蓋方法的流程圖。
圖6係本發明圖片組的關係之示意圖。
圖7係本發明圖片組的另一關係之示意圖。
圖8係本發明當第零時間差距小於該第一時間差距時之示意圖。
圖9係本發明當第零時間差距非小於該第一時間差距時之示意圖。
圖10係本發明動作補償後的重疊與未包含區域之示意圖。
圖11係本發明步驟(G)之詳細流程圖。
圖12係本發明擴充區域之示意圖。
圖13、圖14係本發明為擴展區域的分布之示意圖。
步驟(A)~步驟(I)

Claims (11)

  1. 一種於可調式影像解碼的全畫面錯誤掩蓋方法，其係運用於一影像幀序列解碼中以重建在時序上位於一第零參考幀及一第一參考幀之間的一遺失幀，該遺失幀分成複數個方塊，該第零參考幀屬於一第零表單，該第一參考幀屬於一第一表單，該第零參考幀對應於該第一表單內具有一第零對應參考幀，該第一參考幀對應於該第零表單內具有一第一對應參考幀，該方法包含：(A)係偵測該第零參考幀及該第一參考幀之間是否有一遺失幀；(B)當步驟(A)中偵測該第零參考幀及該第一參考幀之間有一遺失幀時，獲取該遺失幀的一方塊；(C)獲取該方塊的位置；(D)分別計算該方塊在該第零參考幀及該第一參考幀的一第零時間差距及一第一時間差距；(E)判斷該第零時間差距是否小於該第一時間差距；(F)當判定該第零時間差距小於該第一時間差距時，設定該第一參考幀及該第一對應參考幀為現行參考幀組，並以該現行參考幀組計算補償方塊位置；以及(G)擴展該方塊，以產生一擴充區域，依據該擴充區域以對該方塊進行重建。
  2. 如申請專利範圍第1項所述之於可調式影像解碼的全畫面錯誤掩蓋方法，其更包含：(H)當判定該第零時間差距非小於該第一時間差距時，設定該第零參考幀及該第零對應參考幀為一現行參 考幀組，以該現行參考幀組計算補償方塊位置，並執行步驟(G)。
  3. 如申請專利範圍第2項所述之於可調式影像解碼的全畫面錯誤掩蓋方法，其更包含：(I)判斷該方塊是否為該遺失幀的最後方塊，若是，結束該全畫面錯誤掩蓋方法，若否，獲取下一方塊，並重回步驟(C)。
  4. 如申請專利範圍第3項所述之於可調式影像解碼的全畫面錯誤掩蓋方法，其中，於步驟(F)中設定該第一對應參考幀為該第零表單的參考幀，設定該第一參考幀為該第一表單的參考幀，並分別計算該方塊對應於該第零表單及該第一表單相對方塊的運動向量，並依據該運動向量設定該方塊位置、該方塊對應於該第零表單之方塊位置、該方塊對應於該第一表單之方塊位置。
  5. 如申請專利範圍第4項所述之於可調式影像解碼的全畫面錯誤掩蓋方法，其中，該方塊對應於該第零表單相對方塊的運動向量及該方塊對應於該第一表單相對方塊的運動向量分別為： 當中，為該第一參考幀F t1 對應於該第零表單的運動向量，TRb為該遺失幀F t 與該第一對應參考幀的時間差距，TRd為該遺失幀F t 與該第一參考幀F t1 的時間差距。
  6. 如申請專利範圍第5項所述之於可調式影像解碼的全畫面錯誤掩蓋方法，其中，其中，於步驟(H)中設定該第零參考幀為該第零表單的參考幀，設定該第零對應參考幀為該第一表單的參考幀，並分別計算該方塊對應於該第零表單及該第一表單相對方塊的運動向量，並依據運動向量設定該方塊位置、該方塊對應於該第零表單之方塊位置、該方塊對應於該第一表單之方塊位置。
  7. 如申請專利範圍第6項所述之於可調式影像解碼的全畫面錯誤掩蓋方法，其中，該方塊對應於該第零表單相對方塊的運動向量及該方塊對應於該第一表單相對方塊的運動向量分別為 當中，為該第零參考幀F t0 對應於該第一表單(list 1)的運動向量，TRb為該遺失幀F t 與該第零參考幀F t0 的時間差距，TRd為該遺失幀F t 與該第零對應參考幀的時間差距。
  8. 如申請專利範圍第7項所述之於可調式影像解碼的全畫面錯誤掩蓋方法，其中，於步驟(G)中將該方塊由M×N個像素擴充為(M+abs(v 0x )+abs(v 1x ))×(N+abs(v 0y )+abs(v 1y ))個像素的該擴充區域，當中v 0x 為運動向量在x軸的大小，v 0y 為運動向量在y軸的大小，當中v 1x 為運動向量在x軸的大小，v 1y 為運動向量在y軸的大小。
  9. 如申請專利範圍第8項所述之於可調式影像解碼的全畫面錯誤掩蓋方法，其中，該步驟(G)更包含：(G1)獲取該擴充區域的一像素，其中該擴充區域係由該方塊及一擴展區域所組成；(G2)獲取該像素的位置；(G3)判斷該像素的位置是否位於該擴展區域；(G4)若步驟(G3)判定該像素的位置位於該擴展區域(非4X4的部分)，再判斷該像素是否已有重建值，且位於先前重建方塊的非擴展區域；(G5)若判定該像素已有重建值且位於該先前重建方塊的非擴展區域，再判斷該像素是否為該擴充區域最後一像素，若是，結束步驟(G)，若否，獲取下一像素，並執行步驟(G2)。
  10. 如申請專利範圍第9項所述之於可調式影像解碼的全畫面錯誤掩蓋方法，其更包含下列步驟：(G6)若步驟(G4)判定該像素沒有重建值，且非位於先前重建方塊的非擴展區域，再判斷該像素是否尚未被重建；(G7)若步驟(G6)判定該像素尚未被重建，則對該像素進行重建，並執行步驟(G5)；(G8)若步驟(G6)判定該像素已被被重建，表示該像素已有重建值且位於該先前重建方塊的擴展區域，則對該像素進行重建並與該先前重建方塊的擴展區域之重建值平均，再執行步驟(G5)。
  11. 如申請專利範圍第10項所述之於可調式影像解碼的全畫面錯誤掩蓋方法，其更包含下列步驟：(G9)若步驟(G3)判定該像素的位置(x,y)非位於該擴展區域，再判斷該像素是否已有重建值，且位於該先前重建方塊的非擴展區域，若是，執行步驟(G8)，若否執行步驟(G7)。
TW99131632A 2010-09-17 2010-09-17 於可調式影像解碼的全畫面錯誤掩蓋方法 TWI426785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW99131632A TWI426785B (zh) 2010-09-17 2010-09-17 於可調式影像解碼的全畫面錯誤掩蓋方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW99131632A TWI426785B (zh) 2010-09-17 2010-09-17 於可調式影像解碼的全畫面錯誤掩蓋方法

Publications (2)

Publication Number Publication Date
TW201215163A TW201215163A (en) 2012-04-01
TWI426785B true TWI426785B (zh) 2014-02-11

Family

ID=46786669

Family Applications (1)

Application Number Title Priority Date Filing Date
TW99131632A TWI426785B (zh) 2010-09-17 2010-09-17 於可調式影像解碼的全畫面錯誤掩蓋方法

Country Status (1)

Country Link
TW (1) TWI426785B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2874149B1 (en) 2012-06-08 2023-08-23 Samsung Electronics Co., Ltd. Method and apparatus for concealing frame error and method and apparatus for audio decoding
CN104885149B (zh) 2012-09-24 2017-11-17 三星电子株式会社 用于隐藏帧错误的方法和设备以及用于对音频进行解码的方法和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1523896A (zh) * 2003-09-12 2004-08-25 浙江大学 视频编解码中运动矢量的预测方法和装置
US20070014358A1 (en) * 2002-06-03 2007-01-18 Microsoft Corporation Spatiotemporal prediction for bidirectionally predictive(B) pictures and motion vector prediction for multi-picture reference motion compensation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070014358A1 (en) * 2002-06-03 2007-01-18 Microsoft Corporation Spatiotemporal prediction for bidirectionally predictive(B) pictures and motion vector prediction for multi-picture reference motion compensation
CN1523896A (zh) * 2003-09-12 2004-08-25 浙江大学 视频编解码中运动矢量的预测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"A 2-stage Reference Picture Selection H.264 Encoder and a novel Non-Casual Whole Frame Concealment Algorithm" by S.Monsen etc. 2008/12/31 *

Also Published As

Publication number Publication date
TW201215163A (en) 2012-04-01

Similar Documents

Publication Publication Date Title
Thaipanich et al. Low complexity algorithm for robust video frame rate up-conversion (FRUC) technique
Yan et al. A hybrid frame concealment algorithm for H. 264/AVC
KR101126055B1 (ko) 디지털 비디오에 대한 에러 은닉을 수행하는 방법
JP5957532B2 (ja) ビデオシーケンスにおける知覚品質評価のためのシーン変化検出
US20070211800A1 (en) Method and Apparatus for Frame Rate Up Conversion with Multiple Reference Frames and Variable Block Sizes
WO2010093430A1 (en) System and method for frame interpolation for a compressed video bitstream
JP2007536817A (ja) 動作補償されたフレームレートアップコンバージョンのための方法および装置
JP2008545297A (ja) 統一された誤り隠蔽フレームワークのための方法及び装置
CN101355708B (zh) 一种自适应误码掩盖方法
Wu et al. A temporal error concealment method for H. 264/AVC using motion vector recovery
El-Shafai Pixel-level matching based multi-hypothesis error concealment modes for wireless 3D H. 264/MVC communication
KR20140022065A (ko) 비트스트림 레벨로 비디오 품질을 추정하는 방법 및 장치
TWI426785B (zh) 於可調式影像解碼的全畫面錯誤掩蓋方法
JP2012070278A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム
Pang et al. Relativity analysis-based error concealment algorithm for entire frame loss of stereo video
KR101082581B1 (ko) Ｈ.264/ａｖｃ 복호화기의 에러 은닉 장치 및 방법
Huang et al. A video data recovery algorithm in wireless communication networks
Patel et al. Hybrid spatio-temporal error concealment technique for image/video transmission
Zhou et al. Region-based error concealment of right-view frames for stereoscopic video transmission
Bilen et al. Two novel methods for full frame loss concealment in stereo video
Xiang et al. A joint encoder–decoder error control framework for stereoscopic video coding
CN108366265A (zh) 一种基于时空相关性的分布式视频边信息生成方法
WO2009057898A1 (en) Apparatus and method for analysis of image
KR102459813B1 (ko) 영상스위칭 기반의 주기적 화질보정 영상처리 방법
Araghi et al. Error concealment using wide motion vector space for H. 264/AVC

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees