TWI435608B - 圖框速率轉換裝置及方法 - Google Patents

圖框速率轉換裝置及方法 Download PDF

Info

Publication number
TWI435608B
TWI435608B TW100121605A TW100121605A TWI435608B TW I435608 B TWI435608 B TW I435608B TW 100121605 A TW100121605 A TW 100121605A TW 100121605 A TW100121605 A TW 100121605A TW I435608 B TWI435608 B TW I435608B
Authority
TW
Taiwan
Prior art keywords
motion vector
frame
candidate
generating
preferred
Prior art date
Application number
TW100121605A
Other languages
English (en)
Other versions
TW201230816A (en
Inventor
Yung-Chin Chen
Yun Gong
I-Ming Pao
Original Assignee
Realtek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realtek Semiconductor Corp filed Critical Realtek Semiconductor Corp
Publication of TW201230816A publication Critical patent/TW201230816A/zh
Application granted granted Critical
Publication of TWI435608B publication Critical patent/TWI435608B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

圖框速率轉換裝置及方法
本發明係有關於一種圖框內插裝置及方法，尤指一種利用移動估算及移動補償之圖框速率轉換裝置及方法。
利用移動補償(motion compensation,MC)之圖框(frame)內插法可以回朔至1980代後期。利用移動補償內插法具有許多優點。為了有效的在原始的圖框中內插新圖框，通常會先估算原始的輸入圖框中標的的移動。近年來，由於半導體及電視技術的發展，利用移動估算補償(motion estimation and motion compensation,MEMC)之圖框速率轉換(frame rate conversion,FRC)獲得許多注意。利用MEMC之FRC通常從一組候選者移動向量中選擇一優選移動向量來執行移動估算。如何建立候選者清單以及如何選出優選者，每一MEMC方法各有不同。現今技術之演算法在具有一致性移動的場景中具有不錯的效果，但在一些困難的狀況，如快速移動之物體的邊界、包藏之場景(occlusion scene)、以及具有少量細節的區域等，會導致許多可見的假影(artifact)。因此，現今的技術存在許多挑戰與改善的空間以改善視訊畫面的品質。
因此，本發明的眾多目的之一即在提供一種圖框速率轉換裝置及一種圖框速率轉換方法以改善視訊畫面的品質。
依據本發明之一實施例，其係揭露一種圖框速率轉換方法。該方法包含下列步驟：接收至少二輸入圖框；根據該至少二輸入圖框來產生複數個移動向量；根據該複數個移動向量來產生一包含區域移動向量及時間移動向量之候選者清單；根據該候選者清單來產生一優選候選者；以及根據該優選候選者產生至少一輸出圖框。
依據本發明之另一實施例，其係揭露一種圖框速率轉換裝置。該圖框速率轉換裝置，用以接收至少二輸入圖框並產生至少一輸出圖框，包含：一移動估算模組，用以偵測一訊源的頻道狀態來產生一偵測結果自該至少二輸入圖框來產生一包含區域移動向量及時間移動向量之候選者清單，並自該候選者清單產生一優選移動向量；以及一移動補償模組，用以依據該優選移動向量來產生該至少一輸出圖框；其中該優選移動向量係利用一雙向搜尋方式而產生。
MEMC之功能係用以減少由低圖框速率之視訊(如24 f/s之影片)轉換至高圖框速率之視訊(如120 Hz TV)所產生之急動(judder)現象。
請參考第1圖，第1圖例示應用MEMC在60Hz及24Hz的視訊以產生120 Hz視訊的效果，亦即圖框速率由60Hz及24Hz轉換至120 Hz。如第1圖所示，所產生之120 Hz視訊具有較順暢之移動，且急動(judder)現象有所降低。
第2圖例示24 f/s輸入及在MEMC之後之120 f/s輸出。目標(target)圖框及參考(reference)圖框為在原始輸入圖框序列中之二相鄰圖框。請注意：本實施例雖以二圖框為例，但本發明亦可以使用二個以上的圖框。
請繼續參考第2圖，根據本發明之一實施例中之圖框速率轉換裝置100，其用以接收至少二輸入圖框並產生至少一輸出圖框，其包含一移動估算(ME)模組120以及一移動補償(MC)模組140。移動估算模組120用來自該至少二輸入圖框來產生一包含區域(區域)移動向量及時間移動向量之候選者清單，並自該候選者清單產生一優選移動向量。該移動補償模組140用以依據該優選移動向量來產生該至少一輸出圖框。根據本發明之另一實施例，該區域移動向量為局部(local)移動向量以及該時間移動向量為時間流(MvFlow)候選者。
根據本發明之另一實施例，圖框速率轉換裝置100更包含一圖框特徵萃取模組110以及一控制模組130。圖框特徵萃取模組110用以自該輸入圖框萃取資訊。控制模組130用以根據來自圖框特徵萃取模組110或該移動估算(ME)模組120之資訊來決定該優選移動向量的權重。
根據本發明之另一實施例，圖框特徵萃取模組110用以從該輸入圖框萃取出淡入/淡出資訊，而控制模組130根據該淡入/淡出資訊來決定該優選移動向量的權重。
根據本發明之另一實施例，圖框特徵萃取模組110用以從該輸入圖框產生標誌偵測資訊，而輸出圖框根據該標誌偵測資訊來產生。
移動估算(ME)模組120偵測輸入圖框中之標的之軌跡(trajectory)，並以移動向量(MV)表示。輸出的(內插的)圖框根據移動向量來產生，並根據產生的圖框所將顯示(display)的時間將標的置放在適當的位置。
移動補償(MC)模組140利用MV以及目標與參考圖框在目標與參考圖框之間來產生內插的圖框。
控制模組130利用ME模組120取得之統計資訊以及來自圖框特徵萃取模組110之資訊來決定在輸出圖框中之目標與參考圖框的權重、優選MV的權重、以及標的的位置。在一些狀況中，如場景(scene)的變換，控制模組130亦回饋資訊至ME模組120以調整ME模組120的動作。
參考第3圖，圖框特徵萃取模組110可以包含影像位置偵測單元111、標誌偵測單元112、以及淡入/淡出偵測單元113。圖框特徵萃取模組110由輸入圖框分析圖像的內容，並利用影像位置偵測單元111來提供圖像位置之資訊、利用標誌偵測單元112來提供標誌位置或標誌偵測資訊、或利用淡入/淡出偵測單元113來提供淡入/淡出資訊。圖框特徵萃取模組110這些將這些資訊輸出至ME模組120以得到更佳之MV、或輸出至MC模組140以幫助確認在輸出圖框中之內插像素的正確性。其它資訊，如淡入/淡出偵測資訊，將送至控制模組140以控制輸出圖框的結果，如根據淡入/淡出偵測資訊來決定優選移動向量之權重。
參考第4圖，移動估算(ME)模組120可以包含雙向單元121、RMV偵測單元122、RMV緩衝器123、MV緩衝器124、Mvflow單元125、後移動估算單元126、以及像素MV單元127。雙向單元121用以由目標圖框至參考圖框及/或由參考圖框至目標圖框來搜尋或決定優選MV(優選候選者)。RMV偵測單元122用以偵測並產生區域移動向量(regional moving vector,RMV)。RMV緩衝器123用以儲存來自RMV偵測單元122之RMV，並提供RMV候選者至雙向ME單元121。MV緩衝器124用以儲存來自RMV偵測單元122之先前不同時間的RMV或經後ME單元126修正後之優選移動向量，並將其儲存為時間移動向量(MV)。時間流(MvFlow)單元125，用以根據MvFlow偵測，在時間MV中偵測Mvflow候選者，並將MvFlow候選者輸出至雙向單元121。後移動估算單元126用以執行一後移動估算偵測以修正優選移動向量，並將輸出至RMV偵測單元122、像素MV單元127、及MV緩衝器124，其中後移動估算偵測包含跳動(jump)修正、包覆偵測、以及離群值(outlier)濾波之至少其中之一，其中RMV偵測單元122根據優選移動向量之修正來調整其本身的偵測。而像素MV單元127用以根據(修正後之)優選移動向量來推導像素之MV。
ME模組120將目標圖框分割為固定大小的小區塊，然後在參考圖框搜尋最佳匹配，並以移動向量(MV)代表區塊由目標圖框至參考圖框之軌跡(trajectory)。此實施例以絕對差(Sum of Absolute Difference,SAD)為基準來決定優選MV或候選者，但本發明不以使用SAD為限。
由於ME包含大量的運算工作，為了避免搜尋整個參考圖框，本發明可以使用快速搜尋並只搜尋一些點。在找到每一區塊的優選移動向量區塊後，將執行後ME偵測以修正錯誤的移動向量，並標示出包藏(occlusion)發生的區域。然後像素MV單元127推導每一像素之移動向量，再執行MC以產生輸出像素(pixel)。
移動估算(ME)係尋找移動向量(MV)以代表在相臨圖框之標的移動的過程。ME模組120將整個圖框分割為固定大小的小區塊，如8x8或16x16，然後在二個圖框間根據一搜尋基準來搜尋最佳匹配。此實施例以絕對差(Sum of Absolute Difference,SAD)為基準，而亦可以使用均方差(mean square error,MSE)或中位數絕對誤差(mean absolute distortion,MAD)，本發明不以使用SAD為限。本發明可以使用固定目標搜尋，亦即在目標圖框固定一區塊，然後再搜尋參考圖框。全面搜尋為最詳細的搜尋方法。全面搜尋係在搜尋範圍內搜尋所有可能的位置。當圖框很大而搜尋範圍也很大，這可能不切實際。不同於全面搜尋，本發明使用快速搜尋方法，其只搜尋所有可能候選者的一個子集合。子集合，亦即候選者的選取很重要，其將影響ME的效能。通常目前區塊的移動與其相鄰區塊的移動有密切的關係，這些就可為執行快速搜尋時的好的候選者。
根據本發明之一實施例，本發明提出二種特別型態的候選者。第一種為MvFlow候選者。藉由記錄標的的移動，本發明可以使用由時間t-2 至t-1 (或更早)的軌跡來推斷標的在時間t 的位置。第二種區域移動向量(RMV)候選者。當場景平移(panning)時，整張圖將往一致的方向移動，此種移動向量本發明稱之為總體(Global)區域移動向量(GRMV)，其可為好的候選者。如果整張圖並未平移，本發明仍可以找到一移動向量來代表某一局部的一致移動，此種移動向量本發明稱之為局部(Local)區域移動向量(LRMV)。
有時目前區塊的移動可能與它的候選者有些許的不同。然而，藉由搜尋候選者的鄰近範圍可以得到此區塊更精確的移動以改善其效能。其稱之為小範圍搜尋。
根據本發明之一實施例，其可使用雙向搜尋方式，以在單一方向可以找到但另一方向無法找到時有所幫助。這種情形包含圖像的邊界以及包覆/非包覆的狀況。前向搜尋係由目標圖框搜尋至參考圖框，而後向搜尋係由參考圖框搜尋至目標圖框。
在搜尋候選者之後，本發明發現單獨使用搜尋基準，如最小SAD，可能無法找到區塊的真正移動或最近似的移動。為了降低這種錯誤，根據本發明之一實施例，其在作比較之前，對搜尋基準加入偏差(值)。這種偏差(值)每一候選者可以各有不同，其係根據每一候選者的特徵以及其與臨近區域的相互關係。
最後，執行一後移動估算偵測以修正一些錯誤的優選移動向量。
如果標的以一致的速度移動，它的移動向量應幾乎為常數且它的位置應可輕易的自其先前的移動來預測。此種移動向量應為用以搜尋的好的候選者搜尋。本發明提出Mvflow 方法來搜尋此種候選者。參考第12圖，在前一圖框(in previous frame)之淡灰色區塊(block)具有一實線的MV。假設其為固定的移動，淡灰色區塊將移至深灰色區塊的位置。故對深灰色區塊的ME，本發明可以使用虛線的MV(即時序上之前一MV)作為其候選者，本發明稱之為MvFlow 候選者。
如第13所示，一區塊可能有超過一個時間流MvFlow 候選者，也可能沒有任何時間流MvFlow 候選者。
作為考慮時間流MvFlow 之在前一圖框之區塊應不超過最大的搜尋範圍。由於可能會有許多可能的時間流MvFlow 候選者，本發明加入一些限制條件以移除較不可能代表真正移動的候選者。如流程圖第14圖所示，本發明可以在計算重疊時，縮小目前區塊的大小及/或候選者區塊的大小。本發明排除具有小重疊區域之候選者。因此，如果所預測的移動沒有在位置或區域上提供足夠的重疊，本發明就排除此種候選者。仍可能有許多可能的候選者本發明無法全部搜尋。本發明可以對其根據如重疊區域或移動向量的大小之準則以可能性來排序，並挑選最大者來作為時間流MvFlow 候選者。當二候選者之移動向量彼此靠近，本發明將其合併以減少多餘的搜尋如此以取得更多獨特的候選者，如第14圖所示。
在總體平移場景中，本發明使用一個移動向量來代表整體圖像的移動。此種MV稱之為總體區域移動向量(GRMV)。相同的現象可以在較小的區域觀察到，本發明使用一局部移動向量(LRMV)來代表其移動。例如，LRMV可以代表一6x6區塊之移動向量，如第15圖所示，但本發明不以6x6區塊為限。由於在搜尋未完成前，本發明可能無法計算出目前圖框之所有GRMV或LRMV，本發明利用前一圖框之GRMV及LRMV作為時間候選者。兩者，亦即目前或時間上之GRMV及LRMV候選者，在快速搜尋皆為好的候選者。
本發明亦可加一負偏差(negative)至GRMV及LRMV候選者以使其較佔優勢。此偏差不一定為常數，其取決於GRMV及LRMV之可靠度及區塊之活動(activity) 。GRMV及LRMV之可靠度由GRMV/LRMV區域之移動向量之變異(variance)來決定。如變異小，則可靠度高。
對各別的候選者，本發明執行以候選者為中心之小範圍搜尋，小範圍可以設定為例如x:-3..+3 & y:-3..+3，並搜尋範圍內的所有位置。本發明可以使用部份圖素(fractional pel)搜尋，如半圖素(half-pel)或四分之一圖素(quarter-pel)搜尋，而最佳匹配位置將代表此候選者為優選者並在最後決定階段再與其他候選者作比較。
雖臨近各別候選者的小範圍搜尋有助於更有效率的掌握快速移動，但有時即使對屬於同一標的的區塊，其亦會引起MV的小量變益。此種小量變益對大部分的場景並不會有問題，但有時會產生假影。此外搜尋準則也可能不精確。本發明也可能發現一些不相關的區塊比目前區塊更符合其真實的移動。此種現象稱之為ME混擾(alias)。這種現象通常發生在具有進似結構(texture)或重覆圖案(pattern)區域。錯的移動向量將導致假影。
為了避免MV的小量變益，本發明使靠近原本候選者位置的MV較佔優勢。例如，當執行小範圍搜尋時，本發明根據與原本位置的距離來計算一偏差(bias)，並將偏差與SAD相加。
在候選者之中，具有最佳搜尋準則者，如具有最小SAD者，通常被選為優選移動向量或優選候選者。然而，由於影像的複雜度與基於區塊之移動搜尋的限制，此種移動向量亦可能無法代表目前區塊的真正移動，不正確的移動向量將導致假影。
本發明藉由在比較之前加入偏差至SAD來克服此情形。本發明考慮目前區塊與其鄰近區塊之空間相關性(spatial correlation)，以及目前區塊與前一圖框中之對應區塊(counterpart)之時間相關性(temporal correlation)，而計算空間偏差(spatial bias)與時間偏差(temporal bias)，並將二者與SAD相加以作為新的搜尋準則，優選MV即為最小之加總SAD(SAD+空間偏差+時間偏差)者。如有二候選者具有進似的SADs，具有較強的空間及/或時間相關性者(即較小的空間+時間偏差者)將成為優選者。此法可以降低ME混擾(alias)的發生。
偏差與區塊的複雜度有關。區塊結構(texture)越複雜，其SAD也可能越高。因此偏差值要設為高些才能有效。本發明藉由計算區塊的活動(activity)來估計其複雜度，方法如下，其中(start.x,start.y)及(end.x,end.y)代表區塊的起始及結束位置，而block[y][x]為(x,y)位置的畫素值(pixel value)：
對目前區塊，本發明考慮其3個鄰近之移動向量，即左(L)、上(U)、以及右上(UR)，如第16圖所示，而其它之鄰近移動向量亦可以使用，本發明不以此為限。而具有與目前區塊近似活動之鄰近區塊的移動向量，可以用來計算平均移動向量差值(mv_dif)。
其中ACT代表區塊的活動，thr代表定義二個活動相似的臨界值(threshold)，而MV.x與MV.y為水平與垂直方向之移動向量值。|MV.x|+|MV.y|代表移動向量的距離。平均移動向量差值mv_dif用以查表空間偏差sbias(spatial bias)。第17圖為一個例子。一般當差值mv_dif較小時，偏差亦較小，這使得此區塊較易成為優選者。偏差值亦受目前區塊的活動所影響。若活動值較高，此區塊之SAD也較高，偏差也傾向較高。
當對在第18圖current frame(目前圖框)中之current block(目前區塊)來計算tbias時，我們假設它來自previous frame(前一圖框)中之(左邊)區塊。而左邊區塊可能未與前一圖框之區塊格對齊。因此本發明雙線性內插來計算平均MV值(MVavg )，如下：
MVavg =(mv1*s1+mv2*s2+mv3*s3+mv4*s4)/(s1+s2+s3+s4),
其中s1、s2、s3、及s4為左邊區塊之重疊區域，其分別具有mv1、mv2、mv3、及mv4之移動向量值。
移動向量差值mv_dif表示目前(cur.)區塊MV值與MVavg 之差值，算法如下：
mv_dif=|MVavg .x-MVcur .x|+|MVavg .y-MVcur .y|
然後利用mv_dif來查表偏差值tbias。第19圖為一個例子。
先前本發明使用二個圖框來顯示移動估算，目標圖框之時間為t而參考圖框之時間為t-1。但本發明亦可以更多圖框來得到更精確的ME結果。例如使用三個以上的圖框，而如果標的可以從第一圖框追蹤到第二圖框然後到第三圖框，對其移動之信心水準自然可以比二圖框搜尋更高。
本發明增加精確度的另一實施例係使用前向及/或後向搜尋，亦即雙向搜尋之方式。搜尋由時間t之圖框往時間t-1之圖框之搜尋為前向搜尋，然而本發明亦可以作由時間t-1之圖框往時間t之圖框後向搜尋，兩者皆使用相同的候選者清單，然後比較兩者的結果以決定最後的優選者，例示如第20圖。但搜尋的時間亦可以更往前或往後，不以此為限。
雙向搜尋至少有助於以下兩種情形。在一些區塊因為在參考圖框中其被包覆或包藏，使用前向搜尋並無法得到良好的匹配MV。使用後向搜尋當該區域於不同時間點沒有被包覆或包藏將可找到其移動。本發明之包覆及非包覆偵測係根據雙向搜尋方式來進行。
另一種情形為一平移影像之圖像邊界，如第21圖所示，前向搜尋並未能在參考圖框中找到良好的匹配，因為某些部份尚未移動進入圖框中。然而從相同位置的後向搜尋便可輕易的發現正確的移動向量。其優選者將為後向搜尋之MV，而利用移動補償適當的內插此區塊。
在個別區塊具有其優選MV之後，執行後移動估算偵測以移除或修正錯誤的優選移動向量。後ME偵測包含跳動(jump)修正、包覆偵測、以及離群值(outlier)濾波之至少其中之一，說明如下：
1.MV跳動修正，用以降低雙影像假影(double image artifact)。
2.包覆/非包覆偵測，用以偵測包覆(cover或occlusion)及非包覆(uncover或reveal)發生的區域。
3.MV離群值濾波：由於若屬於同一標的(object)，區塊及其鄰近區塊將一起移動，故若目前區塊的MV與其鄰近區塊的MV(如在3x3之區域)差異很大，則執行MV修正(如以鄰近區塊MV的中間值來取代優選MV以作為新的優選MV)。另一例為前向/後向優選者，若目前區塊使用前向MV作為優選者但其鄰近之MV多為後向MV，可能在此區塊亦使用後向MV較佳，反之亦然。
MV跳動偵測目的之一在用以減少當標的並未隨其背景移動所造成之在其前或其後的假影，如第22圖所示。
第23圖例示一種假影出現的情況。當進行ME，區塊MV指過字母T。對於進行MC，該MV將被減半以取得其移動補償之成份，如第23圖所示假影來自字母T。區塊MV指過字母T的原因可能為其使用背景之GRMV，然而字母T為靜止，並為隨背景移動。
為降低此種假影，如第24圖所示，待測區塊之MV(在圖中為實線MV，其已被減半)指向點狀區塊。本發明然後比較點狀區塊之MV與該實線MV區塊，若兩者差異很大，則推定MC所使用之MV不可靠，將置換該MV。
另一種形式的假影亦常發生在未隨其背景移動的標的之前或之後，且其背景為複雜的場景。該標的移入的背景為包覆或包藏，該標的移出的背景為非包覆或非包藏。對於包覆區域，其像素資訊可以在圖框(t-1)中得到，但無法在圖框(t)中得到。對於非包覆區域，其像素資訊可以在圖框(t)中得到，但無法在圖框(t-1)中得到。由於ME會比較兩圖框之像素的差異，若像素資訊在兩圖框之一中消失將有問題，而所產生的MV將無法表示真正的移動。使用多圖框ME可以避免上述的問題。當無法在圖框(t)或圖框(t-1)中發現像素資訊時，亦可能在圖框(t-2)或圖框(t+1)中發現。當無法在前向ME中發現時，亦可能在後向ME中發現，反之亦然。藉由使用前向/後向ME，可以輕易的偵測出包覆/非包覆區域，而適當的補償方式即可以施加在標示為包覆/非包覆區域之區塊以減少假影。
根據本發明之一實施例之包覆/非包覆偵測，其藉由比較使用前向及後向搜尋優選者來前向及後向搜尋所產生的SAD資訊來執行。
bsad=使用後向搜尋優選者進行後向搜尋所得到的SAD;
bsad2=使用後向搜尋優選者進行前向搜尋所得到的SAD;
fsad=使用前向搜尋優選者進行前向搜尋所得到的SAD;
fsad2=使用前向搜尋優選者進行後向搜尋所得到的SAD;
若bsad較小而bsad2較大，則該區塊可能為一非包覆區塊，如第25(a)圖所示。若fsad較小而fsad2較大，則該區塊可能為一包覆區塊，如第25(b)圖所示。其他當fsad、fsad2、bsad、及bsad2相近時，其為正常區塊。
至於標誌偵測，其包覆及非包覆區塊將以群組出現，故其後ME偵測將移除獨立的包覆及非包覆區塊。
第5圖顯示根據本發明之一實施例之控制模組130，其可包含可靠度偵測單元131及場景變換偵測單元132。圖框可靠度偵測單元131決定FRC時MEMC施加的強度，亦即MC_off的層級(level)或權重優選移動向量的權重。其使用來自ME模組130的資訊，如SAD、MV、MV的差值等，以及來自圖框特徵萃取模組110的資訊，如淡入/淡出資訊等。若圖框之可靠度高，將使MEMC為全速之圖框速率並輸出完整的內插的圖框。若圖框之可靠度較低，將降低MEMC之圖框轉換速率或將原始的圖框與內插的圖框混合。若圖框之可靠度低，畫面會多急動(judder)而少假影。若圖框之可靠度很低，本發明將完全關掉MEMC以避免假影，然而，如此可能會有嚴重的急動。
場景變換偵測單元132用以根據來自ME模組120之SAD及MV等資訊來執行場景變換偵測。當SAD頗大而MV不一致，其意味著無法在目前(目標)圖框與前一(參考)圖框找到良好的匹配，此時可能為場景變換。場景變換偵測單元132並輸出場景變換偵測資訊至ME模組120以控制候選者之選取，及輸出場景變換偵測資訊至MC模組140以控制輸出圖框之產生。
第6圖顯示根據本發明之一實施例之移動補償(MC)模組140，其包含像素處理單元141。其使用來自ME模組120之優選MV並取得來自原始(輸入)圖框之像素以處理在輸出圖框之內插的像素。其使用來自圖框特徵萃取模組110之邊界或標誌等資訊以處理移動補償的特殊情形。其使用來自控制模組130之MC _off 等資訊以調整優選MV之權重及像素。
MC模組140用以在輸入圖框間產生內插的輸出圖框，其使用來自ME模組120之優選移動向量及輸入圖框之像素，以及區塊SAD、包覆/非包覆、標誌、場景變換等資訊以適應性控制內插的像素值。第26圖顯示根據本發明之一實施例之MC的流程。
第27圖例示如何從前一(參考)與目前(目標)圖框擷取像素以進行MC。Fout 為在內插的輸出圖框中之輸出(或產生)像素，C及D為在輸入圖框中被MV指到的像素，而A及B像素為在輸入圖框中之對應(collocated)位置。權重w(0w1)代表內插圖框的位置。根據區塊層級之MV，將進而對個別像素指定一MV。假設F out 之MV為v ，由對應位置B平移而來，再將v 分為v 0 (後向 MV)及v 1 (前向 MV)：
v 1 =ω‧v
v 0 =v 1 -v
假設F out 的位置為X 。C 及D 的位置為：
X C =X +v 1
X D =X +v 0
內插的像素Pp 由像素層級混合所推導，如下：
MC_w_avg =(1 -w) *C +w *D,
Collocated_w_avg =(1 -w) *A +w *B,
Pp =(1 -mp) *MC_w_avg +mp *collocated_w_avg,
其中mp 為像素層級混合因子 (pixel level mixing factor)，用以計算個性像素值。
像素層級混合因子易於反應優選移動向量的可靠度。若優選移動向量不可靠，則降低像素層級混合因子mp 以減少由優選移動向量所指的像素之權重，並增加對應(collocated)像素之靜態混合權重，反之亦然。根據本發明之一實施例，其可根據SAD及優選移動向量與其鄰近者之差異來決定mp 。
第28圖說明像素層級混合因子的一個例子。首先決定在4個角落(corner)目前區塊之4區塊層級混合因子。對每一角落，其區塊層級混合因子係根據其4鄰近區塊來計算，如第29圖所示。
先計算relativeMV_diff 、scale1 及scale2 以決定區塊層級混合因子。
sum _vec =2x2 區塊之總向量長度(total vector length)；
avg_vec_len=sum_vec/4;
mv_diff=|mv1-mv2|+|mv2-mv3|+|mv3-mv4|+|mv4-mv1|
relativeMV_diff=mv_diff/avg_vec_len
由於移動向量與其鄰近者之差異，relativeMV_diff 越大，該移動向量越不可靠。然後根據平均向量長度(avg_vec_len)與SAD將relativeMV_diff進一步降低。
第一量級scale1 根據不同之avg_vec_len得：
第二量級scale2考慮區塊SAD而得到。ME的結果越可靠，SAD越低。
sadi ,i=1,2,3,4及acti ,i=1,2,3,4代表2x2區塊(第30圖)之SAD及活動(activity)。
其中s1~s2、S1~S4及coef為可設定值；th1、th2、sad_th及th為臨界值。
接下來可以由relativeMV_diff *scale1 *scale2 推導區塊層級混合因子，第30圖為其例。
算出區塊層級混合因子後，可利用內插來得到目前區塊內之個別像素之像素層級混合因子，如第31圖所示。
在一些情況，並無法使用目標及參考圖框兩者的像素來產生輸出像素，否則會產假影。此時可以只使用單邊圖框的像素，亦即單向MC。
一種情況為兩者之移動向量之一指向邊界，這在區塊靠近邊界時可能會發生。此時可以只使用另一移動向量之像素來進行MC。
一個非標誌區塊亦可能具有指向標誌區塊之移動向量，其類似第23圖之情況。此時假影看起來像標誌由其原始位置跳出來。當發現非標誌區塊使用一指向標誌區塊之移動向量，本發明將不使用其移動向量，而使用另一方向的像素來進行MC。
當包藏(包覆/非包覆)發生時，只有兩圖框中之一具有進行MC所需之正確像素。第32圖所示，中間的灰色點代表將進行內插的目前像素，旁邊的灰色點代表有效的擷取(effective fetching)而淡色的點代表無效的擷取(ineffective fetching)，其由目標圖框(n)或參考圖框(n-1)。第32(a)圖為一非包覆之情形，即標的將在下一或未來圖框中突然出現，本發明可利用前向MV來進行其MC。第32(b)圖為一包覆之情形，即標的將在下一或未來圖框中突然消失，本發明可利用後向來進行其MC。此時只可使用單向MC，因為標的只能在雙向中之一向被發現。
當二相鄰之區塊區塊使用二種不同之MC方式，即一為單向而另一為雙向，可能會產生區塊假影(blockness artifact)。此種不一致將在區塊邊界產生不連續。本發明之一實施例提出一濾波器以去除此種假影，如下所述：假設v 為像素f 之移動向量，而前向移動向量v 1 =w*v 且後向移動向量v 0 =v -v 1 。內插的輸出像素為(1-w) *C +w *D ，其中C 為在參考圖框v 1 所指的像素值，而D 為在目標圖框v 0 所指的像素值，如第27圖所示。
如上所述，對正常的區塊K檢查其4鄰近區塊U、L、F及R.，若其中任一為包覆/非包覆區塊，將取代其兩像素之一用來進行MC。假設A為一包覆區塊而B為一非包覆區塊。像素在區塊K上半區塊之像素將取代像素D 以：
dy/half _H *D +(half _H -dy)/half _H *P(參考圖框)(mv A,fwd ) .
像素在區塊K左半區塊之像素將取代像素C 以：
dx/half _W *C +(half _W -dx)/half _W *P(目標圖框)(mv B,bwd ),
其中mv A ,mv B, 為分別為區塊U及L之移動向量，P(fr )(mv )代表mv 指向圖框fr 之像素，fwd表前向，而bwd表後向。
若F及R為包覆/非包覆區塊，重覆上述步驟至像素區塊K最靠R之右半邊及最靠R之下半邊。由上述方式引進新像素後，區塊假影將大為降低。
當MEMC未適當執行時，假影可能會出現。當有太多假影時，影像的品質將變得很差，此時根據本發明之一實施例，其將關閉MEMC或降低MEMC之強度以避免或降低假影。
根據本發明之一實施例，其偵測確認MEMC未適當執行之情形，如場景變換或淡入/淡出等，以決定關閉MEMC的時機。其亦經由一些統計資訊，以判斷ME是否效果良好，兩種主要之圖框層級統計資訊如下：
frame_mv_reliability=Σ|current frame block MV-previous frame block MV|/Σ|current frame block M
frame_sad_reliability=Σblock_SAD/block_ACT
Frame_mv_reliability 量測在兩輸入圖框之對應位置其兩移動向量之差異度，frame_sad_reliability 量測ME在目前圖框找到匹配區塊的程度。
然後檢查如以下的一些情況：
(a)　圖框不可靠情況：當Frame_mv_reliability 及frame_sad_reliability 都很大。
(b)　快速移動情況：太多區塊具有大移動向量且frame_sad_reliability 也很大。
(c)　淡入/淡出情況：目前圖框為淡入/淡出。
(d)　場景變換情況：目前圖框為場景變換。總體(Global)區域移動向量(GRMV)
(e)　總體移動情況1：對許多連續的圖框沒有總體區域移動，且frame_sad_reliability 也很大。
(f)　總體移動情況2：對許多連續的圖框有總體區域移動，但每一圖框之差異很大。
(g)　包覆/非包覆情況：在一圖框偵測到太多包覆/非包覆區塊。
(h)　不可靠情況：太多不可靠區塊(SAD>>activity )。
這些情況的臨界值可依主客觀之視訊品質而定，以決定是否關閉MEMC。
當MEMC關閉時，可以輸出重覆之兩輸入圖框之一或輸出兩輸入圖框之平均值。
然而只有兩種層級(開及關)的MEMC是不夠順暢的，本發明亦提出中間層級的方式以順暢切換。中間層級之MEMC可以將內插的圖框與原始(輸入)圖框以不同的權重混合而輸出(output)：
output=w1*X+w2*Y+(1-w1-w2)*Pp.
該權重可隨在兩原始(輸入)圖框間的不同內插圖框位置而不同。如在24Hz轉換至120Hz的情形，其需在兩原始(輸入)圖框間插入4內插圖框。其圖框序列如：{X,a,b,c,d,Y}，其中X與Y為原始圖框而a,b,與c為MC之圖框。而其中間層級之MEMC可以輸出如{X,(X+b)/2,b,c,(Y+c)/2,Y}。
在不同層級的切換間，需使一層級停留一定的圖框，如此可確保MEMC順暢的切換。
當標誌出現在影像中，其將增加MEMC的困難度。當一靜止標誌與一移動的標的或背景重疊時，一些像素(標誌)沒有移動，在相同區塊的一些像素(標的)會移動。ME要發現在區塊內的每一像素的真正移動向量是困難的。移動向量不是追隨標誌(靜止)就是追隨標的(非靜止)。若移動補償(MC)沒有適當執行，標誌假影將出現。根據本發明之一實施例之標誌偵測方法，其用以區別標誌像素與非標誌像素。當產生輸出像素時，其對標誌像素進行靜態混合，而對非標誌像素進行移動補償。第7圖顯示一個標誌的例子。
標誌區域具有以下的特徵：
1.標誌的邊緣銳利(sharp)且清楚。
2.標誌的亮度(luminance)及/或色度(chrominance)通常與影像(video)不同。
3.標誌會停留在同一位置一段時間。
因此，在圖框特徵萃取模組110中之標誌偵測單元112係用以自輸入圖框根據上述特徵來偵測標誌區塊或產生標誌偵測資訊。
如進行ME之情形，將畫面分割為固定大小的小區塊，而區塊的未必與ME時相同。然後檢偵測各別區塊內的各別像素是否具有上述特徵。若在區塊內的像素大部分具有標誌的特徵1及/或2，將其標示為可能的標誌區塊候選者。由於標誌會停留在同一位置一段時間，進一步利用一計數器來計數該區塊被標示為標誌區塊的時間，然後利用該計數值來決定是否該將該區塊視為在目前圖框中之標誌區塊(可與一臨界值比較)。然後考慮標誌區域應為連續的區域，而一些獨立的標誌區塊應不為標誌區域，可移除之。而若一非標誌區塊被標誌區塊所全部或部分圍繞，如第9圖及第10圖，可將該非標誌區塊改為標誌區塊。並將標誌區域填入孔洞(hole)。
在標誌區塊內的像素皆標為標誌像素。在MC階段，非標誌像素將執行正常的MC。而對標誌像素，將利用正常的MC結果以及在目前及先前圖框之對應位置的像素值來產生最後的輸出像素值。
接下來，描述如何偵測標誌區塊。
以使用8x8區塊為例，但不以此為限。T為在圖框(t)中之像素，R為在圖框(t-1)中之像素。本發明可以以下算式來計算在圖框(t)與圖框(t-1)中相同位置之兩區塊間的SAD。對標誌區域，大部分之像素並未移動，故其SAD應相當小。
Num_still 為在8x8區塊中靜止像素的數目；num_not_still i為在8x8區塊中非靜止像素的數目。計算如下：
diff i , j =|T x + i , y + j -R x + i , y + j |
still i,j =(diff x + i , y + j <logo_threshold1)?1:0
not_still i,J =(diff x + i , y + j >logo_threshold2)?1:0
接下來搜集邊緣資訊(edgeH 及edgeV )。對8x8區塊中之每一像素(第8圖中之pixel[1][1])，對目標及參考圖框兩者檢查像素周圍之3x3像素窗(window)，並計算相鄰之水平(horizontal)及垂直(vertical)之像素差值。注意：該差值具有方向性，亦即rdiffh1、rdiffh2等為代符號之整數。
然後檢查是否有邊緣(edge)存在vertical 1,2,3,或vertical 4,5,6。以第8圖中之vertical 4,5,6為例，若有標誌在3x3 window之第一及第二欄中，且有背景在第三欄中，則有邊緣在vertical 4,5,6間，而其之間的像素差值對目標及參考圖框兩者皆大。而因第一及第二欄為標誌像素，其之間的像素差值對目標及參考圖框兩者皆小。亦即利用以下的方式來決定是否有邊緣在(Vertical)4,5,6：
edgeV＠4,5,6=
abs(rdiffh1)<logo_PixSmallDiff &&
abs(rdiffh2)<logo_PixSmallDiff &&
abs(rdiffh3)<logo_PixSmallDiff &&
abs(tdiffh1)<logo_PixSmallDiff &&
abs(tdiffh2)<logo_PixSmallDiff &&
abs(tdiffh3)<logo_PixSmallDiff &&
rdiffh4>logo_PixBigDiff &&
rdiffh5>logo_PixBigDiff &&
rdiffh6>logo_PixBigDiff &&
tdiffh4>logo_PixBigDiff &&
tdiffh5>logo_PixBigDiff &&
tdiffh6>logo_PixBigDiff
其中logo_PixSmallDiff及logo_PixBigDiff為適應性之臨界值。
以相同的方法，本發明檢查是否有邊緣在vertical 1,2,3,horizontal 1,2,3及horizontal 4,5,6。然後決定在8x8區塊中之邊緣像素(edge pixel )。若為邊緣像素，其edgeH 或edgeV 需不為零，而像素值需大於臨界值。
接下來亦可檢查當在標誌後的影像在正交方向具有總體區域移動向量其是否有邊緣(edgeX )存在。當發現時，此為該邊緣屬於一標誌之強烈的指標。
然後計數有多少edge pixel 及edgeX 在8x8區塊中。edge pixel 及edgeX 越多，本此區塊為標誌區域之一部分的機會越大。然後可以由edge pixel 、edgeX 、Num _still 、num _not _still 、SAD 、及目標及參考圖框兩者中之鄰近區塊之MV來決定其是否為標誌。
接下來，請參考第34圖，其顯示根據本發明之一實施例之圖框速率轉換方法之流程圖。請注意，假設大體上可獲得相同結果，第34圖所示之流程圖中的步驟不一定遵照此排序來連續執行，亦即，其他的步驟亦可插入其中。該方法包含有以下步驟：
步驟502：接收至少二輸入圖框。
步驟504：根據該至少二輸入圖框來產生複數個移動向量。
步驟506：根據該複數個移動向量來產生一包含區域移動向量及時間移動向量之候選者清單。
步驟508：根據該候選者清單來產生一優選候選者。
步驟510：根據該優選候選者產生至少一輸出圖框。
根據本發明之另一實施例，步驟506包含：
步驟512：產生包含局部區域移動向量之該候選者清單。
步驟514：產生包含MvFlow候選者之該候選者清單。
根據本發明之另一實施例，步驟508包含：
步驟516：自該候選者清單選擇一具有最小SAD之移動向量作為該優選候選者。
根據本發明之另一實施例，步驟508包含：
步驟518：根據一移動向量之時間及空間鄰近的移動向量來選擇該移動向量作為該優選候選者。
根據本發明之另一實施例，步驟508包含：
步驟520：自該候選者清單選擇一具有最小SAD、空間偏差、以及時間偏差之總和的移動向量作為該優選候選者。
根據本發明之另一實施例，步驟508包含：
步驟522：利用一雙向搜尋方式自該候選者清單選擇該優選候選者。
根據本發明之另一實施例，該圖框速率轉換方法更包含：
步驟524：執行一後移動估算(ME)偵測以修正該優選移動向量，其中該後ME偵測包含一MV跳躍修正、一包覆偵測、以及一離群值濾波之至少其中之一。
根據本發明之另一實施例，該圖框速率轉換方法更包含：
步驟526：根據一區塊是否在該至少二輸入圖框間移動、該區塊是否靜止、以及該區塊之邊緣資訊來偵測一標誌區塊。
根據本發明之另一實施例，該圖框速率轉換方法更包含：
步驟528：執行一圖框可靠度偵測來決定該優選候選者之一權重以產生該至少一輸出圖框。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100．．．圖框速率轉換裝置
110．．．圖框特徵萃取模組
120．．．移動估算模組
130．．．控制模組
140．．．移動補償模組
第1圖例示MEMC。
第2圖顯示根據本發明之一實施例的圖框速率轉換裝置。
第3圖顯示根據本發明之一實施例的圖框特徵萃取模組。
第4圖顯示根據本發明之一實施例的ME模組。
第5圖顯示根據本發明之一實施例的控制模組。
第6圖顯示根據本發明之一實施例的MC模組。
第7圖顯示一個標誌的例子。
第8圖顯示垂直及水平相鄰像素的差異。
第9圖顯示一個填充標誌的空洞的例子。
第10圖顯示一個孤立的標誌的例子。
第11圖例示標誌區域的擴張。
第12圖例示Mvflow候選者。
第13圖顯示Mvflow候選者的例子。
第14圖顯示根據本發明之一實施例的Mvflow流程圖。
第15圖例示GRMV以及LRMV。
第16圖顯示用以尋找空間偏差的相鄰標的。
第17圖顯示空間偏差的查表圖。
第18圖例示時間偏差。
第19圖顯示時間偏差的例子。
第20圖例示前向及後向搜尋。
第21圖顯示在平移視訊的雙向搜尋。
第22圖顯示雙影像假影的例子。
第23圖顯示假影的示例。
第24圖顯示MV差異的比較。
第25圖顯示包覆以及非包覆的雙向搜尋。
第26圖顯示根據本發明之一實施例的MC流程圖。
第27圖顯示由先前(參考)以及目前(目標)圖框之。
第28圖顯示像素層級之混合因子。
第29圖顯示考慮區塊層級混合因子之2x2區塊。
第30圖顯示區塊層級混合因子之映射函數。
第31圖顯示由區塊層級混合因子內插之像素層級混合因子的例子。
第32圖顯示包覆/非包覆區域之MC。
第33圖顯示顯示根據本發明之一實施例的濾波器。
第34圖示顯示根據本發明之一實施例之圖框速率轉換方法的流程圖。
100．．．圖框速率轉換裝置
110．．．圖框特徵萃取模組
120．．．移動估算模組
130．．．控制模組
140．．．移動補償模組

Claims (15)

  1. 一種圖框速率轉換方法，包含：接收至少二輸入圖框；根據該至少二輸入圖框來產生複數個移動向量；根據該複數個移動向量來產生一包含區域移動向量及時間移動向量之候選者清單；根據該候選者清單來產生一優選候選者；以及根據該優選候選者產生至少一輸出圖框；其中根據該候選者清單來產生該優選候選者的步驟包含：自該候選者清單選擇一具有最小之一絕對差、一空間偏差、以及一時間偏差之總和的移動向量作為該優選候選者。
  2. 如申請專利範圍第1項所述之圖框速率轉換方法，其中根據該複數個移動向量來產生該包含區域移動向量及時間移動向量之候選者清單的步驟包含：產生包含局部區域移動向量之該候選者清單；以及產生包含時間流候選者之該候選者清單。
  3. 如申請專利範圍第1項所述之圖框速率轉換方法，其中根據該候選者清單來產生該優選候選者的步驟包含：自該候選者清單選擇一具有最小之一絕對差(SAD)之移動向量作為該優選候選者。
  4. 如申請專利範圍第1項所述之圖框速率轉換方法，其中根據該候選者清單來產生該優選候選者的步驟包含：根據一移動向量之時間及空間鄰近的移動向量來選擇該移動向量作為該優選候選者。
  5. 如申請專利範圍第1項所述之圖框速率轉換方法，其中根據該候選者清單來產生該優選候選者的步驟包含：利用一雙向搜尋方式自該候選者清單選擇該優選候選者。
  6. 如申請專利範圍第1項所述之圖框速率轉換方法，更包含以下步驟：執行一後移動估算偵測以修正該優選移動向量，其中該後移動估算偵測包含一跳躍修正、一包覆偵測、以及一離群值濾波之至少其中之一。
  7. 如申請專利範圍第1項所述之圖框速率轉換方法，更包含以下步驟：根據一區塊是否在該至少二輸入圖框間移動、該區塊是否靜止、以及該區塊之邊緣資訊來偵測一標誌區塊。
  8. 如申請專利範圍第1項所述之圖框速率轉換方法，其中根據該優選候選者產生該至少一輸出圖框的步驟包含： 執行一圖框可靠度偵測來決定該優選候選者之一權重以產生該至少一輸出圖框。
  9. 如申請專利範圍第1項所述之圖框速率轉換方法，其中根據該優選候選者產生該至少一輸出圖框的步驟包含：根據該優選候選者及其鄰近之移動向量來控制一內差像素值。
  10. 如申請專利範圍第1項所述之圖框速率轉換方法，更包含以下步驟：藉由利用一雙向搜尋方式產生之絕對差資訊來執行一包覆偵測以在該至少二輸入圖框中偵測包覆及非包覆區域。
  11. 一種圖框速率轉換裝置，用以接收至少二輸入圖框並產生至少一輸出圖框，包含：一移動估算模組，用以偵測一訊源的頻道狀態來產生一偵測結果自該至少二輸入圖框來產生一包含區域移動向量及時間移動向量之候選者清單，並自該候選者清單產生一優選移動向量；一移動補償模組，用以依據該優選移動向量來產生該至少一輸出圖框；一圖框特徵萃取模組，用以自該至少二輸入圖框產生一淡入/淡出資訊；以及一控制模組，用以依據該淡入/淡出資訊來決定該優選移動向量 的一權重；其中該優選移動向量係利用一雙向搜尋方式而產生，以及該至少一輸出圖框係依據該權重而產生。
  12. 如申請專利範圍第11項所述之圖框速率轉換裝置，更包含：一圖框特徵萃取模組，用以自該至少二輸入圖框產生一標誌偵測資訊；其中該至少一輸出圖框係依據標誌偵測資訊而產生。
  13. 如申請專利範圍第11項所述之圖框速率轉換裝置，其中該優選候選者係根據該優選候選者之時間及空間鄰近的移動向量來選取。
  14. 一種圖框速率轉換方法，包含：接收至少二輸入圖框；根據該至少二輸入圖框來產生複數個移動向量；根據該複數個移動向量來產生一包含區域移動向量及時間移動向量之候選者清單；根據該候選者清單來產生一優選候選者；以及根據該優選候選者產生至少一輸出圖框；其中根據該優選候選者產生該至少一輸出圖框的步驟包含：根據該優選候選者及其鄰近之移動向量來控制一內差像素值。
  15. 一種圖框速率轉換方法，包含： 接收至少二輸入圖框；根據該至少二輸入圖框來產生複數個移動向量；根據該複數個移動向量來產生一包含區域移動向量及時間移動向量之候選者清單；根據該候選者清單來產生一優選候選者；根據該優選候選者產生至少一輸出圖框；以及藉由利用一雙向搜尋方式產生之絕對差資訊來執行一包覆偵測以在該至少二輸入圖框中偵測包覆及非包覆區域。
TW100121605A 2010-06-21 2011-06-21 圖框速率轉換裝置及方法 TWI435608B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US35667010P 2010-06-21 2010-06-21

Publications (2)

Publication Number Publication Date
TW201230816A TW201230816A (en) 2012-07-16
TWI435608B true TWI435608B (zh) 2014-04-21

Family

ID=45328332

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100121605A TWI435608B (zh) 2010-06-21 2011-06-21 圖框速率轉換裝置及方法

Country Status (3)

Country Link
US (1) US8446524B2 (zh)
CN (1) CN102291578B (zh)
TW (1) TWI435608B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0618323D0 (en) * 2006-09-18 2006-10-25 Snell & Wilcox Ltd Method and apparatus for interpolating an image
EP2188979A2 (en) * 2007-09-10 2010-05-26 Nxp B.V. Method and apparatus for motion estimation in video image data
WO2013009104A2 (ko) * 2011-07-12 2013-01-17 한국전자통신연구원 인터 예측 방법 및 그 장치
US9542611B1 (en) * 2011-08-11 2017-01-10 Harmonic, Inc. Logo detection for macroblock-based video processing
TWI475471B (zh) * 2011-09-19 2015-03-01 Acer Inc 利用觸控螢幕輔助視訊壓縮的方法及監控系統
US8692933B1 (en) 2011-10-20 2014-04-08 Marvell International Ltd. Method and apparatus for buffering anchor frames in motion compensation systems
US20130101014A1 (en) * 2011-10-25 2013-04-25 Microsoft Corporation Layered Screen Video Encoding
TWI462576B (zh) * 2011-11-25 2014-11-21 Novatek Microelectronics Corp 固定圖案的邊緣偵測方法與電路
TW201335860A (zh) * 2012-02-24 2013-09-01 Novatek Microelectronics Corp 靜態標誌偵測方法
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
US9596481B2 (en) * 2013-01-30 2017-03-14 Ati Technologies Ulc Apparatus and method for video data processing
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
US10368031B2 (en) 2014-02-27 2019-07-30 Dolby Laboratories Licensing Corporation Systems and methods to control judder visibility
CN107079079B (zh) 2014-10-02 2019-10-15 杜比实验室特许公司 用于抖动可视性控制的双端元数据
CN104363502B (zh) * 2014-10-28 2017-11-07 深圳创维－Rgb电子有限公司 Osd画面保护方法及装置
US9807339B2 (en) 2015-06-12 2017-10-31 Sharp Laboratories Of America, Inc. Frame rate conversion system
US10284870B1 (en) * 2015-07-22 2019-05-07 Pixelworks, Inc. Adjusting interpolation phase for motion estimation motion compensation using image analysis
US10110846B2 (en) * 2016-02-03 2018-10-23 Sharp Laboratories Of America, Inc. Computationally efficient frame rate conversion system
CN117640961A (zh) 2018-03-19 2024-03-01 英迪股份有限公司 图像解码方法、图像编码方法和存储比特流的记录介质
CN111339798B (zh) * 2018-12-18 2024-01-23 瑞昱半导体股份有限公司 物件位置判断电路和电子装置
US10990826B1 (en) * 2019-03-20 2021-04-27 Xilinx, Inc. Object detection in video
EP3970376A4 (en) * 2019-06-17 2022-11-09 Beijing Dajia Internet Information Technology Co., Ltd. METHODS AND DEVICES FOR DECODER-SIDE MOTION VECTOR REFINING IN VIDEO CODING
TWI748459B (zh) 2020-05-18 2021-12-01 瑞昱半導體股份有限公司 影像處理方法
US20220270267A1 (en) * 2021-02-25 2022-08-25 Beijing Dajia Internet Information Technology Co., Ltd. System and method for occlusion detection in frame rate up-conversion of video data
US20230088882A1 (en) * 2021-09-22 2023-03-23 Samsung Electronics Co., Ltd. Judder detection for dynamic frame rate conversion

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7197074B2 (en) * 2003-02-20 2007-03-27 The Regents Of The University Of California Phase plane correlation motion vector determination method
KR100579493B1 (ko) * 2003-06-16 2006-05-15 삼성전자주식회사 움직임 벡터 생성 장치 및 방법
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
JP4687994B2 (ja) * 2004-04-09 2011-05-25 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1592258B1 (en) * 2004-04-30 2011-01-12 Panasonic Corporation Motion estimation employing adaptive spatial update vectors
US7570309B2 (en) * 2005-09-27 2009-08-04 Samsung Electronics Co., Ltd. Methods for adaptive noise reduction based on global motion estimation
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
US8837591B2 (en) * 2007-01-26 2014-09-16 Telefonaktiebolaget L M Ericsson (Publ) Image block classification
US8159605B2 (en) * 2007-07-13 2012-04-17 Fujitsu Limited Frame interpolating apparatus and method
KR101540138B1 (ko) * 2007-12-20 2015-07-28 퀄컴 인코포레이티드 적응적 조사영역을 갖는 모션추정 장치 및 방법
US9641861B2 (en) * 2008-01-25 2017-05-02 Mediatek Inc. Method and integrated circuit for video processing
US8184200B1 (en) * 2008-04-22 2012-05-22 Marvell International Ltd. Picture rate conversion system for high definition video
US8253854B2 (en) * 2008-07-29 2012-08-28 Broadcom Corporation Image processing method and system with repetitive pattern detection
US8675736B2 (en) * 2009-05-14 2014-03-18 Qualcomm Incorporated Motion vector processing
WO2011094871A1 (en) * 2010-02-05 2011-08-11 Sensio Technologies Inc. Method and apparatus of frame interpolation

Also Published As

Publication number Publication date
CN102291578B (zh) 2014-04-23
CN102291578A (zh) 2011-12-21
US8446524B2 (en) 2013-05-21
TW201230816A (en) 2012-07-16
US20110310295A1 (en) 2011-12-22

Similar Documents

Publication Publication Date Title
TWI435608B (zh) 圖框速率轉換裝置及方法
US9148622B2 (en) Halo reduction in frame-rate-conversion using hybrid bi-directional motion vectors for occlusion/disocclusion detection
US7010039B2 (en) Motion estimator for reduced halos in MC up-conversion
US8437398B2 (en) Method and apparatus for adaptively converting frame rate based on motion vector, and display device with adaptive frame rate conversion function
US8817878B2 (en) Method and system for motion estimation around a fixed reference vector using a pivot-pixel approach
US8724022B2 (en) Frame rate conversion using motion estimation and compensation
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
US8254439B2 (en) Apparatus and methods for motion vector correction
US20070230830A1 (en) Apparatus for creating interpolation frame
US8355442B2 (en) Method and system for automatically turning off motion compensation when motion vectors are inaccurate
KR20070063304A (ko) 움직임 추정장치 및 움직임 추정방법
KR20070006079A (ko) 움직임 추정장치 및 그 추정방법
WO2008152951A1 (en) Method of and apparatus for frame rate conversion
JP2006504175A (ja) フォールバックを用いる画像処理装置
JP2005318622A (ja) 逆フィルムモード外挿方法
JP5197374B2 (ja) 動き推定
KR20060103430A (ko) 작고 고속으로 움직이는 오브젝트들을 추적하기 위한움직임 벡터 필드들 정제 방법
KR101574205B1 (ko) 프레임 율 변환을 위한 움직임 정보 추정 방법 및 그 장치
US20060181642A1 (en) Apparatus for interpolating scanning lines
US9602763B1 (en) Frame interpolation using pixel adaptive blending
Mertens et al. Motion vector field improvement for picture rate conversion with reduced halo
JP4354799B2 (ja) 補間画像生成方法および装置
KR101740125B1 (ko) 프레임 율 변환 영상의 홀 보간 장치 및 그 방법
KR101574301B1 (ko) 프레임 율 변환 장치 및 그 방법
KR101572539B1 (ko) 영역 분류에 의한 움직임 보상 디인터레이싱 장치 및 방법