TWI408621B - 影像插補處理裝置及其方法 - Google Patents

影像插補處理裝置及其方法 Download PDF

Info

Publication number
TWI408621B
TWI408621B TW99102881A TW99102881A TWI408621B TW I408621 B TWI408621 B TW I408621B TW 99102881 A TW99102881 A TW 99102881A TW 99102881 A TW99102881 A TW 99102881A TW I408621 B TWI408621 B TW I408621B
Authority
TW
Taiwan
Prior art keywords
motion vector
block
interpolation
image
reference motion
Prior art date
Application number
TW99102881A
Other languages
English (en)
Other versions
TW201119414A (en
Inventor
Chung Yi Chen
Chia Hao Chung
Original Assignee
Mstar Semiconductor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mstar Semiconductor Inc filed Critical Mstar Semiconductor Inc
Publication of TW201119414A publication Critical patent/TW201119414A/zh
Application granted granted Critical
Publication of TWI408621B publication Critical patent/TWI408621B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Description

影像插補處理裝置及其方法
本發明係指一種影像插補處理裝置，尤指一種用以決定一插補畫面中影像覆蓋區/影像顯露區之影像的影像處理裝置及其相關方法。
目前傳統影像插補機制在決定一插補畫面中之一插補區塊的移動向量時，係直接以區塊比對演算法(block matching algorithm)的運算結果來決定其移動向量，來產生該插補區塊的影像。請參考第1圖，其係為區塊比對演算法的示意圖。如第1圖所示，影像畫面Fn-1、Fn係為輸入影像中前、後兩張的畫面，而插補畫面FI係為傳統影像插補機制所產生的一插補畫面。其中，區域R4及區域R5係代表影像畫面Fn-1、Fn中的前景物體(Foreground Object)，其餘部分為背景影像，且圖中的第一參考移動向量MV1表示一前景物體移動的方向，而第二參考移動向量MV2則表示一背景影像的移動方向。此外，影像畫面Fn中區域R3’在影像畫面Fn-1中被前景物體遮住，故未出現影像畫面Fn-1中；相同地，影像畫面Fn-1中區域R6’在影像畫面Fn中被前景物體遮住，故未出現影像畫面Fn中。因此，使用傳統的區塊比對演算法估算移動向量，可在前、後兩張影像畫面Fn-1、Fn中皆可找到背景影像中區域R1、R2、R7和R8，以及前景物體中區域R4和R5，所以，可決定出正確目標移動向量，並將影像區域R1、R2、R4、R5、R7和R8正確地呈現於插補畫面FI上(如第1圖所示)。
然而，在決定插補畫面FI中區域R3與R6的目標移動向量時，由於插補畫面FI中區域R3僅出現在影像畫面Fn的區域R3’中，未出現在影像畫面Fn-1中，所以在進行區塊比較時，無法在前、後兩張影像畫面Fn-1、Fn中找到相同的區域，並用以決定移動向量；相同地，插補畫面FI中區域R6僅出現在影像畫面Fn-1的區域R6’中，未出現在影像畫面Fn中，所以在進行區塊比較時，無法在前、後兩張影像畫面Fn-1、Fn中找到相同的區域，並用以決定移動向量。因此，使用傳統的區塊比對演算法估算移動向量，由於區域R3和R6的因素，會造成插補畫面FI的整體品質下降。
理想上，插補畫面FI中區域R3與R6內的移動向量應為背景影像的移動向量，以使得區域R3與R6正確呈現出背景影像，例如，區域R3應使用第二參考移動向量MV2，在影像畫面Fn的區域R3’中找到對應的畫面區域；區域R6亦應使用第二參考移動向量MV2，在影像畫面Fn-1的區域R6’中找到對應的畫面區域。所以，區塊比對演算法並無法決定出正確的移動向量，造成插補區域R3、R6會呈現影像失真的狀況，當應用於圖框率轉換(frame rate conversion)時，傳統影像插補機制將會大幅降低輸出影像的品質。
因此，本發明的目的之一在於提供一種能夠正確地決定一插補區塊之影像的影像處理裝置及其相關方法，以解決上述的問題。
依據本發明的實施例，其係揭露一種影像插補處理裝置。該影像插補處理裝置，用於進行運動畫面插補時，決定一插補畫面中影像覆蓋區及影像顯露區之一代表性移動向量，該插補畫面由複數個區塊所組成，該裝置包含有移動向量產生模組，用於產生該插補畫面中一插補區塊之一第一參考移動向量與一第二參考移動向量；一模糊區塊處理模組，用於依據該插補區塊之該第一參考移動向量與該第二參考移動向量來決定該插補區塊之一區域屬性係為影像覆蓋區及影像顯露區的其中之一，及該插補區塊之一代表性移動向量係為該第一參考移動向量與該第二參考移動向量的其中之一；以及一畫面插補模組，用於依據該代表性移動向量及該區域屬性，來產生該插補區塊。
依據本發明的實施例，其另揭露一種影像插補處理方法。該影像插補處理方法，用於進行運動畫面插補時，決定一插補畫面中影像覆蓋區及影像顯露區之一代表性移動向量，該插補畫面由複數個區塊所組成，該方法包含有產生該插補畫面中一插補區塊之一第一參考移動向量與一第二參考移動向量；依據該插補區塊之該第一參考移動向量與該第二參考移動向量來決定該插補區塊之一區域屬性係為影像覆蓋區及影像顯露區的其中之一，及該插補區塊之一代表性移動向量係為該第一參考移動向量與該第二參考移動向量的其中之一；以及依據該代表性移動向量及該區域屬性，來產生該插補區塊。
本發明之實施例的優勢在於，若一區塊實際屬於一影像覆蓋區或一影像顯露區，則上述影像插補處理裝置及方法可決定該區塊之背景移動向量(第一參考移動向量及第二參考移動向量之其中之一)及區域屬性(影像覆蓋區及影像顯露區之其中之一)，來產生正確的影像，因而可提升影像品質；而若該區塊實際並非屬於影像覆蓋區或影像顯露區，則該影像插補處理裝置及方法可參考該區塊之原始移動向量來產生正確的影像，因而不會影響影像品質，其中該原始移動向量係以區塊比對演算法針對該區塊所計算的一移動向量。
首先，為方便閱讀，以下係將前一張影像畫面中並未被前景物體遮住但卻在下一張影像畫面中被前景物體所遮住的背景影像區域，稱作影像覆蓋區(covered area)，並將前一張影像畫面中被前景物體遮住但卻在下一張影像畫面中出現(未被前景物體所遮住)的背景影像區域，稱作影像顯露區(uncovered area)；舉例來說，第1圖所示之插補畫面FI中區域R6為影像覆蓋區，而區域R3為影像顯露區；請注意，以上定義僅用以方便說明本發明之實施例的操作，並非本發明的限制。
請參照第2圖，其繪示本發明一較佳實施例之影像處理裝置10之功能方塊圖。影像處理裝置10係用於進行運動畫面插補時決定一插補畫面之影像覆蓋區/影像顯露區之移動向量，其中該插補畫面由複數個區塊所組成。如第2圖所示，影像處理裝置10包含有一儲存單元100及一移動插補單元200，其中儲存單元100係用於儲存複數張原始畫面、插補畫面及使用區塊比對產生之原始移動向量；而移動插補單元200耦接至儲存單元100，包含有一移動向量產生模組210、一模糊區塊處理模組220與一畫面插補模組230，其中移動向量產生模組210係用來決定該插補畫面(亦即第一插補畫面)中之一區塊的第一參考移動向量MV1與第二參考移動向量MV2。在本實施例中，移動向量產生模組210係對該插補畫面中的每一區塊皆產生其相對應的兩個參考移動向量MV1、MV2，每一區塊例如包含有16×8的像素範圍，然此並非本發明的限制，其他像素範圍的實施變型亦符合本發明的精神。接著，模糊區塊處理模組220係包括一模糊區塊判定模組221和一覆蓋/顯露區塊判定及移動向量決定模組222，係依據該區塊之第一參考移動向量MV1與第二參考移動向量MV2來決定該區塊位於影像覆蓋區或影像顯露區，並決定該區塊之一代表性移動向量。其中，模糊區塊判定模組221依據該區塊之第一、第二參考移動向量MV1與MV2的差異性決定該區塊是否位於模糊區域。而覆蓋/顯露區塊判定及移動向量決定模組222則對位於模糊區域之區塊進行覆蓋/顯露區塊判定及代表性移動向量決定。最後，畫面插補模組230會依據該代表性移動向量及該區塊位於影像覆蓋區或影像顯露區之結果，來產生該區塊的插補畫面影像。
實際上，在本發明之實施例中，移動插補單元200至少於原始畫面Fn-2、Fn-1、Fn和Fn+1間各產生一插補畫面。以第4A～4D圖的原始畫面Fn-2、Fn-1、Fn、Fn+1等影像為例來說，前景物體的移動方向係由左至右水平移動，而背景影像係由右至左水平移動；需注意的是，在此為方便說明係僅以水平移動的例子作為說明，然而，對於任一特定方向(例如垂直方向或其他任何角度的移動方向等)的影像移動，皆可使用本發明之實施例的影像處理裝置10進行處理。
以下先請參照第3A、3B圖係為一插補區塊產生兩參考移動向量MV1、MV2之示意圖。移動向量產生模組210對每一插補畫面之每一插補區塊產生兩參考移動向量MV1、MV2的運作來說明。首先，移動向量產生模組210會依據區塊比對演算法計算相關插補區塊的移動向量，再以每一個所計算出的移動向量與其複數個鄰近區塊的複數個移動向量，來計算移動向量的混亂程度，以算出一數值曲線。以本實施例來說，該數值曲線係為沿某一插補區塊水平方向之移動向量混亂程度所形成的曲線，而該混亂程度代表移動向量的變異值(motion vector variance)，亦即，該數值曲線包含有沿著一特定方向上代表不同移動向量變異程度的複數個數值。請參照第3A圖，其係本發明計算代表移動向量變異程度之數值的示意圖；例如，若第一插補區塊與其複數個鄰近區塊(如第3A圖所示，位於5×5的區塊範圍)依區塊比對演算法所計算出的複數個移動向量分別是MV00 與MV-2-2 ～MV22 ，則根據該等移動向量可計算出一移動向量變異值MV_VAR，其計算方式是取該等移動向量中最大水平分量減去其中最小水平分量所得的絕對值，再加上該等移動向量中最大垂直分量減去其中最小垂直分量所得的絕對值，MV_VAR可利用以下的等式表示之：
MV_VAR=∣MAX(MVx )-MIN(MVx )∣+∣MAX(MVy )-MIN(MVy )∣　等式(1)
其中MVx 和MVy 分別代表水平分量(x軸分量)與垂直分量(y軸分量)。需注意的是，5×5的區塊範圍並非是本發明的限制，其亦可利用N×N或是N×M的區塊範圍來實作之，其中參數N與M皆是正整數且N不等於M；此外，計算移動向量變異值MV_VAR的方式亦可改用等式(2)或等式(3)來實現：
MV_VAR=∣MAX(MVx )-MIN(MVx )∣+∣MAX(MVy )-MIN(MVy )∣+SAD　等式(2)
MV_VAR=α×{∣MAX(MVx )-MIN(MVx )∣+∣MAX(MVy )-MIN(MVy )∣}+β×SAD　等式(3)
其中數值SAD係為第一插補區塊依照區塊比對演算法所算出的一區塊比對差值，參數α、β係為加權參數；凡可用以計算代表移動向量變異程度之數值的任一實施變化，皆屬於本發明的範疇。由上所述，依據等式(1)、等式(2)或等式(3)其中之一，移動向量產生模組210逐一針對不同的插補區塊進行計算，如此可得出第一數值曲線CV，如第3B圖所示。
第3B圖所繪示為是本發明包含有多個移動向量變異值之第一數值曲線CV。MB00 係為第一插補區塊，而在第3B圖中移動向量產生模組210係決定出插補區塊MB00 的兩參考移動向量MV1、MV2，首先，以背景或前景影像移動的方向(例如水平方向)來看，移動向量產生模組210在空間上延著第一插補區塊MB00 的兩側複數個(例如MB00 水平兩側各六個相同大小的區塊，MB10 ～MB60 與MB-10 ～MB-60 )區塊的相對應移動向量變異值，在該等相對應移動向量變異值範圍內取出一極大值(例如第3B圖所示之VARmax)，並在該等相對應移動向量變異值範圍內找出該極大值VARmax左、右兩側之極小值所對應到的區塊，例如，可找到區塊MB-40 與MB50 ，而此左、右兩區塊MB-40 與MB50 分別利用區塊比對演算法所計算之移動向量即作為第一插補區塊MB00 的兩參考移動向量MV1、MV2，換句話說，第一插補區塊MB00 的第一參考移動向量MV1係對應至位於第一數值曲線CV之極大值VARmax之左側的極小值VARmin，而其第二參考移動向量MV2係對應至位於第一數值曲線CV之極大值VARmax之右側的極小值VARmin’；第一、第二參考移動向量MV1、MV2的其中之一係對應至背景移動向量(background motion vector)，而其另一則對應於前景移動向量(foreground motion vector)，這是因為屬於影像覆蓋區或影像顯露區之插補區塊週圍的移動向量變異值將會相當大，而左、右兩側之最小移動向量變異值所對應之影像區塊，其會對應於一前景移動向量或一背景移動向量，視其位於影像覆蓋區或影像顯露區而定。因此，若第一插補區塊MB00 係位於影像覆蓋區與影像顯露區之其中之一，則其第一、第二參考移動向量MV1、MV2的其中之一對應於背景移動向量，而其另一對應於前景移動向量。藉由上述的操作，移動向量產生模組210可計算出對插補畫面FI中每一插補區塊的相對應第一、第二參考移動向量MV1與MV2。
接著，請參照第4A、4B、4C及4D圖係為決定一模糊區塊位於影像覆蓋區或影像顯露區及其代表性移動向量之第一實施例示意圖。模糊區塊判定模組221係依據該區塊之第一、第二參考移動向量MV1與MV2的差異性決定該區塊是否位於模糊區域。當該區塊的第一、第二參考移動向量MV1與MV2相似時，則該區塊不位於模糊區域；然當該區塊的第一、第二參考移動向量MV1與MV2差異大時，則該區塊位於模糊區域。差異值MV_Diff的計算方式是取第一參考移動向量MV1的水平分量減去第二參考移動向量MV2水平分量所得的絕對值，再加上第一參考移動向量MV1的垂直分量減去第二參考移動向量MV2的垂直分量所得的絕對值，MV_Diff可利用以下的等式表示之：
MV_Diff=∣MV1x -MV2x ∣+∣MV1y -MV2y ∣　等式(4)
上述等式(4)僅為本案一較佳實施方式，並非本發明的限制。
接著，覆蓋/顯露區塊判定及移動向量決定模組222進一步對位於模糊區域之區塊進行覆蓋/顯露區塊判定及代表性移動向量決定。在第4A圖中，插補畫面FI由原始畫面Fn-1和Fn所插補產生，其中區域R3和區域R6中的區塊位於模糊區域。以下以區域R3為例，詳細說明本實施例作法。一待決定區塊O位於區域R3中，區塊O於原始畫面Fn-1中被前景物體所遮蔽，未出現在原始畫面Fn-1中，但有出現在原始畫面Fn中(意即區域R3位於影像顯露區)，且區塊O的兩移動向量分別為第一、第二參考移動向量MV1與MV2。首先，參照第4A圖，利用第二參考移動向量MV2由區塊O對應至原始畫面Fn-1的區塊B及原始畫面Fn的區塊A；接著，參照第4B圖，利用第一參考移動向量MV1由區塊A及區塊B向前分別對應至區塊A’及區塊B’。更詳細地說，原始畫面Fn中的區塊A向前對應至原始畫面Fn-1中的區塊A’及原始畫面Fn-1中的區塊B對應至原始畫面Fn-2的區塊B’。最後，本較佳實施例採用區塊比對絕對差異總值(Sum of Absolute Difference)的方式計算區塊A和區塊A’的差異值SAD1及區塊B和區塊B’的差異值SAD2。同樣地，再利用第一參考移動向量MV1分別由區塊A及區塊B向後對應至畫面Fn+1的區塊A”及畫面Fn的區塊B”，並計算產生區塊A和區塊A”的差異值SAD3及區塊B和區塊B”的差異值SAD4。
然後，參照第4C圖，利用第一參考移動向量MV1由區塊O對應至原始畫面Fn的區塊C及原始畫面Fn-1的區塊D；接著，參照第4D圖，利用第二參考移動向量MV2分別由區塊C及區塊D向前對應至區塊C’及區塊D’。更詳細地說，原始畫面Fn中的區塊C向前對應至原始畫面Fn-1中的區塊C’及原始畫面Fn-1中的區塊D對應至原始畫面Fn-2的區塊D’。最後，亦採用區塊比對絕對差異總值(Sum of Absolute Difference)的方式計算區塊C和區塊C’的差異值SAD5及區塊D和區塊D’的差異值SAD6。同樣地，再利用第二參考移動向量MV2分別由區塊C及區塊D向後對應至畫面Fn+1的區塊C”及畫面Fn的區塊D”，並計算產生區塊C和區塊C”的差異值SAD7及區塊D和區塊D”的差異值SAD8。
最後，依據差異值SAD1～SAD8同時決定區塊O位於影像覆蓋區或影像顯露區，以及區塊O的代表性移動向量MVO為第一參考移動向量MV1或第二參考移動向量MV2。更詳細地說，當差異值SAD1和差異值SAD2都小於一臨界值TH1時，區塊O位於影像覆蓋區，且代表性移動向量MVO為第一參考移動向量MV1；當差異值SAD3和差異值SAD4都小於一臨界值TH1時，區塊O位於影像顯露區，且代表性移動向量MVO為第一參考移動向量MV1；當差異值SAD5和差異值SAD6都小於一臨界值TH1時，區塊O位於影像覆蓋區，且代表性移動向量MVO為第二參考移動向量MV2；以及當差異值SAD7和差異值SAD8都小於一臨界值TH1時，區塊O位於影像顯露區，且代表性移動向量MVO為第二參考移動向量MV2，其中臨界值TH1為一預設值。請參照第4A～4D圖之例子，本範例中第一參考移動向量MV1為背景移動向量(background motion vector)，而第二參考移動向量MV2為前景移動向量(foreground motion vector)。另外，由第4B圖可見，差異值SAD1為計算區塊A與區塊A’差異程度，區塊A係位於背景區域，而區塊A’係位於前景區域，所以差異值SAD1會很大；差異值SAD2為計算區塊B與區塊B’差異程度，區塊B係位於背景區域，而區塊B’係位於前景區域，所以差異值SAD2亦會很大；差異值SAD3為計算區塊A與區塊A”差異程度，區塊A和區塊A”均位於背景區域，且由背景移動向量所對應，所以差異值SAD3會很小；差異值SAD4為計算區塊B與區塊B”差異程度，區塊B和區塊B”均位於背景區域，且由背景移動向量所對應，所以差異值SAD4會很小。同樣地，請參照第4D圖，亦可知本範例中之差異值SAD5和SAD7很大，而差異值SAD6和SAD8很小。依據前述之判定規則，本範例中差異值SAD3和SAD4這一組同時小於一預定值，所以區塊O位於影像顯露區，且代表性移動向量MVO為第一參考移動向量MV1。
另外，請參照第5A、5B、5C及5D圖係為決定一模糊區塊位於影像覆蓋區或影像顯露區及其代表性移動向量之第二實施例示意圖。模糊區塊判定模組221係依據一區塊之第一、第二參考移動向量MV1與MV2的差異性決定該區塊位於影像覆蓋區或影像顯露區。同樣地，當該區塊的第一、第二參考移動向量MV1與MV2相似時，則該區塊不位於模糊區域；然當該區塊的第一、第二參考移動向量MV1與MV2差異大時，則該區塊位於模糊區域。且差異值MV_Diff的計算方式亦與第一實施例相同。
接著，覆蓋/顯露區塊判定及移動向量決定模組222進一步對位於模糊區域之區塊進行覆蓋/顯露區塊判定及代表性移動向量決定。在第5A圖中，插補畫面FIn由原始畫面Fn-1和Fn所插補產生，其中區域R3和區域R6中的區塊位於模糊區域。以下以區域R3為例，詳細說明本實施例作法。一待決定區塊O位於區域R3中，區塊O於原始畫面Fn-1中被前景物體所遮蔽，未出現在原始畫面Fn-1中，但有出現在原始畫面Fn中(意即區域R3位於影像顯露區)，且區塊O的兩移動向量分別為第一、第二參考移動向量MV1與MV2。首先，參照第5A圖，利用第一參考移動向量MV1由區塊O對應至原始畫面Fn的區塊E及原始畫面Fn-1的區塊F；接著，參照第5B圖，利用第二參考移動向量MV2由區塊E及區塊F向前分別對應至區塊E’及區塊F’。更詳細地說，原始畫面Fn中的區塊E向前對應至插補畫面FIn中的區塊E’及原始畫面Fn-1中的區塊F對應至插補畫面FIn-1的區塊F’，再比較區塊E’的移動向量MVE’和區塊F’的移動向量MVF’是否相似於第二參考移動向量MV2。同樣地，再利用第二參考移動向量MV2分別由區塊E及區塊F向後對應至區塊E”及區塊F”，再比較區塊E”的移動向量MVE”和區塊F”的移動向量MVF”是否相似於第二參考移動向量MV2。
然後，參照第5C圖，利用第二參考移動向量MV2由區塊O對應至原始畫面Fn的區塊G及原始畫面Fn-1的區塊H；接著，參照第5D圖，利用第一參考移動向量MV1分別由區塊G及區塊H向前對應至區塊G’及區塊H’。更詳細地說，原始畫面Fn中的區塊G向前對應至插補畫面FIn中的區塊G’及原始畫面Fn-1中的區塊H對應至插補畫面FIn-1的區塊H’，再比較區塊G’的移動向量MVG’和區塊H’的移動向量MVH’是否相似於第一參考移動向量MV1。同樣地，再利用第一參考移動向量MV1分別由區塊G及區塊H向後對應至區塊G”及區塊H”，再比較區塊G”的移動向量MVG”和區塊H”的移動向量MVH”是否相似於第一參考移動向量MV1。
最後，依據上述移動向量MVE’、MVF’、MVE”、MVF”、MVG’、MVH’、MVG”及MVH”來同時決定區塊O位於影像覆蓋區或影像顯露區，以及區塊O的代表性移動向量MVO為第一參考移動向量MV1或第二參考移動向量MV2。更詳細地說，當移動向量MVE’和移動向量MVF’都相似於第二參考移動向量MV2時，區塊O位於影像覆蓋區，且代表性移動向量MVO為第二參考移動向量MV2；當移動向量MVE”和移動向量MVF”都與相似於第二參考移動向量MV2時，區塊O位於影像顯露區，且代表性移動向量MVO為第二參考移動向量MV2；當移動向量MVG’和移動向量MVH’都相似於第一參考移動向量MV1時，區塊O位於影像覆蓋區，且代表性移動向量MVO為第一參考移動向量MV1；以及當移動向量MVG”和移動向量MVH”都相似於第一參考移動向量MV1時，區塊O位於影像顯露區，且代表性移動向量MVO為第一參考移動向量MV1。請參照第5A～5D圖之例子，本範例中第一參考移動向量MV1為背景移動向量(background motion vector)，而第二參考移動向量MV2為前景移動向量(foreground motion vector)。另外，由第5B圖可見，區塊E’係位於背景區域，而區塊F’係位於前景區域，所以移動向量MVE’與第二參考移動向量MV2不相似，但移動向量MVF’與第二參考移動向量MV2相似；區塊E”係位於背景區域，而區塊F”係位於前景區域，所以移動向量MVE”與第二參考移動向量MV2不相似，但移動向量MVF”與第二參考移動向量MV2相似。同樣地，請參照第5D圖，亦可知本範例中之移動向量MVG’和MVH’與第一參考移動向量MV1均不相似，而移動向量MVG”和MVH”與第一參考移動向量MV1均相似。依據前述之判定規則，本範例中移動向量MVG”和MVH”與第一參考移動向量MV1的差異值小於一預定值，所以區塊O位於影像顯露區，且代表性移動向量MVO為第一參考移動向量MV1。
最後，畫面插補模組230依據該代表性移動向量及該區塊位於影像覆蓋區或影像顯露區之結果，來產生該區塊的插補畫面影像。詳細地說，當區塊O位於影像顯露區，且代表性移動向量MVO為第一參考移動向量MV1，則以第一參考移動向量MV1向後對應至原始畫面Fn的區塊填補區塊O；當區塊O位於影像顯露區，且代表性移動向量MVO為第二參考移動向量MV2，則以第二參考移動向量MV2向後對應至原始畫面Fn的區塊填補區塊O；當區塊O位於影像覆蓋區，且代表性移動向量MVO為第一參考移動向量MV1，則以第一參考移動向量MV1向前對應至原始畫面Fn-1的區塊填補區塊O；當區塊O位於影像覆蓋區，且代表性移動向量MVO為第二參考移動向量MV2，則以第二參考移動向量MV2向前對應至原始畫面Fn-1的區塊填補區塊O。在第4A圖或第5A圖的範例中，依據模糊區塊處理模組220之決定，區塊O位於影像顯露區，且代表性移動向量MVO為第一參考移動向量MV1，則畫面插補模組230會以第一參考移動向量MV1向後對應至原始畫面Fn的區塊填補區塊O。
此外，若一插補區塊實際屬於模糊區域(影像覆蓋區或影像顯露區)，則畫面插補模組230依據模糊區塊處理模組220所決定之區域及代表性移動向量，對該區塊來產生正確的影像，因而可提升影像品質，其中該模糊區塊的代表性移動向量係對應於背景移動向量；而若該插補區塊實際並非屬於模糊區域(影像覆蓋區或影像顯露區)，則畫面插補模組230依據區塊比對方法對該插補區塊之產生的移動向量來產生正確的影像。最終，畫面插補模組230產生插補畫面FIn。
請參照第6圖，繪示本發明另一實施例之影像處理方法及其相關操作步驟的流程。該方法包括：步驟601：產生該插補畫面(亦即第一插補畫面)中之一插補區塊的第一參考移動向量MV1與第二參考移動向量MV2。更詳細地說，首先，計算該插補區塊之相關區塊的移動向量，並依據每一個相關區塊所計算出的移動向量與其複數個鄰近區塊的複數個移動向量，來計算該些相關區塊移動向量的混亂程度，以算出一數值曲線。接著，依據該數值曲線決定出該插補區塊兩參考移動向量MV1、MV2。詳細實施方式請參考前述說明書關於第3A及3B圖的對應說明，不另贅述。
步驟603：依據該區塊之第一參考移動向量MV1與第二參考移動向量MV2來決定該區塊位於影像覆蓋區或影像顯露區，及並決定該區塊之一代表性移動向量。其中，一較佳實施方法先依據該區塊之第一、第二參考移動向量MV1與MV2的差異性決定該區塊是否位於模糊區域。接著，對位於模糊區域之區塊先以第一參考移動向量MV1，對該插補畫面之前一張原始畫面及後一張原始畫面中找到對應之第一區塊及第二區塊，再以第二參考移動向量MV2，從該前一張原始畫面的第一區塊及該後一張原始畫面第二區塊分別向其前一張原始畫面中找到對應之第三區塊及第四區塊，及向其後一張原始畫面中找到對應之第五區塊及第六區塊，並據以計算其對應區塊之相似性，以判定該插補區塊位於覆蓋區或顯露區判定及其代表性移動向量，詳細方法請參考前述說明書關於第4A～4D圖的對應說明，不另贅述。亦可以另一較佳實施方法，對位於模糊區域之區塊先以第一參考移動向量MV1，對該插補畫面之前一張原始畫面及後一張原始畫面中找到對應之第一區塊及第二區塊，再以第二參考移動向量MV2，從該前一張原始畫面的第一區塊及該後一張原始畫面第二區塊分別向其前一張插補畫面中找到對應之第三區塊的移動向量及第四區塊的移動向量，及向其後一張插補畫面中找到對應之第五區塊的移動向量及第六區塊的移動向量，並將第五區塊的移動向量及第六區塊的移動向量分別與第二參考移動向量MV2進行比較，以判定該插補區塊位於覆蓋區或顯露區判定及其代表性移動向量，詳細方法請參考前述說明書關於第5A～5D圖的對應說明，不另贅述。
步驟605：依據該移動向量及該區塊位於影像覆蓋區或影像顯露區之結果，來產生該區塊的插補畫面影像。詳細地說，當該區塊位於影像顯露區，則以該代表性移動向量向後對應至後一張原始畫面的區塊填補該區塊；當區塊位於影像覆蓋區，則以該代表性移動向量向前對應至前一張原始畫面的區塊填補區塊。
以上為本發明影像處理方法的步驟，需注意的是，倘若可達到相同的結果，並不需要一定照第6圖所示之流程中的步驟順序來進行，且第6圖所示之步驟不一定要連續進行，亦即其他步驟亦可插入其中。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
 本案圖式中所包含之各元件列示如下：
10．．．影像處理裝置
100．．．儲存單元
200．．．移動插補單元
210．．．移動向量產生模組
220．．．模糊區塊處理模組
221．．．模糊區塊判定模組
222．．．覆蓋/顯露區塊判定及移動向量決定模組
230．．．畫面插補模組
本案得藉由下列圖式及說明，俾得一更深入之了解：
第1圖為傳統區塊比對演算法的操作示意圖。
第2圖為本發明影像處理裝置的元件示意圖。
第3A圖為第2圖所示之移動向量產生模組計算代表移動向量變異程度之數值的範例示意圖。
第3B圖為包含有多個移動向量變異值之數值曲線的範例示意圖。
第4A～4D圖為第2圖所示之模糊區塊處理模組的第一實施例之示意圖。
第5A～5D圖為第2圖所示之模糊區塊處理模組的第二實施例之示意圖。
第6圖為本發明影像處理方法之流程圖。
10．．．影像處理裝置
100．．．儲存單元
200．．．移動插補單元
210．．．移動向量產生模組
220．．．模糊區塊處理模組
221．．．模糊區塊判定模組
222．．．覆蓋/顯露區塊判定及移動向量決定模組
230．．．畫面插補模組

Claims (31)

  1. 一種影像插補處理裝置，用於進行運動畫面插補時，決定一插補畫面中影像覆蓋區及影像顯露區之一代表性移動向量，該插補畫面由複數個區塊所組成，該裝置包含有：一移動向量產生模組，用於產生該插補畫面中一插補區塊之一第一參考移動向量與一第二參考移動向量；一模糊區塊處理模組，用於依據該插補區塊之該第一參考移動向量與該第二參考移動向量來決定該插補區塊之一區域屬性係為影像覆蓋區及影像顯露區的其中之一，及該插補區塊之該代表性移動向量係為該第一參考移動向量與該第二參考移動向量的其中之一；以及一畫面插補模組，用於依據該代表性移動向量及該區域屬性，來產生該插補區塊；其中該模糊區塊處理模組包含有：一覆蓋/顯露區塊判定及移動向量決定模組，用於先依據該第一參考移動向量，對該插補畫面之前一張原始畫面及後一張原始畫面中找到對應該插補區塊之一第一區塊及一第二區塊，再依據該第二參考移動向量，從該前一張原始畫面的該第一區塊及該後一張原始畫面該第二區塊分別向其前一張原始畫面中找到對應之一第三區塊及一第四區塊，及向其後一張原始畫面中找到對應之一第五區塊及一第六區塊，並據以計算其該些對應區塊之差異值，來決定該插補區塊之該區域屬性係為影像覆蓋區及影像顯露區的其中之一，及該插補區塊之該代表性移動向量係為該第一 參考移動向量與該第二參考移動向量的其中之一。
  2. 如申請專利範圍第1項所述之影像插補處理裝置，其中該覆蓋/顯露區塊判定及移動向量決定模組計算該第一區塊與該第三區塊間之一第一差異值、該第二區塊與該第四區塊之一第二差異值、該第一區塊與該第五區塊之一第三差異值及該第二區塊與該第六區塊之一第四差異值。
  3. 如申請專利範圍第2項所述之影像插補處理裝置，其中該覆蓋/顯露區塊判定及移動向量決定模組，當該第一差異值與該第二差異值均小於一第一預定值，決定該插補區塊位於影像覆蓋區且該第二參考移動向量為該插補區塊之該代表性移動向量；當該第三差異值與該第四差異值均小於該第一預定值，決定該插補區塊之該區域屬性為影像顯露區且該代表性移動向量為該第二參考移動向量。
  4. 如申請專利範圍第1項所述之影像插補處理裝置，其中該模糊區塊處理模組更包含有：一模糊區塊判定模組，用於依據該第一參考移動向量和該第二參考移動向量的一差異值來決定該插補區塊是否位於模糊區域，其中當該差異值大於一第二預定值時，則該插補區塊位於模糊區域，否則該插補區塊不位於模糊區域。
  5. 如申請專利範圍第1項所述之影像插補處理裝置，其中模糊區塊判定模組係將第一參考移動向量的水平分量減去第二參考移動向量水平分量所得的絕對值，加上第一參考移動向量的垂直分量減去第二參考移動向量的垂直分量所得的絕對值作為該差異值。
  6. 如申請專利範圍第1項所述之影像插補處理裝置，其中該移動向量產生模組依據該插補區塊之一原始移動向量與其複數個鄰近區塊之複數個原始移動向量，以決定該第一參考移動向量與該第二參考移動向量。
  7. 如申請專利範圍第1項所述之影像插補處理裝置，其中該移動向量產生模組依據該插補區塊之一原始移動向量與其複數個鄰近區塊之複數個原始移動向量，計算一數值曲線，並據以決定該第一參考移動向量與該第二參考移動向量，其中該第一參考移動向量係對應至位於該數值曲線之一極大值之左側的一極小值之區塊之原始移動向量，以及該第二參考移動向量係對應至位於該數值曲線之該極大值之右側的一極小值之區塊之原始移動向量。
  8. 如申請專利範圍第1項所述之影像插補處理裝置，其中該畫面插補模組，當該區域屬性為影像覆蓋區時，依據該前一張原始畫面及該代表性移動向量決定該插補區塊，以及當該區域屬性為影像顯露區時，依據該後一張原始畫面及該代表性移動向量決定該插補區塊。
  9. 如申請專利範圍第1項所述之影像插補處理裝置，其中該模糊區塊處理模組包含有：一覆蓋/顯露區塊判定及移動向量決定模組，用於先依據該第一參考移動向量，對該插補畫面之前一張原始畫面及後一張原始畫面中找到對應該插補區塊之第一區塊及第二區塊，再依據該第二參考移動向量，從該前一張原始畫面的該第一區塊及該後一張原始畫面該第二區塊分別向其前一張插補畫面中找到對應之一第三區塊的移動向量及一 第四區塊的移動向量，及向其後一張插補畫面中找到對應之一第五區塊的移動向量及一第六區塊的移動向量，並據以計算其該些移動區塊的移動向量與該第二參考移動向量之差異值，來決定該插補區塊之該區域屬性係為影像覆蓋區及影像顯露區的其中之一，及該插補區塊之該代表性移動向量係為該第一參考移動向量與該第二參考移動向量的其中之一。
  10. 如申請專利範圍第9項所述之影像插補處理裝置，其中該覆蓋/顯露區塊判定及移動向量決定模組分別計算該第二參考移動向量與該第三區塊的移動向量、該第四區塊的移動向量、該第五區塊的移動向量及該第六區塊的移動向量間之一第一差異值、一第二差異值、一第三差異值及一第四差異值。
  11. 如申請專利範圍第10項所述之影像插補處理裝置，其中該覆蓋/顯露區塊判定及移動向量決定模組，當該第一差異值與該第二差異值均小於一第一預定值，決定該插補區塊位於影像覆蓋區且該第二參考移動向量為該插補區塊之代表性移動向量；當該第三差異值與該第四差異值均小於該第一預定值，決定該插補區塊之該區域屬性為影像顯露區且該代表性移動向量為該第二參考移動向量。
  12. 如申請專利範圍第9項所述之影像插補處理裝置，其中該模糊區塊處理模組更包含有：一模糊區塊判定模組，用於依據該第一參考移動向量和該第二參考移動向量的一差異值來決定該插補區塊是否位於模糊區域，其中當該差異值大於一第二預定值時，則 該插補區塊位於模糊區域，否則該插補區塊不位於模糊區域。
  13. 如申請專利範圍第9項所述之影像插補處理裝置，其中模糊區塊判定模組係將第一參考移動向量的水平分量減去第二參考移動向量水平分量所得的絕對值，加上第一參考移動向量的垂直分量減去第二參考移動向量的垂直分量所得的絕對值作為該差異值。
  14. 如申請專利範圍第9項所述之影像插補處理裝置，其中該移動向量產生模組依據該插補區塊之一原始移動向量與其複數個鄰近區塊之複數個原始移動向量，以決定該第一參考移動向量與該第二參考移動向量。
  15. 如申請專利範圍第9項所述之影像插補處理裝置，其中該移動向量產生模組依據該插補區塊之一原始移動向量與其複數個鄰近區塊之複數個原始移動向量，計算一數值曲線，並據以決定該第一參考移動向量與該第二參考移動向量，其中該第一參考移動向量係對應至位於該數值曲線之一極大值之左側的一極小值之區塊之原始移動向量，以及該第二參考移動向量係對應至位於該數值曲線之該極大值之右側的一極小值之區塊之原始移動向量。
  16. 如申請專利範圍第9項所述之影像插補處理裝置，其中該畫面插補模組，當該區域屬性為影像覆蓋區時，依據該前一張原始畫面及該代表性移動向量決定該插補區塊，以及當該區域屬性為影像顯露區時，依據該後一張原始畫面及該代表性移動向量決定該插補區塊。
  17. 一種影像插補處理方法，用於進行運動畫面插補時， 決定一插補畫面中影像覆蓋區及影像顯露區之一代表性移動向量，該插補畫面由複數個區塊所組成，該方法包含有：產生該插補畫面中一插補區塊之一第一參考移動向量與一第二參考移動向量；依據該插補區塊之該第一參考移動向量與該第二參考移動向量來決定該插補區塊之一區域屬性係為影像覆蓋區及影像顯露區的其中之一，及該插補區塊之該代表性移動向量係為該第一參考移動向量與該第二參考移動向量的其中之一；以及依據該代表性移動向量及該區域屬性，來產生該插補區塊；其中決定該插補區塊之該代表性移動向量及該區域屬性的步驟包含有：依據該第一參考移動向量，對該插補畫面之前一張原始畫面及後一張原始畫面中找到對應該插補區塊之一第一區塊及一第二區塊；依據該第二參考移動向量，從該前一張原始畫面的該第一區塊及該後一張原始畫面該第二區塊分別向其前一張原始畫面中找到對應之一第三區塊及一第四區塊，及向其後一張原始畫面中找到對應之一第五區塊及一第六區塊；以及計算其該些對應區塊之差異值，來決定該插補區塊之該區域屬性係為影像覆蓋區及影像顯露區的其中之一，及該插補區塊之該代表性移動向量係為該第一參考移動向量與該第二參考移動向量的其中之一。
  18. 如申請專利範圍第17項所述之影像插補處理方法，其中計算其該些對應區塊之差異值的步驟係計算該第一區塊與該第三區塊間之一第一差異值、該第二區塊與該第四區塊之一第二差異值、該第一區塊與該第五區塊之一第三差異值及該第二區塊與該第六區塊之一第四差異值。
  19. 如申請專利範圍第18項所述之影像插補處理方法，其中計算其該些對應區塊之差異值的步驟中，當該第一差異值與該第二差異值均小於一第一預定值，決定該插補區塊位於影像覆蓋區且該第二參考移動向量為該插補區塊之該代表性移動向量；當該第三差異值與該第四差異值均小於該第一預定值，決定該插補區塊之該區域屬性為影像顯露區且該代表性移動向量為該第二參考移動向量。
  20. 如申請專利範圍第17項所述之影像插補處理方法，其中決定該插補區塊之該代表性移動向量及該區域屬性的步驟更包含有依據該第一參考移動向量和該第二參考移動向量的一差異值來決定該插補區塊是否位於模糊區域，其中當該差異值大於一第二預定值時，則該插補區塊位於模糊區域，否則該插補區塊不位於模糊區域。
  21. 如申請專利範圍第17項所述之影像插補處理方法，其中決定該插補區塊之該代表性移動向量及該區域屬性的步驟更包含有將第一參考移動向量的水平分量減去第二參考移動向量水平分量所得的絕對值，加上第一參考移動向量的垂直分量減去第二參考移動向量的垂直分量所得的絕對值作為該差異值。
  22. 如申請專利範圍第17項所述之影像插補處理方法，其 中產生該插補畫面中該插補區塊之該第一參考移動向量與該第二參考移動向量步驟中包含有依據該插補區塊之一原始移動向量與其複數個鄰近區塊之複數個原始移動向量，以決定該第一參考移動向量與該第二參考移動向量。
  23. 如申請專利範圍第17項所述之影像插補處理方法，其中產生該插補畫面中該插補區塊之該第一參考移動向量與該第二參考移動向量步驟中包含有依據該插補區塊之一原始移動向量與其複數個鄰近區塊之複數個原始移動向量，計算一數值曲線，並據以決定該第一參考移動向量與該第二參考移動向量，其中該第一參考移動向量係對應至位於該數值曲線之一極大值之左側的一極小值之區塊之原始移動向量，以及該第二參考移動向量係對應至位於該數值曲線之該極大值之右側的一極小值之區塊之原始移動向量。
  24. 如申請專利範圍第17項所述之影像插補處理方法，其中產生該插補區塊步驟中包含有當該區域屬性為影像覆蓋區時，依據該前一張原始畫面及該代表性移動向量決定該插補區塊，以及當該區域屬性為影像顯露區時，依據該後一張原始畫面及該代表性移動向量決定該插補區塊。
  25. 如申請專利範圍第17項所述之影像插補處理方法，其中決定該插補區塊之該代表性移動向量及該區域屬性的步驟包含有：依據該第一參考移動向量，對該插補畫面之前一張原始畫面及後一張原始畫面中找到對應該插補區塊之第一區塊及第二區塊；依據該第二參考移動向量，從該前一張原始畫面的該 第一區塊及該後一張原始畫面該第二區塊分別向其前一張插補畫面中找到對應之一第三區塊的移動向量及一第四區塊的移動向量，及向其後一張插補畫面中找到對應之一第五區塊的移動向量及一第六區塊的移動向量；以及計算其該些移動區塊的移動向量與該第二參考移動向量之差異值，來決定該插補區塊之該區域屬性係為影像覆蓋區及影像顯露區的其中之一，及該插補區塊之該代表性移動向量係為該第一參考移動向量與該第二參考移動向量的其中之一。
  26. 如申請專利範圍第25項所述之影像插補處理方法，其中計算其該些移動區塊的移動向量與該第二參考移動向量之差異值的步驟係分別計算該第二參考移動向量與該第三區塊的移動向量、該第四區塊的移動向量、該第五區塊的移動向量及該第六區塊的移動向量間之一第一差異值、一第二差異值、一第三差異值及一第四差異值。
  27. 如申請專利範圍第26項所述之影像插補處理方法，其中計算其該些對應移動向量之差異值的步驟中，當該第一差異值與該第二差異值均小於一第一預定值，決定該插補區塊位於影像覆蓋區且該第二參考移動向量為該插補區塊之該代表性移動向量；當該第三差異值與該第四差異值均小於該第一預定值，決定該插補區塊之該區域屬性為影像顯露區且該代表性移動向量為該第二參考移動向量。
  28. 如申請專利範圍第25項所述之影像插補處理方法，其中決定該插補區塊之該代表性移動向量及該區域屬性的步驟更包含有依據該第一參考移動向量和該第二參考移動向 量的一差異值來決定該插補區塊是否位於模糊區域，其中當該差異值大於一第二預定值時，則該插補區塊位於模糊區域，否則該插補區塊不位於模糊區域。
  29. 如申請專利範圍第25項所述之影像插補處理方法，其中決定該插補區塊之該代表性移動向量及該區域屬性的步驟更包含有將第一參考移動向量的水平分量減去第二參考移動向量水平分量所得的絕對值，加上第一參考移動向量的垂直分量減去第二參考移動向量的垂直分量所得的絕對值作為該差異值。
  30. 如申請專利範圍第25項所述之影像插補處理方法，其中產生該插補畫面中該插補區塊之該第一參考移動向量與該第二參考移動向量步驟中包含有依據該插補區塊之一原始移動向量與其複數個鄰近區塊之複數個原始移動向量，以決定該第一參考移動向量與該第二參考移動向量。
  31. 如申請專利範圍第25項所述之影像插補處理方法，其中產生該插補畫面中該插補區塊之該第一參考移動向量與該第二參考移動向量步驟中包含有依據該插補區塊之一原始移動向量與其複數個鄰近區塊之複數個原始移動向量，計算一數值曲線，並據以決定該第一參考移動向量與該第二參考移動向量，其中該第一參考移動向量係對應至位於該數值曲線之一極大值之左側的一極小值之區塊之原始移動向量，以及該第二參考移動向量係對應至位於該數值曲線之該極大值之右側的一極小值之區塊之原始移動向量。
TW99102881A 2009-11-17 2010-02-01 影像插補處理裝置及其方法 TWI408621B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US26211209P 2009-11-17 2009-11-17

Publications (2)

Publication Number Publication Date
TW201119414A TW201119414A (en) 2011-06-01
TWI408621B true TWI408621B (zh) 2013-09-11

Family

ID=44000340

Family Applications (1)

Application Number Title Priority Date Filing Date
TW99102881A TWI408621B (zh) 2009-11-17 2010-02-01 影像插補處理裝置及其方法

Country Status (3)

Country Link
US (1) US9135676B2 (zh)
CN (1) CN102065263B (zh)
TW (1) TWI408621B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2777256B1 (en) 2011-11-11 2017-03-29 GE Video Compression, LLC Multi-view coding with effective handling of renderable portions
EP2777266B1 (en) 2011-11-11 2018-07-25 GE Video Compression, LLC Multi-view coding with exploitation of renderable portions
KR101908388B1 (ko) * 2012-07-19 2018-10-17 삼성전자 주식회사 폐색 영역 복원 장치, 폐색 영역을 복원하는 비디오 디코딩 장치 및 폐색 영역 복원 방법
JP6412819B2 (ja) * 2015-03-30 2018-10-24 株式会社東芝 画像処理装置、画像処理方法、および画像処理プログラム
US10380950B2 (en) * 2016-09-23 2019-08-13 Novatek Microelectronics Corp. Method for reducing motion blur and head mounted display apparatus
CN112770015B (zh) * 2020-12-29 2022-09-13 紫光展锐(重庆)科技有限公司 一种数据处理方法及相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219436B1 (en) * 1997-10-29 2001-04-17 U.S. Philips Corporation Motion vector estimation and detection of covered/uncovered image parts
US20070230830A1 (en) * 2006-03-30 2007-10-04 Kabushiki Kaisha Toshiba Apparatus for creating interpolation frame
US20090161010A1 (en) * 2007-12-20 2009-06-25 Integrated Device Technology, Inc. Image interpolation with halo reduction
CN101496063A (zh) * 2006-04-19 2009-07-29 Nxp股份有限公司 用于创建内插图像的方法和系统
US20090251612A1 (en) * 2005-10-24 2009-10-08 Nxp B.V. Motion vector field retimer
TW200945908A (en) * 2008-04-18 2009-11-01 Univ Nat Chiao Tung Powerful adaptive de-interlacing device using overlap block shift compensation and method thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6888566B2 (en) * 1999-12-14 2005-05-03 Canon Kabushiki Kaisha Method and apparatus for uniform lineal motion blur estimation using multiple exposures
EP1747678B1 (en) * 2004-05-04 2015-01-07 Qualcomm, Incorporated Method and apparatus for motion compensated frame rate up conversion
US7965774B2 (en) * 2006-01-06 2011-06-21 International Business Machines Corporation Method for visual signal extrapolation or interpolation
CN101482967B (zh) * 2008-01-10 2011-05-11 晨星半导体股份有限公司 产生目标图像数据块的图像处理方法及其相关装置
CN101505419B (zh) * 2008-02-05 2011-06-15 晨星半导体股份有限公司 一种决定移动向量的影像处理装置及其相关方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219436B1 (en) * 1997-10-29 2001-04-17 U.S. Philips Corporation Motion vector estimation and detection of covered/uncovered image parts
US20090251612A1 (en) * 2005-10-24 2009-10-08 Nxp B.V. Motion vector field retimer
US20070230830A1 (en) * 2006-03-30 2007-10-04 Kabushiki Kaisha Toshiba Apparatus for creating interpolation frame
CN101496063A (zh) * 2006-04-19 2009-07-29 Nxp股份有限公司 用于创建内插图像的方法和系统
US20090161010A1 (en) * 2007-12-20 2009-06-25 Integrated Device Technology, Inc. Image interpolation with halo reduction
TW200945908A (en) * 2008-04-18 2009-11-01 Univ Nat Chiao Tung Powerful adaptive de-interlacing device using overlap block shift compensation and method thereof

Also Published As

Publication number Publication date
US20110116547A1 (en) 2011-05-19
CN102065263B (zh) 2014-03-19
CN102065263A (zh) 2011-05-18
TW201119414A (en) 2011-06-01
US9135676B2 (en) 2015-09-15

Similar Documents

Publication Publication Date Title
TWI408621B (zh) 影像插補處理裝置及其方法
TWI408620B (zh) 用以決定插補畫面之移動向量的影像處理方法及其相關裝置
JP5153940B2 (ja) 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法
JP5425897B2 (ja) 前方及び後方の深度予測を伴う、画像の深度抽出のシステム及び方法
TWI490819B (zh) 影像處理方法及其裝置
Lee et al. Frame rate up conversion based on variational image fusion
US20100067818A1 (en) System and method for high quality image and video upscaling
JP5081898B2 (ja) 補間画像生成方法及びシステム
CN106791279B (zh) 基于遮挡检测的运动补偿方法及系统
JP2008135980A (ja) 補間フレーム作成方法および補間フレーム作成装置
JP2012129842A (ja) フレーム補間装置及び方法、並びにプログラム及び記録媒体
JP2009516938A (ja) 動きベクトル場リタイマー
Tai et al. A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications
TW201322769A (zh) 運動向量改善裝置及其影像改善方法
TWI730552B (zh) 信號處理裝置與信號處理方法
Li et al. Multi-channel mixed-pattern based frame rate up-conversion using spatio-temporal motion vector refinement and dual-weighted overlapped block motion compensation
JP2016119522A (ja) 画像処理装置および画像処理方法
JP2008245135A (ja) 補間フレーム作成方法および補間フレーム作成装置
TWI389573B (zh) 僅依據水平方向之影像區塊執行影像處理運作的影像處理方法及其相關裝置
JP4886479B2 (ja) 動きベクトル補正装置、動きベクトル補正プログラム、補間フレーム生成装置及び映像補正装置
CN109788297B (zh) 一种基于元胞自动机的视频帧率上转换方法
CN102158678A (zh) 一种运动向量场插值方法
JP2011199349A (ja) 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
Choi et al. Frame Rate Up-Conversion for HDR Video Using Dual Exposure Camera
Lu et al. An artifact information based motion vector processing method for motion compensated frame interpolation

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees
MM4A Annulment or lapse of patent due to non-payment of fees