TWI493978B - 影像處理裝置、影像處理方法及影像播放系統 - Google Patents

影像處理裝置、影像處理方法及影像播放系統 Download PDF

Info

Publication number
TWI493978B
TWI493978B TW100130180A TW100130180A TWI493978B TW I493978 B TWI493978 B TW I493978B TW 100130180 A TW100130180 A TW 100130180A TW 100130180 A TW100130180 A TW 100130180A TW I493978 B TWI493978 B TW I493978B
Authority
TW
Taiwan
Prior art keywords
image
image block
picture
intermediate image
interpolation
Prior art date
Application number
TW100130180A
Other languages
English (en)
Other versions
TW201311011A (zh
Inventor
Chia Hao Chung
Chung Yi Chen
Original Assignee
Mstar Semiconductor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mstar Semiconductor Inc filed Critical Mstar Semiconductor Inc
Priority to TW100130180A priority Critical patent/TWI493978B/zh
Priority to US13/572,897 priority patent/US9196015B2/en
Publication of TW201311011A publication Critical patent/TW201311011A/zh
Application granted granted Critical
Publication of TWI493978B publication Critical patent/TWI493978B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Description

影像處理裝置、影像處理方法及影像播放系統
本發明係與影像處理技術相關，並且尤其與產生插補影像的技術相關。
近年來，隨著各種電子產品的蓬勃發展，家庭劇院等多媒體系統日益普及。在多數多媒體系統中，最重要的硬體裝置就屬影像顯示設備。如何提升影像畫面的品質以吸引消費者，一直是影像顯示設備製造者關注的議題。
在某些應用中，提供至影像顯示設備的動態影像之畫面變換頻率低於影像顯示設備本身設定的畫面更新頻率。舉例而言，原始動態影像的畫面變換頻率可能為60赫茲，而影像顯示設備的畫面更新頻率可能為120赫茲。在這樣的情況下，影像顯示設備通常會根據每秒60張的原始畫面另外產生60張新增畫面，使輸出至螢幕上的畫面為每秒120張。最簡單但較粗糙的做法是將每一張原始畫面重複播放兩次；這種方式的缺點在於可能會令觀看者感覺畫面不夠流暢。另外一種常見的做法則是根據前後兩張原始畫面插補(interpolate)產生一張新增畫面，並且在兩張原始畫面之間播放插補畫面。
近年來，基於移動向量(motion vector)所發展出的移動估測(motion estimation)和移動補償(motion compensation)技術被廣泛應用在影像壓縮軟體/硬體中。同樣地，需要產生插補畫面時，影像顯示設備也可利用兩張原始畫面間的移動向量產生插補影像。在根據移動向量產生插補影像前，須先判斷兩張原始畫面間的移動向量為何。實務上，影像處理裝置可將每張畫面區分為多個區塊，分別估算各區塊的移動向量。以各區塊之尺寸為8畫素*8畫素的情況為例，假設A畫面中的A1區塊與B畫面中的B1區塊兩者平面座標相同，影像處理裝置可以B1區塊為中心，比對其周邊32畫素*32畫素的範圍之內哪一個大小為8畫素*8畫素的區域和A1區塊最相近，藉此找出A1區塊和B1區塊間的移動向量。
理論上，上述比對範圍愈廣，正確判斷出移動向量的機率愈高。然而，受限於運算時間，影像處理裝置通常無法將比對範圍設定的太大。若原本在A1區塊中的物體移動極快，在B畫面中的位置已超出該比對範圍，影像處理裝置在搜尋該比對範圍時，無論如何也沒辦法正確找出A1、B1兩區塊間的移動向量。或者，若被拍攝的物體在短時間內劇烈變化，導致A1、B1兩區塊間存在強烈差異的情況，影像處理裝置通常也會誤判其移動向量。
也就是說，不可避免地，移動向量有時可能會被錯估，進而造成錯誤的插補結果。舉例而言，插補影像中的天空畫面可能會有一部分被錯置為樹影，與周邊格格不入。人類的眼睛對於這類突兀的變化特別敏感，因此很容易便會發現錯誤。
有鑑於此，目前已發展出與插補錯誤相關的補救措施。現行的做法是在判定整張畫面中的可能錯誤量總和已高於某一門檻值時，便放棄以插補影像做為新增影像，改用原始畫面(例如A畫面或B畫面)做為新增影像，等同於重複播放原始畫面。這種做法的缺點在於，即便整張插補畫面中只包含幾個存在嚴重錯誤的區塊，卻可能迫使影像處理裝置放棄其他插補結果正確的區塊，致使畫面的整體流暢度因重複播放原始畫面而下降。
針對上述問題，本發明提出一種可在新增畫面中局部採用移動向量做為插補依據的方案。更明確地說，根據本發明之影像處理裝置、影像處理方法及影像播放系統係以區塊為單位來決定是否採用根據移動向量產生之插補影像。若採用移動向量做為插補依據在某些區塊可能出現錯誤時，根據本發明之影像處理裝置、影像處理方法及影像播放系統僅將該等影像區塊替換為非採用移動向量做為插補依據的影像。
不同於先前技術將整張新增畫面替換為原始畫面，根據本發明之影像處理裝置最終產生的新增畫面中，可能有某些影像區塊是根據移動向量產生的插補影像，有些則是不同於根據移動向量產生之插補影像的替代影像。根據本發明的做法除了可降低將錯誤的插補結果呈現在觀看者面前的機率，相較於先前技術，實際動態播放影像時的流暢度亦較理想。
根據本發明之一具體實施例為一影像處理裝置，用以根據一前畫面與一後畫面產生包含複數個中間影像區塊之一中間畫面。每一中間影像區塊各自對應於一移動向量。該影像處理裝置包含判斷模組及選擇模組。根據該前畫面與該後畫面，該判斷模組針對每一中間影像區塊判斷根據該移動向量產生之一插補影像是否達到一正確度要求。針對該插補影像達到該正確度要求之中間影像區塊，該選擇模組選擇以該插補影像表示該中間影像區塊。針對該插補影像未達到該正確度要求之中間影像區塊，該選擇模組選擇以不同於該插補影像之一替代影像表示該中間影像區塊。
根據本發明之另一具體實施例為一種影像處理方法，用以根據一前畫面與一後畫面產生包含複數個中間影像區塊之一中間畫面。每一中間影像區塊各自對應於一移動向量。該方法包含下列步驟：(a)根據該前畫面與該後畫面，針對每一中間影像區塊判斷根據該移動向量產生之一插補影像是否達到一正確度要求；以及(b)針對該插補影像達到該正確度要求之中間影像區塊，選擇以該插補影像表示該中間影像區塊；針對該插補影像未達到該正確度要求之中間影像區塊，選擇以不同於該插補影像之一替代影像表示該中間影像區塊。
根據本發明之另一具體實施例為一種影像播放系統，其中包含接收模組、判斷模組、選擇模組及顯示器。接收模組係用以接收一前畫面與一後畫面。一中間畫面包含複數個中間影像區塊。每一中間影像區塊各自對應於一移動向量。根據該前畫面與該後畫面，該判斷模組針對每一中間影像區塊判斷根據該移動向量產生之一插補影像是否達到一正確度要求。針對該插補影像達到該正確度要求之中間影像區塊，該選擇模組選擇以該插補影像表示該中間影像區塊。針對該插補影像未達到該正確度要求之中間影像區塊，該選擇模組選擇以不同於該插補影像之一替代影像表示該中間影像區塊。顯示器係用以依序呈現該前畫面、該中間畫面及該後畫面。
關於本發明的優點與精神可以藉由以下發明詳述及所附圖式得到進一步的瞭解。
根據本發明之一具體實施例為一影像處理裝置，用以根據一前畫面F1與一後畫面F2產生至少一中間畫面F。於實際應用中，前畫面F1與後畫面F2可以是一視訊串流中在時間順序上相鄰的兩張畫面，但不以此為限。如圖一所示，本實施例中的影像處理裝置100包含判斷模組12及選擇模組14。實務上，影像處理裝置100可被整合於電視、DVD播放器或電腦等具備影像放映功能的系統中，亦可單獨存在。中間畫面F被視為包含複數個中間影像區塊，例如多個大小為8畫素*8畫素且互不重疊的影像區塊。
每一中間影像區塊各自對應於一移動向量，但此移動向量在一開始為未知數。根據前畫面F1與後畫面F2，判斷模組12負責針對每一中間影像區塊判斷根據移動向量產生之一插補影像是否達到一正確度要求。圖二繪有判斷模組12之一實施範例。於此範例中，判斷模組12包含差異計算單元12A和比較單元12B。差異計算單元12A係用以根據前畫面F1與後畫面F2計算每一中間影像區塊之一最小絕對差異總和(sum of absolute difference,SAD)。以下說明差異計算單元12A的詳細運作方式。
請參閱圖三。假設大小為8畫素*8畫素之中間影像區塊BF 的中心在中間畫面F中的平面座標為(100,100)，其外圍定義有一大小為32畫素*32畫素的範圍R，同樣以座標(100,100)為中心。如圖三所示，於前畫面F1與後畫面F2中亦可標示出平面位置相同的範圍R。差異計算單元12A可於範圍R內尋找中間影像區塊BF 的最小SAD。舉例而言，前影像區塊BF1 和後影像區塊BF2 的座標、大小皆與BF 相同，因此可將兩者間的移動向量視為(0,0)。差異計算單元12A可首先判斷前影像區塊BF1 和後影像區塊BF2 的SAD。易言之，差異計算單元12A首先找出的是對應於移動向量(0,0)的SAD。隨後，差異計算單元12A可再繼續尋找在範圍R內對應於其他不同移動向量的SAD。
須說明的是，各影像區塊的大小不以8畫素*8畫素為限，範圍R的大小亦不以32畫素*32畫素為限。此外，差異計算單元12A計算SAD時的比較基準可以是兩影像區塊各自的RGB灰階值或YUV值，但不以這兩種數值為限。
以範圍R之大小為32畫素*32畫素的情況為例，上述移動向量的範圍在(-15,-15)到(16,16)之間，而差異計算單元12A總共可找出1024個SAD。接著，差異計算單元12A可由該等SAD中選出最小的一個SAD。於此例中，影像區塊BFX 和影像區塊BFY 最相似，根據這兩個影像區塊找出的SAD因此即為中間影像區塊BF 的最小SAD。此外，影像區塊BFX 、BFY 間的座標相對關係可被視為中間影像區塊BF 所對應之移動向量MV。
當影像區塊BFX 、BFY 間的差異過大，表示該移動向量MV很可能是錯誤的；若選擇以根據此移動向量MV產生的插補影像代表影像區塊BF ，觀看者很可能察覺其中有錯誤存在。因此，中間影像區塊BF 的最小SAD可做為判斷根據移動向量MV產生之插補影像是否達到一正確度要求的依據。比較單元12B負責比較該最小SAD與一門檻值。如果中間影像區塊BF 的最小SAD大於該門檻值，比較單元12B即判定根據移動向量MV產生之插補影像將無法達到該正確度要求。相對地，如果中間影像區塊BF 的最小SAD小於等於該門檻值，比較單元12B即判定根據移動向量MV產生之插補影像將足以達到該正確度要求。實務上，設計者可自行決定該門檻值的大小，不以特定值為限。
依照同樣的方式，差異計算單元12A可找出各個中間影像區塊的最小SAD。比較單元12B也可針對各中間影像區塊判斷根據移動向量產生之插補影像是否能達到正確度要求。由以上說明可知，判斷模組12只要決定中間影像區塊的最小SAD即可判斷根據移動向量產生之插補影像是否能達到正確度要求，不一定要實際找出移動向量的大小。
隨後，針對根據移動向量產生之插補影像能達到正確度要求的中間影像區塊，選擇模組14即選擇以根據移動向量產生之插補影像代表該中間影像區塊。相對地，針對根據移動向量產生之插補影像無法達到正確度要求之中間影像區塊，選擇模組14會選擇以不同於該插補影像之一替代影像代表該中間影像區塊。以圖三所示之中間影像區塊BF 為例，若判斷模組12認定以根據移動向量MV所產生之插補影像來代表影像區塊BF 很可能是錯誤的，選擇模組14便不會選擇以根據移動向量MV產生的插補影像來代表影像區塊BF 。於一實施例中，中間影像區塊BF 的替代影像是前影像區塊BF1 或後影像區塊BF2 。
由以上說明可看出，根據本發明之影像處理裝置100係以區塊為單位來決定是否採用根據移動向量產生之插補影像。若採用移動向量做為插補依據在某些區塊可能出現錯誤時，根據本發明之影像處理裝置僅替換該等影像區塊，而非如先前技術將整張中間畫面替換為原始畫面。在最終產生的中間畫面F中，可能有某些影像區塊是根據移動向量產生的插補影像，有些則是不同於根據移動向量產生之插補影像的替代影像。根據本發明的做法除了可降低將錯誤的插補結果呈現在觀看者面前的機率，相較於先前技術，實際播放影像時的流暢度亦較理想。
如圖四所示，於另一實施例中，根據本發明之影像處理裝置進一步包含記憶體10和混合模組16。記憶體10負責接收並暫存前畫面F1和後畫面F2，供移動向量模組12和混合模組16參考。如上所述，每一個中間影像區塊會對應於前畫面F1中之一前影像區塊及後畫面F2中之一後影像區塊。混合模組16負責依一比例將該前影像區塊和該後影像區塊中之影像資料混合，以產生該中間影像區塊所對應之替代影像。舉例而言，該比例可為50%/50%，亦即將前影像區塊和後影像區塊之影像資料取平均。相較於直接選擇前影像區塊或後影像區塊做為替代影像，本實施例的做法可更進一步提升影像流暢度。
如圖五所示，於另一實施例中，根據本發明之影像處理裝置包含混合模組16、插補模組18和加權模組20。以中間影像區塊BF 為例，混合模組16係用以將前影像區塊BF1 和後影像區塊BF2 之影像資料混合，以產生一混合影像。如先前所述，差異計算單元12A在尋找中間影像區塊BF 的最小SAD時，也可一併決定對應於中間影像區塊BF 的移動向量MV。如圖五所示，此移動向量MV被提供至插補模組18。插補模組18負責根據移動向量MV、前畫面F1及後畫面F2為中間影像區塊BF 產生一插補影像。
加權模組20負責將該混合影像之影像資料乘以第二權重W2並將該插補影像中之影像資料乘以第一權重W1後相加，以產生目標影像區塊BF 之替代影像。第一權重W1和第二權重W2的總和可被設計為定值。舉例而言，第一權重W1為0.7，第二權重W2為0.3，其總和為1。如圖五所示，選擇模組14的功能在本實施例中係由加權模組20實現，且比較單元12B的輸出信號係提供至加權模組20。更明確地說，若比較單元12B根據目標影像區塊BF 的最小SAD判定插補模組18產生的插補影像未達到正確度要求，加權模組20可令第二權重W2為1、第一權重W1為0。相對地，若比較單元12B根據目標影像區塊BF 的最小SAD判定插補模組18產生的插補影像能達到正確度要求，加權模組20可令第二權重W2為0、第一權重W1為1。圖五所示之架構的好處在於，其替代影像為平均影像和根據移動向量產生之插補影像的綜合結果，可平衡兩種影像各自的優缺點。
實務上，上述第一權重W1和第二權重W2可被設計為與中間影像區塊之鄰近影像區域的狀況相關。請參閱圖六，圖六繪示了根據本發明之影像處理裝置進一步包含一權重決定模組22的實施例。於此實施例中，選擇模組14的功能係由權重決定模組22實現。權重決定模組22負責決定供加權模組20使用之第一權重W1及第二權重W2。除了參考比較單元12B的判斷結果，權重決定模組22亦選擇性地令該等權重與中間影像區塊之鄰近影像區域相關。舉中間影像區塊BF 為例，其鄰近影像區域可以是與中間影像區塊BF 中心點相同，而大小為16畫素*16畫素或32畫素*32畫素的範圍，但不以此為限。
在圖七中可看到權重決定模組22的詳細實施範例。此範例中的權重決定模組22包含第一運算單元22A、第二運算單元22B和第三運算單元22C，且中間影像區塊BF 之鄰近影像區域包含且大於中間影像區塊BF 。於此實施例中，除了決定中間影像區塊BF 的最小SAD(以下表示為SAD1 )之外，差異計算單元14A亦協助決定該鄰近影像區域的最小SAD(以下表示為SAD2 )。
於此範例中，比較單元12B的功能係由第一運算單元22A實現。如圖七所示，第一運算單元22A包含一減法器，首先自第一絕對差異總和SAD1 減去第一補償量O1 。第一補償量O1 可被設定為先前所述之比較單元12B採用的門檻值。若第一絕對差異總和SAD1 小於等於第一補償量O1 ，該減法器的輸出結果被設定為0。也就是說，若第一絕對差異總和SAD1 夠小，足以使相對應的插補影像達到正確度標準，第一運算單元22A的輸出結果就會是0；第一權重W1會因此較低，相對應地減少混合影像的權重。
第一運算單元22A亦包含一乘法器，用以將減去第一補償量O1 後的相減結果乘以第一增益G1 ，以產生一第一運算值。此乘法器的作用在於視需要調整相減結果的大小，例如將該相減結果標準化(normalize)。相似地，第二運算單元22B也包含一減法器及一乘法器，用以自第二絕對差異總和SAD2 減去一第二補償量O2 ，再將相減結果乘以第二增益G2 ，以產生一第二運算值。第三運算單元22C負責將該第一運算值與該第二運算值相加，以產生第一權重W1。實務上，該等減法器的功能亦可轉由差異計算單元12A實現。
在圖七顯示的架構中，絕對差異總和SAD1 及/或SAD2 愈大，對應於平均影像的第一權重W1就愈大。鄰近影像區域的SAD2 可反應出中間影像區塊BF 周邊的影像變化趨勢。一般而言，鄰近區域的SAD2 愈高，不適於選擇根據移動向量產生之插補影像的機率就愈高。實際上，有可能發生在該鄰近影像區域(包含中間影像區塊BF )出現大幅變化，但中間影像區塊BF 本身之SAD1 並未超過門檻值(亦即第一補償量O1 )的情況。選擇尺寸較小的中間影像區塊雖可較精細地反應影像變化，但在上述情況發生時，卻很容易導致誤判。圖七所顯示的架構即可彌補此問題。
於其他實施例中，根據本發明之影像處理裝置可同時考慮兩種以上不同大小之鄰近區域的狀況，給予多個不同範圍的影像區域不同的權重，再將所有加權結果相加，以產生第一權重W1。舉例而言，於一實施例中，影像處理裝置同時考慮大小為8畫素*8畫素、16畫素*16畫素以及32畫素*32畫素的範圍，分別產生SAD1、SAD2以及SAD3，以分別產生第一、第二以及第三運算值後相加以產生第一權重W1。第一權重W1被送至加權模組20做為插補模組18之乘數，且第二權重W2為第一權重W1之補數(亦即1-W1=W2)。加權模組20將該混合影像之影像資料乘以第二權重W2並將該插補影像中之影像資料乘以第一權重W1後相加，以產生目標影像區塊BF 之替代影像。
根據本發明之另一具體實施例為一種影像處理方法，用以根據一前畫面與一後畫面產生包含複數個中間影像區塊之一中間畫面，圖八為其流程圖。每一中間影像區塊各自對應於一移動向量。首先，步驟S81係根據該前畫面與該後畫面，針對每一中間影像區塊判斷根據該移動向量產生之一插補影像是否達到一正確度要求。步驟S82為針對該插補影像達到該正確度要求之中間影像區塊，選擇以該插補影像表示該中間影像區塊；針對該插補影像未達到該正確度要求之中間影像區塊，選擇以不同於該插補影像之一替代影像表示該中間影像區塊。如先前所述，步驟S82中採用的替代畫面有多種可能性，不以原始畫面中的影像區塊為限。此外，步驟S81中用以判斷插補影像是否達到正確度要求的方式，可以是計算各中間影像區塊的最小SAD，其詳細實施方式請參考先前的說明，於此不再贅述。
根據本發明之另一具體實施例為一種影像播放系統，圖九為其功能方塊圖。除了先前已出現於圖一中的判斷模組12及選擇模組14之外，此影像播放系統還包含一接收模組30與一顯示器32。接收模組30係用以接收將用以產生中間畫面之前畫面與後畫面。顯示器32則係用以依序呈現該前畫面、該中間畫面及該後畫面。實務上，接收模組30可為先前所介紹的記憶體10，但不以此為限。此外，該影像播放系統可採用圖四、圖五或圖七所呈現的方式產生替代影像。此實施例中各模組的詳細實施方式及變化型態可參考先前的說明，不再贅述。
如上所述，根據本發明之影像處理裝置、影像處理方法及影像播放系統係以區塊為單位來決定是否採用根據移動向量產生之插補影像。若採用移動向量做為插補依據在某些區塊可能出現錯誤時，根據本發明之影像處理裝置、影像處理方法及影像播放系統僅將該等影像區塊替換為非採用移動向量做為插補依據的影像。根據本發明的做法除了可降低將錯誤的插補結果呈現在觀看者面前的機率，相較於先前技術，實際動態播放影像時的流暢度亦較理想。
須說明的是，本發明的構想並未限定於只能產生一張中間畫面的情況。易言之，根據本發明之影像處理裝置、影像處理方法及影像播放系統亦可用於根據一前畫面與一後畫面產生複數張中間畫面。
藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。
100．．．影像處理裝置
10．．．記憶體
12‧‧‧判斷模組
12A‧‧‧差異計算單元
12B‧‧‧比較單元
14‧‧‧選擇模組
16‧‧‧混合模組
18‧‧‧插補模組
20‧‧‧加權模組
22‧‧‧權重決定模組
22A‧‧‧第一運算單元
22B‧‧‧第二運算單元
22C‧‧‧第三運算單元
S81~S82‧‧‧流程步驟
30‧‧‧接收模組
32‧‧‧顯示器
圖一為根據本發明之一具體實施例中的影像處理裝置之方塊圖。
圖二呈現根據本發明之判斷模組之實施範例。
圖三為前畫面、後畫面與中間畫面的相對關係範例。
圖四~圖七進一步呈現本發明之影像處理裝置中用以產生替代影像的硬體方塊。
圖八為根據本發明之一具體實施例中的影像處理方法之流程圖。
圖九為根據本發明之一具體實施例中的影像播放系統之方塊圖。
10．．．記憶體
12A．．．差異計算單元
16．．．混合模組
18．．．插補模組
20．．．加權模組
22A．．．第一運算單元
22B．．．第二運算單元
22C．．．第三運算單元

Claims (15)

  1. 一種影像處理裝置，用以根據一前畫面與一後畫面產生包含複數個中間影像區塊之一中間畫面，每一中間影像區塊各自對應於一移動向量，該影像處理裝置包含：一判斷模組，根據該前畫面與該後畫面，對每一中間影像區塊判斷根據該移動向量產生之一插補影像是否達到一正確度要求；以及一選擇模組，對該插補影像達到該正確度要求之中間影像區塊，該選擇模組選擇以該插補影像表示該插補影像達到該正確度要求之中間影像區塊；對該插補影像未達到該正確度要求之中間影像區塊，該選擇模組選擇以不同於該插補影像之一替代影像表示該插補影像未達到該正確度要求之中間影像區塊；其中該等中間影像區塊中之每一中間影像區塊係對應於該前畫面中之一前影像區塊及該後畫面中之一後影像區塊，且該中間影像區塊所對應之該替代影像為該前影像區塊或該後影像區塊。
  2. 如申請專利範圍第1項所述之影像處理裝置，其中該判斷模組包含：一差異計算單元，用以根據該前畫面與該後畫面計算每一中間影像區塊之一最小絕對差異總和；以及一比較單元，針對其最小絕對差異總和大於一門檻值之中間影像區塊，該比較單元判定該中間影像區塊所對應之該插補影像未達到該正確度要求。
  3. 一種影像處理裝置，用以根據一前畫面與一後畫面產生包含複數個中間影像區塊之一中間畫面，每一中間影像區塊各自對應於一移動向量，該影像處理裝置包含：一判斷模組，根據該前畫面與該後畫面，對每一中間影像區塊判斷根據該移動向量產生之一插補影像是否達到一正確度要求；以及一選擇模組，對該插補影像達到該正確度要求之中間影像區塊，該選擇模組選擇以該插補影像表示該插補影像達到該正確度要求之中間影像區塊；對該插補影像未達到該正確度要求之中間影像區塊，該選擇模組選擇以不同於該插補影像之一替代影像表示該插補影像未達到該正確度要求之中間影像區塊；其中該等中間影像區塊中之每一中間影像區塊係對應於該前畫面中之一前影像區塊及該後畫面中之一後影像區塊；該影像處理裝置進一步包含：一混合模組，用以依一比例將該前影像區塊和該後影像區塊中之影像資料混合，以產生該中間影像區塊所對應之該替代影像。
  4. 一種影像處理裝置，用以根據一前畫面與一後畫面產生包含複數個中間影像區塊之一中間畫面，每一中間影像區塊各自對應於一移動向量，該影像處理裝置包含：一判斷模組，根據該前畫面與該後畫面，對每一中間 影像區塊判斷根據該移動向量產生之一插補影像是否達到一正確度要求；以及一選擇模組，對該插補影像達到該正確度要求之中間影像區塊，該選擇模組選擇以該插補影像表示該插補影像達到該正確度要求之中間影像區塊；對該插補影像未達到該正確度要求之中間影像區塊，該選擇模組選擇以不同於該插補影像之一替代影像表示該插補影像未達到該正確度要求之中間影像區塊；其中該等中間影像區塊中之每一中間影像區塊係對應於該前畫面中之一前影像區塊及該後畫面中之一後影像區塊；該影像處理裝置進一步包含：一插補模組，用以根據對應於該中間影像區塊之該移動向量，產生對應於該中間影像區塊之該插補影像；一混合模組，用以依一比例將該前影像區塊和該後影像區塊中之影像資料混合，以產生一混合影像；以及一加權模組，用以將該混合影像之影像資料乘以一第一權重並將該插補影像之影像資料乘以一第二權重後相加，以產生該中間影像區塊所對應之該替代影像。
  5. 如申請專利範圍第4項所述之影像處理裝置，其中該中間影像區塊具有一鄰近影像區域；該影像處理裝置進一步包含：一權重決定模組，用以決定該第一權重及該第二權重，其中該第二權重與該鄰近影像區域相關。
  6. 如申請專利範圍第5項所述之影像處理裝置，其中該鄰近影像區域包含且大於該中間影像區塊，該權重決定模組包含：一差異計算單元，用以決定該中間影像區塊之一第一絕對差異總和與該鄰近影像區域之一第二絕對差異總和；一第一運算單元，用以自該第一絕對差異總和減去一第一補償量後，將該相減結果乘以一第一增益，以產生一第一運算值；一第二運算單元，用以自該第二絕對差異總和減去一第二補償量後，將該相減結果乘以一第二增益，以產生一第二運算值；以及一第三運算單元，用以將該第一運算值與該第二運算值相加，以產生該第二權重，其中該第一權重與該第二權重間為補數關係。
  7. 一種影像處理方法，用以根據一前畫面與一後畫面產生包含複數個中間影像區塊之一中間畫面，每一中間影像區塊各自對應於一移動向量，該方法包含：(a)根據該前畫面與該後畫面，針對每一中間影像區塊判斷根據該移動向量產生之一插補影像是否達到一正確度要求；以及(b)對該插補影像達到該正確度要求之中間影像區塊，選擇以該插補影像表示該插補影像達到該正確度要求之中間影像區塊；對該插補影像未達到該正確度要求之中間影像區塊，選擇以不同於該插補影像之一替代影像表示 該插補影像未達到該正確度要求之中間影像區塊；其中該等中間影像區塊中之每一中間影像區塊係對應於該前畫面中之一前影像區塊及該後畫面中之一後影像區塊，且該中間影像區塊所對應之該替代影像為該前影像區塊或該後影像區塊。
  8. 如申請專利範圍第7項所述之影像處理方法，其中之步驟(a)包含：根據該前畫面與該後畫面計算每一中間影像區塊之一最小絕對差異總和；以及對該最小絕對差異總和大於一門檻值之中間影像區塊，判定該中間影像區塊所對應之該插補影像未達到該正確度要求。
  9. 一種影像處理方法，用以根據一前畫面與一後畫面產生包含複數個中間影像區塊之一中間畫面，每一中間影像區塊各自對應於一移動向量，該方法包含：(a)根據該前畫面與該後畫面，針對每一中間影像區塊判斷根據該移動向量產生之一插補影像是否達到一正確度要求；以及(b)對該插補影像達到該正確度要求之中間影像區塊，選擇以該插補影像表示該插補影像達到該正確度要求之中間影像區塊；對該插補影像未達到該正確度要求之中間影像區塊，選擇以不同於該插補影像之一替代影像表示 該插補影像未達到該正確度要求之中間影像區塊；其中該等中間影像區塊中之每一中間影像區塊係對應於該前畫面中之一前影像區塊及該後畫面中之一後影像區塊；該方法進一步包含：若該中間影像區塊之該插補影像未達到該正確度要求，依一比例將該前影像區塊和該後影像區塊中之影像資料混合，以產生該中間影像區塊所對應之該替代影像。
  10. 一種影像處理方法，用以根據一前畫面與一後畫面產生包含複數個中間影像區塊之一中間畫面，每一中間影像區塊各自對應於一移動向量，該方法包含：(a)根據該前畫面與該後畫面，針對每一中間影像區塊判斷根據該移動向量產生之一插補影像是否達到一正確度要求；以及(b)對該插補影像達到該正確度要求之中間影像區塊，選擇以該插補影像表示該插補影像達到該正確度要求之中間影像區塊；對該插補影像未達到該正確度要求之中間影像區塊，選擇以不同於該插補影像之一替代影像表示該插補影像未達到該正確度要求之中間影像區塊；其中該等中間影像區塊中之每一中間影像區塊係對應於該前畫面中之一前影像區塊及該後畫面中之一後影像區塊；若該中間影像區塊之該插補影像未達到該正確度要求，該方法進一步包含：根據對應於該中間影像區塊之該移動向量，產生對應於該中間影像區塊之該插補影像； 依一比例將該前影像區塊和該後影像區塊中之影像資料混合，以產生一混合影像；以及將該混合影像之影像資料乘以一第一權重並將該插補影像之影像資料乘以一第二權重後相加，以產生該中間影像區塊所對應之該替代影像。
  11. 如申請專利範圍第10項所述之影像處理方法，其中該中間影像區塊具有一鄰近影像區域，且該第二權重與該鄰近影像區域相關。
  12. 如申請專利範圍第11項所述之影像處理方法，其中該鄰近影像區域包含且大於該中間影像區塊；該方法進一步包含：決定該中間影像區塊之一第一絕對差異總和及該鄰近影像區域之一第二絕對差異總和；自該第一絕對差異總和減去一第一補償量後，將該相減結果乘以一第一增益，以產生一第一運算值；自該第二絕對差異總和減去一第二補償量後，將該相減結果乘以一第二增益，以產生一第二運算值；以及將該第一運算值與該第二運算值相加，以產生該第二權重。
  13. 一種影像播放系統，包含：一接收模組，用以接收一前畫面與一後畫面；一判斷模組，處理包含複數個中間影像區塊的一中間 畫面，每一中間影像區塊各自對應於一移動向量，根據該前畫面與該後畫面，該判斷模組對每一中間影像區塊判斷根據該移動向量產生之一插補影像是否達到一正確度要求；一選擇模組，對該插補影像達到該正確度要求之中間影像區塊，該選擇模組選擇以該插補影像表示該插補影像達到該正確度要求之中間影像區塊；對該插補影像未達到該正確度要求之中間影像區塊，該選擇模組選擇以不同於該插補影像之一替代影像表示該插補影像未達到該正確度要求之中間影像區塊；以及一顯示器，用以依序呈現該前畫面、該中間畫面及該後畫面；其中該等中間影像區塊中之每一中間影像區塊係對應於該前畫面中之一前影像區塊及該後畫面中之一後影像區塊；該影像播放系統進一步包含：一插補模組，用以根據對應於該中間影像區塊之該移動向量，產生對應於該中間影像區塊之該插補影像；一混合模組，用以依一比例將該前影像區塊和該後影像區塊中之影像資料混合，以產生一混合影像；以及一加權模組，用以將該混合影像之影像資料乘以一第一權重並將該插補影像之影像資料乘以一第二權重後相加，以產生該中間影像區塊所對應之該替代影像。
  14. 如申請專利範圍第13項所述之影像播放系統，其中該判斷模組包含： 一差異計算單元，用以根據該前畫面與該後畫面計算每一中間影像區塊之一最小絕對差異總和；以及一比較單元，針對其最小絕對差異總和大於一門檻值之中間影像區塊，該比較單元判定該中間影像區塊所對應之該插補影像未達到該正確度要求。
  15. 如申請專利範圍第13項所述之影像播放系統，其中該中間影像區塊具有一鄰近影像區域，該鄰近影像區域包含且大於該中間影像區塊；該影像播放系統進一步包含：一權重決定模組，用以決定該第一權重及該第二權重，且包含：一差異計算單元，用以決定該中間影像區塊之一第一絕對差異總和與該鄰近影像區域之一第二絕對差異總和；一第一運算單元，用以自該第一絕對差異總和減去一第一補償量後，將該相減結果乘以一第一增益，以產生一第一運算值；一第二運算單元，用以自該第二絕對差異總和減去一第二補償量後，將該相減結果乘以一第二增益，以產生一第二運算值；以及一第三運算單元，用以將該第一運算值與該第二運算值相加，以產生該第二權重。
TW100130180A 2011-08-23 2011-08-23 影像處理裝置、影像處理方法及影像播放系統 TWI493978B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100130180A TWI493978B (zh) 2011-08-23 2011-08-23 影像處理裝置、影像處理方法及影像播放系統
US13/572,897 US9196015B2 (en) 2011-08-23 2012-08-13 Image processing apparatus, image processing method and image display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100130180A TWI493978B (zh) 2011-08-23 2011-08-23 影像處理裝置、影像處理方法及影像播放系統

Publications (2)

Publication Number Publication Date
TW201311011A TW201311011A (zh) 2013-03-01
TWI493978B true TWI493978B (zh) 2015-07-21

Family

ID=47743819

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100130180A TWI493978B (zh) 2011-08-23 2011-08-23 影像處理裝置、影像處理方法及影像播放系統

Country Status (2)

Country Link
US (1) US9196015B2 (zh)
TW (1) TWI493978B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9596481B2 (en) * 2013-01-30 2017-03-14 Ati Technologies Ulc Apparatus and method for video data processing
US10489897B2 (en) 2017-05-01 2019-11-26 Gopro, Inc. Apparatus and methods for artifact detection and removal using frame interpolation techniques
US20220210467A1 (en) * 2020-12-30 2022-06-30 Beijing Dajia Internet Information Technology Co., Ltd. System and method for frame rate up-conversion of video data based on a quality reliability prediction

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5703966A (en) * 1995-06-27 1997-12-30 Intel Corporation Block selection using motion estimation error
US20060262853A1 (en) * 2005-05-20 2006-11-23 Microsoft Corporation Low complexity motion compensated frame interpolation method
EP1814329A2 (en) * 2005-12-21 2007-08-01 Medison Co., Ltd. Method of forming an image using block matching and motion compensated interpolation
CN102055947A (zh) * 2009-11-09 2011-05-11 英特尔公司 使用运动估计和补偿的帧速率转换

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6765963B2 (en) * 2001-01-03 2004-07-20 Nokia Corporation Video decoder architecture and method for using same
US20100296579A1 (en) * 2009-05-22 2010-11-25 Qualcomm Incorporated Adaptive picture type decision for video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5703966A (en) * 1995-06-27 1997-12-30 Intel Corporation Block selection using motion estimation error
US20060262853A1 (en) * 2005-05-20 2006-11-23 Microsoft Corporation Low complexity motion compensated frame interpolation method
EP1814329A2 (en) * 2005-12-21 2007-08-01 Medison Co., Ltd. Method of forming an image using block matching and motion compensated interpolation
CN102055947A (zh) * 2009-11-09 2011-05-11 英特尔公司 使用运动估计和补偿的帧速率转换

Also Published As

Publication number Publication date
US9196015B2 (en) 2015-11-24
US20130051682A1 (en) 2013-02-28
TW201311011A (zh) 2013-03-01

Similar Documents

Publication Publication Date Title
JP4997281B2 (ja) イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置
CN1992789B (zh) 运动估计器和运动估计方法
KR101135454B1 (ko) 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체
US7936950B2 (en) Apparatus for creating interpolation frame
CN104469379A (zh) 生成用于包括在视频序列中的输出帧
JP2005204066A (ja) 補間画像生成方法および装置
US20100302438A1 (en) Image processing apparatus and image processing method
JP2006504175A (ja) フォールバックを用いる画像処理装置
US20140056354A1 (en) Video processing apparatus and method
JP5081898B2 (ja) 補間画像生成方法及びシステム
CN101674448B (zh) 视频信号处理装置和视频信号处理方法
TWI493978B (zh) 影像處理裝置、影像處理方法及影像播放系統
US8385430B2 (en) Video signal processing apparatus and video signal processing method
US8339519B2 (en) Image processing apparatus and method and image display apparatus and method
TW202242798A (zh) 視訊影像插補裝置及適應性移動補償畫面插補方法
US20060077289A1 (en) Image conversion device and method
KR20060103430A (ko) 작고 고속으로 움직이는 오브젝트들을 추적하기 위한움직임 벡터 필드들 정제 방법
JP4650683B2 (ja) 画像処理装置および方法、プログラム並びに記録媒体
CN102984435B (zh) 影像处理装置、影像处理方法及影像播放系统
TWI466550B (zh) 多媒體裝置及其移動偵測方法
US9373039B2 (en) Detection of graphics added to a video signal
CN100440982C (zh) 判定视频信号的设备和方法
TWI419570B (zh) 多媒體裝置及其移動補償方法
US20240095933A1 (en) Image processing method and related video processor
US8565313B2 (en) Determining a vector field for an intermediate image

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees