TWI463874B - 產生目標影像區塊的影像處理方法及其相關裝置 - Google Patents

Description

產生目標影像區塊的影像處理方法及其相關裝置

本發明係關於一種影像處理機制，尤指一種用來插補出一目標影像區塊並可有效地避免該目標影像區塊中產生人為假影(artifact)的影像處理方法及其相關裝置。

一般而言，在進行影像插補運算時，為了於兩圖框之間產生一插補圖框中一待插補位置所需要的影像區塊，會決定出一移動向量並使用該移動向量將一影像區塊插補至該待插補位置。然而，在某些特殊情況下，若直接使用該移動向量將相對應的影像區塊插補於該待插補位置，則畫面上可能產生人眼可見的人為假影。請參閱第1圖，第1圖是習知影像處理機制產生待插補位置所需要之影像區塊的示意圖。圖框F_n－1 及F_n 為兩前後相鄰的圖框，而習知影像處理機制則是對圖框F_n－1 及F_n 進行影像插補運算以便於圖框F_n－1 及F_n 之間產生一插補圖框F’(如圖中虛線所示)；為方便說明，第1圖中僅繪示出圖框F_n－1 及F_n 內某一水平位置上不同影像區塊的像素值。實際上，圖框F_n－1 及F_n 中的影像區塊A₁ 及A₁ ，係對應到水平移動的同一影像物件，而其他部分的影像區塊(例如A₂ 與A₂ ’)則代表圖框F_n－1 及F_n 在此水平位置上的相同背景。如第1圖所示，影像區塊A₁ 所對應到的影像物件實際上在插補圖框F’的畫面中移動至位置P₁ ，而依據習知影像處理機制的移動估測運算結果，藉由圖框F_n－1 及F_n 中影像區塊A₁ 及A₁ ’的位置可判斷出該影像物件在插補圖框F’的畫面中應移動至位置P₁ ，故會於位置P₁ 上準確地插補出影像區塊A₁ ”。同樣地，亦可藉由圖框F_n－1 及F_n 中影像區塊A₂ 及A₂ ’(亦即背景部分)的位置來判斷出對應於影像區塊A₂ 及A₂ ’的影像物件在插補圖框F’的畫面中應仍在位置P₂ 上，因此會於位置P₂ 上插補出影像區塊A2”。

然而，當習知影像處理機制欲插補出位置P₃ 上的影像時，極可能產生人為假影而造成較嚴重的畫面失真。因為影像區塊A₁ 所對應的一影像物件在插補圖框F’中已移動至位置P₁ ，所以位置P₃ 上之畫面應顯示的是原本該影像物件所遮蓋的背景部分；然而，實際上習知影像處理機制在計算最小像素差來進行移動估測時，在圖框F_n－1 中通常無法找到與圖框F_n 之位置P₃ 上較為相像的影像區塊(因為對應此一影像區塊的背景部分在圖框F_n－1 中已被對應於影像區塊A₁ 的影像物件所遮蓋)，即便仍可求出對應於某一最小絕對像素差總和的一移動向量，然使用該移動向量於位置P₃ 上來產生影像將可能造成較嚴重的畫面失真或人為假影的現象，例如在插補圖框F’之位置P₃ 上即產生不想要的影像區塊A”。

因此為了解決上述的問題，本發明的目的之一在於提供一種於兩圖框之間插補出一目標影像區塊並可有效地避免造成畫面失真與人為假影(artifact)的影像處理方法及其相關裝置。

依據本發明的實施例，其係揭露一種用來於兩圖框之間產生一插補圖框中一目前待插補位置所需要之一目標影像區塊的影像處理方法。該影像處理方法包含有：參考該兩圖框的複數個影像區塊來執行一移動估測運算以決定出一移動向量，並依據該移動向量來決定出一第一影像區塊；依據該兩圖框中分別對應於該待插補位置的兩影像區塊決定出一第二影像區塊；以及依據該第一影像區塊及該第二影像區塊來決定該目標影像區塊。

依據本發明的實施例，其另揭露一種用來於兩圖框之間產生一插補圖框中一目前待插補位置所需要之一目標影像區塊的影像處理裝置。該影像處理裝置包含有一移動補償電路、一影像產生電路與一決定電路。移動補償電路係用來參考兩圖框的複數個影像區塊來執行一移動估測運算以決定出一移動向量並依據移動向量來決定出一第一影像區塊，而影像產生電路係用來依據兩圖框中分別對應於待插補位置的兩影像區塊決定出一第二影像區塊，決定電路則耦接於移動補償電路與影像產生電路，並用來依據第一影像區塊及第二影像區塊來決定目標影像區塊。

請搭配參閱第2圖與第3圖，第2圖是本發明一實施例之影像處理裝置200的示意圖，第3圖是第2圖所示之影像處理裝置200產生一待插補位置(例如位置P₁ 、P₂ 或P₃ )所需要之影像區塊的運作示意圖。如第2圖所示，影像處理裝置200會接收輸入資料(其係由多個圖框所組成)，並於輸入資料的兩圖框之間產生一插補圖框中一目前待插補位置所需要的目標影像區塊，例如，該兩圖框係為第3圖中所示之圖框F_n－1 及F_n ，插補圖框係指F’(如虛線所示)，待插補位置可以是圖框F’中的位置P₁ 、P₂ 或P₃ ，為方便說明，在此第3圖中僅繪示出圖框F_n－1 及F_n 內某一水平位置上不同影像區塊的像素值。影像處理裝置200包含有移動補償電路205、影像產生電路210、決定電路215與低通濾波器220。移動補償電路205會分別參考圖框F_n－1 與F_n 中的多個影像區塊內之像素值來執行一移動估測運算以決定出一移動向量mv，並依據移動向量mv決定出一影像區塊B₁ ，其中影像區塊B₁ 即係為經由對該待插補位置(P₁ 、P₂ 與P₃ 其中之一)進行移動補償後所產生；而影像產生電路210係依據圖框F_n－1 與F_n 中分別對應於該待插補位置的兩影像區塊內之像素值來決定出一影像區塊B₂ ，在本實施例中對應於某一待插補位置的兩影像區塊在空間關係上係與該待插補位置處於相同位置，換言之，影像區塊B₂ 係為影像產生電路210對該兩影像區塊直接進行內插而產生，其中之一較佳實施例為影像產生電路210直接平均該兩影像區塊內的像素值而產生影像區塊B₂ 。接著，決定電路215會依據影像區塊B₁ 及B₂ 來決定出上述的目標影像區塊，而所決定出的目標影像區塊即是本實施例中最後產生於該待插補位置的影像區塊；在此影像區塊B₂ 係為一未經過移動補償的影像區塊(non－motion－compensated image block)。

依據影像區塊B₁ 及B₂ 來決定該目標影像區塊的方式則說明於下。首先影像處理裝置200會依據移動向量mv所對應的區塊比對差異(block matching difference)的大小來決定出一目標權重參數α ，而決定電路215係為一影像混合電路(image blending circuit)，其會依據目標權重參數α 來加權混合影像區塊B₁ 及B₂ 內之像素值以產生該目標影像區塊。目標權重參數α 的值則係落於0到1之間，並與所算出之區塊比對差異的大小有實質上的正向關係，而目標影像區塊的像素值P_tar 在本實施例中設計成與影像區塊B₁ 與B₂ 的像素值P₁ 、P₂ 具有下列關係：P_tar ＝(1－α)×P₁ ＋α×P₂ 。若移動向量mv所對應到的區塊比對差異愈大，則代表移動補償電路205所決定的影像區塊B₁ 愈不可信而無法直接被插補於上述的待插補位置中以避免造成人為假影，所以此時會將目標權重參數α 的值設計成愈靠近於正整數1以使得目標影像區塊的像素值P_tar 大部分係由影像產生電路210所產生之影像區塊B₂ 的像素值P₂ 所決定，如此可有效地避免造成人為假影。反之，若移動向量mv所對應到的區塊比對差異愈小，則代表此時較相信移動補償電路205所決定的影像區塊B₁ ，而應直接將影像區塊B₁ 插補於上述的待插補位置中以提高畫面品質，所以此時將目標權重參數α 的值設計成愈靠近於零以使得目標影像區塊的像素值P_tar 大部分係由移動補償電路205所產生之影像區塊B₁ 的像素值P₁ 所決定，如此將不會影響到移動補償電路205的運算結果。

舉例來說，請再次參閱第3圖。對於決定待插補位置P₁ 所需的目標影像區塊而言，移動補償電路205可計算出圖框F_n－1 中之影像區塊A₁ 與圖框F_n 中之影像區塊A₁ ’的差係一最小區塊比對差異，所以，將會估測出影像區塊A₁ 所對應的影像物件在插補圖框F’中應位於待插補位置P₁ 上，由於實際上圖框F_n－1 中影像區塊A₁ 與圖框F_n 中影像區塊A₁ ’係對應到相同的影像物件，所以該最小區塊比對差異的值將會相當小，此時依據此一最小區塊比對差異所決定的一目標權重參數幾乎為零，因此，最後產生於待插補位置P₁ 上之一目標影像區塊A₁ ”內的像素值幾乎係由圖框F_n－1 /F_n 中對應於影像區塊A₁ /A₁ ’內之像素值所決定，換句話說，在此種情形中，可視為影像處理裝置200係將圖框F_n－1 /F_n 中之影像區塊A₁ /A₁ ’之影像物件插補於插補圖框F’中的待插補位置P₁ 上。同樣地，對於決定插補圖框F’中待插補位置P₂ 所需要的一目標影像區塊而言，所決定的一目標權重參數亦幾乎為零，而最後產生於待插補位置P₂ 上之一目標影像區塊A₂ ”內的像素值幾乎係由圖框F_n－1 /F_n 中對應於影像區塊A₂ /A₂ ’內之像素值所決定，因此，可視為影像處理裝置200係將圖框F_n－1 /F_n 中之影像區塊A₂ /A₂ ’之影像物件插補於插補圖框F’中的待插補位置P₂ 。

另一方面，對於決定待插補位置P₃ 所需的一目標影像區塊來說，移動補償電路205亦會算出圖框F_n－1 中某一影像區塊與圖框F_n 中另一影像區塊的差為一最小區塊比對差異，並將此兩影像區塊的內插結果作為影像區塊B₁ 將其輸出至決定電路215。然而，實際上待插補位置P₃ 上的影像應係為圖框F_n－1 中對應於影像區塊A₁ 之影像物件所遮蓋的背景部分，而移動補償電路205所選擇的兩影像區塊極可能對應到不同的影像物件，因此，上述之該最小區塊比對差異的值會相當大，此時依據該最小區塊比對差異所決定的一目標權重參數可能較近似於整數1，故最後產生於待插補位置P₃ 上目標影像區塊A₃ ”內的像素值相當大的比例係由影像產生電路210對圖框F_n－1 、F_n 中與待插補位置P₃ 相同位置之兩影像區塊A₁ 、A₃ ’內之像素值進行平均所得到的結果來決定，如此可避免產生人眼可見的人為假影。

此外，由於目標權重參數α 會左右像素值P_tar 的大小而影響最後影像畫面的品質，所以本實施係進一步利用低通濾波器220來調整目標權重參數α 以使某一區域(例如包含3x3或5x5影像區塊的區域)內多個待插補位置所分別對應到的目標權重參數有較為一致的特性，故可避免造成某一待插補位置上所產生的影像與周圍鄰近待插補位置所產生的影像有過大的差異。詳細來說，移動補償電路205會依據移動向量mv所對應的區塊比對差異大小先決定出對應目前待插補位置的初始權重參數α _initial ，接著影像處理裝置200再依據插補圖框F’中鄰近的待插補位置於產生相對應目標影像區塊時所使用的相對應目標權重參數以及初始權重參數α _initial 來產生目前待插補位置所對應的目標權重參數α ；低通濾波器220會對該相對應目標權重參數與初始權重參數α _initial 計算一平均值來作為目標權重參數α 。當然，本實施例並未限定目標權重參數α 的產生方式，亦即，任何決定目標權重參數α 之數值的方式皆符合本發明的精神。例如，在另一實施例中，可將該相對應目標權重參數與初始權重參數α _initial 進行加權平均來產生目標權重參數α 。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

200．．．影像處理裝置

205．．．移動補償電路

210．．．影像產生電路

215．．．決定電路

220．．．低通濾波器

第1圖為習知影像處理機制產生待插補位置所需要之影像區塊的示意圖。

第2圖為本發明一實施例之影像處理裝置的示意圖。

第3圖為第2圖所示之影像處理裝置產生一待插補位置所需要之影像區塊的運作示意圖。

200．．．影像處理裝置

205．．．移動補償電路

210．．．影像產生電路

215．．．決定電路

220．．．低通濾波器

Claims (12)

1. 一種影像處理方法，用來於兩圖框之間產生一插補圖框中一目前待插補位置所需要之一目標影像區塊，該影像處理方法包含有：參考該兩圖框之複數個影像區塊來執行一移動估測運算以決定出一移動向量，並依據該移動向量來決定出一第一影像區塊；依據該兩圖框中分別對應於該目前待插補位置之兩影像區塊而不參考該移動估測運算所決定之該移動向量，決定出一第二影像區塊；以及依據該第一影像區塊及該第二影像區塊來決定該目標影像區塊。
2. 如申請專利範圍第1項所述之影像處理方法，其中該第一影像區塊係一補償後之影像區塊，以及該第二影像區塊係一未經移動補償之影像區塊(non-motion-compensated image block)。
3. 如申請專利範圍第1項所述之影像處理方法，其另包含有：依據該移動向量所對應之一區塊比對差異之大小來決定一目標權重參數；以及依據該第一、第二影像區塊來決定該目標影像區塊之步驟包含有：依據該目標權重參數對該第一、第二影像區塊進行一加權平 均計算來產生該目標影像區塊。
4. 如申請專利範圍第3項所述之影像處理方法，其中該目標權重參數之值α 係落於0到1之間，並與該區塊比對差異之大小有實質上之正向關係，以及該目標影像區塊之像素值P_tar 與該第一、第二影像區塊之像素值P₁ 、P₂ 具有下列關係：P_tar =(1-α)×P₁ +α×P₂ 。
5. 如申請專利範圍第3項所述之影像處理方法，其中依據該移動向量所對應之該區塊比對差異之大小來決定該目標權重參數包含有：依據該移動向量所對應之該區塊比對差異之大小來決定對應該目前待插補位置之一初始權重參數；以及依據該插補圖框中前一待插補位置於產生相對應目標影像區塊時所使用之相對應目標權重參數與該初始權重參數來產生該目前待插補位置所對應之該目標權重參數。
6. 如申請專利範圍第5項所述之影像處理方法，其中產生該目前待插補位置所對應之該目標權重參數之步驟係依據鄰近待插補位置於產生相對應目標影像區塊時所使用之相對應目標權重參數與該初始權重參數來計算一平均值以作為該目標權重參數。
7. 一種影像處理裝置，用來於兩圖框之間產生一插補圖框中一目前待插補位置所需要之一目標影像區塊，該影像處理裝置包含 有：一移動補償電路，用來參考該兩圖框之複數個影像區塊來執行一移動估測運算以決定出一移動向量並依據該移動向量來決定出一第一影像區塊；一影像產生電路，用來依據該兩圖框中分別對應於該目前待插補位置之兩影像區塊而不參考該移動估測運算所決定之該移動向量，決定出一第二影像區塊；以及一決定電路，耦接於該移動補償電路與該影像產生電路，用來依據該第一影像區塊及該第二影像區塊來決定該目標影像區塊。
8. 如申請專利範圍第7項所述之影像處理裝置，其中該第一影像區塊係一補償後之影像區塊，以及該第二影像區塊係一未經移動補償之影像區塊。
9. 如申請專利範圍第7項所述之影像處理裝置，其依據該移動向量所對應之一區塊比對差異之大小來決定一目標權重參數，以及該決定電路係一影像混合電路，該影像混合電路係依據該目標權重參數對該第一、第二影像區塊進行一加權平均計算以產生該目標影像區塊。
10. 如申請專利範圍第9項所述之影像處理裝置，其中該目標權重參數之值α 係落於0到1之間，並與該區塊比對差異之大小有實 質上之正向關係，以及該目標影像區塊之像素值P_tar 與該第一、第二影像區塊之像素值P₁ 、P₂ 具有下列關係：P_tar =(1-α)×P₁ +α×P₂ 。
11. 如申請專利範圍第9項所述之影像處理裝置，其中該移動補償電路係依據該移動向量所對應之該區塊比對差異之大小來決定對應該目前待插補位置之一初始權重參數，以及該影像處理裝置係依據該插補圖框中鄰近待插補位置於產生相對應目標影像區塊時所使用之相對應目標權重參數與該初始權重參數來產生該目前待插補位置所對應之該目標權重參數。
12. 如申請專利範圍第11項所述之影像處理裝置，其另包含有：一低通濾波器，耦接於該移動補償電路與該影像混合電路，用來依據前一待插補位置於產生相對應目標影像區塊時所使用之相對應目標權重參數與該初始權重參數來計算一平均值以作為該目標權重參數。