TWI419570B - 多媒體裝置及其移動補償方法 - Google Patents

Description

多媒體裝置及其移動補償方法

本發明是有關於一種電子裝置及其控制方法，且特別是有關於一種多媒體裝置及其移動補償方法。

近年來，因應液晶電視的需求，有越來越多的研究著重在移動估測/移動補償(Motion Estimation/Motion Compensation，或簡稱為ME/MC)的領域上。移動估測/移動補償是一種演算法的技術，常應用在視訊編碼來達到視訊壓縮。

一般而言，移動估測係指一種從鄰近畫面中決定移動向量的方法。所謂的移動向量係用以表示一張畫面及另一張畫面之間的轉換關係。移動向量可相關於整張畫面，如全域移動估測，或相關於畫面的一部分，如長方型的區塊或其他形狀的區域。或者，移動向量亦可相關於每個畫素。另外，將移動向量應用至畫面來產生另一張影像的方法，係稱為移動補償。移動估測/移動補償的結合，是影像壓縮的重要關鍵技術。

更詳細地說，於移動估測/移動補償中，係分析兩張要顯示在螢幕上的畫面，並用計算的方式估測出這兩張畫面的中間狀態，亦即，於此兩張畫面之間產生一插補畫面。請參照第1圖，其繪示為利用移動估測/移動補償來產生一插補畫面之一例之示意圖。首先，移動估測演算法會找出兩張畫面I-frame與P-frame上所有會動的物體，如物體Obj。之後，利用兩張畫面I-frame與P-frame之間的差異，計算出一移動向量(motion vector)MV來代表此物體Obj在畫面上的移動路徑。然後，再以移動補償的演算法，利用移動向量MV及兩張畫面I-frame與P-frame來估測物體Obj移動的中間狀態，而產生出插補畫面M-frame。

然而，當移動估測演算法無法產生正確的移動向量時，移動補償演算法常會產生錯誤的插補畫面。而當這樣的插補畫面被插入到顯示的序列中時，便會造成觀賞者的不適。舉例來說，當一個小的物體在背景中移動時，常常會因為無法有效地分離此物體與背景，使移動估測演算法無法找到此小物體正確的物體移動向量，而以背景移動向量來取代。此時，移動補償演算法在插補畫面時，所產生的插補畫面的背景上便會有此物體的殘影出現。故知，在利用移動估測/移動補償時來插補畫面時，如何提高插補畫面之畫素資料的正確性，乃業界所致力之課題之一。

本發明係有關於一種多媒體裝置及其移動補償方法，能消除畫面背景上的物體殘影而增加插補畫面之畫面資料的正確性，且能適當地增加畫面播放的順暢性。

根據本發明之一方面，提出一種多媒體裝置，用以於一第一畫面及一第二畫面之間插入一中間畫面。此多媒體裝置包括一插補單元、一線性處理單元、及一合併單元。此插補單元用以依據第一畫面之一第一畫素資料、第二畫面之一第二畫素資料、及一第三畫素資料之間的大小關係，來產生一第一參考畫素資料。第一畫素資料及第二畫素資料係依據中間畫面之一待插補畫素的位置及相關之一移動向量而取得。第三畫素資料係依據待插補畫素於第一畫面及第二畫面中實質上相同位置之兩筆畫素資料而取得。此線性處理單元用以線性組合第一畫素資料及第二畫素資料，來產生一第二參考畫素資料。此合併單元用以依據第一畫素資料與第二畫素資料之差值，來合併第一參考畫素資料及第二參考畫素資料，以產生待插補畫素之畫素資料。

根據本發明之另一方面，提出一種多媒體裝置之移動補償方法，用以於多媒體裝置所接收之一第一畫面及一第二畫面之間插入一中間畫面。此移動補償方法包括下步驟。依據第一畫面之一第一畫素資料、第二畫面之一第二畫素資料、及一第三畫素資料之間的大小關係，來產生一第一參考畫素資料。其中，第一畫素資料及第二畫素資料係依據中間畫面之一待插補畫素的位置及相關之一移動向量而取得，而第三畫素資料係依據待插補畫素於第一畫面及第二畫面中實質上相同位置之兩筆畫素資料而取得。線性組合第一畫素資料及第二畫素資料，來產生一第二參考畫素資料。依據第一畫素資料與第二畫素資料之差值，來合併第一參考畫素資料及第二參考畫素資料，以產生待插補畫素之畫素資料。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。

請同時參照第2A圖及第2B圖，第2A圖繪示為依據本發明一實施例之多媒體裝置之一例之方塊圖，第2B圖繪示乃依據本發明一實施例之多媒體裝置於一第一畫面及一第二畫面之間產生一中間畫面之一例的示意圖。於第2B圖所示之例中，畫面上的一物體Obj係在背景bcg中移動，此物體Obj例如係從一第一畫面I-frame沿著移動路徑MT移動至一第二畫面P-frame。此多媒體裝置200用以於第一畫面I-frame及第二畫面P-frame之間產生一中間畫面M-frame。如第2A圖所示，多媒體裝置200包括一插補單元210、一線性處理單元220、及一合併單元230。各單元之間的動作關係如下。

插補單元210用以依據第一畫面I-frame之一第一畫素資料I-data、第二畫面P-frame之一第二畫素資料P-data、及一第三畫素資料Z-data之間的大小關係，來產生一第一參考畫素資料M-data-ref(1)。此兩畫素資料I-data及P-data例如是畫素I-pixel及P-pixel的畫素資料，且可依據中間畫面M-frame之一待插補畫素M-pixel的位置及相關之一移動向量MV而取得。移動向量MV例如是由一前級的移動估測演算法所提供。第三畫素資料Z-data可依據待插補畫素M-pixel於第一畫面I-frame及第二畫面P-frame中實質上相同位置之兩筆畫素資料而取得，如畫素I-pixel-Z及P-pixel-Z的畫素資料。線性處理單元220用以線性組合第一畫素資料I-data及第二畫素資料P-data，來產生第二參考畫素資料M-data-ref(2)。合併單元230用以依據第一畫素資料I-data與第二畫素資料P-data之差值，來合併第一參考畫素資料M-data-ref(1)及第二參考畫素資料M-data-ref(2)，以產生待插補畫素M-pixel之畫素資料M-data。

依據本發明上述實施例所提出的多媒體裝置，藉由使用兩畫面之畫素資料的差值來合併兩參考畫素資料，可適當地調整此兩種依不同方式取得的參考畫素資料的輸出比例，而能消除畫面背景上的物體殘影並提高畫面資料的正確性，且能適當地增加畫面播放的順暢性。茲以此多媒體裝置之一實施例進一步說明如下。

請同時參照第2B圖及第3圖，3圖繪示為第2A圖之多媒體裝置之一例之電路圖。此多媒體裝置300包括一插補單元310、一線性處理單元320、及一合併單元330，並用以於第一畫面I-frame及第二畫面P-frame之間產生一中間畫面M-frame。

插補單元310包含一中值過濾器311。中值過濾器311依據第一畫面I-frame之畫素I-pixel之第一畫素資料I-data、第二畫面P-frame之畫素P-pixel之第二畫素資料P-data、及第三畫素資料Z-data之中值，來產生一第一參考畫素資料M-data-ref(1)，如函式Med(I-data,P-data,Z-data)所示。相較於傳統直接混合兩畫素I-pixel及P-pixel之畫素資料而使得中間畫面M-frame的背景上有物體殘影的作法，於本實施例中，使用中值方式所產生的第一參考畫素資料M-data-ref(1)能消除背景上的物體殘影，從而提高中間畫面M-frame的正確性。

舉例來說，針對中間畫面M-frame的待插補畫素M-pixel，此兩畫素I-pixel及P-pixel例如是多媒體裝置300依據待插補畫素M-pixel的位置及相關的一移動向量MV而來決定。待插補畫素M-pixel所相關的移動向量MV可由一移動估測演算法針對此待插補畫素M-pixel的位置來提供。此時，當從待插補畫素M-pixel的位置沿著移動向量MV往兩畫面I-frame及P-frame沿伸時，便能找到兩筆畫素I-pixel及P-pixel的位置而得到兩筆畫素資料I-data及P-data。然而，由於在背景中移動的物體Obj面積大小可能無法讓移動估測演算法有效地分離物體與背景，導致移動估測演算法所產生的移動向量大部分是與背景的移動向量同方向。換言之，對於第2B圖之待插補畫素M-pixel而言，即使此待插補畫素M-pixel的位置很靠近物體Obj，移動估測演算法所提供的移動向量MV通常會與背景移動向量MV-bcg同方向，而不會與代表物體Obj之移動路徑MP的物體移動向量MV-Obj同方向。

然而，對於背景上的待插補畫素M-pixel(亦可視之為未落在物體之移動路徑MT上的畫素)而言，沿伸移動向量MV所找到的畫素可能是物體Obj之移動路徑MP內的畫素，如沿伸待插補畫素M-pixel而找到的第一畫素I-pixel。此時，若直接將所得到的此兩筆畫素I-pixel及P-pixel的畫素資料I-data及P-data進行合併，會造成待插補畫素M-pixel的畫素資料錯誤，致使中間畫面M-frame的背景上(如未落在移動路徑MT之待插補畫素M-pixel)出現物體Obj的殘影。

於此實施例中，如第3圖所示，插補單元310更使用第三畫素資料Z-data來決定待插補畫素M-pixel的畫素資料，以消除物體殘影。有關第三畫素資料Z-data的取得方式，例如是由多媒體裝置300依據待插補畫素M-pixel於第一畫面I-frame及第二畫面P-frame中實質上相同位置之兩筆畫素資料而取得，如第2B圖之兩筆畫素I-pizel-Z及P-pixel-Z的畫素資料，或是鄰近位置的兩畫素資料。由於兩筆畫素I-pizel-Z及P-pixel-Z並未落在物體之移動路徑MP，故所產生第三畫素資料Z-data能幫助插補單元310提高待插補畫素M-pixel的資料正確性。

於一實施例中，第三畫素資料Z-data例如是由多媒體裝置300依據此兩筆畫素I-pizel-Z及P-pixel-Z之畫素資料的平均值而產生。假設於第2B圖中，第一畫素I-pixel是白色物體、第二畫素P-pixel為的綠色背景、而兩筆畫素I-pizel-Z及P-pixel-Z亦為綠色，故平均之第三畫素資料Z-data亦為綠色。此時，若直接混合第一及第二畫素I-pixel及P-pixel，將會得到淺綠色(白色物體於背景上的殘影)。而於本實施例中，插補單元310的中值過濾器311依據此三筆畫素資料所分別表示的白色、綠色、綠色的中值，便會產生綠色的第一參考畫素資料M-data-ref(1)，此處所產生的綠色與背景顏色相仿，故能消除背景上的物體殘影，而能提高資料正確性。

線性處理單元320用以線性組合第一畫素資料I-data及第二畫素資料P-data，來產生第二參考畫素資料M-data-ref(2)。申請人發現，在畫面的移動向量有很高的一致性的情形下，例如是搖拍(Panning)技巧所拍攝的畫面，畫面的背景會呈現均等移動的現象。是以，本實施例使用線性組合方式所產生的第二參考畫素資料M-data-ref(2)能有效地增加此種畫面的資料正確性，並藉以提高畫面播放的順暢性。。

於本實施例中，線性處理單元320包含一均值過濾器321。均值過濾器321依據第一畫素資料I-data及第二畫素資料P-data之均值，來產生第二參考畫素資料M-data-ref(2)，如函式(I-data+P-data)/2所示。然本發明亦不限於使用均值來產生第二參考畫素資料M-data-ref(2)。

合併單元330用以依據第一畫素資料I-data與第二畫素資料P-data之差值，來合併第一參考畫素資料M-data-ref(1)及第二參考畫素資料M-data-ref(2)，以產生待插補畫素M-pixel之畫素資料M-data。舉例來說，當兩畫素資料I-data與P-data的差值很大時，則表示直接混合兩畫素資料會有物體殘影的問題，故此時本實施例可提高插補單元310所產生的第一參考畫素資料M-data-ref(1)的輸出含量，來消除物體殘影並提高畫面資料的正確性。再者，當兩畫素資料I-data與P-data的差值很小時，則表示畫面的移動向量有很高的一致性，故此時本實施例可提高線性處理單元320所產生的第二參考畫素資料M-data-ref(2)的輸出含量，來提高畫面播放的順暢性。如此，本實施例藉由適當地調整兩種依不同方式取得的參考畫素資料的輸出比例，能消除畫面背景上的物體殘影而提高畫面資料的正確性，並適當地增加畫面播放的順暢性。

於一實施例中，合併單元330在合併兩畫素資料I-data與P-data時，可線性組合第一參考畫素資料M-data-ref(1)及第二參考畫素資料M-data-ref(2)，以產生待插補畫素M-pixel之畫素資料。

舉例來說，請參照第3圖，合併單元330包括一權重產生器331、兩多工器332、334、兩乘法器333、335、及一加法器336。多工器332及334例如是分別選擇傳送多媒體裝置300的兩預設參數a1及a2至乘法器333及335。此兩預設參數a1及a2之和例如是1，然亦不限於此。第一乘法器333計算第一參考畫素資料M-data-ref(1)與參數a1之積，第二乘法器335計算第二參考畫素資料M-data-ref(2)及參數a2之積，而加法器336更依據兩個積的和來產生待插補畫素M-pixel之畫素資料M-data。

權重產生器331可依據第一畫素資料I-data與第二畫素資料P-data之差值來決定一第一參數a1’及一第二參數a2’。此兩參數a1’及a2’之和例如是1，然亦不限於此。權重產生器331更用以判斷第一畫素資料I-data與第二畫素資料P-data之差值是否大於一臨界值。若差值未大於此臨界值，則令多工器332及334輸出對應的預設參數a1及a2；若差值大於此臨界值時，則令多工器332及334輸出對應的第一及第二參數a1’及a2’。再者，當此差值再大於一更高的臨界值時，合併單元330之權重產生器331可更提高第一參數a1’並降低第二參數a2’。總之，當兩畫素資料I-data與P-data之差值增大時，本實施例可提高第一參考畫素資料M-data-ref(1)的輸出含量，來消除畫面背景上的物體殘影並提高畫面資料的正確性，並於上述差值減小時，提高第二參考畫素資料M-data-ref(2)的輸出含量來增加畫面播放的順暢性。

於本發明實施例所提出之多媒體裝置及其移動補償方法中，係使用兩畫面之畫素資料的差值來決定如何合併兩參考畫素資料，如此，可適當地調整此兩種依不同方式取得的參考畫素資料的輸出比例，進而消除畫面背景上的物體殘影來提供正確的畫面資料，並使畫面播放順暢。

綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

200、300．．．多媒體裝置

210、310．．．插補單元

220、320．．．線性處理單元

230、330．．．合併單元

311．．．中值過濾器

321．．．均值過濾器

331．．．權重產生器

332、334．．．多工器

333、335．．．乘法器

336．．．加法器

I-frame．．．第一畫面

P-frame．．．第二畫面

M-frame．．．中間畫面

I-data．．．第一畫素資料

P-data．．．第二畫素資料

Z-data．．．第三畫素資料

M-data．．．待插補畫素的畫素資料

M-data-ref(1)．．．第一參考畫素資料

M-data-ref(2)．．．第二參考畫素資料

第1圖繪示為利用移動估測/移動補償來產生一中間畫面之一例之示意圖。

第2A圖繪示為依據本發明一實施例之多媒體裝置之一例之方塊圖。

第2B圖繪示乃依據本發明實施例之一多媒體裝置於一第一畫面及一第二畫面之間產生一中間畫面之一例的示意圖。

第3圖繪示為第2A圖之多媒體裝置之一例之電路圖。

200．．．多媒體裝置

210．．．插補單元

220．．．線性處理單元

230．．．合併單元

I-data．．．第一畫素資料

P-data．．．第二畫素資料

Z-data．．．第三畫素資料

M-data．．．待插補畫素的畫素資料

M-data-ref(1)．．．第一參考畫素資料

M-data-ref(2)．．．第二參考畫素資料

Claims (12)

1. 一種多媒體裝置，用以於一第一畫面及一第二畫面之間產生一中間畫面，該多媒體裝置包括：一插補單元，用以依據該第一畫面之一第一畫素資料、該第二畫面之一第二畫素資料、及一第三畫素資料之間的大小關係，來產生一第一參考畫素資料，其中該第一畫素資料及該第二畫素資料係依據該中間畫面之一待插補畫素的位置及相關之一移動向量而取得，而該第三畫素資料係依據該待插補畫素於該第一畫面及該第二畫面中實質上相同位置之兩筆畫素資料而取得；一線性處理單元，用以線性組合該第一畫素資料及該第二畫素資料，來產生一第二參考畫素資料；以及一合併單元，用以依據該第一畫素資料與該第二畫素資料之差值，來合併該第一參考畫素資料及該第二參考畫素資料，以產生該待插補畫素之畫素資料。
2. 如申請專利範圍第1項所述之多媒體裝置，其中，該插補單元包含一中值過濾器，用以依據該第一畫素資料、該第二畫素資料、及該第三畫素資料之中值，來產生該第一參考畫素資料。
3. 如申請專利範圍第1項所述之多媒體裝置，其中，該線性處理單元包含一均值過濾器，用以依據該第一畫素資料及該第二畫素資料之均值，來產生該第二參考畫素資料。
4. 如申請專利範圍第1項所述之多媒體裝置，其中，該合併單元用以依據該第一畫素資料與該第二畫素資料之差值，來線性組合該第一參考畫素資料及該第二參考畫素資料，以產生該待插補畫素之畫素資料。
5. 如申請專利範圍第4項所述之多媒體裝置，其中，該合併單元包括：一權重產生器，用以依據該第一畫素資料與該第二畫素資料之差值來決定一第一參數及一第二參數；一第一多工器，連接至該權重產生器，用以選擇該第一參數及一預定參數其中之一；一第二多工器，連接至該權重產生器，用以選擇該第二參數及另一預定參數其中之一；一第一乘法器，連接至該第一多工器與該插補單元，用以計算該第一參考畫素資料與該第一參數之積；一第二乘法器，連接至該第二多工器及該線性處理單元，用以計算該第二參考畫素資料及該第二參數之積；以及一加法器，連接至該第一乘法器及該第二乘法器，用以依據該兩個積的和來產生該待插補畫素之畫素資料。
6. 如申請專利範圍第5項所述之多媒體裝置，其中，當該第一畫素資料與該第二畫素資料之差值大於一臨界值時，該權重產生器提高該第一參數並降低該第二參數。
7. 一種多媒體裝置之移動補償方法，用以於該多媒體裝置所接收之一第一畫面及一第二畫面之間產生一中間畫面，該方法包括：依據該第一畫面之一第一畫素資料、該第二畫面之一第二畫素資料、及一第三畫素資料之間的大小關係，來產生一第一參考畫素資料，其中該第一畫素資料及該第二畫素資料係依據該中間畫面之一待插補畫素的位置及相關之一移動向量而取得，而該第三畫素資料係依據該待插補畫素於該第一畫面及該第二畫面中相同位置之兩筆畫素資料而取得；線性組合該第一畫素資料及該第二畫素資料，來產生一第二參考畫素資料；以及依據該第一畫素資料與該第二畫素資料之差值，來合併該第一參考畫素資料及該第二參考畫素資料，以產生該待插補畫素之畫素資料。
8. 如申請專利範圍第7項所述之移動補償方法，其中，於產生該第一參考畫素資料之步驟中，係依據該第一畫素資料、該第二畫素資料、及該第三畫素資料之中值，來產生該第一參考畫素資料。
9. 如申請專利範圍第7項所述之移動補償方法，其中，於產生該第二參考畫素資料之步驟中，係依據該第一畫素資料及該第二畫素資料之均值，來產生該第二參考畫素資料。
10. 如申請專利範圍第7項所述之移動補償方法，其中，於產生該待插補畫素之畫素資料之步驟中，係依據該第一畫素資料與該第二畫素資料之差值，來線性組合該第一參考畫素資料及該第二參考畫素資料，以產生該待插補畫素之畫素資料。
11. 如申請專利範圍第10項所述之移動補償方法，其中，依據差值來線性組合該第一參考畫素資料及該第二參考畫素資料之步驟包括：依據該第一畫素資料與該第二畫素資料之差值，決定一第一參數及一第二參數；計算該第一參考畫素資料與該第一參數之積、及該第二參考畫素資料及該第二參數之積；以及依據該兩個積的和，來產生該待插補畫素之畫素資料。
12. 如申請專利範圍第11項所述之移動補償方法，其中，依據差值來線性組合該第一參考畫素資料及該第二參考畫素資料之步驟更包括：判斷該第一畫素資料與該第二畫素資料之差值大於一臨界值時，若是，則提高該第一參數並降低該第二參數。