TWI455588B - 以雙向、局部及全域移動評估為基礎之框率轉換 - Google Patents

Description

以雙向、局部及全域移動評估為基礎之框率轉換

本發明係大致有關視訊資訊之處理。

可以一特定框率供應視訊。係由一序列的靜止框構成視訊。框率是每秒的框數。

某些顯示器使用與輸入視訊的框率不同之框率。因此，框率轉換機構將該框率向上或向下轉換，使輸入框率與該顯示器的框率匹配。

根據某些實施例，框率轉換可使用前向及後向局部及全域移動估計。在某些實施例中，可為一區塊產生空間及鄰近預測器。可為每一預測器執行一小範圍區塊匹配。可根據來自各鄰近區塊的投票，而自複數個候選者選出一區塊的最後或最佳移動向量。可自複數個被選擇的移動向量計算出一全域移動向量。可根據兩個連續框以及前向及後向局部及全域移動估計而計算一移動補償內插。

框率轉換被用來改變視訊序列之框率。一典型的框率轉換演算法應用是：在美國國家電視系統委員會(National Television Systems Committee；簡稱NTSC)系統中，將電影內容自每秒24框轉換為每秒60框，或在逐行倒相(Phase Alternating Line；簡稱PAL)系統中，自每秒25框轉換為每秒50框。高解析度電視支援每秒120或240框顯示器，因而也需要向上轉換。根據某些實施例，該框率轉換演算法可補償視訊序列中被描繪的移動。

在一實施例中，使用了雙向階層式局部及全域移動估計及移動補償。"雙向"意指在沿著前向及後向方向的兩個固定框(anchor frame)之間估計移動。"階層式移動估計"意指：以所供應的視訊資訊之每一次增加的解析度改善移動估計。該雙向階層式局部及全域移動估計之後接續一最後移動補償階段，用以將該等兩個固定框及所有的移動估計元素整合到一內插階段。

根據一實施例，可接收一輸入系列的兩個視訊框。該等框可包含一系列的由x、y、及時間t座標指定之像素。可以自一第一框至一第二框以及自該第二框至該第一框之方式(或者換言之，沿著前向及後向方向)決定各移動向量。該演算法使用被推導出之局部及全域移動、所提供之時戳、以及該連續框資料而產生該等兩個框間之一內插框。時戳對應於框率，且尤其對應於輸出框所需的框率。

因此，前一框P可具有由x、y、及t變數指定之像素，且次一框N可具有由x、y、及t+1變數指定之像素。輸出框C具有由x、y、t'變數指定之像素。內插輸出框C可具有時間t+q，其中q小於1且大於0。可以x及y座標表示的p指示像素位置。移動向量MV_AB (x,y)是自一框A至一框B且係在螢幕空間中之座標x及y上之移動向量。全域移動向量GM_AB 是自框A至框B之主導移動向量。

因此，請參閱第1圖前一框P及次一框N被提供給一前向移動估計單元12a及一後向移動估計單元12b。如第1圖所示，每一移動估計單元12之輸出是一移動向量欄位及一全域移動向量，而在前向移動估計單元12a之情形中，該全域移動向量是自前一框P至次一框N，或在後向移動估計單元12b之情形中，該全域移動向量是自次一框至前一框。該前向及後向移動估計之結果被提供給一移動補償裝置22，該移動補償裝置22接收用於內插輸出框C之移動向量及時間q。

請參閱第2圖，移動估計單元12可實施第1圖所示之前向移動估計單元12a或後向移動估計單元12b。可以硬體或軟體實施該前向或後向移動估計單元。在硬體實施例中，可在某些實施例中使用硬體加速器。

在一實施例中，係以A及B之方式指示輸入框，該等輸入框只包含Y,U,V彩色系統之Y成分。亦可使用其他的彩色體系。對該移動估計單元之輸入亦可包括在一階層系統的複數個金字塔層級中之每一金字塔層級上的每一區塊的時間預測器。時間預測器是根據前一移動估計計算的一參考框中之一來源區塊的預期位置。該等輸出是每一金字塔層級上的每一區塊之所示的移動向量、以及框中之全域移動向量或主導移動向量。

該等子區塊包含用來自輸入框建立金字塔結構之一金字塔區塊16、以及用來計算自A至B的全域或主導移動向量之一全域移動估計單元20。後文中將更詳細地說明一區塊搜尋單元15及一投票單元18。

全域移動估計單元20使用參照原始框解析度的最低金字塔層級的自框A至框B之移動向量而計算自框A至框B之主導移動。計算所有該等移動向量之平均值，然後移除與該平均值有顯著差異的所有移動向量。再度計算其餘組的移動向量之平均值，且亦移除與該新的平均值有差異的移動向量。該程序將持續到其收斂為止，意指：自現行迭代至次一迭代的平均移動向量不改變為止。最後的平均移動向量是全域或主導移動向量。

第3圖中更詳細地示出移動補償裝置22。該移動補償裝置22包含一移動向量平滑單元24、像素內插單元25、以及一中位數計算器26。移動向量平滑單元24根據相關的區塊移動向量而計算內插框的每一像素之前向及後向移動向量。特定像素之移動向量是該像素所屬區塊的移動向量以及該像素的各鄰近區塊的移動向量之一加權平均值。根據每一像素在區塊中之位置而計算該像素之權值。

像素內插單元25計算內插框的每一像素的每一彩色成分(例如，Y、U、及V)之四個內插型式。該等內插型式可以是來自框N而在自P至N的對應的移動向量指示的位置及時戳q上之像素a、來自框P而在自N至P的對應的移動向量指示的位置及時戳q上之像素b、來自框N而在自P至N的全域移動向量指示的位置及時戳q上之像素d、以及來自框P而在自N至P的全域移動向量指示的位置及時戳q上之像素e。在一實施例中，該內插方法可以是最接近的鄰近者內插或雙向內插、以及任何其他內插方法。

中位數計算器26計算每一像素的諸如Y、U、V等的每一成分之a、b、c、d、及e像素之中位數，其中c是a及b像素之平均。該移動補償區塊使用P及N框，其中包括YUV系統中之所有Y、U、及V彩色成分。該移動補償區塊只使用最低金字塔層級的區塊的自P至N之前向移動向量、以及最低金字塔層級的區塊的自N至P之後向移動向量。使用自P至N之前向全域移動向量及自N至P之後向全域移動向量、以及係為內插框的時戳且其值係介於0與1之間的q。輸出是一內插框。

金字塔區塊16(第2圖)建立一影像的一金字塔結構，其中該金字塔的第一或基礎影像是原始影像，第二或較低解析度影像的大小是基礎影像或原始影像的大小之四分之一，且第三影像是該第二影像的一更低解析度影像，其大小為該第二影像大小之四分之一。

區塊12中之移動估計程序在前向及後向方向上可以是相同的。該移動估計程序使用具有一特定數目的層級之金字塔區塊16。在一實施例中，使用了三個層級，但是可提供任何數目之層級。為了實現一平滑移動場(motion field)，使用來自一金字塔的前一層級以及來自前一移動估計之移動向量預測器。在一實施例中，移動估計輸出可包括每一8x8區塊之一移動向量。

請參閱第4圖，圖中示出具有原始影像30、第二層級影像32、及第三層級影像34之一個三層級金字塔。全部被標示為用於金字塔的P之區塊30、32、及34指示N框的金字塔表示法之三個層級。三個區塊36、38、及40被標示為用於先前金字塔之PP，其時戳為前一框的金字塔表示法。預測器仍然是一參考框中之一來源區塊的預期位置。對於每一8x8區塊而言，自前一框的移動向量欄位計算出被標示為第4圖中之時間之一預測器，且如第4圖所示，自先前的較小金字塔層級計算出四個預測器。在最高金字塔層級(亦即，具有最低解析度之金字塔層級)上，只有一空間預測器，亦即為零位移。

請參閱第5圖，一特定金字塔層級中之每一8x8區塊(被標示為第5圖中之46)係與較低層級中之四個區塊46a、46b、46c、46d有關。因此，每一8x8區塊[46a]具有源於被標示為第5圖中之區塊46的其直接源始區塊之一空間預測器、以及源於三個鄰近區塊41、42、及44之三個其他預測器。

對於每一預測器而言，執行一小範圍區塊匹配搜尋，且決定一來源區塊與一參考區塊間之諸如絕對差值和(Sum of Absolute Differences；簡稱SAD)等的一類似性量度。在該搜尋範圍中，輸出具有最小絕對差值和之區塊位移(亦即，移動向量)，作為與該預測器相關之候選移動向量。

在一實施例中，每一預測器有九個移動向量位置。對於來源框中之每一8x8區塊以及對於每一預測器而言，在一實施例中之搜尋區域是10x10，因而提供了每一方向的±1之一搜尋範圍。對於每一方向而言，該搜尋涵蓋了三個位置(-1,0,+1)，因而搜尋位置之總數是3x3或9。

對一區塊之最後移動向量的選擇係基於一鄰近者投票程序。在鄰近者投票中，根據鄰近區塊的移動向量候選者而選擇每一區塊最佳移動向量。對於現行區塊之每一移動向量候選者而言，計算像是八個鄰近區塊的移動向量候選者之次數。得到最大投票數目的移動向量被選擇為最佳移動向量，這是因為該移動向量是具有最多次數的候選者。

移動補償裝置22根據前向移動場及後向移動場移動向量而使用前一框P及原始框N產生輸出內插框C。可以一平滑濾波器24將前向及後向的該等移動場平滑化，而該平滑濾波器24在一實施例中可以是一9x9濾波器。在一實施例中，於中位數計算器26中以五個不同值(a、b、c、d、及e)的中位數之方式計算每一輸出像素。亦即，在次一框N與前一框P之間計算一新內插框C中之像素位置p。假定該新框是在時間0上的P框與時間1上的N框間之介於0與1之間的時間軸q上之一位置。

請參閱第6圖，根據一實施例，可以軟體、硬體、或韌體實施一序列。在一軟體實施例中，可使用一般用途處理器或圖形處理器等的一處理器實施該序列，以便執行該指令序列。可將該指令序列儲存在執行的處理器可存取之一電腦可讀取的媒體。該電腦可讀取的媒體可以是其中包括磁性儲存裝置、半導體儲存裝置、或光學儲存裝置之任何儲存裝置。

初始時，該序列開始於方塊50，此時接收前一及次一框之像素。在方塊54及64中，準備該前一及次一框之金字塔結構。然後，在一金字塔移動估計階段52a、52b、52c中處理該等像素。在前向移動估計階段中，使用先前的前向移動場(方塊55)，而如方塊56所示，為每一8x8區塊產生時間及空間預測器。然後，如方塊58所示，為每一預測器執行一小範圍區塊匹配。然後，在方塊60中，具有最小絕對差值和之移動向量被識別為一候選者。如方塊62所示，根據鄰近者投票而自該等候選者中選出最佳候選者。某一金字塔層級之該等移動向量結果被傳送到該層級之方塊73以及次一層級之方塊66。然後，在方塊73中，執行全域移動估計。

在後向方向中，於方塊65、66、68、70、72、及73中執行相同的序列。

在方塊74中，合倂最後金字塔層級的該等移動估計結果，以供移動補償。該移動補償階段可包含：在方塊76中，濾波而將該移動向量欄位平滑化，以便產生每一像素之一移動向量；在方塊77a及77d中，使用移動向量執行內插；在方塊77b及77c中，使用全域移動執行內插；以及在方塊78中，執行中位數計算。

第7圖所示之一電腦系統130可包含被一匯流排124耦合到一晶片組核心邏輯110之一硬碟機134及一抽取式媒體136。在一實施例中，該核心邏輯可耦合到一圖形處理器112(經由匯流排105)及主或主機處理器122。該圖形處理器可被一匯流排126耦合到一框緩衝器114。框緩衝器114可被一匯流排107耦合到一顯示螢幕118，該顯示螢幕118又被一匯流排108耦合到諸如一鍵盤或滑鼠120等的常規組件。在軟體實施例之情形中，可將相關的電腦可執行碼儲存在其中包括主記憶體132之任何半導體、磁性、或光學記憶體中。因此，在一實施例中，可將碼139儲存在諸如主記憶體132等的機器可讀取的媒體，以供諸如處理器112或122等的一處理器執行。在一實施例中，該碼可執行第6圖所示之序列。

在某些實施例中，該雙向方法及投票程序可減少接近物體邊緣的假影(artifact)，這是因為這些影像區易於由於單向方法中產生的孔徑問題(aperture problem)而造成移動場的不準確。雖然該雙向方法無法解決該孔徑問題本身，但是最終內插是更準確的，這是因為該最終內插依賴來自兩個獨立移動場之最佳結果。

可以各種硬體架構實施本發明述及的圖形處理技術。例如，可將圖形功能整合在一晶片組內。或者，可使用一分立式圖形處理器。在又一實施例中，可以其中包括多核心處理器之一般用途處理器實施該等圖形功能。

在本說明書中提及"一個實施例"或"一實施例"時，意指參照該實施例而述及的一特定特徵、結構、或特性被包含在本發明內包含的至少一實施方式中。因此，出現詞語"一實施例"或"在一實施例中"時，不必然都參照到相同的實施例。此外，可以不同於所示特定實施例之其他適用形式實施該等特定特徵、結構、或特性，且所有此類形式可被包含在本申請案之申請專利範圍內。

雖然已以與有限數目的實施例有關之方式說明了本發明，但是熟悉此項技術者當可了解該等實施例之許多修改及變化。最後的申請專利範圍將涵蓋在本發明的真實精神及範圍內之所有此類修改及變化。

12a．．．前向移動估計單元

12b．．．後向移動估計單元

12．．．移動估計單元

22．．．移動補償裝置

16．．．金字塔區塊

20．．．全域移動估計單元

15．．．區塊搜尋單元

18．．．投票單元

24．．．移動向量平滑單元

25．．．像素內插單元

26．．．中位數計算器

30．．．原始影像

32．．．第二層級影像

34．．．第三層級影像

36,38,40,41,42,44,46,46a,46b,46c,46d．．．區塊

130．．．電腦系統

110．．．晶片組核心邏輯

105,107,108,124,126．．．匯流排

134．．．硬碟機

136．．．抽取式媒體

112．．．圖形處理器

122．．．主處理器

114．．．框緩衝器

118．．．顯示螢幕

120．．．鍵盤或滑鼠

132．．．主記憶體

139．．．碼

第1圖示出根據本發明的一實施例的一框率轉換裝置；

第2圖是根據一實施例的一移動估計單元之一更詳細圖式；

第3圖是根據一實施例的一移動補償裝置之一更詳細圖式；

第4圖示出根據本發明的一實施例之時間及金字塔預測器；

第5圖示出根據本發明的一實施例之一空間預測器；

第6圖是一實施例之一流程圖；以及

第7圖是一實施例之一系統圖。

12a．．．前向移動估計單元

12b．．．後向移動估計單元

22．．．移動補償裝置

Claims (36)

1. 一種用於框率轉換之方法，包含下列步驟：接收一序列之框；使用前向及後向移動估計而執行框率轉換於該序列之框上，每一該前向移動估計及該後向移動估計包含投票程序，以根據來自各鄰近區塊的投票，而自複數個候選者選出一區塊的最後移動向量；其中，該移動估計包含：計算所有移動向量之平均值；及移除與該平均值有量差異的移動向量；以及輸出該選出的最後移動向量至移動補償裝置，該移動補償裝置係用於執行移動向量平滑化及像素內插以產生內插框。
2. 如申請專利範圍第1項之方法，其中使用前向及後向移動估計而執行框率轉換之該步驟包含下列步驟：使用一階層式搜尋執行移動估計。
3. 如申請專利範圍第1項之方法，包含下列步驟：為被選擇的區塊產生一時間預測器及一些鄰近預測器。
4. 如申請專利範圍第1項之方法，包含下列步驟：為每一預測器執行一小範圍區塊匹配。
5. 如申請專利範圍第3項之方法，包含下列步驟：決定具有最小絕對差值和之一移動向量作為一候選移動向量。
6. 如申請專利範圍第1項之方法，包含下列步驟： 計算其中包括自次一框的自被前一框至該次一框的一移動向量前向移動的一位置計算出之一位置上取得的一像素之值的複數個值之中位數。
7. 如申請專利範圍第6項之方法，包含下列步驟：使用來自該前一框的被自該次一框至該前一框的該移動向量後向移動的一位置上之一像素計算該中位數。
8. 如申請專利範圍第7項之方法，包含下列步驟：決定至少五個值的該中位數，其中該值之一係為自次一框取得之像素與自前一框取得之像素之平均值。
9. 如申請專利範圍第6項之方法，包含下列步驟：使用來自該前一框的被自該次一框至該前一框的全域移動估計後向移動的一位置上之一像素計算該中位數。
10. 如申請專利範圍第9項之方法，包含下列步驟：使用來自該次一框的被自該前一框至該次一框的全域移動估計前向移動的一位置上之一像素計算該中位數。
11. 如申請專利範圍第9項之方法，包含下列步驟：決定至少五個值的該中位數，其中該值之一係為自次一框取得之像素與自前一框取得之像素之平均值。
12. 如申請專利範圍第8項之方法，包含下列步驟：使用來自該次一框的被自該前一框至該次一框的全域移動估計前向移動的一位置上之一像素計算該中位數。
13. 一種非暫時性之儲存指令之電腦可讀取的媒體，該等指令使一電腦能夠執行下列步驟：接收一序列之框； 使用前向及後向移動估計而執行框率轉換於該序列之框上，每一該前向移動估計及該後向移動估計包含投票程序，以根據來自各鄰近區塊的投票，而自複數個候選者選出一區塊的最後移動向量；前向及後向估計用於框率轉換之局部及全域移動；其中，該移動估計包含：計算所有移動向量之平均值；及移除與該平均值有量差異的移動向量；以及輸出該選出的最後移動向量至移動補償裝置，該移動補償裝置係用於執行移動向量平滑化及像素內插以產生內插框。
14. 如申請專利範圍第13項之媒體，進一步儲存了用來執行下列步驟之指令：根據使用一前向移動向量及前向全域移動以及一後向移動向量及後向全域移動之內插而計算像素。
15. 如申請專利範圍第13項之媒體，進一步儲存了用來執行下列步驟之指令：為被選擇的區塊產生一時間預測器及一些鄰近預測器。
16. 如申請專利範圍第13項之媒體，進一步儲存了用來執行下列步驟之指令：使用一10x10範圍而為每一預測器執行一小範圍區塊匹配。
17. 如申請專利範圍第15項之媒體，進一步儲存了用來執行下列步驟之指令：決定具有最小絕對差值和之一移動向量作為一候選移動向量。
18. 如申請專利範圍第17項之媒體，進一步儲存了用來執行下列步驟之指令：根據來自各鄰近區塊的投票，而自複數個候選者中選出一被選擇的區塊之一最後移動向量。
19. 如申請專利範圍第13項之媒體，進一步儲存了用來執行下列步驟之指令：執行移動補償。
20. 如申請專利範圍第13項之媒體，進一步儲存了用來執行下列步驟之指令：藉由計算其中包括自次一框的自被前一框至該次一框的一移動向量前向移動的一位置計算出之一位置上取得的一像素之值的複數個值之中位數，而執行移動補償。
21. 如申請專利範圍第20項之媒體，進一步儲存了用來執行下列步驟之指令：使用來自前一框的被自該次一框至該前一框的移動向量後向移動的一位置上之一像素計算該中位數。
22. 如申請專利範圍第21項之媒體，進一步儲存了用來執行下列步驟之指令：決定至少五個值之中位數，其中該等值中之一值是自該次一框取得的像素以及自該前一框取得的像素之平均值。
23. 如申請專利範圍第21項之媒體，進一步儲存了用來執行下列步驟之指令：使用來自該前一框的被自該次一框至該前一框的全域移動估計後向移動的一位置上之一像素決定一中位數。
24. 如申請專利範圍第21項之媒體，進一步儲存了 用來執行下列步驟之指令：使用來自該次一框的被自該前一框至該次一框的全域移動估計前向移動的一位置上之一像素決定一中位數。
25. 一種用於框率轉換之設備，包含：一前向移動估計單元，該前向移動估計單元包含一投票程序單元，用以根據來自各鄰近區塊的投票而自複數個候選者中選出一被選擇的區塊之一最後移動向量；以及一後向移動估計單元，該後向移動估計單元包含一投票程序單元，用以根據來自各鄰近區塊的投票而自複數個候選者中選出一被選擇的區塊之一最後移動向量；其中，該等移動估計單元用於：計算所有移動向量之平均值；及移除與該平均值有量差異的移動向量。
26. 如申請專利範圍第25項之設備，其中該等單元使用一階層式搜尋執行移動估計。
27. 如申請專利範圍第25項之設備，其中該前向及後向移動估計單元為被選擇的區塊產生一時間預測器及一些鄰近預測器。
28. 如申請專利範圍第25項之設備，其中該等移動估計單元為每一預測器執行一小範圍區塊匹配。
29. 如申請專利範圍第27項之設備，其中該前向及後向移動估計單元決定具有最小絕對差值和之一移動向量作為一候選移動向量。
30. 如申請專利範圍第29項之設備，其中該等移動 估計單元根據該鄰近者投票而選擇最佳候選移動向量。
31. 如申請專利範圍第25項之設備，其中該等移動估計單元被耦合到一移動補償裝置。
32. 如申請專利範圍第30項之設備，其中該移動補償裝置計算其中包括自次一框的自被前一框至該次一框的一移動向量前向移動的一位置計算出之一位置上取得的一像素之值的複數個值之中位數。
33. 如申請專利範圍第32項之設備，其中該移動補償裝置使用來自該前一框的被自該次一框至該前一框的移動向量後向移動的一像素計算該中位數。
34. 如申請專利範圍第33項之設備，其中該移動補償裝置決定至少三個值之中位數，其中該等值中之一值是自該次一框取得的像素以及自該前一框取得的像素之平均值。
35. 如申請專利範圍第34項之設備，其中該移動補償裝置使用來自該前一框的被自該次一框至該前一框的全域移動估計後向移動的一位置上之一像素決定一中位數。
36. 如申請專利範圍第34項之設備，其中該移動補償裝置使用來自該次一框的被自該前一框至該次一框的全域移動估計前向移動的一位置上之一像素決定一中位數。