TWI451765B - 圖框昇率轉換中決定移動向量的方法 - Google Patents

Description

圖框昇率轉換中決定移動向量的方法

本發明概略關於視訊處理，尤指一種在圖框昇率轉換中決定移動向量的方法。

除非在此處另有說明，在此段落中所描述的內容並非為此申請案之申請專利範圍的先前技術，且在此段落中所包含之內容並非承認其為先前技術。

圖框昇率轉換概略係指轉換內容由一圖框速率到一不同圖框速率之程序。為了支援高圖框速率的顯示，即需要圖框昇率轉換(FRUC,“Frame rate up conversion”)，藉以轉換一低圖框速率視訊信號到高圖框速率。在FRUC中，使用在低圖框速率下收到的圖框做為參照來產生內插的圖框。目前該內插程序係基於透過經由移動補償取得的接收圖框之移動向量來執行，以使在該等內插的圖框內移動物件可被正確地定位。雖然移動補償式FRUC提供一些好處，當移動估計不正確時亦苦於加工效果不佳的問題，特別是當該等收到的圖框很複雜或迅速時。

對於FRUC中的移動補償，一內插的圖框可基於在一參考圖框中複數區塊的移動向量來產生。用於在該參考圖框中取得一特定區塊之可靠的移動向量之方法係考慮到相鄰於該特定區塊之該等區塊的移動向量。但是，該等相鄰區塊之移動向量可能無法使用，而且考慮該等額外移動向量會增加運算複雜度。

因此在本技藝中需要一種能夠更有效率地決定移動向量之方法，以改善移動估計的可靠度，並至少可處理上述之問題。

本發明一具體實施例描述一種預備一內插的圖框之圖框昇率轉換方法。特別是，該方法包含(a)選擇在一第一圖框內相鄰於一第一區塊的一第二區塊，(b)根據該第二區塊的一第二移動向量定義一第一搜尋窗來辨識一第一匹配區塊，(c)根據該第一匹配區塊的位置定義一第二搜尋窗來辨識一第二匹配區塊，(d)更新該第一匹配區塊為該第二匹配區塊，並更新該第二搜尋窗及該第二匹配區塊，或基於該第二匹配區塊是否為該第一匹配區塊，設定該第二匹配區塊成為一目標匹配區塊，(e)重複(d)，直到該目標匹配區塊被設定，參照該目標匹配區塊決定第一移動向量，並根據該第一移動向量預備該內插的圖框。

此處所揭示之本發明中至少一個好處為其能夠降低關聯於決定一區塊之移動向量的運算複雜度。

第一圖為根據本發明一具體實施例中一運算裝置101的示例視訊子系統102之簡化的方塊圖。視訊子系統102經組態以接收一序列的進入視訊圖框104、處理該序列的進入視訊圖框104、並輸出一序列的離開視訊圖框106。視訊子系統102包括一視訊處理器108及一記憶體單元112。視訊處理器108經組態以執行的功能，例如(但非限制)決定視訊圖框之移動向量，並預備一或多個內插的圖框，以使該等內插的圖框要被輸出成為離開視訊圖框106之一部份。

配合第一圖，第二A圖為根據時間及位置於一第一圖框、一第二圖框、及一內插的圖框、及在這些圖框中之區塊之間的示例性關係之示意圖。第一圖框202與第二圖框204可為進入視訊圖框104之一部份。於當做離開視訊圖框106之一部份而輸出之前，內插的圖框206可被插入在第一圖框202與第二圖框204之間。在第二A圖中，第二圖框204代表由視訊子系統102所接收的視訊圖框，且第二圖框204被接收於第一圖框202之前。例如，第二圖框204可於時間T收到，而第一圖框202可於時間T+1被收到及處理。如第二A圖所示，第二圖框204可作為一參考圖框來預備內插的圖框206。但是，另一個在不同於時間T處收到的視訊圖框(未示於第二A圖)亦可做為該參考圖框。

第一圖框202與第二圖框204之每一者可被區分成複數區塊。一區塊208為第一圖框202中一示例區塊，而一區塊212為第二圖框204中一示例區塊。對第一圖框202的處理包括決定區塊208的一移動向量(例如移動向量207)。假設區塊212對應於區塊208。區塊208的移動向量207可有助於辨識內插的圖框206中一內插的區塊214。因此，利用第一圖框202中該等區塊的移動向量，可以決定在內插的圖框206中對應於第一圖框202中該等區塊之相對應區塊。

第二B圖為一影像自一第一圖框252移動到一第二圖框254之示意圖。一內插的圖框256基於第一圖框252與第二圖框254來預備。在一種實作中，在第一圖框252中該等區塊之移動向量可用於預備內插的圖框256。特別是，第一圖框252可以包括一或多個區塊，例如區塊258，其對應於第二圖框254中一區塊262。利用區塊258之一移動向量264，在內插的圖框256中一內插的區塊266可基於區塊258之位置與移動向量264來預備。

第三A圖為具有一組區塊之示例性第一圖框300的示意圖。除了一第一區塊302之外，第一圖框300可以包括相鄰於第一區塊302之區塊，例如區塊304、306、308、310、312、314、316及318。由於第一區塊302與其相鄰區塊的鄰近性，它們可以代表一視訊圖框的相同部份。一種決定第一區塊302之一移動向量的方法係由該等相鄰區塊之一的一移動向量做為第一區塊302之一候選移動向量。

根據第一區塊302的內容，該移動向量決定程序可依賴相鄰於第一區塊302的某些區塊而定。在一種實作中，當第一區塊302的內容指出第一區塊302在一紋路區域時，第一區塊302的候選移動向量可自八個相鄰區塊304、306、308、310、312、314、316及318的該等移動向量中選出。另一方面，當第一區塊302的內容顯示第一區塊302係在一平滑區域時，第一區塊302的候選移動向量可另自四個相鄰區塊306、310、312及316之該等移動向量中選出，因為在該平滑區域中的影像會比在該紋路區域中的影像要更容易辨識。此外，該候選移動向量可參照該組相鄰區塊當中最為可靠的相鄰區塊的移動向量。在一種實作中，該最為可靠的相鄰區塊為在該組相鄰區塊當中，與其匹配區塊具有最小差異(例如總和絕對差異)的該區塊。

在一種實作中，該等相鄰區塊之移動向量係以一特定順序決定。該順序可由位在第一圖框300之左上角處的該區塊開始，進行到相同列的下一區塊，移動到下一列上的區塊，並結束於第一圖框300之右下角處的區塊。以這種順序，當第一區塊302之移動向量要被決定時，區塊304、306、308及310之該等移動向量可能已經被決定，但區塊312、314、316及320之該等移動向量可能尚未被決定。當該等區塊之移動向量無法用於決定第一區塊302之移動向量時，在一種實作中，另可利用在一參考圖框(例如第二A圖中第二圖框204)中該等相對應區塊的移動向量。在此，在對應於區塊312、314、316及318之參考圖框中該等區塊的移動向量已經被決定並可使用。

更特定而言，配合於第三A圖，第三B圖所示為一參考圖框330之示意圖。其中對應於第一區塊302之相鄰區塊之該等區塊的移動向量可由此參考圖框330選出。參考圖框330包括複數區塊332、334、336、338、340、342、344、346及348。它們分別對應於第一圖框300中的區塊302、304、306、308、310、312、314、316及318。假設在處理第一圖框300之前，在參考圖框332中該等區塊之移動向量已經被決定並可使用。當相鄰於第一區塊302的一區塊(例如區塊312)之移動向量於第一區塊302的一移動向量估計程序期間無法使用時，對應於相鄰區塊312之參考圖框330中一區塊(例如區塊342)之移動向量可做為相鄰區塊312的移動向量。然後，第一區塊302的候選移動向量可自參考圖框330中該組相對應區塊之移動向量中選出。

配合第三A圖，第三C圖為根據本發明一具體實施例中自一參考圖框中為第一區塊302選擇一匹配區塊的程序之示意圖。在一種實作中，該匹配區塊可用於決定第一區塊302之移動向量，及在一內插的圖框中一內插區塊之位置及移動向量。參考圖框350可以包括複數區塊，例如相對應區塊352。相對應區塊352廣泛地代表對應於第三A圖中第一圖框300之第一區塊302的一區塊。當第一區塊302之一候選移動向量354被選出時，一第一參考位置355可基於候選移動向量354及相對應區塊352之位置來取得。

利用第一參考位置355，可定義在參考圖框350內第一搜尋窗356。在第一搜尋窗356內的區塊可被處理，以辨識一第一匹配區塊357。一示例區塊匹配程序係計算第一搜尋窗356內每一區塊與第一區塊302之間的一第一差異(例如總和絕對差異,SAD“Sum Absolute Difference”)。具有一大的第一差異之第一搜尋窗356中的該區塊係代表該區塊與第一區塊302有一大的差異，因此較不可能成為第一匹配區塊357。另一方面，在一種實作中，具有最小第一差異的第一搜尋窗356中的該區塊有較大的可能性被認定為第一匹配區塊357。

該區塊匹配程序另可包括計算一第二差異。一示例第二差異為移動向量354與第一搜尋窗356中該等區塊之移動向量的每一者之間方向上的差異。如果在該第一搜尋窗中一特定區塊的移動向量與移動向量354指向到相同或實質上類似的方向，則該特定區塊更有可能辨識成第一匹配區塊357。另一示例第二差異為移動向量354與第一搜尋窗356中該等區塊的移動向量之每一者之間長度的差異。如果在第一搜尋窗356中一特定區塊的移動向量與移動向量354在長度上類似，則該特定區塊更有可能被辨識成第一匹配區塊357。

在先前段落中討論的多種差異為一些範例以例示本發明之一些具體實施例。它們可對應於預定數值，且這些數值可被加入或經由其它數學運算，以提供辨識第一匹配區塊357的基礎。

為了確保第一匹配區塊357的可靠性，可以定義額外的搜尋窗，例如一第二搜尋窗搜尋372。第二搜尋窗372亦可包括複數區塊。第二搜尋窗372基於第一匹配區塊357來定義，而一第二匹配區塊374可經由在第一搜尋窗356中辨識第一匹配區塊357之類似程序在第二搜尋窗372內進行辨識。換言之，第二匹配區塊374可基於第二搜尋窗372內該等區塊之每一者與第一區塊302之間的總和絕對差異(SAD)，及/或在第二搜尋窗372中該等區塊之移動向量的每一者與移動向量354間方向及/或長度間的差異來辨識。

當第二匹配區塊374並非第一匹配區塊357時，如第三C圖所示，基於第二匹配區塊374可定義另一個搜尋窗(例如一第三搜尋窗376)。一第三匹配區塊經由如上所述之類似區塊匹配程序在第三搜尋窗376內進行辨識。當該第三匹配區塊相同於第二匹配區塊374時，此第二匹配區塊374即成為該目標匹配區塊。在此，該目標匹配區塊與相對應區塊352間一移動向量378被認定為第一區塊302之移動向量。此定義一搜尋窗及找出在該定義的搜尋窗內一匹配區塊的程序可遞迴地繼續，直到在第N個搜尋窗中第N個匹配區塊相同於在第(N-1)個搜尋窗中第(N-1)個匹配區塊，其中N為正整數。

另一方面，如果第二匹配區塊374相同於第一匹配區塊357，則不再定義更多的搜尋窗。第二匹配區塊374成為第一區塊302之目標匹配區塊。然後在此目標匹配區塊與相對應區塊352間建立的一移動向量即被決定為第一區塊302之移動向量。

在某些狀況下，第一匹配區塊357雖然被辨識，其仍無法滿足某些預定的條件(例如超過一預定的差異臨界值)。在一種實作中，當第一匹配區塊357無法滿足該預定條件，第一搜尋窗356被放大，所以可以定義出一延伸的搜尋窗362。延伸的搜尋窗362基於第一參考位置355來定義。一可滿足該預定條件且位在延伸的搜尋窗362內之不同的匹配區塊364可因此被選取。此匹配區塊364可基於在延伸的搜尋窗362中該等區塊之每一者與第一區塊302間的差異，及/或在延伸的搜尋窗362中該等區塊之移動向量之每一者與移動向量354間的差異來決定，其中該等差異中至少一者低於該預定的差異臨界值。

第四圖為根據本發明一具體實施例中用於決定一第一區塊之第一移動向量的程序400之示例流程圖。在作業402中，程序400基於該第一區塊的內容選擇相鄰於該第一區塊的一第二區塊，其中該第二區塊可對應於一第二移動向量。在作業404中，程序400根據該第二移動向量及該第一區塊的位置定義一參考圖框內一第一搜尋窗。依此，程序400可辨識在該第一搜尋窗中一第一匹配區塊。該第一匹配區塊可以滿足某些預定條件。在作業406中，程序400另基於在該參考圖框內該第一匹配區塊而定義一第二搜尋窗。程序400可以定義該第二搜尋窗內一第二匹配區塊。在作業408中，程序400決定該第二匹配區塊是否為該第一匹配區塊。如果是的話，在作業412中，程序400設定該第二匹配區塊為一目標匹配區塊。在作業414中，程序400可基於該目標匹配區塊決定該第一移動向量。更特定而言，程序400可以決定該目標匹配區塊與對應於該第一區塊之參考圖框中一區塊之間的移動向量成為該第一移動向量。

在作業416中，程序400更新該第一匹配區塊為該第二匹配區塊。換言之，使用此更新機制，程序400能夠遞迴地定義搜尋窗來辨識所想要的匹配區塊。該遞迴可持續直到在第N次定義的搜尋窗中辨識的該匹配區塊相同於在前一次(即第(N-1)次)定義的搜尋窗中辨識的該匹配區塊。

在一些實作中，於作業414中已經決定該第一移動向量之後，程序400可繼續來評估此決定的第一移動向量。例如，因為在程序400中使用的第二移動向量可能來自該參考圖框，程序400在作業418中藉由確保該第二移動向量係來自該第一圖框而更微細調整在作業414中決定的該第一移動向量。換言之，程序400可重複藉由利用來自該第一圖框的該第二移動向量(而不再是來自於該參考圖框)，來定義該第一搜尋窗，並搜尋該第一移動向量。

第五圖為根據本發明一具體實施例之一示例電腦程式產品500的示意圖。電腦程式產品500包括一或多組指令502，用於執行根據本發明一具體實施例之移動估計方法。僅做為例示，指令502可以反映以上所述及第四圖所例示之程序。電腦程式產品500可記錄在電腦可讀取媒體504中。根據本發明一具體實施例，電腦程式產品500可經組態以在一運算裝置之視訊子系統中執行。例示性的電腦可讀取儲存媒體包括但不限於：(i)不可寫入儲存媒體(例如在一電腦內唯讀記憶體裝置，例如可由CD-ROM光碟機讀取的CD-ROM碟片，ROM晶片，或任何其它種類的固態非揮發性半導體記憶體)，其上可永久儲存資訊；及(ii)可寫入儲存媒體(例如在一磁碟機内的軟碟片、CD-RW碟片、DVD-RW碟片、快閃記憶體、硬碟機或任何種類的固態隨機存取半導體記憶體)，其上可儲存可改變的資訊。

上面的範例、具體實施例、指令語意以及圖式都不應該看待為唯一的具體實施例，而是用來說明下列申請專利範圍所定義的本發明彈性與優點。

101．．．運算裝置

102．．．視訊子系統

104．．．進入視訊圖框

106．．．離開視訊圖框

108．．．視訊處理器

112．．．記憶體單元

202．．．第一圖框

204．．．第二圖框

206．．．內插圖框

207．．．移動向量

208．．．區塊

212．．．區塊

214．．．內插區塊

252．．．第一圖框

254．．．第二圖框

256．．．內插圖框

258．．．區塊

262．．．區塊

264．．．移動向量

266．．．內插區塊

300．．．第一圖框

302．．．第一區塊

304-320．．．區塊

330．．．參考圖框

332-348．．．區塊

350．．．參考圖框

352．．．對應區塊

354．．．候選移動向量

355．．．第一參考位置

356．．．第一搜尋窗

357．．．第一匹配區塊

362．．．延伸搜尋窗

364．．．匹配區塊

372．．．第二搜尋窗

374．．．第二匹配區塊

376．．．第三搜尋窗

378．．．移動向量

500．．．電腦程式產品

502．．．指令

504．．．電腦可讀取媒體

所以，可以詳細瞭解本發明上述特徵之方式中，本發明的一更為特定的說明簡述如上，其可藉由參照到具體實施例來進行，其中一些例示於所附圖式中。但應注意所附圖式僅例示本發明的典型具體實施例，因此其並非要做為本發明之範圍的限制，本發明自可包含其它同等有效的具體實施例。

第一圖為根據本發明一具體實施例中一運算裝置的示例視訊子系統之簡化的方塊圖；

第二A圖為根據時間及位置於一第一圖框、一第二圖框、及一內插的圖框、及在這些圖框中之區塊之間的示例關係之示意圖；

第二B圖為一影像由一第一圖框移動到一第二圖框的示意圖；

第三A圖為具有一組區塊之示例第一圖框的示意圖；

第三B圖為一參考圖框的示意圖，其中對應於在一第一圖框中一第一區塊之相鄰區塊的該等區塊之移動向量可由此參考圖框選出；

第三C圖為根據本發明一具體實施例中自一第一圖框中一第一區塊的一參考圖框選擇一匹配區塊的程序之示意圖；

第四圖為根據本發明一具體實施例中用於決定一視訊區塊之移動向量的程序400之示例流程圖；及

第五圖為根據本發明一具體實施例之示例電腦程式產品的示意圖。

Claims (17)

1. 一種決定一第一圖框內一第一區塊的一第一移動向量之移動估計方法，該方法包含：(a)選擇相鄰於該第一區塊的一第二區塊，其中該第二區塊對應於一第二移動向量；(b)根據該第二移動向量及該第一區塊的一位置定義一參考圖框內一第一搜尋窗，藉以辨識該第一搜尋窗內一第一匹配區塊；(c)根據該第一匹配區塊的一位置定義該參考圖框內一第二搜尋窗，藉以辨識該第二搜尋窗內一第二匹配區塊；(d)更新該第一匹配區塊為該第二匹配區塊，並回到步驟(c)，在當該第二匹配區塊並非該第一匹配區塊時，更新該第二搜尋窗及該第二匹配區塊，或當該第二匹配區塊為該第一匹配區塊時，設定該第二匹配區塊為一目標匹配區塊；(e)重複步驟(d)直到該目標匹配區塊被設定為止；(f)參照該目標匹配區塊決定該第一移動向量；及如果該第一匹配區塊無法達到一第一預定臨界值時，放大該第一搜尋窗。
2. 如申請專利範圍第1項之移動估計方法，其中該選擇該第二區塊之步驟包含自相鄰於該第一區塊的一組區塊中選擇該第二區塊，其中該組區塊由該第一區塊的一內容決定。
3. 如申請專利範圍第2項之移動估計方法，其中該組區塊係來自於該第一圖框。
4. 如申請專利範圍第2項之移動估計方法，其中該組區塊係來自於該第一圖框及該參考圖框。
5. 如申請專利範圍第2項之移動估計方法，更包含在已經決定相鄰於該第一區塊的該組區塊之該等移動向量之後，更新該第一移動向量。
6. 如申請專利範圍第2項之移動估計方法，其中該第二區塊 為該組區塊當中最為可靠的區塊。
7. 如申請專利範圍第1項之移動估計方法，其中該參考圖框在該第一圖框之前被接收。
8. 一種用於預備一內插圖框的圖框昇率轉換方法，該方法包含：(a)選擇相鄰於一第一區塊的一第二區塊，其中該第二區塊對應於一第二移動向量，且該第二區塊與該第一區塊係在一第一圖框中；(b)根據該第二移動向量及該第一區塊的一位置，定義一參考圖框內一第一搜尋窗，藉以辨識該第一搜尋窗內一第一匹配區塊；(c)根據該第一匹配區塊的一位置，定義該參考圖框內一第二搜尋窗，藉以辨識該第二搜尋窗內一第二匹配區塊；(d)更新該第一匹配區塊為該第二匹配區塊，並回到步驟(c)，在當該第二匹配區塊並非該第一匹配區塊時，更新該第二搜尋窗及該第二匹配區塊，或當該第二匹配區塊為該第一匹配區塊時，設定該第二匹配區塊為一目標匹配區塊；(e)重複步驟(d)直到該目標匹配區塊被設定為止；(f)參照該目標匹配區塊決定一第一移動向量；(g)基於該第一移動向量預備該內插的圖框；及如果該第一匹配區塊無法達到一第一預定臨界值時，放大該第一搜尋窗。
9. 如申請專利範圍第8項之圖框昇率轉換方法，其中該選擇該第二區塊之步驟包含自相鄰於該第一區塊的一組區塊中選擇該第二區塊，其中該組區塊由該第一區塊的一內容決定。
10. 如申請專利範圍第9項之圖框昇率轉換方法，其中該組區塊來自於該第一圖框。
11. 如申請專利範圍第9項之圖框昇率轉換方法，其中該 組區塊來自於該第一圖框及該參考圖框。
12. 如申請專利範圍第9項之圖框昇率轉換方法，更包含在已經決定相鄰於該第一區塊的該組區塊之該等移動向量之後，更新該第一移動向量。
13. 如申請專利範圍第9項之圖框昇率轉換方法，其中該第二區塊為該組區塊當中最為可靠的區塊。
14. 如申請專利範圍第8項之圖框昇率轉換方法，其中該參考圖框在該第一圖框之前被接收。
15. 一種電腦可讀取媒體，其中包含一序列的指令用於決定一第一圖框內一第一區塊的一第一移動向量，其中該序列的指令當由一處理單元執行時使得該處理單元：(a)選擇相鄰於該第一區塊的一第二區塊，其中該第二區塊對應於一第二移動向量；(b)根據該第二移動向量及該第一區塊的一位置，定義一參考圖框內一第一搜尋窗，藉以辨識該第一搜尋窗內一第一匹配區塊；(c)根據該第一匹配區塊的一位置，定義該參考圖框內一第二搜尋窗，藉以辨識該第二搜尋窗內一第二匹配區塊；(d)更新該第一匹配區塊為該第二匹配區塊，並回到步驟(c)，在當該第二匹配區塊並非該第一匹配區塊時，更新該第二搜尋窗及該第二匹配區塊，或當該第二匹配區塊為該第一匹配區塊時，設定該第二匹配區塊為一目標匹配區塊；(e)重複步驟(d)直到該目標匹配區塊被設定為止；(f)參照該目標匹配區塊決定該第一移動向量；及在若該第一匹配區塊無法滿足一第一預定臨界值時，放大該第一搜尋窗。
16. 如申請專利範圍第15項之電腦可讀取媒體，更包含一序列的指令，其在當由該處理單元執行時使得該處理單元自相鄰於該第一區塊的一組區塊選擇該第二區塊，其中該 組區塊係由該第一區塊的一內容決定。
17. 如申請專利範圍第15項之電腦可讀取媒體，更包含一序列的指令，其在當由該處理單元執行時使得該處理單元在決定相鄰於該第一區塊的該組區塊之該等移動向量之後，更新該第一移動向量。