TWI646836B

TWI646836B - 圖框速率提升轉換方法及其架構

Info

Publication number: TWI646836B
Application number: TW106118477A
Authority: TW
Inventors: 李宇軒; 黃盟仁; 吳柏樺
Original assignee: 元智大學
Priority date: 2017-06-05
Filing date: 2017-06-05
Publication date: 2019-01-01
Also published as: TW201904261A

Abstract

本發明提出一種圖框速率提升轉換方法，包括一雙向三維遞迴搜尋演算法、一自適應搜尋範圍的雙向動態估計演算法以及一交疊區塊動態補償演算法。雙向三維遞迴搜尋演算法快速地產生初始向量，自適應搜尋範圍的雙向動態估計演算法進一步提升初始向量的精準度，接著交疊區塊動態補償演算法進行動態補償，以改善區塊效應以及提升影像品質。本發明採用預測即補償的作法，大幅提升預測的精準度，運算量大幅減少，並且不占用過高的硬體成本。此外，本發明亦提出一種圖框速率提升轉換硬體架構。

Description

圖框速率提升轉換方法及其架構

本發明係關於一種圖框速率提升轉換方法及其硬體架構。

隨著液晶顯示器(Liquid Crystal Display, LCD)的問世，其低功耗、低輻射、體積小等優勢再加上視訊廣播訊號從類比轉換為數位訊號，傳統的陰極射線管(Cathode ray tube, CRT)螢幕已逐漸被LCD所取代，早些年液晶電視剛推出時，很多人都發現液晶電視在顯示高動態影像時，畫面會變得糊糊的，在畫面上移動的物體甚至會拖個殘影，這種現象我們稱為動態模糊(Motion Blur)，這些問題大部份來自LCD的先天限制，大致上可以歸納為幾種因素：LCD液晶分子的響應時間、LCD hold-type的工作方式以及人眼的視覺系統。

針對前面所提及的三種造成動態模糊的原因，人眼的視覺系統是屬於不可抗因素，無法去做改變，其餘兩點則可以靠後期的技術去彌補動態模糊的缺陷，至今已經提出了許多解決方法。

隨著技術的演進，LCD面板的尺寸以及解析度均大幅增長，影像解析度也隨著壓縮技術的改良而向上提升，傳統的圖框速率提升轉換(Frame Rate Up-Conversion, FRUC)方法在高解析度影像下可能遭遇到各種問題，部分是演算法過於老舊無法有效率的應用在現今高解析度的畫面，部分演算法因為運算量過於龐大或是運算時間無法掌握，只適合應用於影像的後製。

有鑑於上述所衍生的各種問題，如何解決在運算量過於龐大而無法達到即時(real time)運算之問題，另外，除了運算量大之外，還需達到高記憶體頻寬的需求，因此，對於日益變大的圖框解析度，在降低運算量的同時亦要維持影像品質是一個嚴苛的挑戰。

鑒於前述之習知技術的缺點，本發明之主要目的係提供一種圖框速率提升轉換方法及期架構，採用預測即補償的方式，大幅提升了預測精準度。

為達到前述之目的，本發明提出一種圖框速率提升轉換方法，其包括以下步驟：藉由一雙向三維遞迴搜尋(bi-directional 3D recursive search; bi-directional 3DRS)演算法，接收一當前圖框(current frame)及一參考圖框(reference frame)，並依據在該當前圖框及該參考圖框之間所產生的一內插圖框(interpolated frame)來產生一初始向量；藉由一自適應搜尋範圍的雙向動態估計(adaptive search range bi-directional motion estimation; ASR Bi-ME)演算法，接收該雙向三維遞迴搜尋演算法運算後的該初始向量，依據時間-空間相關性區塊獲得一預測動態向量，進而自動地調整搜尋範圍，以優化該初始向量；以及藉由一交疊區塊動態補償(overlapped block motion compensation; OBMC)演算法，補償複數區塊的邊界不連續。

另外，本發明亦提出一種圖框速率提升轉換架構，其包括：一雙向三維遞迴搜尋(bi-directional 3D recursive search; bi-directional 3DRS)模組，接收一當前圖框(current frame)及一參考圖框(reference frame)，並依據在該當前圖框及該參考圖框之間所產生的一內插圖框(interpolated frame)來產生一初始向量；一自適應搜尋範圍的雙向動態估計(adaptive search range bi-directional motion estimation；ASR Bi-ME)模組，接收該雙向三維遞迴搜尋模組運算後的該初始向量，依據時間-空間相關性區塊獲得一預測動態向量，進而自動地調整搜尋範圍，以優化該初始向量；以及一交疊區塊動態補償(overlapped block motion compensation；OBMC)模組，補償複數區塊的邊界不連續。

11‧‧‧雙向三維遞迴搜尋演算法

13‧‧‧自適應搜尋範圍的雙向動態估計演算法

15‧‧‧交疊區塊動態補償演算法

2‧‧‧圖框速率提升轉換架構

20‧‧‧圖框速率提升轉換控制裝置

21‧‧‧雙向三維遞迴搜尋模組

211‧‧‧三維遞迴搜尋控制器

212‧‧‧第一記憶體裝置

213‧‧‧動態向量產生器

214‧‧‧動態向量比較器

215‧‧‧第一處理單元

216‧‧‧第一加法器樹

217‧‧‧第一記憶體位置控制器

23‧‧‧自適應搜尋範圍的雙向動態估計模組

231‧‧‧自適應搜尋範圍的雙向動態估計控制器

232‧‧‧第二記憶體裝置

233‧‧‧累加器陣列

234‧‧‧複數處理單元

235‧‧‧第二加法器樹

236‧‧‧第二記憶體位置控制器

25‧‧‧交疊區塊動態補償模組

S81~S85‧‧‧步驟

圖1係顯示可變動的搜尋範圍之示意圖；圖2係顯示在影像間進行峰值信噪比(peak signal-to noise ratio,PSNR)及結構性相似(structural similarity,SSIM)之示意圖；圖3係顯示本發明的圖框速率提升轉換方法之流程圖；圖4係顯示本發明的雙向三維遞迴搜尋之示意圖；圖5係顯示時間-空間相關性預測之示意圖；圖6係顯示本發明的自適應搜尋範圍的雙向動態估計之示意圖；圖7係顯示本發明的交疊區塊動態補償之示意圖；圖8係顯示本發明之圖框速率提升轉換方法之處理步驟示意圖；以及圖9係顯示本發明的一種圖框速率提升轉換架構之硬體功能方塊圖。

以下係藉由特定的具體實施例說明本發明之實施方式，熟悉此技術之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點及功效。本發明亦可藉由其他不同的具體實例加以施行或應用，本發明說明書中的各項細節亦可基於不同觀點與應用在不悖離本發明之精神下進行各種修飾與變更。

須知，本說明書所附圖式繪示之結構、比例、大小等，均僅用以配合說明書所揭示之內容，以供熟悉此技術之人士瞭解與閱讀，並非用以限定本發明可實施之限定條件，故不具技術上之實質意義，任何結構之修飾、比例關係之改變或大小之調整，在不影響本發明所能產生之功效及所能達成之目的下，均應落在本發明所揭示之技術內容得能涵蓋之範圍內。

以下依據本發明之實施例，描述一種圖框速率提升轉換(frame rate up-conversion method,FRUC)方法，以利於適應日益變大的影像解析度，在降低運算量的同時也要維持影像品質。

首先，本發明之圖框速率提升轉換方法包含以下演算法：雙向三維遞迴搜尋(bi-directional 3D recursive search；bi-directional 3DRS)演算法11、自適應搜尋範圍的雙向動態估計(adaptive search range bi-directional motion estimation；ASR Bi-ME)演算法13以及交疊區塊動態補償(overlapped block motion compensation；OBMC)演算法15。

為了節省運算資源，本發明之雙向三維遞迴搜尋(bi-directional 3DRS)演算法用於預估一初始向量，此外，為了避開在動態補償時產生的重疊或是空洞區域問題，本發明之圖框速率提升轉換方法會以雙向搜尋為基礎。

再者，對於搜尋範圍(search range,SR)的大小，傳統的動態估計(motion estimation,ME)主要運用於視訊壓縮，SR往往是一個定值，並且越大得到的壓縮效果越好，傳統的ME主要目標是在區塊匹配時要得到最小的殘值(residual)，而本發明之圖框速率提升轉換方法的目的則是要得到物體的移動向量，本質上有很大的不同，過大的SR反而會造成錯誤的動態估計，有效率的控制SR大小將會降低總體的運算量。如圖1所示，本發明採用雙向的方式進行ME，不同的是針對每一區塊位置將會給予不同的搜尋範圍，變化大的區域將會自適應的擴大搜尋範圍，反之則縮小，如此一來，便能將運算資源專注在影像動態高的區域，進而提升整體影像的品質。

另一方面，為了提升ME的精準度，本發明考慮到影像間的相似性，如圖2所示，在時間為t的影像，使用時間t-1及t+1兩張影像進型線性內插模擬，因此在動態估計的一部份，本發明會把已動態補償的畫面當作一參考影像，也因為如此，傳統的流程必須改為每處理完一區塊就必須把畫面即時的補償出來，以供後面的區塊做參考。

在這個架構下，本發明的圖框速率提升轉換可以表示為：其中，m _f,t-1是前一張影像的向量場，m _i,t是3DRS所產生的初始向量場，m _f,t是最後運算出來的向量場，是未完成的內插圖框，其中，本發明的圖框速率提升轉換方法之流程圖如圖3所示。

本發明採用3DRS來產生初始向量。然而，原始的3DRS是屬於單向的搜尋，所產生的向量場若要套用在雙向ME上，演算法勢必要經過轉換，這將會導致演算法的複雜度提升，為了避開此問題，本發明直接將3DRS的搜尋改為雙向的型態，如圖4所示，本發明稱為雙向三維遞迴搜尋，因此，所產生的向量場將可以直接應用於之後的雙向ME。

在公式(1)中的條件機率說明m _i,t是由f _t-1、f _t+1及所共同預測出來，是前一張內插影像的最終的向量場。如上述所提，本發明使用最大後驗機率(MAP)來解決此問題，公式(2)、(3)決定了初始向量m _i,t是如何被預測到，而先驗機率Pr(m _i,t)定義如公式(4)所示，CS _i是3DRS演算後的候選向量集合(candidate vector set)，如圖4所示，集合成員包含區塊(Sa,Sb)、(Ta,Tb)的移動向量、零向量及兩個由Sa、Sb更新後的新向量，也就是說，CS _i共有7個候選向量成員，將從這7個向量中找出最匹配的向量當作初始向量。

值得一提的是，有許多的方法都使用3DRS找尋初始的向量場，然而，普遍的做法是將整張影像完全進行3DRS後才繼續後一級的優化處理，如此將會產生一問題，也就是3DRS選用的區塊Sa、Sb兩個候選向量不夠精確，上述的3DRS缺點就是預測出來的移動向量不夠精準，而把這不精準的移動向量當作候選向量的其中一成員自然效果會大打折扣。反之，在本發明逐個區塊完成FRUC的方法中，雙向3DRS候選成員Sa、Sb採用最終已優化的移動向量m _f,t，如此將一定程度的改善3DRS天生的缺陷。

在經過雙向3DRS演算法的運算後，初始向量m _i,t已被預測出來，雖然可以正確地找到物體的動態，但精確度稍嫌不足，有必要再進行優化初始向量，進而提升補償影像的品質，為了能提高向量的精準度，本發明採用雙向估計(Bi-ME)做進一步的動態預測，傳統的Bi-ME具有兩個缺點，首先是Bi-ME預測精準度沒有Uni-ME好，另一問題是運算時採用全搜尋會耗用很大的運算資源，為了解決上述的問題，本明提出一些方法來補救Bi-ME。

傳統的ME僅考慮預測時的時間相關性，也就是說，預測時只考慮到f _t-1及f _t+1，而空間相關性也是需要被考慮到。為了提高預測的精準度，將補償的畫面納入Bi-ME作為一參考條件，例如，條件機率，成本函數可表示如公式(5)、(6)所示。在公式(5)中的第一項就是傳統ME，考慮時間相關性的預測，而第二項就是空間相關性的預測，f _t-1及f _t+1先合併為一預測的影像，然後再跟內插的影像進行匹配，而x _T及x _Ｓ相對的位置，如圖5所示，也就是說，第二項預測在於考慮區塊邊界的連續性，將可以減少補償畫面的區塊效應，有效地提升整體質量，也可以降低誤預測MV的發生率，提高Bi-ME預測的可靠性。

另一方面，傳統的全搜尋需要龐大的運算資源，而在FRUC上卻顯得影像品質的提升不如預期，因此，本發明提出一自適應搜尋範圍雙向動態預測演算法，可以自動地調整搜尋範圍大小，影像動態大的區域使用較大的SR，而影像動態小的地方使用較小的SR，整體概念如圖6所示，m _p是由Bi-3DRS的初始向量m _i,t及前一張內插影像的向量m _f,t-1所共同決定，斜線是目前正在運算的區塊，白色虛線方塊是經由m _p向量軌跡所指定到的區塊，搜尋範圍將會以此為中心向外擴展，先驗機率Pr(m _f,t)決定可能的搜尋範圍，如公式(7)、(8)所示，下標x及y分別表示水平及垂直方向的分量，SR是由m _i,t及m _f,t-1所共同決定。

自適應搜尋範圍的雙向動態估計匹配的模式如圖5所示，分別為時域(虛線)與空間域(實線)兩個預測，其中，虛線為原始的方法，而實線為提出新增方法，增加了邊界匹配的預測。

當物體的移動向量已被預測出來後，接著就是要進行影像補償的動作，通常在BMA FRUC的方法為了運算的效率僅將移動向量指到的兩個區塊作線性內插當作補償塊，在單向動態估計(Uni-ME)方法中需要額外處理重疊或空洞區塊，在Bi-ME則沒有這個問題，取而代之的是相對嚴重的區塊效應(blocking artifacts)，為了解決這個問題，本發明亦提出交疊區塊動態補償(overlapped block motion compensation,OBMC)演算法來改善區塊邊界不連續的問題。為了解決這個問題，補償方式如圖7所示，其中，左斜線的區域是已完成的補償畫面，右斜線的區域則是未完成的區域，當在執行OBMC演算法時，粗實線的部分會與未完成的區域做邊界的重合，如圖5所示，完成後則變為左斜線的區域f _t，粗虛線部分則補償暫時性的預測畫面f_t ^*，以供未來進行預測使用，如公式(9)所示：其中，x _f*、x _f分別表示粗虛線及粗實線的Pixel位置，本發明之交疊區塊動態補償演算法確保補償畫面各個位置都會均勻的覆蓋重疊到，並且保持計算的一致性，有利於處理單元(process element)平行化的展開。

本發明的OBMC演算法之匹配模式，如圖7所示，分別為時域(粗虛線)與空間域(粗實線)兩種補償，其中，粗實線區域為擴張邊界交疊的補償。在實驗時以我們的演算法為基礎分別採用原始的補償與所提出的邊界補償。

關於搜尋範圍(SR)，先驗機率Pr(m _f,t)決定了移動向量可能的預測範圍，為了節省運算資源適度的控制SR大小也是經常被使用的手段之一，在本發明之實施例中，將相鄰向量之間的相關性去分析一可行的方案。

在許多視訊壓縮ME演算法中，MVP(motion vector predictor)被當作動態預測的起始點，由於相鄰MV間具有高度的相關性，於是MVP經由這些時間或空間相鄰的MV所共同預測出來，而在經過ME搜尋後所找到的FMV(final motion vector)與MVP之間的差值則是MVD(motion vector difference，MVD)的分布情形十分近似柯西分布，其公式(10)如下所示：

γ決定了模型兩側的傾斜度，x ₀是模型的偏移度。當考慮MVP、MVD與FMV的關係時，想像移動中的一物體，將它切割成複數個區塊，當要賦予這些區塊移動向量時，可以很直觀的說這些區塊的移動向量會是一樣的，換言之，當我們要尋找一區塊的移動向量時，由於相鄰區塊間向量的高度相關性，有極高的機率最終FMV就是相鄰區塊的FMV，所以可以將這些相鄰的FMV當作是目前區塊可能的FMV來看待，而這些FMV與目前MVP的差值(也就是MVD)就會如上述所呈現柯西分布的型態，換句話說，這裡的MVD就是SR中的一個可能性，必須給予足夠的SR，以至於能搜尋到MVD。

MVD、MVP及FMV可分別以m _d、m _p、m _f表示，如上所述，MVP是由相鄰的FMV所共同所決定，以相鄰區塊FMV的平均值作為mvp，如公式(11)所示，m _fi表示相鄰的m _f、N為取樣個數。接著找出MVD，並求出在一標準差範圍內的公式，而FMV減掉MVP即為MVD，如公式(12)所示，最後導出m _d的標準差公式(13)、(14)，μ、σ分別表示m _d的平均值與標準差。

m _di=m _fi-m _p,i=1~m (12)

為了降低整體的運算複雜度，本發明僅取m _i,t及m _f,t-1分別當作空間及時間相關性m _f，經由公式(11)可以得到自適應搜尋範圍的雙向動態估計演算法所使用的m _p，如公式(15)所示：

在計算出m _p後，接著藉由公式(12)、(13)、(14)求出σ，σ即是搜尋範圍SR，也就是說，當SR的值設定為σ時，經搜尋後最終可得到的移動向量精準度會達到全搜尋的80%以上，而計算出來的σ如公式(16)所示，在與公式(8)比較後，發現兩個公式差了+1，這是為了補償m _f取樣數不足所造成的誤差以及提升搜尋涵蓋範圍而做的小修正，以確保最低搜尋範圍為1，因此，先驗機率Pr(m _f,t)已建構在自適應搜尋範圍的模型上。

具體而言，本發明所提出的圖框速率提升轉換方法，包括以下步驟S81~S85：步驟S81：藉由一雙向三維遞迴搜尋演算法，接收一當前圖框(current frame)及一參考圖框(reference frame)，並依據在該當前圖框及該參考圖框之間所產生的一內插圖框(interpolated frame)來產生一初始向量；步驟S83：藉由一自適應搜尋範圍的雙向動態估計演算法，接收該雙向三維遞迴搜尋演算法運算後的該初始向量，依據時間-空間相關性區塊獲得一預測動態向量，進而自動地調整搜尋範圍，以優化該初始向量；以及步驟S85：藉由一交疊區塊動態補償(overlapped block motion compensation；OBMC)演算法，補償複數區塊的邊界不連續。

此外，本發明亦提出一種圖框速率提升轉換架構2，其主要硬體架構區塊如圖9所示，主要分為三大模組：一雙向三維遞迴搜尋模組21、一自適應搜尋範圍的雙向動態估計模組23以及一交疊區塊動態補償模組25，雙向三維遞迴搜尋模組21先找到初始的MV後，再傳給自適應搜尋範圍的雙向動態估計模組23，進而找到最佳的MV，而最上層的圖框速率提升轉換控制裝置20則控制及協調雙向三維遞迴搜尋模組21、自適應搜尋範圍的雙向動態估計模組23及交疊區塊動態補償模組25之間的運作。

雙向三維遞迴搜尋模組21可以包括以下模組：一三維遞迴搜尋控制器(3D recursive search controller)211、一第一記憶體裝置(first memory device)212、一動態向量產生器(motion vector generator)213、一動態向量比較器(motion vector comparator)214、一第一處理單元(process element)215及一第一加法器樹(adder tree)216，三維遞迴搜尋控制器211負責產生相應的參數並控制其餘區塊的運作，第一記憶體裝置212則儲存向量場的資訊，動態向量產生器213負責存取SRAM並產生複數個候選向量集合，動態向量比較器214比對候選向量之間有無重複或是是否有效值，第一處理單元215及加法器樹216負責計算相應區塊的匹配值，並進行累加。另外，雙向三維遞迴搜尋模組21復包括一第一記憶體位置控制器217。

自適應搜尋範圍的雙向動態估計模組23包括以下模組：一自適應搜尋範圍的雙向動態估計控制器(ASR Bi-ME controller)231、一第二記憶體裝置(second memory device)232、一累加器陣列233、複數處理單元234及一加法器樹235，自適應搜尋範圍的雙向動態估計控制器231負責產生相應的參數並控制其餘區塊的運作，第二記憶體裝置232儲存內插圖框資訊(也就是的部分)，累加器陣列233儲存複數個區塊匹配時的Pixel資訊，複數處理單元234及一第二加法器樹則235負責計算相應區塊間的匹配值，並進行累加。此外，自適應搜尋範圍的雙向動態估計模組23復包括一第二記憶體位置控制器236。

本發明之圖框速率提升轉換架構同時以特殊應用積體電路(Application-Specific Integrated Circuit,ASIC)及場式可程式化邏輯閘陣列(Field Programmable Gate Array,FPGA)方式實現，在ASIC方式中，以Verilog硬體描述語言實現本發明之圖框速率提升轉換的硬體架構，並使用TSMC 0.18um製程；在FPGA方式中，使用Xilinx Spartan-6為核心來實現本發明之圖框速率提升轉換架構的硬體。

綜上所述，本發明採用預測即補償的作法，大幅提升預測的精準度，並且實驗結果顯示平均峰值信噪比(peak signal-to noise ratio,PSNR)提升了10%以上，運算量更是大幅節省85%以上，此外，不占用過高的硬體成本。

儘管已參考本申請的許多說明性實施例描述了實施方式，但應瞭解的是，本領域技術人員能夠想到多種其他改變及實施例，這些改變及實施例將落入本公開原理的精神與範圍內。尤其是，在本公開、圖式以及所附申請專利的範圍之內，對主題結合設置的組成部分及/或設置可作出各種變化與修飾。除對組成部分及/或設置做出的變化與修飾之外，可替代的用途對本領域技術人員而言將是顯而易見的。

Claims

一種圖框速率提升轉換方法，包括以下步驟：藉由一雙向三維遞迴搜尋(bi-directional 3D recursive search, bi-directional 3DRS)演算法，接收一當前圖框(current frame)及一參考圖框(reference frame)，並依據在該當前圖框及該參考圖框之間所產生的一內插圖框(interpolated frame)來產生一初始向量；藉由一自適應搜尋範圍的雙向動態估計(adaptive search range bi-directional motion estimation, ASR Bi-ME)演算法，接收該雙向三維遞迴搜尋演算法運算後的該初始向量，依據時間-空間相關性區塊獲得一預測動態向量，進而自動地調整搜尋範圍，以優化該初始向量；以及藉由一交疊區塊動態補償(overlapped block motion compensation, OBMC)演算法，補償複數區塊的邊界不連續。
如申請專利範圍第1項所述之圖框速率提升轉換方法，其中，該自動地調整搜尋範圍之步驟包含以下步驟：計算該時間-空間相關性區塊之動態向量的平均值；依據該時間-空間相關性區塊之動態向量的該平均值來計算相應的動態向量差值；計算該動態向量差值的平均值及標準差；以及該動態向量差值之該標準差為該搜尋範圍。
如申請專利範圍第1項所述之圖框速率提升轉換方法，其中，該補償複數區塊的邊界不連續之步驟包含以下步驟：當已完成補償的區塊邊界與未完成補償的區塊有重合時，該未完成補償的區塊與該已完成補償的區塊邊界之重合部分會被補償；以及除了該重合部分被補償之外，該未完成補償的區塊的其餘部分會被補償成為暫時性預測區塊，以供未來做預測用。
一種圖框速率提升轉換架構，包括：一雙向三維遞迴搜尋(bi-directional 3D recursive search; bi-directional 3DRS)模組，接收一當前圖框(current frame)及一參考圖框(reference frame)，並依據在該當前圖框及該參考圖框之間所產生的一內插圖框(interpolated frame)來產生一初始向量；一自適應搜尋範圍的雙向動態估計(adaptive search range bi-directional motion estimation; ASR Bi-ME)模組，接收該雙向三維遞迴搜尋模組運算後的該初始向量，依據時間-空間相關性區塊獲得一預測動態向量，進而自動地調整搜尋範圍，以優化該初始向量；以及一交疊區塊動態補償(overlapped block motion compensation; OBMC)模組，補償複數區塊的邊界不連續。
如申請專利範圍第4項所述之圖框速率提升轉換架構，復包括：一圖框速率提升轉換控制裝置，控制該雙向三維遞迴搜尋模組及該自適應搜尋範圍的雙向動態估計模組之間的運作。
如申請專利範圍第4項所述之圖框速率提升轉換架構，其中，該雙向三維遞迴搜尋模組包括：一三維遞迴搜尋控制器(3D recursive search controller)，產生相應的參數，並控制該複數區塊的運作；一第一記憶體裝置(first memory device)，儲存向量場的資訊；一動態向量產生器(motion vector generator)，存取該記憶體裝置，並產生複數候選向量；一動態向量比較器(motion vector comparator)，比對該複數候選向量之間有無重複或是否為有效值；以及一處理單元(process element)及一第一加法器樹(adder tree)，計算相應區塊的匹配值，並累加在一起。
如申請專利範圍第6項所述之圖框速率提升轉換架構，其中，該記憶體裝置為一揮發性記憶體或一非揮發性記憶體。
如申請專利範圍第6項所述之圖框速率提升轉換架構，其中，該雙向三維遞迴搜尋模組復包括：一第一記憶體位置控制器。
如申請專利範圍第4項所述之圖框速率提升轉換架構，其中，該自適應搜尋範圍的雙向動態估計模組包括：一自適應搜尋範圍的雙向動態估計控制器(ASR Bi-ME controller)，產生相應的參數，並控制該複數區塊的運作；一第二記憶體裝置(second memory device)，儲存內插圖框的資訊；一累加器陣列，儲存該複數區塊匹配時的Pixel資訊；以及複數處理單元及一第二加法器樹，計算相應區塊的匹配值，並累加在一起。
如申請專利範圍第9項所述之圖框速率提升轉換架構，其中，該自適應搜尋範圍的雙向動態估計模組復包括：一第二記憶體位置控制器。