TWI432017B - 用於移動補償畫面速率轉換器之系統與方法 - Google Patents

Description

用於移動補償畫面速率轉換器之系統與方法

本發明一般係有關用於移動補償畫面速率轉換器之系統與方法。

典型的電影影片是以24Hz、25Hz或者30Hz而記錄。普通視訊攝像機的畫面速率是50Hz和60Hz。在另一方面，商業上可用的電視顯示器具有高達120Hz的畫面速率，並且使用逐行持續掃描或者隔行交錯掃描。因此，為了以高階電視顯示器對廣播視頻形成介面，來自廣播視頻的原始序列需要使用例如畫面速率轉換器進行向上變頻轉換。在來自較低頻率來源裝置的畫面序列仍需要被寄存在較高頻率目標顯示器的情況下，畫面速率轉換器典型地藉由在某些時刻插入影像畫面而操作。

在簡單的畫面速率轉換器中，畫面經常在目標顯示器中被重複，一直到來自來源裝置的下一個畫面抵達為止，這在發生移動時經常導致模糊和顫抖。可以將移動估計和補償電路使用娛畫面速率轉換器中，以減少這些不想要之效應，且達成移動序列的高性能表現轉換。移動補償藉由依據元素移動方向與速率以估計這些插入畫面元素之位置而進行操作。然後，這些方向和速度值可被表示為移動向量，且被用於將元素“移動”至最近被插入畫面中之正確位置。如果被正確地應用此技術，則其影響可以在涉及移動之任何畫面序列上立即可見，而所產生之畫面與向上變頻轉換之前的原始序列幾乎無法區分。

因此，另人想要決定方法與系統，其將與移動補償畫面速率轉換有關之計算成本最小化，而同時使其估計準確度最大化。例如，可以設計各種移動補償設計，且應用至來源畫面序列中不同區域，以便達成在移動補償效率與所產生經插入畫面準確度之間達到平衡。而且，移動補償設計本身可以被個別地最適化，以實現效率與準確度之平衡。此外，可以設計移動補償畫面速率轉換器的整個系統結構，以藉由使得此結構與各種顯示裝置相容，而增強其應用和使用中之變化通用性。

本發明涉及系統和方法，用於估計輸入信號的一對時間上相鄰的畫面之間的整體與局部移動，且用於應用這些移動向量，以在此等畫面之間產生至少一個插入移動補償畫面。

根據本發明的一個方面，提供一種移動補償畫面速率轉換器(MCPRC)，以估計輸入信號的連續畫面間的物件移動。首先，信號被MCPRC的處理模組所處理，以隔離畫面上的主要區域。然後，使用MCPRC的移動補償畫面速率轉換器(MCFRC)以使用一組仿射(affine)移動參數，以估計任何兩個連續畫面間之整體移動。此外，MCFRC使用一組移動向量來估計畫面之間的局部移動，其各個移動向量為局部移動向量或經修正整體移動向量。

在一個實施例中，MCFRC包括整體仿射移動估計引擎，其經由兩級過程來產生此一組仿射移動參數。特定而言，提供整體平移估計和仿射預測模組，以在參數在仿射參數精修模組中被精修之前，產生參數的粗略位準估計。

在一個實施例中，使用MCFRC的局部移動修正模組，藉由辨識與參考畫面上所感興趣區域鄰近的相鄰區域，而產生目前畫面上的感興趣區域的移動向量。然後，可以依據針對於參考畫面所計算的相鄰區域的移動向量，來計算感興趣區域的移動向量。所產生的移動向量是局部移動向量。

在一個實施例中，使用MCFRC的局部移動修正模組、依據對於靠近感興趣區域之相鄰區域所計算的仿射移動參數，而產生目前畫面上的感興趣區域的移動向量。所產生的移動向量是經修正整體移動向量。

在一個實施例中，使用邊緣遮罩與分割遮罩之組合，決定目前畫面的前景區域，以使用局部移動向量或者經修正整體移動向量來進行移動補償。此兩個向量之間的選擇可以依據：由於將各此兩個向量應用至所感興趣區域所產生之估計誤差。

在本發明的另一方面中，提供整體仿射移動估計引擎的整體平移估計模組，來估計目前畫面和參考畫面之間的整體平移移動。該模組藉由使用相位相關技術，以產生一組仿射參數而操作，以粗略估計畫面間的整體平移移動。相位相關技術首先藉由特定的抽取(decimate)因數以抽取各目前畫面和參考畫面。然後對所得到的經抽取的目前畫面和參考畫面進行傅立葉轉換。然後，從與經轉換參考畫面相對應的相位中減去與經轉換目前畫面相對應的相位，以產生相位差異陣列。然後，對該相位差異陣列的指數進行逆傅立葉轉換，以產生相關表面。可以使用相關表面的最大值、和該最大值在相關表面上的位置，以計算與整體平移移動有關的仿射參數。

由該粗略位準估計所產生的仿射參數可以在整體仿射移動估計引擎的仿射參數精修模組中被進一步精修。該模組使用如此的精修技術，此精修技術依據首先使用從粗略位準估計所獲得的仿射參數，以更新參考畫面。然後，獲得經更新參考畫面與目前畫面間之差異，且將其用於精修仿射參數，而將經更新的參考畫面和目前畫面之間的差異最小化。

根據本發明的另一方面，提供MCFRC的局部移動修正模組，來計算目前畫面上的感興趣區域的移動向量。在該模組中所執行的計算是依據：從整體仿射移動估計模組所獲得的一組整體仿射移動參數。特別是，使用仿射參數產生分割遮罩，以辨識目前畫面的前景(foreground)區域和背景(background)區域。然後，產生物件邊緣強度圖，來辨識目前畫面上的具有顯著邊緣強度的區域。隨後，依據與感興趣區域有關的前景區域、背景區域和顯著邊緣強度區域，以選擇用於目前畫面上的感興趣區域之適當移動估計設計。

在一個實施例中，移動估計設計是經修正整體移動估計設計與局部移動估計設計之一。

在一個實施例中，藉由首先使用仿射參數以更新參考畫面，而產生分割遮罩。然後，獲得經更新參考畫面和目前畫面間的差異畫面。然後，將差異畫面各區域與臨界值進行比較，而將該區域分類為前景區域和背景區域之一。

在一個實施例中，該分割遮罩在第二過程中被進一步精修以產生最終分割遮罩。該過程包括首先決定初始分割遮罩上之物件具有至少兩個被連接區域。然後，量化各被辨識的物件所佔面積。隨後，將各經量化面積與臨界值比較，而將物件各被連接區域重新分類為前景區域和背景區域之一。

在一個實施例中，藉由首先產生與目前畫面上的每個區域的垂直方向和水平方向相關的一個或更多個特徵值，來產生物件邊緣強度圖。然後決定特徵值的最大值。具有大約在由此最大值所限定的範圍內的特徵值的每個區域都被分類為具有顯著邊緣強度。

在一個實施例中，中值濾波器、邊緣濾波器和高斯濾波器中的至少一個被應用於產生用於感興趣區域的移動向量。

在一個實施例中，在MCFRC中所產生的移動向量被用於產生被插入在目前畫面和參考畫面之間的移動補償畫面，此移動向量分別是整體仿射移動向量、局部移動向量、或者經修正整體移動向量。

根據本發明的另一方面，MCPRC包括用於處理MCFRC的輸出信號的後處理模組，其中輸出信號的畫面速率高於輸入信號的原來畫面速率。

在一個實施例中，後處理模組位於處理模組和MCFRC之間，以進一步處理來自處理模組的信號。此外，後處理模組的輸出信號被調整為具有大約等於輸入信號的原來畫面速率的畫面速率。

在一個實施例中，處理模組包括電路用於執行降雜訊與解交錯中的至少之一。後處理模組包括電路：用於執行畫面影像調整、增強和顏色管理中的至少之一。

第1圖顯示根據本發明一個方面的移動補償畫面速率轉換器(MCPRC)電路100的高階圖。具有離散的視頻畫面序列的輸入信號102被輸入到MCPRC電路100，其經由MCPRC電路100的模組104、108、112和116而產生經向上變頻轉換的移動補償輸出信號128。以下將說明MCPRC電路100的各個模組。在向上變頻轉換之後，來自MCPRC電路100的輸出信號128的畫面速率典型地遠高於輸入信號102的畫面速率。例如，輸入視頻信號102可以從具有60Hz畫面速率的視訊攝像機產生。該視頻信號可能需要使用MCPRC電路100被向上變頻轉換，以適合於在例如具有120Hz刷新速率的LCD面板顯示器上輸出。通常，畫面速率向上變頻轉換是藉由在每對時間相鄰的輸入畫面之間注入預定數目的獨特畫面而達成。這些中間畫面可以被產生以近似地捕捉畫面間物件的移動軌迹，以增強視頻影像序列在向上變頻轉換之後被顯示時的整體平滑度。

參考第1圖，輸入信號102首先被前端模組104進行向下變頻轉換和解調變處理。該前端模組104可以包含：諸如調諧器、解調器、轉換器、編解碼器、類比視頻解碼器等的元件。然後，來自前端模組104的輸出106被向下游傳送至降雜訊與解交錯模組108，其將信號106從其原來依據隔行交錯掃描的形式轉換為高品質逐行持續掃描輸出110，同時實現類比雜訊和諸如區塊雜訊(block noise)和蚊式雜訊(mosquito noise)之類的壓縮雜訊的顯著降低。此所產生之逐行持續掃描輸出110隨後被饋送到移動補償畫面速率轉換(MCFRC)模組112，該模組產生經移動補償插入的畫面，以產生視頻輸出序列114。視頻輸出序列114的畫面速率可高於原始輸入信號102的原來畫面速率。以下說明MCFRC模組112進一步的操作細節。然後，經向上變頻轉換的視頻輸出114被後處理模組116處理，後處理模組116對視頻信號114施加額外的視頻增強功能，例如典型地存在數位視頻管道中之轉換、邊緣增強、顏色管理、畫面控制等。

在一些實施例中，第1圖所示的整個MCPRC結構可以在單個晶片上被執行。在一個典型結構中，該MCPRC晶片可以被合併到電視電路中，其中MCPRC晶片的經向上變頻轉換、後處理的輸出128、被傳送至用於視頻的外部顯示面板。然而，如果後處理模組116與過程管道去耦接，而被建立在顯示面板中，則MCPRC系統100的可使用性嚴重受限。這是因為因為：信號114從晶片被傳送到LCD顯示器時所佔用的帶寬遠高於輸入信號102的原來畫面速率。因此，在許多例子中，可能無法找到電視電路能夠藉由其與LCD顯示器通信的匹配高帶寬介面。然而，將MCPRC結構100包封在單一晶片中之優點在於其方便系統100的各種元件之間的資訊交換。

第2圖說明另一MCPRC組態200的高階圖式，其中第1圖的MCFRC模組112和後處理模組116的配置被調換，以致於後處理模組216在視頻在第2圖的MCFRC模組212處被向上變頻轉換至較高帶寬之前被應用。藉由將向上變頻轉換功能放在過程管道之最後步驟，向上變頻轉換功能可以與其他電路隔離。因此，該配置可以允許模組204、208和216與MCFRC模組212分離。在某些實施例中，模組204、208、216和212與第1圖中其對應模組104、108、116和112在結構上類似。在一個典型結構中，包含模組204、208和216的晶片可以被整合至電視接收器電路中，並且可以輸入信號202的原來畫面速率操作，而MCFRC模組212被整合在與其他處理單元相分離的LCD顯示面板中。在這種配置中，從電視電路到LCD顯示面板的傳輸信號214佔用本地帶寬，該本地帶寬相當低於LCD面板顯示器所需要的向上變頻轉換之帶寬。電視接收器電路能夠經由諸如低電壓差分信信(LVDS)通道之類的標準視頻/顯示介面而與LCD顯示器通信。該低帶寬介面提升系統200的變化通用性，因此允許任何數目的不同顯示面板被連接到電視接收器電路。

如同第1圖與第2圖中所示，各提供視頻資訊信號路徑118和218，以方便資訊在相應的MCPRC系統100和200中的模組之間的傳送。特別是，被傳送到MCFRC模組112和212的資訊例如包括：關閉的標題顯示的位置、螢幕上顯示的存在、各個輸入信號102和202的原來畫面速率、以及各個輸入信號102和202的原來和活性視頻邊界。

在所說明的MCPRC系統100和200中，輸入視頻信號102和202的範圍可以從標準解析度(NTSC/PAL/SECAM)到高解析度，並且可以是依據隔行交錯或逐行持續掃描。在一些例中，視頻信號解析度甚至低於具有低畫面速率的標準解析度。例如，輸入視頻信號可能是來自諸如iPod之類的攜帶型媒體播放器中的連接器裝置的每秒15或30畫面的QVGA(320×240)輸入。在某些例中，可以將低解析度視頻信號經由連接器裝置饋送到個人媒體播放器或者多媒體行動電話中的視頻接口(video dock)，其中該接口可以包含積體電路，該積體電路能夠執行例如從5fps的320×160到60fps的720×480的空間和時間轉換。經交錯的輸入可由源自視頻或者源自膠片的材料組成。源自視頻的材料在被輸入到MCFRC模組112和212之前、可以首先被解交錯且從場速率被轉換為畫面速率。源自膠片的材料被轉換為其原始的逐行持續格式以輸入到MCFRC模組112和212。

第3圖說明各別是第1圖和第2圖中的MCFRC模組112和212的典型實現方式300，用於提供輸入視頻信號302中的多對連續畫面之間的物件移動估計。對於各對將被插入之連續畫面，兩個畫面中的前者被稱為“參考畫面”，兩個畫面中的後者被稱為“目前畫面”。根據第3圖中MCFRC模組300之說明性實施例，輸入信號302被MCFRC控制單元304處理，以為移動估計引擎306中的移動補償和移動補償插入模組310中的移動插入作準備。特別是，移動估計引擎306使用從MCFRC控制單元304經由連接322和324所傳送的經處理的畫面資訊，為輸入序列302中的每對連續畫面產生整體和局部移動補償資訊。然後，所產生之整體和局部移動補償資訊被經由連接308傳送到移動補償插入模組310，並且被經由連接322和324傳送到MCFRC控制單元304。在一些例中，執行移動補償插入的決定、可以與視頻輸入信號302和藉由視頻資訊信號316獲得的輸入的任何附加視頻資訊一起，從控制單元304被傳送到移動補償插入模組310。依據從MCFRC控制單元304和移動估計引擎306所獲得的資料，可以在移動補償插入模組310處執行移動補償插入，以便以所想要的畫面速率產生視頻影像序列，其中該序列由時間上散佈在原始視頻畫面序列中的被插入畫面組成。在一些例中，MCFRC控制單元304可以經由連接326傳送控制信號到移動補償插入模組310，以放棄一部分視頻信號的插入。此外，來自移動估計引擎306的視頻畫面資訊、視頻資訊信號316、以及視頻輸入302，亦可以經由輸出314傳送到其他處理區塊以供進一步處理。以下將更詳細地說明，移動估計引擎306、移動補償插入模組310、以及MCFRC控制單元304之操作。

第3圖的MCFRC控制單元304藉由試圖消除可能影響移動預測和隨後的視頻插入的質量的某些畫面特徵，來處理輸入視頻信號302的各畫面。這種信號處理對於整體仿射移動估計功能模組318而言尤其重要，在整體仿射移動估計功能模組318中，只有“真實”影像應當被用作整體移動估計的基礎。例如，如果輸入視頻信號302是包括諸如柱盒式(pillar box)和子標題之類的特徵的DVD，則MCFRC控制單元304較佳從每個DVD畫面中去除柱盒式，並且在畫面被傳送到移動估計引擎306之前，辨識子標題與該畫面合併之區域。在輸入信號302是廣播視頻信號的例中，MCFRC控制單元304優選地辨識與每個視頻畫面相關聯的靜態通道標誌和斷續器符號(ticker symbol)，其中斷續器符號經常以與畫面中的其餘場景相比完全相反的方向上的恒定速度滾動。然後，經處理的畫面序列經由連接322和324、傳送到移動估計引擎306以用於局部和整體移動估計。

在另一實施例中，輸入視頻信號302和關於輸入視頻信號302的附加資訊被分別經由輸入316和330傳送到MCFRC控制單元304。特別是，視頻資訊信號316提供關於輸入視頻信號302的附加資訊，例如應被添加到視頻中的綜合資訊、或者可能影響所估計移動向量準確度的視頻起源的資訊。例如，如果已知輸入信號是電腦圖形信號，則與源自視頻的信號相比，該信號可能在水平方向和垂直方向上都具有非常尖銳的過渡。一旦該資訊被提供給移動估計引擎306，與源自圖形的視頻輸入相關聯的移動向量典型地就被更準確地預測。然而，如果視頻起源未被提供給移動估計引擎306，則所產生的移動向量可能就被不正確地預測抵達。

根據另一實施例，可以提供“場景切割”檢測電路以判斷是否針對視頻信號內的特定畫面，將移動補償插入模組310去能。移動補償插入系統在場景改變期間可能無法提供準確的移動估計。因此，當這些不利影響會主導所產生之經向上變頻轉換之視頻序列時，可以中止輸入信號302的移動補償插入。可以在MCFRC控制單元304中，依據對經由連接322和324從移動估計引擎306接收到的整體和局部移動資訊的分析，判斷以決定暫時中止插入。MCFRC控制單元304可以經由通信連接326將移動補償插入模組310致能或去能。如果作出實施插入的決定，則MCFRC控制單元304將來自通道330的輸入視頻信號302、來自通道316的可選視頻資訊信號、來自連接322的整體移動信號、以及來自連接324的局部移動信號傳送到移動補償插入模組310，以準備進行移動補償插入。否則，資訊可以被選擇性地經由輸出314傳送到後續級。應該瞭解，MCFRC控制單元304也可以使用任何其他標準移動補償插入致能或去能。

第4圖提供了第3圖所描述移動估計引擎306的整體仿射移動估計模組318的典型實現方式400。整體仿射移動一般指的是在視頻序列的背景中的像素移動，這通常是由於諸如變焦、搖擺(pan)、或旋轉之類的攝影機移動而導致。在一些實現方式中，可以假設視頻畫面序列中的背景像素都經歷單一共同整體移動。整體仿射移動估計通常用幾個基本參數來提供背景移動的模式。特別是，仿射模型只使用六個仿射參數來表示一對給定的畫面之間的整體移動軌迹。仿射參數中的兩個是用於捕獲攝影機的變焦移動的轉換參數，兩個是旋轉參數，並且此外兩個是用於捕獲搖擺移動的平移參數。這六個仿射參數在整體移動預測方面提供了極大的靈活性。

如同第4圖中所說明，整體仿射移動估計模組400是兩級的過程，其中第一級402提供對一組用於以粗糙的解析度捕獲任何一對畫面之間的整體移動的仿射參數的粗略估計。更特定而言，第一級用相位相關設計來估計與整體平移移動有關的兩個仿射平移參數，其將參考第5－7圖詳細說明。第一級也預測涉及整體旋轉和縮放移動的剩下四個仿射參數。這些預測依據由過去的估計(例如根據先前的多對畫面)所計算的相應仿射值。然後，所得到的仿射參數被傳送至第二級406，以便在更精細的影像解析位準下進行精修。

特定而言，根據第4圖中的實施例，具有畫面序列的活性視頻輸入信號404被提供到整體仿射移動估計模組400的級402。在某些實施例中，諸如子標題、OSD選單等的所有非實質視頻資訊在被提供到整體仿射移動估計模組400之前被從活性視頻輸入信號404中移除。在級402中，僅估計關於整體平移或搖擺移動的兩個仿射平移參數。隔離整體平移移動的原因是因為：攝影機移動實際上主要是平移為本質，並且大的平移範圍典型地難以捕捉。大部分商業上可用的移動估計工具都具有非常有限的測量範圍，並且當移動在允許範圍之外時，可能經常產生不正確的移動測量。相較之下，本發明的整體平移估計技術能夠準確地測量一直至輸入畫面的畫面大小的一半為止。該整體平移估計是藉由使用被應用於每對粗略表示的畫面的相位相關設計而達成。相位相關設計的細節將在下面參考第5圖說明。包括兩個粗略估計的仿射平移參數的粗略平移估計，是由模組402提供。此外，包括兩個仿射旋轉參數和兩個仿射縮放參數的剩下四個仿射參數的粗略估計根據先前畫面對這些參數的過去的估計而計算。

然後，這些粗略位準的仿射參數估計和被傳送到依據RANSAC的仿射參數精修模組406以進一步精修。這種精修是藉由首先使用來自級402的粗略估計的仿射參數來對參考畫面影像進行移動補償而達成。因此，補償後的參考畫面和目前畫面之間的差異測量為了使補償後的參考畫面影像與目前畫面影像近似一致而粗略估計的仿射參數需要被調整的量。在一個實施例中，使用依據RANSAC的技術以提供這樣的精修。這種依據RANSAC的方法406藉由首先從按其最精細的解析度表示的目前畫面中選擇預定數目的隨機定位的像素區塊而操作。在補償後的參考畫面中，這些區塊也具有相應的對應區塊。然後，分割遮罩被應用於移動補償的目前畫面，以區分畫面影像的前景和背景區域。僅那些屬於畫面的背景區域的區塊被用於精修涉及整體移動預測的仿射參數。這是因為假設僅背景像素的移動經歷如仿射參數所近似的整體移動。因此，從仿射參數精修級406產生精修後的平移估計A_i 和預測估計B_i 。分割遮罩的計算將在下面描述。

第5圖顯示相位相關技術的典型方塊圖實現方式500。相位相關技術在第4圖的整體平移估計和預測級402中執行，以提供與兩個連續畫面之間的整體平移移動有關的仿射參數的粗略位準的預測。相位相關藉由使用提供如下情況的傅立葉位移性質來測量這種平移移動：經平移的影像和其參考影像之間僅存在一相位差，此兩個影像呈現於傅立葉領域中。此外，該相位差的指數的逆傅立葉轉換將會產生相關表面，由該相關表面可以獲得兩個影像畫面之間的平移移動的測量。以下提供說明該操作之例。

衆所周知，標準解析度電視影像的傅立葉轉換被認為對於大多數應用而言都相當地昂貴。為了降低這種操作的複雜性，參考畫面和目前畫面各自以粗糙的解析度位準來表示，其中影像在傅立葉轉換被執行之前被使用預定因數進行向下取樣。這種向下取樣是經由第5圖所說明用於在每個影像的水平方向和垂直方向上對各影像進行抽取的抽取模組502而達成。在一個實施例中，影像的抽取是使用多相位的可分離濾波方法來完成。所得到的經抽取的影像畫面各自在垂直方向和水平方向上都被進行快速傅立葉轉換(FFT)。這種2D FFT是藉由應用兩個連續的1D FFT運算而實現，其中經抽取的影像通常在經由模組506經歷列FFT運算之前經由模組504經歷行FFT運算。與參考畫面和目前畫面相對應的FFT結果被分別表示為2D複數資料陣列，並且被放在用於暫時資料儲存的記憶體508中。隨後，由這兩個複數資料陣列產生相位差的2D陣列。然後，此相位差異陣列的以元素方式的指數被用於產生矩陣，該矩陣可以隨後經由1D列逆快速傅立葉轉換(IFFT)運算512和之後的1D行IFFT運算514而被進行2D IFFT。記憶體區塊516可以在這些列514和行512 IFFT運算期間被用於暫時儲存資料。隨後在輸出518處由這種2D IFFT運算產生也被表示為2D資料陣列的正常化相關表面，並且該正常化相關表面被提供到最大值計算模組520。最大值計算模組520藉由決定相關表面陣列的最大值的值和位置以及最大值的相鄰值中的若干個值而進行操作。最後，子像素插入模組522可以被用於插入最大值和其相鄰值以產生整體平移估計。2D FFT運算以及相位差計算的細節將在下面描述。

第5圖的每個傅立葉轉換的輸出是複數的2D陣列。儲存每個複數的浮點表示所需要的位元數必須被仔細地考慮，這是因為由於有限精度演算法所引起的量化效應對所產生的移動估計的準確度有直接貢獻。在一個實施例中，在模組504中可以使用192位的浮點FFT來執行行FFT運算，並且在模組506中可以使用128位的浮點FFT來執行列FFT運算。第6圖顯示典型的256×256位的2D FFT設計600。亦提供在設計600的每個步驟處所使用的典型位元準確度。注意，行FFT實現方式可以與列FFT運算實質上相同，其中輸入畫面在一個方向上藉由1D FFT運算被變換之後被轉換(旋轉90度)，並且在第二方向上用相同的1D FFT運算類似地變換。可以用兩個實際上相同的1D FFT運算來類似地執行2D IFFT運算。

第7圖提供第5圖的相位差計算模組510的典型方塊圖700。從兩個複數資料陣列中的相應元素獲得的一對複數值被作為輸入702和710而供應至典型相位差計算模組700。在如第7圖所示的一個實施例中，輸入702和710分別是從以傅立葉領域表示經抽取的參考影像畫面和目前影像畫面的兩個複數資料陣列所獲得。輸入702和710的實數和虛數部分被分離並分開。然後，分別依據在運算704和712處所獲得的商的大小，分別使用反正切查找表706和714、由輸入信號的虛數部分和複數部分的商，以判定與複數輸入702和710相關聯的相位。這兩個相位在正交修正模組708和716處被精修之後，隨後被經由加法器718彼此相減以產生相位差。類似地，該運算可以被應用於目前FFT資料陣列和參考FFT資料陣列中的各對相對應元素，以產生相位差的2D陣列。

在根據第5－7圖的典型實現方式實施整體移動估計之後，可以將仿射移動值分配給適當的像素，用於整體移動補償。應當使用例如分割遮罩而將屬於畫面的前景的像素與背景中的像素區分開來。可以假設屬於背景的像素經歷如上述六個仿射參數所近似的單個整體移動。另一方面，前景像素不進行相同的整體移動。對於這些像素，可以決定適當的局部移動向量或者經修正整體移動向量。

第8圖提供用於計算分割遮罩的初始版本的說明性方法。根據此說明，經整體補償的畫面802和原始畫面804被作為輸入供應至系統800。然後，在加法器運算805和絕對值運算806處計算這兩個輸入畫面之間的每個像素的絕對差異。所得到的每個像素絕對差別的陣列被提供到加總與比較模組808，在加總與比較模組808中，將像素區塊絕對差異相加且與臨界值807比較。如果區塊的絕對差異和大於臨界值，則整個像素區塊可以被分類為屬於畫面的前景。否則，該區塊可以被分類為屬於畫面的背景。模組808產生用於在為畫面中各像素區塊之單一位元二進位輸出以提供此資訊，且這些輸出的集合形成分割圖809，分割圖809可以區分畫面中的前景區塊和背景區塊。由於存在雜訊和被隔離移動區域，分割圖809可能包括被錯誤分類的塊區域。因此，分割圖809經歷諸如關閉810和之後的擴大(dilation)812之類的二進位形態運算，以產生更加均質的初始分割遮罩814。

第9圖說明依據從第8圖過程所獲得的初始分割遮罩902來計算最終分割遮罩的典型方法900。分割遮罩902根據哪些適當的補償方案可以被應用於影像畫面的個別像素而提供圖。系統900藉由偵測初始分割遮罩902中的各種被連接物件而進行操作，這樣像素可以被進行重新分類以接收特定的校正處理。在一個實現方式中，在模組904中使用被連接元件的分析904來辨識被連接物件。特別是，如果兩個物件僅被幾個像素隔開，則較小物件可以被看作是較大物件的一部分。在第9圖所示的實施例中，在被連接元件的分析中使用2×2解析度的區塊大小，以便降低物件連接辨識的總成本。然而，其他解析度大小也是可能的，例如3×3、4×4等。當被連接元件的分析完結時，模組904輸出辨識來自初始分割遮罩902的所有被連接物件的標簽列表，其中每個物件對應於指定該物件在畫面內的位置的索引。然後，索引和標簽的列表被提供給模組906，從而計算每個物件的邊緣區塊的數目。如果藉由將物件中的區塊數目與預定臨界值912比較而確定物件較小，則該物件的區塊可以被分類為屬於影像畫面的背景。這些背景區塊可以用如上的整體仿射移動估計參數來補償。然而，如果與物件有關區塊數目較大，則那些區塊可以被分類為屬於影像畫面的前景，並且經歷可能比整體移動補償設計更準確的局部移動校正方法。

根據本發明的另一方面，提供一種程序，用於強而有力地產生輸入畫面所用之物件邊緣圖，以辨識畫面中具有重大邊緣強度的物件。缺乏與物件有關邊緣強度表示：物件和其緊挨著的周邊之間的對比是模糊的。因此，即使物件在分割遮罩所指示的輸入畫面的前景中，可以將整體移動補償應用於物件中的像素。這是因為將更加準確的補償方案應用於具有很小邊緣強度的物件所產生的結果，可能與應用整體移動補償方法所產生的結果相同，並且整體移動補償技術可能是這兩種方法中更具有成本效益者。因此，為了計算效率，提供了強效物件邊緣圖產生技術，以偵測具有較強邊緣強度的物件。根據該方法，對於給定影像畫面中的每個像素區塊，產生兩個特徵值(eigenvalue)，其中此等特徵值分別對應於區塊的水平方向和垂直方向的測量。例如，假設結合2×2的區塊大小而使用SDTV解析度標準，則對於每個SDTV像素畫面產生總共水平方向上的360個區塊和垂直方向上的288個區塊。然後，確定所有特徵值的最大值(ev_max)。特徵值位於由最大值所測量的預定範圍內(例如在[0.8×ev_max,ec_max]的範圍中)之區塊，可以被辨識為具有顯著的邊緣強度，並且因此可能需要比整體移動校正技術更加準確的移動補償。可以為這些區塊分配值1，而與被分配值0之剩餘區塊區別。因此，產生物件邊緣圖，其中1的區塊明確地區別在影像畫面中具有顯著邊緣強度的物件。此外，由於使用1的區塊和0的區塊，物件邊緣圖本身完全免於對雜訊污染。雖然在本實施例中使用2×2的區塊大小，但是任何其他區塊大小也是可能的，例如4×4。

第10圖說明過程1000，其中計算與輸入畫面1002中各像素區塊有關聯一對特徵值。每個特徵值對應於其區塊的垂直方向或水平方向上的測量，並且是從以亮度或強度領域所表示的區塊的像素值計算而得。假設使用5×5的區塊大小，則首先用5×5窗口大小的二維高斯濾波器1004對畫面1002的像素強度值進行濾波。應用高斯濾波器1004的主要目的為：消除雜訊並且隔離每個區塊中的那些小物件，以便將它們去除而作為用於特徵值計算的候選者。這是因為僅對那些具有顯著邊緣強度的大物件進行這種更加準確的補償處理是更具成本效益的。對於5×5區塊大小的高斯濾波器，可以使用各大小為720×8位的四線緩衝器以支援此種濾波器大小。此等線緩衝器可以在SRAM中執行。在另一實施例中，為了使所使用矽面積最小化，高斯濾波器1004可以使用較小的區塊大小，例如3×3。因此，與5×5的區塊大小相比，達成線緩衝器硬體大小的50%的減少。

來自高斯濾波器1004的經濾波的2D強度值陣列1005被供應至梯度運算模組1006，用於估計對陣列1005中的強度值的梯度。在一個實施例中，梯度是依據獲得陣列1005的水平方向和垂直方向上的相鄰強度值之間的一階差異而計算得到的。這種一階差分計算可以以區塊為基準被應用。例如，考慮以下資料陣列1005的2×2區塊，其中該區塊由強度值A、B、D和E組成，強度C和F是其右側鄰居(neighbor)，強度G和H是其底部鄰居：

該區塊的水平方向和垂直方向上的一階差分梯度可以被計算為：

相同的梯度計算可以應用於輸入畫面1002中的2D資料陣列1005的每個2×2的區塊，從而產生水平梯度值的陣列1008以及垂直梯度值的陣列1010，這兩者都被供應到平方電路1012。依據這些輸入梯度陣列，平方電路1012產生以下陣列輸出1014、1016和1018： 其中.^＊ 表示點乘積運算。來自等式2的三個輸出中的每一個也是與梯度值陣列1008和1010具有相同大小的2D資料陣列。然後這三個輸出陣列1014、1016和1018被傳送到2D平均值計算模組1020以供進一步處理。

二維平均值計算模組1020藉由以區塊為基準對各個輸入陣列1014、1016和1018的平方梯度值進行平均，以產生此陣列的每個區塊的純量平均值而進行操作。例如，如果使用2×2的區塊大小，則將每個區塊中的四個梯度值進行平均以產生單一純量值。因此，從模組1020產生被表示為avg _、avg _和avg _f _x f _y 的平均平方梯度值的三個2D陣列1022、1024和1026。每個2D陣列都被調整為包含用於整個影像的所有純量值。然後這三個平均平方梯度陣列可以被提供到特徵值計算模組1030，在該模組，依據avg _、avg _和avg _f _x f _y 陣列可以為輸入畫面1002中的每個像素區塊產生兩個特徵值。

第11圖提供第10圖的特徵值計算模組1030的典型實現方式1100。如圖所示，在加法器1102處從avg _中減去avg _以產生差分矩陣R。然後該差分矩陣在運算1104處被進行逐個元素的平方，並且在avg _f _x f _y 陣列經歷了逐個元素的平方運算1108和因數為4的乘法之後在加法器1106處被加到avg _f _x f _y 陣列中。所得到的總和矩陣1106在運算1110處再次被逐個元素平方以產生矩陣S。然後，特徵值陣列E _{v 1} 和E _{v 2} 可以被計算為：E _{v 1} ＝0.5*(R ＋S )E _{v 2} ＝0.5*(R －S )，其中陣列E _{v 1} 和E _{v 2} 中的每個元素都是與第10圖所示的輸入影像畫面1002的各個像素區塊有關的特徵值。這些特徵值可以被用於確定用於辨識那些具有顯著邊緣強度的像素的物件邊緣圖，並且因此是用於局部移動估計的候選者。

在第10圖和第11圖所說明的實施例中，使用2×2的區塊大小來進行特徵值的計算。但是，可以藉由使用較大的區塊大小來減少硬體使用。也可以藉由使用較小的區塊大小來提高估計準確度。此外，由於每個特徵值都是正的小數，並且從0到1變化，因此從數值角度看，使用8位元準確度以表示特徵值可以提供足夠的準確度。但是，也可以使用其他的準確值。

總而言之，在上面參考第8圖和第9圖描述了分割遮罩計算過程。所產生的分割遮罩可以被用於辨識那些屬於影像畫面的前景和背景的物件。此外，在上面參考第10圖和第11圖描述了物件邊緣圖產生過程。所產生的物件邊緣圖可以被使用於隔離具有顯著邊緣強度畫面之此等物件。因此，可以使用分割遮罩和物件邊緣圖的組合，以判斷定被應用至影像畫面子區域之適當修正技術，以致於將移動估計準確度和效率最大化。通常，畫面內的每個像素區塊、依據區塊的前景/背景分類以及其所顯示的邊緣強度，而經歷三種類型的移動補償之一。這三種類型是：整體移動補償、經修正整體移動補償、以及局部移動補償。前景中的每個區塊由分割遮罩(例如第9圖中所產生的分割遮罩)來辨識，並且被進行局部移動補償或者經歷經修改的整體移動補償，這由影像畫面的物件邊緣圖來確定。畫面的背景中的區塊也可用分割遮罩來辨識，它們被進行使用第4－7圖的過程中所獲得的整體仿射參數的整體移動補償。這種補償類型選擇過程以及局部移動補償和經修改的整體移動補償技術將在下面討論。

第12圖提供用於導出捕獲兩個像素區塊之間的移動的局部移動向量的技術的說明性實施例，其中一個區塊在參考畫面中，另一個區塊在目前畫面中。這對區塊可以依據其相對於其相鄰區塊移動之移動而被偵測。例如，可以依據如下觀察進行移動偵測，即，這對相關區塊之間的移動可能與其相鄰區塊的統一整體移動的方向不同。根據第12圖的說明性實施例，3×3的區塊配置1200的中心區塊1205被選為目前畫面上的感興趣區塊，為該區塊估計其局部移動向量。在目前畫面處理的時間t，區塊1205具有四個分別位於區塊1205的北邊、東邊、南邊和西邊的相鄰區塊1201－1204。此外，目前畫面具有時間上相鄰的參考畫面，該參考畫面在先於目前畫面的時間t－1時被處理。該參考畫面包括：一組與目前畫面的區塊1201－1209一一對應的區塊。然後，目前畫面中的區塊1205的移動向量可以由在時間t－1為前一畫面的區塊1201－1204所計算的整體移動向量近似而得，這是因為可以假設中心區塊的移動僅稍微地偏離其相鄰區塊的移動。在時間t＋1處的後續畫面中，各個區塊1206－1209的移動向量由時間t時所計算出的其北邊、南邊、西邊和東邊的鄰居的移動而估計而得。因此，畫面序列中的移動值依據影像序列中的畫面中每次時間進展之相鄰值而連續地被精修。

第12圖亦可以被使用於說明根據本發明另一方面的經修正整體移動補償設計。該經修正整體移動補償技術可能被用於這樣的情形，其中整體移動補償對於區塊移動的估計而言不夠準確。因此，必須對整體仿射參數增加小的修正以改善所產生之準確度。再次參考第12圖的說明性實施例，3×3的區塊配置1200的中心區塊1205被選為目前畫面上的感興趣區塊，四個相鄰區塊1201－1209分別位於區塊1205的北邊、東邊、南邊和西邊。可以提供目前畫面的整體移動補償版本，由其決定經修正整體移動補償。這個經整體移動補償的目前畫面包括：一組與目前畫面的區塊1201－1209一對一對應的區塊。然後，目前畫面中的區塊1205的移動向量可以從相應的經整體移動補償的畫面的區塊1201－1204的整體移動向量而近似。特別是，根據為整體移動補償畫面上的各個相鄰區塊1201－1204所計算的單個統一移動向量，區塊1205在所有方向上被平移或者移動位移一個遞增量。所產生最佳匹配向量成為區塊1205的最終移動向量。該遞增量可以用一對修正參數Xc和Yc代表，其中Xc表示水平整體方向上的純量位移，Yc表示垂直整體方向上的純量位移。

在某些實施例中，局部移動估計設計類似於經修正整體移動補償設計，所不同者為，在前一種情況下，區塊補償量是依據目前畫面和參考畫面的比較來決定的，而在後一種情況下，該量是由目前畫面和目前畫面的整體移動補償版本的比較來決定的。在某些實現方式中，補償量是依據相對感興趣的區塊的預定範圍內的那些像素的移動向量來決定的，例如在圍繞感興趣的區塊的3個像素區塊的範圍中。

將相鄰搜索演算法用於計算局部移動向量和經修正整體移動向量的決定性優點在於：僅搜索每個感興趣區塊的有限數目的相鄰區塊。此外，移動估計是由在先前畫面中已經計算出此等相鄰區塊值所導出且精修。因此，這些技術大幅地促進移動估計的效率。

第13圖提供一種過程，其用於選擇在目前畫面中的各區塊所應使用之移動補償設計。例如，多工器1310首先在實施整體移動補償設計1312和更精修的補償設計1314之間選擇。該決定是依據分割遮罩1318的使用，其區別畫面中之前景區塊與背景區塊。整體移動補償1312僅被應用於背景區塊。如果給定的區塊需要更準確的修正形式，則多工器1302在向該區塊應用局部移動補償設計1304和經修正整體移動補償設計1306之間作出決定。該決定依據從使用局部移動補償方法1304和經修正整體移動補償方法1306所產生錯誤的較少者，以補償這區塊。因此，最終分割遮罩1318允許選擇適當的移動補償技術，而用於各感興趣的區塊，由此可以計算出用於各區塊之一組整體、局部或者經修正整體移動向量。

根據第14圖所說明本發明另一方面，提供後處理程序1400，以精修從第13圖的電路所獲得之局部移動向量1418。通常，局部移動向量易於遭受雜訊以及孔徑效應(aperture effect)。因此，將一組中值濾波器1402和1404在向量的x方向和y方向上應用至局部向量1418，以致於將有關於局部修正任何不利效應最小化。中值濾波器在如此前提下進行操作：如果被隔離的局部區塊的所有相鄰區塊都在與被隔離區塊移動大不相同之統一方向上移動，則被隔離的區塊的移動向量應該被修正，以致於其大致符合大多數區塊的移動。一起使用輸入分割遮罩1406與中值濾波器1402和1406，以辨識被隔離的區塊。在中值濾波之後，x方向和y方向上的經精修的局部移動向量1408和1410、藉由各x方向和y方向中之一組邊緣調整濾波器或高斯濾波器1412和1414被進一步處理。高斯濾波器1412和1414藉由分別在x方向和y方向上平滑局部移動向量1408和1410而進行操作，其中被應用於各向量成份的平滑數量是藉由使用第10與11圖之以上說明而由輸入物件邊緣圖1416決定。

在本發明的另一方面中，使用移動補償插入技術以估計一對輸入參考畫面和目前畫面之間的一個或更多個中間畫面。首先，以區塊為基準，用一組移動向量來表徵這對畫面之間的物件移動。然後，移動向量被用於插入一個或更多個中間畫面，以致於其持續地捕獲畫面之間的移動軌迹。更特定而言，如同第15圖中說明，使用模組1502以插入需要整體移動補償中間畫面的區域。這種類型的移動補償插入是依據：一組預定的整體仿射參數1504、以及參考畫面1506和目前輸入畫面1508這一對畫面來而計算。使用模組1510以插入需要局部移動補償之中間畫面的區域。這種類型的移動補償插入是依據：一組預定輸入局部移動向量、參考畫面1506、以及目前輸入畫面1508而達成。可以使用分割遮罩1514以決定：在插入期間畫面的每個區域應當被進行整體移動補償還是局部移動補償。

所說明之實施例是典型但並不限制本發明的範圍。在此所說明由所揭示的通信系統中的各種區塊以執行之等式、可以藉由硬體電路及/或處理器上所運作的軟體指令來計算。等式計算無須以等式中的確切項次或者運算來執行。例如，等式計算可以用等式中未顯示的其他項次與運算來執行以近似得出計算等式的結果。因此，通信系統中的各種模組可以依據等式來實施計算，而無須直接計算等式。

現在參考第16A－16E圖，其顯示本發明的各種典型實現方式。

現在參考第16A圖，本發明可以在高畫質電視(HDTV)1620中執行。本發明可以執行HDTV 1620的信號處理及/或控制電路中的任一者或者這兩者(這些電路在第16A圖的1622一般地標示)、WLAN介面1629及/或大容量資料儲存裝置1627。HDTV 1620以有線或無線格式接收HDTV輸入信號，並且產生用於顯示器1626的HDTV輸出信號。在一些實現方式中，HDTV 1620的信號處理電路及/或控制電路1622及/或其他電路(未示出)可以處理資料、執行編碼及/或加密、執行計算、格式化資料並且/或者執行可能需要的任何其他類型的HDTV處理。

HDTV 1620可以與以非揮發性方式儲存資料的大容量資料儲存裝置1627通信，大容量資料儲存裝置1627例如是包括硬碟驅動器(HDD)和數位通用光碟(DVD)驅動器的光學及/或磁性儲存裝置。HDD可以是包括一個或更多個直徑小於大約1.8"的碟片的小型HDD。HDTV 1620可以被連接到記憶體1628，記憶體1628例如是RAM、ROM、諸如快閃記憶體之類的低等候非揮發性記憶體及/或其他合適的電子資料儲存體。HDTV 1620也可以支援經由WLAN介面1629與WLAN的連接。

現在參考第16B圖，本發明可以在車輛1600的數位娛樂系統1604中執行，車輛1600可以包括WLAN介面1616及/或大容量資料儲存裝置1610。

數位娛樂系統1604可以與以非揮發性方式儲存資料的大容量資料儲存裝置1610通信。大容量資料儲存裝置1610可以包括：光學及/或磁性儲存裝置，其例如為硬碟驅動器(HDD)及/或DVD驅動器。HDD可以是包括一個或更多個直徑小於大約1.8"的碟片的小型HDD。數位娛樂系統1604可以被連接到記憶體1614，記憶體1614例如是RAM、ROM、諸如快閃記憶體之類的低等候非揮發性記憶體及/或其他合適的電子資料儲存體。數位娛樂系統1604也可以支援經由WLAN介面1616與WLAN的連接。

現在參考第16C圖，本發明可以執行於行動電話1650中，行動電話1650可以包括行動天線1651。本發明可以執行行動電話1650的信號處理及/或控制電路中的任一者或者這兩者(這些電路在第16C圖的1652處一般地標示)、WLAN介面1668及/或大容量資料儲存裝置1664。在一些實現方式中，行動電話1650包括麥克風1656、諸如揚聲器及/或音頻輸出插孔之類的音頻輸出1658、顯示器1660及/或諸如鍵盤、指標裝置、語音致動及/或其他輸入裝置之類的輸入裝置1662。行動電話1650中的信號處理及/或控制電路1652及/或其他電路(未示出)可以處理資料、執行編碼及/或加密、執行計算、格式化資料並且/或者執行其他行動電話功能。

行動電話1650可以與以非揮發性方式儲存資料的大容量資料儲存裝置1664通信，大容量資料儲存裝置1664例如是包括硬碟驅動器(HDD)及/或DVD驅動器的光學及/或磁性儲存裝置。HDD可以是包括一個或更多個直徑小於大約1.8"的碟片的小型HDD。行動電話1650可以被連接到記憶體1666，記憶體1666例如是RAM、ROM、諸如快閃記憶體之類的低等候非揮發性記憶體及/或其他合適的電子資料儲存體。行動電話1650也可以支援經由WLAN介面1668與WLAN的連接。

現在參考第16D圖，本發明可以在機上盒1680中執行。本發明可以執行機上盒1680的信號處理及/或控制電路中的任一者或者這兩者(這些電路在第16D圖的1684一般地標示)、WLAN介面1696及/或大容量資料儲存裝置1690。機上盒1680從諸如寬帶源之類的源接收信號，並且經由監視器及/或其他視頻及/或音頻輸出裝置、而輸出適合用於諸如電視之類的顯示器1688的標準及/或高解析度音頻/視頻信號。機上盒1680的信號處理及/或控制電路1684及/或其他電路(未示出)可以處理資料、執行編碼及/或加密、執行計算、格式化資料並且/或者執行其他機上盒功能。

機上盒1680可以與以非揮發性方式儲存資料的大容量資料儲存裝置1690通信。大容量資料儲存裝置1690可以包括諸如硬碟驅動器(HDD)及/或DVD驅動器之類的光學及/或磁性儲存裝置。HDD可以是包括一個或更多個直徑小於大約1.8"的碟片的小型HDD。機上盒1680可以被連接到記憶體1694，記憶體1694例如是RAM、ROM、諸如快閃記憶體之類的低等候非揮發性記憶體及/或其他合適的電子資料儲存體。機上盒1680也可以支援經由WLAN介面1696與WLAN的連接。

現在參考第16E圖，本發明可以在媒體播放器1700中執行。本發明可以執行媒體播放器1700的信號處理及/或控制電路中的任一者或者這兩者(這些電路在第16E圖的1704一般地標示)、WLAN介面1716及/或大容量資料儲存裝置1710。在一些實現方式中，媒體播放器1700包括顯示器1707及/或諸如鍵盤、觸摸盤等的使用者輸入1708。在一些實現方式中，媒體播放器1700可以使用圖形使用者介面(GUI)，GUI通常經由顯示器1707及/或使用者輸入1708而使用選單、下拉選單、圖示及/或點選介面。媒體播放器1700更包括諸如揚聲器及/或音頻輸出插口之類的音頻輸出1709。媒體播放器1700的信號處理及/或控制電路1704及/或其他電路(未示出)可以處理資料、執行編碼及/或加密、執行計算、格式化資料並且/或者執行其他媒體播放器功能。

媒體播放器1700可以與以非揮發性方式儲存諸如經壓縮音頻及/或視頻內容之類的資料的大容量資料儲存裝置1710通信。在一些實現方式中，經壓縮的音頻檔案包括符合MP3格式或者其他合適的壓縮音頻及/或視頻格式的檔案。大容量資料儲存裝置1710可以包括諸如硬碟驅動器(HDD)及/或DVD驅動器之類的光學及/或磁性儲存裝置。HDD可以是包括一個或更多個直徑小於大約1.8"的碟片的小型HDD。媒體播放器1700可以被連接到記憶體1714，記憶體1714例如是RAM、ROM、諸如快閃記憶體之類的低等候非揮發性記憶體及/或其他合適的電子資料儲存體。媒體播放器1700也可以支援經由WLAN介面1716與WLAN的連接。除了上述實現方式之外亦可以設想其他實現方式。

因此可以看出，此所提供用於移動補償畫面速率轉換器的系統和方法包括各種技術，用於在一輸入畫面序列中，有效率地且準確地插入移動補償畫面。熟習此技術人士瞭解，本發明可以所說明實施例以外方式實施，此等實施例之呈現在於說明而非限制，且本發明僅受限於以下之申請專利範圍。

100．．．移動補償畫面速率轉換器(MCPRC)電路

102．．．輸入信號

104．．．模組

106．．．信號

108．．．模組

110．．．持續掃描輸出

112．．．MCFRC模組

114．．．視頻輸出序列

116．．．後處理模組

118．．．視頻資訊信號路徑

128．．．移動補償輸出信號

200．．．MCPRC組態

202．．．輸入信號

204．．．模組

208．．．模組

212．．．MCFRC模組

214．．．傳輸信號

216．．．後處理模組

228．．．視頻資訊信號路徑

300．．．MCFRC模組

302．．．輸入視頻信號

304．．．MCFRC控制單元

306．．．移動估計引擎

308．．．連接

310．．．移動補償插入模組

312．．．插入視頻輸出

314．．．輸出

316．．．視頻資訊信號

318．．．整體仿射移動估計功能模組

320．．．局部移動修正

322．．．連接

324．．．連接

326．．．連接

330．．．輸入

400．．．實現方式

402．．．整體平移估計和預測級

404．．．視頻輸入信號

406．．．仿射參數精修模組

500．．．實現方式

502．．．抽取模組

504．．．模組

506．．．模組

508．．．記憶體

510．．．相位差計算模組

512．．．行

514．．．列

516．．．記憶體區塊

518．．．輸出

520．．．最大值計算模組

522．．．子像素插入模組

600．．．2D FFT設計

700．．．方塊圖

702．．．輸入

704．．．運算

706．．．查找表

708．．．正交修正模組

710．．．輸入

712．．．運算

714．．．查找表

716．．．正交修正模組

718．．．加法器

800．．．系統

802．．．整體補償畫面

804．．．原始畫面

805．．．加法器運算

806．．．絕對值運算

808．．．加總與比較模組

809．．．分割圖

810．．．關閉

812．．．擴大

814．．．初始分割遮罩

900．．．方法

902．．．初始分割遮罩

904．．．模組

906．．．模組

910．．．最後分割遮罩

912．．．預定臨界值

1000．．．過程

1002．．．目前畫面

1004．．．高斯濾波器

1005．．．強度值陣列

1006．．．梯度運算模組

1008．．．陣列

1010．．．陣列

1012．．．平方電路

1014．．．陣列輸出

1016．．．陣列輸出

1018．．．陣列輸出

1020．．．二維平均值計算模組

1022．．．陣列

1024．．．陣列

1026．．．陣列

1030．．．特徵值計算模組

1100．．．實現方式

1102．．．加法器

1104．．．運算

1106．．．總和矩陣

1108．．．平方運算

1110．．．運算

1200．．．區塊配置

1201~1209．．．區塊

1302．．．多工器

1304．．．局部移動補償設計

1306．．．整體移動補償設計

1310．．．多工器

1312．．．整體移動補償

1314．．．補償設計

1318．．．最後分割遮罩

1400．．．後處理程序

1402．．．中值濾波器

1404．．．中值濾波器

1406．．．輸入分割遮罩

1408．．．局部移動向量

1412．．．高斯濾波器

1414．．．高斯濾波器

1416．．．物件邊緣圖

1418．．．局部移動向量

1502．．．模組

1504．．．整體仿射參數

1506．．．參考畫面

1508．．．輸入畫面

1510．．．模組

1512．．．局部移動向量

1514．．．分割遮罩

1600．．．車輛

1604．．．數位娛樂系統

1607．．．顯示器

1608．．．使用者輸入

1609．．．音頻輸出

1610．．．大容量資料儲存裝置

1614．．．記憶體

1616．．．WLAN介面

1620．．．高畫質電視

1622．．．信號處理及/或控制電路

1626．．．顯示器

1627．．．大容量資料儲存裝置

1628．．．記憶體

1629．．．WLAN介面

1650．．．行動電話

1651．．．行動天線

1652．．．信號處理及/或控制電路

1656．．．麥克風

1658．．．音頻輸出

1660．．．顯示器

1662．．．輸入裝置

1664．．．大容量資料儲存裝置

1666．．．記憶體

1668．．．WLAN介面

1680．．．機上盒

1684．．．信號處理及/或控制電路

1688．．．顯示器

1690．．．大容量資料儲存裝置

1694．．．記憶體

1696．．．WLAN介面

1700．．．媒體播放器

1704．．．信號處理及/或控制電路

1707．．．顯示器

1708．．．使用者輸入

1709．．．音頻輸出

1710．．．大容量資料儲存裝置

1714．．．記憶體

1716．．．WLAN介面

第1圖為根據本發明的移動補償畫面速率轉換器(MCPRC)電路的說明性實施例；第2圖為根據本發明的MCPRC的另一說明性實施例；第3圖為第1圖和第2圖的移動補償畫面速率轉換器(MCFRC)模組的說明性方塊圖；第4圖為第3圖的整體仿射移動估計功能的說明性方塊圖；第5圖為第4圖的整體平移估計功能的說明性實施例；第6圖為第4圖的快速傅立葉轉換(FFT)功能的說明性實施例；第7圖為第5圖的相位計算功能的說明性方塊圖；第8圖為用於計算最初分割遮罩的說明性方塊圖；第9圖為用於計算最終分割遮罩的說明性方塊圖；第10圖為用於計算物件邊緣圖的說明性方塊圖；第11圖為第10圖的特徵值計算功能的說明性方塊圖；第12圖為用於執行局部移動補償設計和經修正整體移動設計的說明性方法第13圖為用於選擇適當的移動補償設計來產生一對畫面之間的移動向量的說明性流程圖；第14圖為用於對由第13圖的過程所計算的局部移動向量進行後處理的說明性方塊圖；第15圖為第3圖的移動補償插入功能的說明性方塊圖；第16A圖為可以使用所揭示技術的典型高解析度電視的方塊圖；第16B圖為可以使用所揭示技術的典型車輛的方塊圖；第16C圖為可以使用所揭示技術的典型行動電話的方塊圖；第16D圖為可以使用所揭示技術的典型機上盒的方塊圖；以及第16E圖為可以使用所揭示技術的典型媒體播放器的方塊圖。

100．．．移動補償畫面速率轉換器(MCPRC)電路

102．．．輸入信號

104．．．模組

106．．．信號

108．．．模組

110．．．持續掃描輸出

112．．．MCFRC模組

114．．．視頻輸出序列

116．．．後處理模組

118．．．視頻資訊信號路徑

128．．．移動補償輸出信號

Claims (69)

1. 一種用於應用移動估計之方法，該方法包括：接收具有至少目前畫面和參考畫面的輸入信號；估計該參考畫面和該目前畫面之間的整體移動，以產生至少一個仿射移動參數；估計該參考畫面和該目前畫面之間的局部移動，以產生至少一個移動向量，其中該至少一個仿射移動參數估計該參考畫面和該目前畫面之間的第一區域的整體移動，並且該至少一個移動向量估計該參考畫面和該目前畫面之間的第二區域中的局部移動；辨識與該參考畫面的該第二區域鄰近的相鄰區域；以及藉由使用與該鄰近的相鄰區域相對應的仿射移動參數來修改該第二區域之該至少一個移動向量而產生一經修正之整體移動向量。
2. 如申請專利範圍第1項所述之方法，更包括：產生至少一個粗略的仿射參數；以及精修該至少一個粗略的仿射參數以產生該至少一個仿射移動參數。
3. 如申請專利範圍第1項所述之方法，其中該第一區域是該目前畫面的背景區域，並且該至少一個仿射移動參數被用於補償該第一區域的移動。
4. 如申請專利範圍第1項所述之方法，更包括：使用為該參考畫面計算的該相鄰區域的移動向量，以產生該目前畫面的該第二區域的該至少一個移動向量，其中該至少一個移動向量是局部移動向量。
5. 如申請專利範圍第1項所述之方法，其中該第二區域藉由：被應用於該目前畫面的分割遮罩、與物件邊緣強度圖 之至少一個來決定。
6. 如申請專利範圍第1項所述之方法，其中依據應用經修正整體移動向量和局部移動向量所產生錯誤的較少者，使用該經修正整體移動向量和該局部移動向量之一，以補償該第二區域中之移動。
7. 一種用於實施整體移動估計之方法，該方法包括：接收具有至少目前畫面和參考畫面的輸入信號；對該目前畫面和該參考畫面進行相位相關；以及計算至少一個仿射參數，以依據該相位相關來估計該目前畫面和該參考畫面之間的整體平移移動。
8. 如申請專利範圍第7項所述之方法，其中將該目前畫面和該參考畫面進行相位相關包括：藉由抽取因數來抽取各該目前畫面和該參考畫面；將經抽取的目前畫面和參考畫面進行傅立葉轉換；從與經變換參考畫面相關的相位、減去與經轉換目前畫面相關的相位，以產生相位差異陣列；以及將差異陣列的指數進行逆傅立葉轉換，以產生相關表面。
9. 如申請專利範圍第8項所述之方法，其中使得該相關表面的最大值、與在該相關表面上該最大值，以計算該至少一個仿射參數。
10. 如申請專利範圍第8項所述之方法，其中該抽取因數是1、4和9之一。
11. 如申請專利範圍第7項所述之方法，更包括： 使用該至少一個仿射參數，以更新該參考畫面；獲得經更新參考畫面與該目前畫面之間的差異；以及精修該至少一個仿射參數，將該差異最小化。
12. 一種用於產生相對於參考畫面之目前畫面的感興趣區域的至少一個移動向量的方法，該方法包括：提供至少一個仿射參數，用於估計該目前畫面和該參考畫面之間的整體移動；依據該至少一個仿射參數來產生分割遮罩，用於辨識該目前畫面的前景區域和背景區域；產生物件邊緣強度圖，用於辨識該目前畫面中具有顯著邊緣強度的區域；以及依據與該感興趣區域相關的該前景區域、背景區域、以及顯著邊緣強度區域，對於該感興趣區域計算該至少一個移動向量。
13. 如申請專利範圍第12項所述之方法，其中計算該至少一個移動向量包括：計算整體移動向量、經修正整體移動向量、以及局部移動向量中的至少一個。
14. 如申請專利範圍第12項所述之方法，其中產生該分割遮罩包括：使用該至少一個仿射參數，以更新該參考畫面；獲得經更新參考畫面與該目前畫面之間的差異畫面；以及將該差異畫面的每個區域與第一臨界值進行比較，以將該區域分類為該前景區域和該背景區域之一。
15. 如申請專利範圍第14項所述之方法，更包括：決定一物件具有該分割遮罩中至少兩個被連接區域；量化由該物件佔用的面積；以及 將量化後的面積與第二臨界值進行比較，以將該至少兩個被連接區域中的每個區域重新分類為該前景區域和該背景區域之一。
16. 如申請專利範圍第12項所述之方法，其中產生物件邊緣強度圖包括：產生與該目前畫面中的子區域的垂直方向和水平方向相關的多個特徵值；以及決定該特徵值的最大值，其中，各子區域具有大約由該最大值所限定的範圍中之特徵值，而各子區域被調整為顯著邊緣強度的區域。
17. 如申請專利範圍第12項所述之方法，更包括：將中值濾波、邊緣適應濾波、以及高斯濾波中的至少一個應用至對應於該感興趣區域之該移動向量，其中，該感興趣區域是根據被應用於該目前畫面的該分割遮罩和該物件邊緣強度圖的組合選擇。
18. 如申請專利範圍第12項所述之方法，更包括：使用該至少一個移動向量來產生：被插入在該目前畫面和該參考畫面之間的移動補償畫面。
19. 一種用於實施移動補償畫面速率轉換之方法，該方法包括：接收具有至少一目前畫面與一參考畫面的輸入信號；處理該目前畫面與該參考畫面，其中該處理包括：辨識與該參考畫面鄰近的相鄰區域；以及使用該鄰近的相鄰區域之移動向量來產生該目前畫面之區域之局部移動向量；提供仿射整體移動參數和該局部移動向量中的至少一個，該仿射整體移動參數和該局部移動向量之特徵為：經處理的目前畫面和經處理的參考畫面之間之各整體移動和局部移動；以及移動補償插入致能，其中，該移動補償插入使用該仿射整體移動參數 和該局部移動向量中的至少一個，以產生該經處理的目前畫面和該經處理的參考畫面之間的至少一個被插入畫面。
20. 如申請專利範圍第19項所述之方法，更包括：對該移動補償插入的輸出信號進行後處理，其中該輸出信號具有比該輸入信號的原來畫面速率更快的畫面速率。
21. 如申請專利範圍第19項所述之方法，更包括：將該經處理的目前畫面和該經處理的參考畫面進行後處理，以產生用於經歷該移動補償插入的信號，其中調整該信號為具有大約等於該輸入信號的原來畫面速率的畫面速率。
22. 如申請專利範圍第19項所述之方法，其中處理該目前畫面和該參考畫面包括：實施將該目前畫面和該參考畫面的降低雜訊與解交錯之至少一個。
23. 一種移動補償畫面速率轉換器，包括：電路，用於接收具有至以一目前畫面與一參考畫面的輸入信號；一整體仿射移動估計模組，用於估計該參考畫面和該目前畫面之間的整體移動，以產生至少一個仿射移動參數；一局部移動修正模組，用於估計該參考畫面和該目前畫面之間的局部移動，以產生至少一個移動向量，其中該至少一個仿射移動參數估計該參考畫面和該目前畫面之間的第一區域的該整體移動，並且該至少一個移動向量估計該參考畫面和該目前畫面之間的第二區域中的局部移動；電路，用於辨識與該參考畫面的該第二區域鄰近的相鄰區域；以及修正整體移動估計模組，用於藉由使用與該鄰近的相鄰區域相對應的仿射移動參數來修改該第二區域之該至少一個移動向量而產生一經修正之整體移動向量。
24. 如申請專利範圍第23項所述之移動補償畫面速率轉換器，其中該整體仿射移動估計模組包括：一整體平移估計和仿射預測模組，用於產生至少一個粗略的仿射參數；以及一仿射參數精修模組，用於精修該至少一個粗略的仿射參數，以產生該至少一個仿射移動參數。
25. 如申請專利範圍第23項所述之移動補償畫面速率轉換器，其中該仿射參數精修模組使用依據RANSAC的精修設計。
26. 如申請專利範圍第23項所述之移動補償畫面速率轉換器，其中該第一區域是該目前畫面的背景區域，以及使用該至少一個仿射移動參數以補償該第一區域中的移動。
27. 如申請專利範圍第23項所述之移動補償畫面速率轉換器，其中該局部移動修正模組包括：一局部移動估計模組，其使用移動向量以計算用於該參考畫面之該相鄰區域，來產生該目前畫面的該第二區域的該至少一個移動向量，其中，該至少一個移動向量是局部移動向量。
28. 如申請專利範圍第23項所述之移動補償畫面速率轉換器，其中該第二區域是依據：將分割遮罩和物件邊緣強度圖中的至少一個應用於該目前畫面而決定。
29. 如申請專利範圍第23項所述之移動補償畫面速率轉換器，其中依據應用經修正整體移動向量和局部移動向量所產生錯誤的較少者，使用該經修正整體移動向量和該局部移動向量中的一個，以補償該第二區域中的移動。
30. 如申請專利範圍第23項所述之移動補償畫面速率轉換器，其中該移動補償畫面速率轉換器被提供在：用於處理具有畫面序列的輸入信號的移動補償畫面速率轉換器內部。
31. 一種整體平移估計模組，包括：電路，用於接收具有至少目前畫面和參考畫面的輸入信號；一相位相關模組，其用於對該目前畫面和該參考畫面進行相位相關；以及電路，用於計算至少一個仿射參數，其依據該相位相關來估計該目前畫面和該參考畫面之間的整體平移移動。
32. 如申請專利範圍第31項所述之整體平移估計模組，更包括：電路，用於藉由抽取因數，以抽取各該目前畫面和該參考畫面；電路，用於將經抽取的目前畫面和參考畫面進行傅立葉轉換；電路，用於從與經轉換參考畫面相關的相位中減去與經轉換目前畫面相關的相位，以產生相位差異陣列；以及電路，用於將該相位差異陣列的指數進行逆傅立葉轉換，以產生相關表面。
33. 如申請專利範圍第32項所述之整體平移估計模組，更包括：電路，用於決定該相關表面的最大值和該最大值在該相關表面上的位置，其中，使用該最大值和該最大值的該位置以計算該至少一個仿射參數。
34. 如申請專利範圍第32項所述之整體平移估計模組，其中該抽取因數是1、4、以及9中的一個。
35. 如申請專利範圍第31項所述之整體平移估計模組，其中 該至少一個仿射參數被提供給耦合到該整體平移估計模組的仿射參數精修模組，以及該仿射參數精修模組包括：電路，用於依據該至少一個仿射參數，以更新該參考畫面；電路，用於獲得經更新參考畫面和該目前畫面之間的差異；以及電路，用於精修該至少一個仿射參數而將該差異最小化。
36. 一種局部移動修正模組，包括：一分割遮罩，用於辨識目前畫面的前景區域和背景區域；一物件邊緣強度圖，用於辨識該目前畫面中的具有顯著邊緣強度的區域；以及電路，用於依據與感興趣區域相關的該前景區域、背景區域和顯著邊緣強度區域，以計算該感興趣區域的至少一個移動向量。
37. 如申請專利範圍第36項所述之局部移動修正模組，其中用於計算該至少一個移動向量的電路包括：電路，用於計算該感興趣區域之經修正整體移動向量與局部移動向量中的至少一個。
38. 如申請專利範圍第36項所述之局部移動修正模組，其中該經由電路產生之分割遮罩包括以下電路：電路，用於使用至少一個仿射參數來更新該參考畫面，該至少一個仿射參數之特徵為，該目前畫面和該參考畫面之間的整體移動；電路，用於獲得經更新的參考畫面和該目前畫面之間的差異畫面；以及電路，用於將該差異畫面的各區域與第一臨界值進行比較，而將該區域分類為該前景區域和該背景區域之一。
39. 如申請專利範圍第38項所述之局部移動修正模組，其中該經由電路產生之分割遮罩更包括以下電路：電路，用於決定該分割遮罩中具有至少兩個被連接區域的物件； 電路，用於量化由該物件佔用的面積；以及電路，用於將經量化面積與第二臨界值進行比較，以將各該至少兩個被連接區域重新分類為該前景區域和該背景區域之一。
40. 如申請專利範圍第36項所述之局部移動修正模組，其中該經由電路產生之物件邊緣強度圖包括以下電路：電路，用於產生與該目前畫面中的子區域的垂直方向和水平方向相關的複數個特徵值；以及電路，用於決定該特徵值的最大值，其中，各該等子區域所具有特徵值大約在由該最大值所限定的範圍中，而被調整為顯著邊緣強度之區域。
41. 如申請專利範圍第36項所述之局部移動修正模組，其中使用中值濾波器、邊緣調整濾波器、以及高斯濾波器中的至少一，將對應於該感興趣區域之該移動向量濾波，其中，該感興趣區域是從應用於該目前畫面的該分割遮罩和該物件邊緣強度圖的組合而選擇。
42. 如申請專利範圍第36項所述之局部移動修正模組，其中使用該至少一個移動向量，以產生被插入在該目前畫面和該參考畫面之間的移動補償畫面。
43. 一種移動補償畫面速率轉換器，包括：電路，用於接收具有至少一參考畫面與一目前畫面之輸入信號；一處理模組，用於處理該參考畫面與該目前畫面，其中該處理包括：辨識與該參考畫面的區域鄰近的相鄰區域；以及使用與該鄰近的相鄰區域之移動向量而產生該目前畫面之區域之局部移動向量；以及一移動補償畫面速率轉換器，其包括：電路，用於提供仿射整體移動參數和移動向量中的至少一個，此兩者 之特徵為：在經處理目前畫面與經處理參考畫面之間之各整體移動與局部移動，以及移動補償插入電路，其使用該仿射整體移動參數和該移動向量中的至少一個，而在該經處理目前畫與和該經處理參考畫面之間產生至少一個被插入畫面。
44. 如申請專利範圍第43項所述之移動補償畫面速率轉換器，更包括：一後處理模組，用於處理該移動補償畫面速率轉換器的輸出信號，其中，該輸出信號具有比該輸入信號的原來畫面速率更高的畫面速率。
45. 如申請專利範圍第43項所述之移動補償畫面速率轉換器，更包括：一後處理模組，其處理該經處理目前畫面和該經處理參考畫面，以產生供應至該移動補償畫面速率轉換器之信號，其中該信號被調整為具有大約等於該輸入信號的原來畫面速率的畫面速率。
46. 如申請專利範圍第43項所述之移動補償畫面速率轉換器，其中該處理模組包括電路，其用於實施將該目前畫面和該參考畫面的降低雜訊與解交錯中的至少一個。
47. 一種移動補償畫面速率轉換器，包括：裝置，用於接收具有至少一參考畫面與一目前畫面的輸入信號；裝置，用於估計該參考畫面和該目前畫面之間的整體移動，以產生至少一個仿射移動參數；裝置，用於估計該參考畫面和該目前畫面之間的局部移動以產生至少一個移動向量，其中該至少一個仿射移動參數估計該參考畫面和該目前畫面之間的第一區域的整體移動，並且該至少一個移動向量估計該參考畫面和該目前畫 面之間的第二區域中的局部移動；裝置，用於辨識與該參考畫面的該第二區域鄰近的相鄰區域；以及裝置，用於藉由使用與該鄰近的相鄰區域相對應的仿射移動參數來修改該第二區域之該至少一個移動向量而產生一經修正之整體移動向量。
48. 如申請專利範圍第47項所述之移動補償畫面速率轉換器，其中用於估計該參考畫面和該目前畫面之間的整體移動的裝置更包括：裝置，用於產生至少一個粗略的仿射參數；以及裝置，用於精修該至少一個粗略的仿射參數，以產生該至少一個仿射移動參數。
49. 如申請專利範圍第48項所述之移動補償畫面速率轉換器，其中用於精修該至少一個粗略的仿射參數的裝置包括：依據RANSAC的精修設計。
50. 如申請專利範圍第47項所述之移動補償畫面速率轉換器，其中該第一區域是該目前畫面的背景區域，以及使用至少一個該仿射移動參數，以補償該第一區域中的移動。
51. 如申請專利範圍第47項所述之移動補償畫面速率轉換器，其中用於估計該參考畫面和該目前畫面之間的局部移動的裝置包括：裝置，用於辨識與該參考畫面的該第二區域鄰近的相鄰區域；以及裝置，用於使用計算用於該參考畫面之該相鄰區域的移動向量，以產生該目前畫面的該第二區域的該至少一個移動向量，其中該至少一個移動向量是局部移動向量。
52. 如申請專利範圍第47項所述之移動補償畫面速率轉換器，更包括：裝置，依據將分割遮罩和物件邊緣強度圖中的至少一個應用於該目前 畫面的裝置，以決定該第二區域。
53. 如申請專利範圍第47項所述之移動補償畫面速率轉換器，更包括：裝置，其依據應用經修正整體移動向量和局部移動向量所產生較少錯誤者，使用該經修正整體移動向量和該局部移動向量中的一個，以補償該第二區域中的移動。
54. 一種整體平移估計模組，包括：裝置，用於接收具有至少一目前畫面與一參考畫面的輸入信號；裝置，用於對該目前畫面和該參考畫面進行相位相關；以及裝置，用於計算至少一個仿射參數，用於依據該相位相關來估計該目前畫面和該參考畫面之間的整體平移移動。
55. 如申請專利範圍第54項所述之整體平移估計模組，其中用於對該目前畫面和該參考畫面進行相位相關的裝置更包括：裝置，用於藉由抽取因數，以抽取各該目前畫面與該參考畫面；裝置，用於對經抽取目前畫面和參考畫面進行傅立葉轉換；裝置，用於從與經轉換參考畫面相關的相位中減去與經轉換目前畫面相關的相位，以產生相位差異陣列；以及裝置，用於將該相位差異陣列的指數進行逆傅立葉轉換，以產生相關表面。
56. 如申請專利範圍第55項所述之整體平移估計模組，更包括：裝置，用於決定該相關表面的最大值和該最大值在該相關表面上的位置，其中，使用該最大值和該最大值的該位置，以計算該至少一個仿射參數。
57. 如申請專利範圍第56項所述之整體平移估計模組，其中該抽取因數是1、4、以及9中的一個。
58. 如申請專利範圍第56項所述之整體平移估計模組，其中提供該至少一個仿射參數給耦合到該整體平移估計模組的仿射參數精修模組，其中該仿射參數精修模組包括：裝置，用於依據該至少一個仿射參數，以更新該參考畫面；裝置，用於獲得經更新的參考畫面和該目前畫面之間的差異；以及裝置，用於精修該至少一個仿射參數，而將差異最小化。
59. 一種局部移動修正模組，包括：裝置，用於產生分割遮罩，以辨識目前畫面的前景區域和背景區域；裝置，用於產生物件邊緣強度圖，用於辨識該目前畫面中具有顯著邊緣強度的區域；以及裝置，用於依據與感興趣區域相關的該前景區域、背景區域、以及顯著邊緣強度區域，以計算用於該感興趣區域的至少一個移動向量。
60. 如申請專利範圍第59項所述之局部移動修正模組，其中用於計算該至少一個移動向量的裝置包括：裝置，用於計算用於該感興趣區域之經修正整體移動向量和局部移動向量中的至少一個。
61. 如申請專利範圍第59項所述之局部移動修正模組，其中用於產生該分割遮罩的裝置包括：裝置，用於使用至少一個仿射參數來更新該參考畫面，該至少一個仿射參數之特徵為：在該目前畫面和該參考畫面之間的整體移動；裝置，用於獲得經更新參考畫面和該目前畫面之間的差異畫面；以及裝置，用於將該差異畫面各區域與第一臨界值比較，以將該區域分類為該前景區域和該背景區域之一。
62. 如申請專利範圍第61項所述之局部移動修正模組，其中用於產生該分割遮罩的裝置更包括： 裝置，用於決定一物件，其在該分割遮罩中具有至少兩個被連接區域；裝置，用於量化由該物件所佔用面積；以及裝置，用於將經量化面積與第二臨界值比較，而將各該至少兩個被連接區域重新分類為該前景區域和該背景區域之一。
63. 如申請專利範圍第59項所述之局部移動修正模組，其中用於產生該物件邊緣強度圖的裝置包括：裝置，用於產生與該目前畫面中的子區域的垂直方向和水平方向相關的複數個特徵值；以及裝置，用於決定該特徵值的最大值，其中，具有大約在由該最大值所限定的範圍內特徵值之各子區域是顯著邊緣強度區域。
64. 如申請專利範圍第59項所述之局部移動修正模組，其中使用中值濾波器裝置、邊緣調整濾波器裝置、以及高斯濾波器裝置中的至少一個將對應於該感興趣區域之該移動向量進行濾波，其中，該感興趣區域是由應用至該目前畫面的該分割遮罩和該物件邊緣強度圖的組合選出。
65. 如申請專利範圍第59項所述之局部移動修正模組，其中該至少一個移動向量被用於產生：被插入在該目前畫面和該參考畫面之間的移動補償畫面。
66. 一種移動補償畫面速率轉換器，包括：裝置，用於接收具有至少一目前畫面與一參考畫面的輸入信號；裝置，用於處理該目前畫面和該參考畫面，其中該處理包括：辨識與該參考畫面的區域鄰近的相鄰區域；以及使用與該鄰近的相鄰區域之移動向量而產生該目前畫面之區域之局部移動向量；裝置，用於提供仿射整體移動參數和移動向量中的至少一個，其特徵 為經處理目前畫面與經處理參考畫面之間之各整體移動與局部移動；以及裝置，用於將移動補償插入致能，其中，該移動補償插入使用該仿射整體移動參數和該移動向量中的至少一個，以產生該經處理目前畫面與該經處理參考畫面之間的至少一個被插入畫面。
67. 如申請專利範圍第66項所述之移動補償畫面速率轉換器，更包括：裝置，用於對來自該用於實現移動補償插入的裝置的輸出信號進行後處理，其中該輸出信號具有比該輸入信號的原來畫面速率更高的畫面速率。
68. 如申請專利範圍第66項所述之移動補償畫面速率轉換器，更包括：裝置，用於將該經處理目前畫面和該經處理參考畫面進行後處理，以產生用於供應至該將移動補償插入致能的裝置之信號，其中該信號被調整為具有大約等於該輸入信號的原來畫面速率的畫面速率。
69. 如申請專利範圍第66項所述之移動補償畫面速率轉換器，其中該用於處理該目前畫面和該參考畫面的裝置包括：裝置，用於實施對該目前畫面和該參考畫面的降低雜訊和解交錯中的至少一個。