TWI596570B

TWI596570B - 像素緩衝

Info

Publication number: TWI596570B
Application number: TW102130980A
Authority: TW
Inventors: 史蒂芬斐其威克; 史戴芬莫斐特; 保羅布朗斯奈特; 喬納森迪吉恩
Original assignee: 想像科技有限公司
Priority date: 2012-09-05
Filing date: 2013-08-29
Publication date: 2017-08-21
Also published as: JP5717815B2; TW201417038A; JP2014053896A; US10109032B2; DE102013013636A1; CN103686044A; GB2496015A; DE102013013636B4; CN103686044B; US20140063031A1; GB201215870D0; DE102013013636B9; US20230196503A1; GB2496015B; US11587199B2; US20190026857A1

Description

像素緩衝

本發明關於提供影像資料給影像處理模組的方法和系統。

影像或視訊處理系統可以對記憶體系統造成沉重需求。影像處理裝置典型而言使用具有有限頻寬的匯流排而連接到記憶體。於許多情形，也將有位在影像處理裝置之局部的記憶體，其操作成為緩衝器或快取，其目的在於減少經由匯流排而讀取自或寫入至記憶體的資料量。相較於從局部記憶體讀取資料來看，從記憶體經由匯流排來讀取相同資料是相對而言緩慢並且消耗更多功率。

某些記憶體頻寬是免不了的。典型的處理系統必須從記憶體經由匯流排而讀取每個輸入影像訊框，並且經由匯流排將每個輸出影像訊框寫入記憶體。對於高清晰度(high definition，HD)視訊而言，訊框可以是1920個像素寬和1080個像素高。以典型的420色度次取樣模式來說，訊框的大小差不多是3.1百萬位元組(MB)。對於每秒24個訊框(fps)的輸入訊框速率來說，單獨輸入資料頻寬就差不多是每秒74MB。

輸出視訊大小和訊框速率可以異於輸入視訊大小和訊框速率，此視所應用的處理而定。一種可能的處理演算法是高清晰移動補償訊框速率轉換器，其可以每秒讀取24個輸入訊框並且舉例而言每秒寫入120個輸出訊框。於此情形，除了上述輸入資料頻寬為每秒74 MB，輸出資料頻寬則是每秒超過300 MB。很難避免這麼多的資料轉移。

範例性訊框速率轉換演算法操作成二個主要階段。首先，移動估計計算出代表一對接續輸入訊框之間的移動之向量場。其次，圖像建構或內插階段使用取自輸入訊框的像素並且將它們置於輸出訊框中而由移動向量所判定的位置來建構出許多輸出訊框。

有多樣的做法來做移動估計。一種通常的做法是將訊框分割成小矩形區塊，並且對於每個區塊來說，搜尋相鄰輸入訊框中之像素資料的匹配區域。搜尋過程典型而言需要評估許多移動向量候選者的每一者，並且匹配的品質是使用例如區塊中的像素和來自相鄰訊框的像素之間的絕對差總和(sum of absolute differences，SAD)的尺度來判定。像素匹配區域之間的位置偏移判定了用於該區塊的移動向量。

移動向量候選者可以是在搜尋範圍裡的任何向量。搜尋範圍包圍著區塊，並且其大小判定了可以偵測和追蹤的移動範圍。常常會有幾個帶有類似值的候選者，這意謂來自相鄰訊框的像素必須讀取多於一次。因此，將對應於搜尋範圍的相鄰訊框像素資料儲存於局部緩衝器中是適當的。一旦緩衝器填滿了，則可以測試許多向量候選者而不消耗任何額外的記憶體頻寬；然而，必須考慮到填滿緩衝器的記憶體頻寬消耗。

於演算法的圖像建構階段，對應於所選移動向量的像素資料乃投影到它在輸出訊框的位置。可以投影出幾個替代性移動估計結果，而輸出訊框中的像素值是由它們每一者的複合所形成。用於圖像建構的像素資料也讀取自相同的像素資料緩衝器，其供應用於移動估計的像素。

圖1示範一種設計像素資料緩衝器的做法。緩衝器100乃顯示成與移動估計器的搜尋範圍105有相同的大小，並且中心在將發生移動估計的區塊110上。實務上，緩衝器大小可以稍微擴充以供應資料給其他過程，例如訊框速率轉換器的圖像建構階段。當移動估計處理移動到下一區塊115時，像素資料緩衝器拋棄在搜尋範圍之一邊緣而對應於一欄區塊120的資料，並且讀取在搜尋範圍之相對邊緣而對應於一欄區塊125的資料。如果搜尋範圍的高度是V個區塊，則對於在移動估計器中處理的每個新區塊來說，必須讀取像素資料的V個區塊。雖然隨著搜尋範圍開始重疊於螢幕的邊緣而有一些節省，但是隨著處理位置向下進到下一列，這節省被讀取一長列區塊130的需求所粗略的抵銷。左右往復式處理次序135乃優於水平掃描式次序140，因為處理要跳回到下一列的相對末端就會需要大大的置換整個緩衝器內容145。

對於訊框的移動估計而言，合理的預期相鄰訊框中之像素資料的每一區塊必須檢查至少一次。大部分的移動差不多是平移的，並且向量場是相對而言均勻的。因為在顯著部分的相鄰訊框從未被移動估計器造訪的情形有例外，所以不能總是依賴此種情形。如果來自相鄰訊框之像素資料的每個區塊讀取一次並且僅一次，則就記憶體頻寬而言可以合理的說移動估計器是最佳化的。

圖1之設計的優點在於使像素資料緩衝器所需的儲存量減到最少，其代價是最佳化設計的記憶體頻寬消耗變為差不多V倍。對於合理的垂直移動搜尋範圍而言，V不是特別小。

圖2示範像素資料緩衝器200，其為訊框的全寬。移動估計器的搜尋範圍205對應於正被處理的區塊210。當移動估計前進到下一區塊215時，必須讀取一額外區塊220，並且可以拋棄一區塊225。隨著處理位置接近目前列的末端，讀取區塊位置則繞到下一列的開始，而使左右往復式和水平掃描式處理次序之間的分別較不顯著。這設計達成最佳化的記憶體頻寬，因為訊框的每個區塊僅須讀取一次。在訊框為寬的情形，在緩衝器夠滿而可以處理第一區塊之前可以有較大的延遲。這設計的最顯著缺點在於像素資料緩衝器需要相當較大量的局部記憶體。

於這類的應用，記憶體快取正常而言不是適合像素資料緩衝器的替代方案，此乃由於萬一快取遺漏則要花時間從記憶體經由匯流排來檢索得出資料。相對而言，像素資料緩衝器設計則保證資料可立即獲得。這在需要大量計算的即時用途(例如視訊處理)是顯著的。

隨著訊框大小增加，像素資料緩衝器所需的儲存量成比例的增加。高清晰度(HD)影像是1920’1080個像素。雖然對於視訊序列的移動大小沒有限制，不過移動估計器之搜尋範圍的大小常常有實際的限制。搜尋範圍的垂直大小V是特別重要。對於追蹤HD視訊中之大多數移動的移動估計器來說，緩衝器可以須要為幾百個像素高。如果像素資料緩衝器是螢幕的寬度，並且如果垂直搜尋範圍V是200個像素，則須要儲存差不多1920’200個像素。(圖2顯示緩衝器可以在其寬度上短一個區塊。)移動估計常常操作在不同訊框之間，或同時操作在不同時程，而同時需要可能二、三或四個訊框的像素資料。儲存需求因此必須據此而升級。所需的儲存總量很大，並且像素資料緩衝代表移動估計裝置之顯著比例的矽面積。

超高清晰度電視(ultra high definition television，UHDTV)標準以高於HD的解析度來定義新的視訊格式。4KUHDTV是訊框大小在每個尺度為HD二倍的格式，亦即3840’2160個像素。因為讀取訊框的需求仍然不可避免，所以記憶體頻寬至少與訊框面積成比例的增加，亦即四倍。因此，想要設計的像素資料緩衝是盡可能接近最佳化而不增加不必要的記憶體頻寬。這建議使用的像素資料緩衝器有螢幕全寬。因為典型的移動向量也與訊框大小成比例，所以搜尋範圍尺度將加倍。全寬像素資料緩衝器現在因此將差不多是3840’400個像素，係四倍的大小，因此粗略為HD方案之矽面積的四倍。

8K UHDTV訊框在每一尺度上是4K UHDTV大小的二倍。這增加頻寬需求到HD視訊的十六倍，並且需要十六倍的像素資料緩衝器儲存量。

申請人已體認到乃想要減少影像資料緩衝器所需的記憶體空間量，同時也減少記憶體頻寬消耗。

根據本發明，提供的是提供影像資料給影像處理模組的方法，其包括以下步驟：從記憶體讀取影像資料到降級器裡，其將影像資料降級成第一解析度；將第一解析度的影像資料儲存於第一緩衝器中；預測影像處理模組將請求的影像資料區域；將對應於至少部分之影像資料預測區域的影像資料從記憶體儲存到第二緩衝器裡，其中第二緩衝器中的影像資料是在高於第一解析度的解析度；從影像處理模組接收對於影像資料的請求；判定對應於至少部分之請求影像資料的影像資料不在第二緩衝器中；升級來自第一緩衝器的影像資料，以提供解析度至少匹配於較高解析度之至少部分請求影像資料的替代品；以及提供升級的影像資料給影像處理模組。

本發明之實施例的優點在於以較高解析度而儲存於第二緩衝器中的影像資料量可以為小，而沒有如果對應於請求之影像資料的影像資料不在第二緩衝器中則影像資料將須要從記憶體取得的風險，這風險對於許多應用來說可以導致無法接受的延遲。如果對應於請求之影像資料的影像資料不在第二緩衝器中，則來自第一緩衝器的影像資料被升級，以提供解析度至少匹配於較高解析度之請求影像資料的替代品。於某些情況，這方法的缺點在於較低品質的影像資料可能提供給影像處理模組。高頻資訊於降級過程期間漏失，其無法藉由後續升級影像資料來檢索得出。然而，這方法的優點在於可以減少影像資料緩衝器所需的記憶體空間。

即使用於影像之區域的影像資料可以同時儲存於第二和第一緩衝器中，但由於第二緩衝器(儲存較高解析度的影像資料)可以為小(因為讓第一緩衝器中有較低解析度的影像資料之讓步)，所以二個緩衝器所需的總記憶體空間可以少於如果儲存於第一緩衝器中的所有影像資料都是較高解析度時所需者。

因此這也意謂用於影像之較大區域的影像資料可以儲存於相同量的緩衝記憶體中。於某些應用，這優點在於再讀取不在緩衝器中之影像資料所需的記憶體頻寬可以減少，而不增加緩衝器所需的記憶體空間量。

於本發明的較佳實施例，第一緩衝器儲存對應於影像訊框之全寬的影像資料。

較佳而言，第二緩衝器中的影像資料從記憶體讀取到第二緩衝器裡。然而，於替代性實施例，將對應於至少部分之影像資料預測區域的影像資料從記憶體儲存到第二緩衝器裡的步驟包括：從記憶體讀取影像資料到降級器裡，其將影像資料降級成第二解析度；以及將第二解析度的影像資料儲存於第二緩衝器中。

本發明的實施例進一步包括判定對應於部分之請求影像資料的影像資料是在第二緩衝器中；以及從第二緩衝器提供解析度至少等於較高解析度的影像資料給影像處理模組。

於矩形區塊中的影像資料可以安排於第一和第二緩衝器的每一者中。較佳而言，第一緩衝器中的區塊大小乃藉由對應於第一解析度和較高解析度之間差異的級別因子而關聯於第二緩衝器中的區塊大小。

第二緩衝器可以使用內容可定址的記憶體來實施。

影像處理模組將請求的影像資料區域可以使用影像處理模組或進一步影像處理模組所供應的資料來預測。舉例而言，影像處理模組將請求的影像資料區域可以使用影像處理模組或進一步影像處理模組所供應的移動向量來預測。

於本發明的較佳實施例，第一解析度的影像資料藉由以下方式而儲存於第一緩衝器中：將第一解析度的影像資料寫入記憶體；以及從記憶體讀取第一解析度的影像資料到第一緩衝器裡。將第一解析度的影像資料寫入記憶體使用了記憶體頻寬。然而，申請人已體認到對於影像資料會須要再讀取和降級的應用而言，將第一解析度的影像資料寫入記憶體可以導致整體記憶體頻寬有所節省。寫入和讀取第一解析度的影像資料到和自記憶體所需的記憶體頻寬量可以少於讀取在較高解析度下之影像資料所需的記憶體頻寬，並且如果影像資料須要從記憶體讀取多次，則這節省將會增加。此外，由於影像資料僅須要降級一次，故這方法能夠使降級影像所需的資料處理能力減低。

於本發明的進一步較佳實施例，降級器藉由判定以下之間的差異而產生殘值(residual)影像資料：在較高解析度的影像資料；以及已從第一解析度升級成較高解析度的影像資料。

於此實施例，第二緩衝器中對應於至少部分之影像資料預測區域的影像資料可以包括殘值影像資料。殘值影像資料具有與較高解析度相同的解析度。然而，使用殘值影像資料的優點在於殘值影像資料常常可以比較高解析度的影像資料更容易和更完全的壓縮。這有利的意謂讀取和寫入殘值影像資料到和自記憶體所需的記憶體頻寬可以少於讀取較高解析度之影像資料所需的記憶體頻寬。此外，可以減少第二緩衝器所需的記憶體空間。殘值影像資料可以使用損失性或非損失性壓縮來壓縮。

於此實施例，從第二緩衝器提供影像資料給影像處理模組可以包括：升級來自第一緩衝器的影像資料以至少匹配於較高解析度；組合來自第二緩衝器的殘值影像資料和升級的影像資料；以及提供此結果給影像處理模組。

於本發明的進一步較佳實施例，該方法包括判定部分影像中的高頻資訊量。這可以藉由分析殘值影像資料來為之。

於此實施例，如果判定部分影像中的高頻資訊量是在門檻之下，則對應於該部分之影像資料預測區域的影像資料可以不儲存到第二緩衝器裡。這能夠節省記憶體頻寬，並且附帶解脫了第二緩衝器中的空間而供其他資料來佔用。這其他資料可以是尚未儲存而要儲存的資料，或者把第二緩衝器想像成類似已經儲存的快取資料(其在未來可能是有用的)而吾人可以避免逐出之。

如果指示出部分的影像資料預測區域將不由影像處理模組所使用，則對應於該部分之影像資料預測區域的影像資料也可以不儲存到第二緩衝器裡。舉例而言，這可以是如果預測影像資料之可靠度為低的情形。

於本發明的進一步較佳實施例，多少影像資料從記憶體儲存到第二緩衝器裡乃鑒於記憶體頻寬消耗率需求來判定。

較佳而言，門檻乃鑒於在影像之不同部分的高頻資訊量和記憶體頻寬消耗率需求來調整。

於本發明的進一步較佳實施例，第一解析度的影像資料可以從第一緩衝器提供給影像處理模組或進一步影像處理模組，以回應於來自影像處理模組或進一步影像處理模組對於在第一解析度之影像資料的請求。舉例而言，影像處理模組或進一步影像處理模組可以包括移動估計器，其使用在第一解析度的影像資料。

影像處理模組舉例而言可以是訊框速率轉換器的圖像建構器，其基於移動估計器的結果而輸出至少在較高解析度的影像。於一實施例，訊框速率轉換器的圖像建構器進一步包括分析器，其設有來自第一緩衝器之在第一解析度的影像資料。

於本發明的實施例，識別出來自第一緩衝器的升級影像資料和來自第二緩衝器所提供的影像資料之間潛在不連續性的位置。於本發明的較佳實施例，混合單元在不連續性附近組合了來自第二緩衝器的影像資料和來自第一緩衝器的升級影像資料以便減少不連續性的可見度。

於本發明的進一步較佳實施例，對應於至少部分之影像資料預測區域的至少某些色度影像資料不儲存到第二緩衝器裡。申請人已體認到色度影像資料中的高頻資訊一般不是像照度影像資料中的高頻資訊那樣容易感知。因此，對於一或更多個影像像素而言，不讀取色度影像資料到第二緩衝器裡能夠節省記憶體頻寬，同時減少提供給影像處理模組之影像資料的任何品質降低。它進一步能夠使第二緩衝器中的空間解脫而供其他資料來佔用。

根據本發明，也提供的是提供影像資料給影像處理模組的系統，其包括：降級器，其組構成將來自記憶體的影像資料降級成第一解析度；第一緩衝器，其安排成儲存第一解析度的影像資料；第二緩衝器，其安排成儲存對應於至少部分之影像資料預測區域的影像資料，其中第二緩衝器中的影像資料是在高於第一解析度的解析度；以及處理器，其組構成：從記憶體讀取影像資料到降級器裡，並且將第一解析度的影像資料儲存於第一緩衝器中；預測影像處理模組將請求的影像資料區域；將對應於至少部分之影像資料預測區域的影像資料從記憶體儲存到第二緩衝器裡；從影像處理模組接收對於影像資料的請求；判定對應於至少部分之影像資料請求區域的影像資料不儲存於第二緩衝器中；使用升級器升級來自第一緩衝器的影像資料，以提供解析度至少匹配於較高解析度之至少部分影像資料請求區域的替代品；以及提供升級的影像資料給影像處理模組。

因此，於本發明的較佳實施例，第二緩衝器可以操作得有些像是快取，其儲存在高解析度的多個像素資料區塊。第二(高解析度)緩衝器的內容可以由緩衝控制器來維持，該控制器可以使用預測和速率控制演算法以提供影像處理模組所需的像素資料，同時也調節記憶體頻寬的消耗。

應用(例如訊框速率轉換器的移動估計器和圖像建構器)可以存取來自第一或第二緩衝器的資料。移動估計器舉例而言可以設計成完全操作來自第一緩衝器的低(第一)解析度資料。圖像建構器較佳而言應操作高解析度資料，以便讓輸出訊框只要可能的話就維持著輸入訊框的解析度。對第二(高解析度)緩衝器的存取是透過緩衝控制器，其在高解析度緩衝器中是可得時便供應高解析度資料，並且當高解析度資料是不可得時則從第一(低解析度)緩衝器供應升級的資料。

本發明之較佳實施例的進一步特色和優點將從下面詳細敘述變得明顯。

在此描述的像素緩衝技術使晶片上的記憶體大小與輸入訊框大小脫離關係，同時限制了記憶體頻寬的消耗。

這架構提供在二個極端之間有用的彈性妥協。雖然圖1的系統使用小之晶片上的緩衝記憶體，但是記憶體頻寬是過多的。圖2的系統具有全寬、高解析度像素緩衝器，則使記憶體頻寬減到最少，而代價是過於大量之晶片上的緩衝記憶體。雖然當視訊解析度為低時二種解決方案都可行，不過隨著解析度上升，二者的缺失就變得明顯。藉由選擇適當的級別因子和緩衝器大小，所述的技術允許找到成本、頻寬、影像品質的適當平衡。雖然主要打算用於高解析度視訊處理系統，不過所述範例可以相等的應用於較低解析度系統而可以對既有的設計做出進一步節省。

以下的範例是在移動補償訊框速率轉換器的背景下來描述。然而，熟練人士將體認該技術可以應用於廣泛之各式各樣的影像和視訊處理用途。

｢應用｣(application)一詞在此乃用於描述使用緩衝像素資料的處理區塊或模組。應用典型而言乃實施成與像素緩衝系統為同一硬體裝置的一部分，並且舉例而言不應該與在通用計算機上運行的軟體應用程式混淆。移動補償訊框速率轉換器是使用緩衝像素資料之應用的一個範例，並且將看到這應用也可以實施成為幾種應用，而每種應用以不同方式來使用像素資料。

圖3顯示系統的簡化方塊圖，其中高解析度訊框儲存於記憶體300中。降級單元305將高解析度訊框轉換成較低解析度，並且將低解析度像素資料儲存於低解析度緩衝器310中。為了使記憶體頻寬消耗減到最少，偏好的是降級影像之全寬的緩衝器。

降級過程可以使用任何一種熟知的影像升降級技術。推薦的是合理高品質的升降級器，例如雙立方型，因為來自低解析度緩衝器的像素可能出現在輸出影像中。

對於某些應用來說，降級資料的解析度是完全足夠的。此種應用乃顯示成低解析度應用315。於訊框速率轉換器的範例，可能可以運行移動估計器成低解析度應用，如底下所討論。

緩衝器控制單元320提供高解析度的影像資料給高解析度應用335。高解析度應用操作成彷彿它存取包含高解析度像素資料的全大小像素資料緩衝器，例如圖2所示者。事實上，不存在此種緩衝器。緩衝器控制單元320於高解析度緩衝器330中維持著小量的高解析度資料。當應用335請求像素資料時，緩衝器控制單元從高解析度緩衝器330來供應它(如果它是可得的)。如果資料不是可得自高解析度緩衝器，則緩衝器控制單元從低解析度緩衝器310經由升級器325來供應資料。升級器的級別匹配於降級器305的級別，使得低解析度資料的級別匹配於高解析度訊框的級別。高解析度應用335不須知道是否有任何特殊像素已透過低解析度路徑來供應。高頻資訊當然是於降級過程期間漏失。當升級的資料乃用於建構輸出時，缺乏高頻資訊可能導致可見的影像柔化。

緩衝器控制單元320只要可能的話就確保高解析度應用335所請求的資料是存在於高解析度緩衝器330中。

於一範例，高解析度緩衝器330中的像素資料儲存被組織成矩形區塊。可以選擇這些儲存區塊的大小以讓緩衝系統有最好效能，並且可以異於用來供高解析度應用335處理的區塊大小(如果有的話)。將高解析度儲存劃分成區塊裡則允許在方便的粒度(granularity)下管理緩衝器內容，並且允許來自升級器325和低解析度緩衝器310之升級資料區域的請求。

類似而言，低解析度緩衝器310可以將像素資料儲存於矩形區塊中。舉例而言，藉由降級器305和升級器325所用的級別因子來選擇低解析度儲存區塊大小而關聯於高解析度儲存區塊大小，則可以是特別的方便。以此方式，一低解析度區塊對應於一高解析度區塊。

記憶體快取是熟知的。傳統的記憶體快取從特殊的記憶體位址接收對於資料的請求，並且供應該資料給做出請求的裝置。在一件資料被請求的第一次時，它從記憶體經由匯流排而取得。資料乃複製於快取中，如此則若請求第二次，則資料可以從快取供應，而非再次從記憶體取得。這是已知為｢快取命中｣(cache hit)。因為快取中的儲存量相對而言為小，所以對於快取來說一般不可能維持著整組工作資料的複本。這當工作組為大時特別為真，就如在影像或視訊資料的情形。典型而言，被載入快取裡之新的一件資料將逐出另一件資料。萬一再次請求被逐出的那件資料，它將須要從記憶體再次取得。讀取請求導致資料要從記憶體取得的情況乃已知為｢快取遺漏｣(cachelost)。快取的大小、映對規則、取代策略決定了快取的行為，並且可以針對通用效能或特殊應用的效能來選擇。

當有可能預測一件資料將在不久的未來而從快取被請求時，預先取得則是用於快取的技術。預先取得乃將資料轉移到快取裡，使得當它被首次請求時將發生快取命中。這在視訊應用中可以是適當的，舉例而言，如果像素的區塊是以水平掃描式次序來處理的話。就在一區塊的處理是完成的不久前，可以發出預先取得指令以將用於下一區塊的資料取得到快取裡，使得用於下一區塊的資料在下一區塊的處理開始時是立即可得的。雖然預先取得不減少頻寬消耗，但是的確有助於隱藏關聯於快取遺漏的等待時間(延遲)。當使用預先取得時，應該考慮預先取得的資料將從快取逐出其他仍在使用之資料的可能性，這導致額外的快取遺漏。

高解析度緩衝器330和控制器320異於傳統的快取之處在於對於高解析度緩衝器中不存在之資料的請求不導致資料要從記憶體取得。資料反而是經由升級器325從低解析度緩衝器310來提供。以此方式，總是避免了記憶體存取的等待時間。

若無例如｢快取遺漏｣的手段來佈滿高解析度緩衝器330，則必須提供某種其他的機制。緩衝控制器320在平行於資料供應給應用335下執行此功能。

緩衝器控制單元320的結構顯示於圖5。讀取控制器500從應用接收對於影像資料區塊的請求。請求被處理以判定來自高解析度緩衝器505所需的資料，舉例而言處理的方式是將請求映對到高解析度儲存區塊大小上。然後詢問高解析度緩衝器以判定緩衝器是否包含請求的資料。詢問緩衝器的機制可以使用類似於快取設計所用的技術：舉例而言，標籤510乃儲存於緩衝資料515的每個區塊，並且可以從像素資料在訊框中的座標或從資料在記憶體中的位址來導出。緩衝器然後可以實施成內容可定址的記憶體(contentaddressable memory，CAM)，其允許對應於特殊標籤的資料被檢索得出。

當請求的資料包含於高解析度緩衝器中時，資料經由路徑520供應給多工器525。如果請求的資料沒有包含於高解析度緩衝器中，則請求發送到升級器(並且從升級器到低解析度緩衝器)以經由路徑530而供應升級的低解析度資料。替代而言，對於資料的請求可以同時發送到高解析度緩衝器和升級器，使得較涉及升級低解析度資料的大部分等待時間乃隱藏在詢問高解析度緩衝器所花的時間背後。

可選用而言，對於資料的請求可以經由匯流排而發送到記憶體，並且高解析度資料經由路徑535供應給多工器。一般而言，系統透過低解析度或高解析度緩衝器路徑來供應資料，以避免關聯於存取記憶體之相當多的等待時間和頻寬消耗。無論如何，從記憶體來供應資料的選項對於某些應用而言可以是有用的。

多工器525在讀取控制器500的控制下而在多樣的資料路徑之間切換，如此以在輸出540供應適當的資料給應用。

預先取得控制器545則負責從記憶體讀取資料，並且負責將它儲存於高解析度緩衝器中。理想而言，所有的資料在被應用請求之前將已取得並且可得於高解析度緩衝器中。實務上，資料的可得性將取決於需求的可預測性、高解析度緩衝器的儲存策略(亦即儲存一件資料是否引起逐出另一件資料)和其他因素(例如施加於記憶體介面的速率控制)。一般而言，預先取得控制演算法將取決於應用的特徵。

訊框速率轉換器的圖像建構階段有可能運行成高解析度應用。於移動估計階段期間所判定的移動向量乃用於識別出輸入訊框中必須檢索得出像素資料的位置。檢索得出的像素資料然後加以複合，其可能與從其他輸入訊框檢索得出的其他像素資料來複合，而成為用於顯示的輸出訊框。

如果移動估計應用事先運行得夠遠而使移動向量允許知道圖像建構器的資料需求，則用於圖像建構應用的預先取得控制是簡單直率的。於此情形，預先取得控制可以包括預期資料請求的FIFO (first in, first out，先進先出)佇列，而資料乃恰在被圖像建構器請求之前供應給高解析度緩衝器。

如果真實的移動向量不是事先夠遠而可得的，則預先取得控制器可以嘗試決定圖像建構器可能會做出的請求。

預測的一個範例性方法是假設移動將是相同於在先前訊框時程期間的相同位置所為者。因為移動物體經常持續移動，所以這正常而言導致良好的預測。例外之處是在移動物體的邊緣，在此向量對應於物體已經移開的移動。向量場的移動補償可以改善這些情況下的預測。

於許多情況，訊框中的主要移動是由於攝影機的移動，舉例而言在水平搖攝的情況。代表這移動的向量乃已知為全體移動向量，並且可以衍生自向量場的平均值。即使景象包含移動物體，使用中位數所計算出的平均值產生了全體移動向量，其常常良好的預測出訊框中之大多數區塊的移動向量。全體移動向量因此提供替代性預測，其適合由預先取得控制器來使用。

當單獨的或做為全體移動的使用來自先前訊框時程的向量時，預測的正確性取決於從一訊框時程到下一訊框時程不顯著改變的移動。幸運而言，這是一般的情況。隨著移動估計進行於目前的訊框時程，那些向量也可以併入預測中，而允許容納移動中的小改變。

當預測失敗時，請求的像素資料將不可得於高解析度緩衝器，所以將改為供應低解析度的像素資料。在有移動物體或突然的移動改變之情形，預測是最可能失敗。移動模糊可能柔化了移動物體的外觀，並且觀察者不太能夠追蹤飄忽不定的移動物體。供應低解析度的像素資料因此可能符合高解析度內容不存在或不容易感知的影像區域。結果，減少了預測失敗的視覺衝擊。

於良好預測的理想狀況下，由於供應高解析度之像素資料所造成的記憶體頻寬消耗可能預期是接近最佳化的情形，此時每一像素(或像素的區塊)讀取一次。實務上，高解析度應用所請求的像素區塊是不太可能對齊於高解析度緩衝器所用的儲存區塊格子。

圖7a顯示未對齊資料請求的通常情況。當請求區塊700時，必須輸出來自四個儲存區塊711、712、713、714的像素。如果高解析度應用以水平掃描式次序來處理區塊，則高解析度緩衝器的快取效應可以使記憶體頻寬消耗從4倍減少到2倍。舉例而言，當請求區塊720時，儲存區塊713和714來自先前的存取而保持於緩衝器中，並且需要二個額外區塊731和732。

如果資源允許，則較大的高解析度緩衝器可以允許於處理一列期間所載入的區塊保持成可得的而當下一列被處理時再使用之。舉例而言，當請求區塊740時，儲存區塊712和714保持於緩衝器中，並且需要額外的區塊751和752。然後當請求區塊760時，區塊714、732、752保持在緩衝器中，並且需要一個額外區塊753。於此情況，記憶體頻寬消耗可以接近1倍。

替代而言，藉由將區塊處理次序從水平掃描式改變成拼鋪佈局或莫頓(Morton)次序佈局(如果應用允許的話)，可以獲得快取效能的改善而不大大增加緩衝器大小。

於移動補償系統，當向量場是均勻時，區塊請求將安排成堆滿的格子(例如區塊700、720、740、760)。如果向量場不是均勻的，則這可以導致一序列的區塊請求，例如740、760、780。雖然這序列可能是完全可預測的(前提是事先知道向量場)，不過也可能打亂緩衝器的快取效能。舉例而言，雖然儲存區塊732和792可以保持於緩衝器中，不過可能已拋棄了區塊731和791。

移動估計器是很適合操作成為低解析度應用的過程。訊號調節是改善移動估計器效能所熟知的技術，並且常常包括影像資料的低通過濾。這是有利的原因包括減少雜訊以及區塊匹配措施(例如絕對差總和(sum of absolute difference，SAD))的過度敏感性達到極高頻細節。因此，在已降級成較低解析度的資料上運行移動估計器正常而言幾乎沒有缺點並且可能有一些優點。

儘管這點，移動估計器能對可合理預測的資料加以存取，並且如果選擇實施移動估計器做為高解析度過程，則局部程度使得高解析度緩衝器可以良好執行。

於移動估計器，像素資料的區塊比較典型而言是比較一訊框中之像素的一格子對齊區塊與相鄰訊框中的幾個非對齊的候選區塊。多個非對齊的候選區塊乃示範於圖7b。雖然候選區塊位置的選擇是複雜的題目而將不在此討論，但是它將是熟於此技藝者所熟悉的。它基本上是預測物體移動的問題。該組候選區塊位置典型而言將叢集在一或更多個可能移動向量的附近，而位置有小變化以允許移動向量場隨著時間來改善和調適。顯示的是叢集777和778，其分別具有四個和二個候選者。可以看到緩衝器執行得不錯，此乃由於幾個候選位置需要來自同一組之像素資料儲存區塊的資料。

就候選區塊位置可以事先預測得夠遠的程度來說，它們提供對預先取得控制器545之有用的輸入，此乃由於隨著候選者被測試，每個候選區塊位置代表像素資料將被請求的區域。預先取得控制器經由資料路徑550而從應用取得輸入，其可以包括這類的資料。

圖4是顯示額外細節的方塊圖，其可以實施於進一步範例性系統。

於許多應用，每個訊框被處理幾次。於移動估計器的範例，搜尋發生在一對訊框之間。第一移動估計發生在訊框0和訊框1之間。第二移動估計發生在訊框1和訊框2之間，第三移動估計發生在訊框2和訊框3之間……。序列上的第一訊框是例外，而其他每個訊框則為二個移動估計所需。更複雜的移動估計器可以在不同時程和不同方向上執行搜尋(譬如在訊框n-1中搜尋訊框n的內容是不同於在訊框n中搜尋訊框n-1的內容)。結果，有可能每個訊框將被讀取二、三或更多次。由於正常而言將整個訊框儲存於緩衝儲存器中是不可行的，故據此增加了記憶體頻寬。

於替代性實施例，記憶體400包含用於高解析度訊框405的儲存，其由降級器410所處理。低解析度緩衝控制器415將降級的像素資料儲存於低解析度緩衝器中，就如之前所為，並且也將資料返回到記憶體400。當相同訊框處理第二次時，低解析度緩衝控制器從記憶體檢索得出低解析度訊框420，而不須再次降級高解析度訊框。

如果高解析度訊框的記憶體大小是B，並且使用典型的降級因子0.5，則記憶體中的低解析度訊框大小是B∕4。訊框首次被處理時，記憶體頻寬消耗是B的讀取加上B∕4的寫入。訊框第二次被處理時，記憶體頻寬消耗是B∕4的讀取。對於處理n次之訊框而言的總記憶體頻寬消耗是(1+ n∕4) B，相較而言，不儲存降級訊框的系統則是nB。對於任何存取多於一次的訊框來說，因此頻寬有所節省。由於降級器410必須處理較少的訊框，故也有機會節省矽面積或減少功率消耗。

降級器410也可以產生殘值輸出。殘值是高解析度像素資料和當低解析度之像素資料被升級時所終將再產生的像素資料之間的差異。雖然殘值資料具有與高解析度之像素資料相同的解析度，但是其優點在於相對而言容易壓縮。殘值編碼器425壓縮殘值資料並且將它儲存在430的記憶體中。

緩衝器控制單元435現在維持著編碼之殘值資料的緩衝440，而非高解析度之像素資料的緩衝330。當高解析度應用請求像素資料並且一件適當的殘值資料是可得於殘值緩衝器440中時，殘值便在445解碼，並且加到升級的低解析度資料。這相當於直接提供高解析度資料。

殘值資料的可壓縮性在極少(於相當多之高頻細節的區域)和相當多(於高解析度訊框具有極少高頻細節的區域)之間變化。於最糟的情況，必須從記憶體取得之殘值資料的大小是相同於彷彿正在供應高解析度的像素資料。平均而言，殘值資料比較小，而進一步減少了記憶體頻寬。再者，壓縮的殘值資料佔據殘值緩衝器440中的較少空間，增加了緩衝器的有效大小，並且意謂緩衝控制器435將必須供應低解析度像素資料給應用的情況較少。

圖6顯示圖5的緩衝器控制單元被修改成於圖4的系統工作。高解析度像素資料緩衝器是由殘值緩衝器600所取代，並且殘值解碼器605對應於圖4的區塊445。

解碼的殘值資料在610與低解析度資料加總以提供高解析度的像素資料給多工器。如果使用未緩衝的殘值資料路徑615，則這資料必須連線到殘值解碼器。

殘值資料可以儲存於區塊中，較佳而言其大小相同於高解析度緩衝器所用的儲存區塊大小。多樣的方法可以適合壓縮殘值資料，並且此等方法是影像和視訊編碼之領域所熟知的。基於離散餘弦轉變(discrete cosine transform，DCT)或子波的方法是適當的。以此種方法而言，也就有可能考慮殘值資料的損失性編碼。損失性編碼舉例而言乃用於JPEG影像編碼或用於MPEG視訊編碼。

於在此所述的系統，殘值的損失性編碼可以進一步減少記憶體頻寬，並且可以允許甚至比無損失殘值編碼所可能做到之更大量的殘值儲存於高解析度緩衝器中。可能的缺點在於從升級的低解析度影像和殘值所建構的高解析度像素資料就不再是完美的。於許多情況下，損失程度可以是視覺上無法察知的，並且於大多數情形，重新建構的高解析度資料將優於使用升級的低解析度資料，後者本身代表相當多的資訊損失程度。是否使用損失性殘值壓縮和所用的壓縮程度將視應用而定。

計算殘值也提供了分析高解析度影像內容的機會。執行這分析有相當多的利益，即使於不儲存殘值之圖3的系統亦然。如果區塊的殘值為小，則該部分的影像僅有極少的高頻內容。知道高頻細節在影像中的分布可以由緩衝控制器320來使用以使緩衝器利用和頻寬消耗最佳化。

若區塊的殘值是夠小而可以判定高解析度和低解析度像素資料之間將沒有顯著的視覺差異，則緩衝控制器可以選擇不從記憶體載入高解析度資料，即使當預測該資料將被高解析度應用請求亦然。高解析度緩衝器中沒有資料將導致改成供應低解析度資料，並且將達成節省頻寬消耗。

類似的利益可以用應用所供應的資訊而獲得。圖5和6皆顯示輸入550和620提供應用資料給預先取得控制器。雖然應用資料可以包括如之前所述的移動向量和全體移動向量資料，但是也可以包括例如關於演算法效能的進一步資料。

於訊框速率轉換器範例，圖像建構器可以在建構複合影像時分析移動向量和像素資料。若圖像建構器可以供應應用資料而允許預先取得控制器使頻寬消耗最佳化，則可以發生幾種情況。

如之前所言，典型的圖像建構器根據幾個不同的移動向量場來使用投影自幾個輸入訊框的像素資料而產生其複合影像。圖像建構器的工作是要解決不同投影之間的不一致，以便產生可能最好的複合輸出。輸出典型而言將在影像的任何特殊位置被加權混合某些或全部的投影。

於一範例，圖像建構器乃分成二部分：分析級和合成級。分析級現在運行成低解析度應用，並且合成級運行成高解析度應用。

若分析級判定所有或大部分的投影彼此一致，則混合便是不必要的，並且任何一個一致的投影便夠好而單獨使用於輸出影像。於此情形，分析級可以發送應用資料給預先取得控制器而指示出僅有一個投影影像是合成級所需的。雖然對應於此投影的高解析度資料將被取得到高解析度緩衝器裡，但是用於其他投影的資料將不。

若複合影像之正確性的可靠度為低，則使用多樣類型的誤差隱藏。一種特殊類型的誤差隱藏是對輸出影像施加低通過濾或模糊。如果解析度將被過濾所劣化，則承認讀取高解析度資料中僅有極少的點。因此，使用誤差隱藏可以藉由發送應用資料給緩衝控制器而指示。緩衝控制器將避免讀取高解析度資料，而導致頻寬消耗減少。

可以在可以判定僅有一次組投影影像是合成級所需的任何時間下做出類似的節省。

將清楚知道上述範例乃關聯於非訊框速率轉換的應用，並且許多演算法將能夠供應應用資料而允許預先取得控制器以適當方式將記憶體頻寬消耗最佳化。

上面範例所描述的情況是緩衝控制器基於指示出低解析度資料將是足夠的資訊而避免取得高解析度資料的特定區塊。雖然可以有其他情形會是想要高解析度資料，但是因為某種原因而不可得。原因可以包括高解析度緩衝器的空間不足、應用或預先取得控制器的預測不正確、或記憶體頻寬不是足夠可得的來供應高解析度資料。

於後面的情形，系統可以對記憶體頻寬的消耗量做出限制。於圖7的敘述和非對齊資料請求的討論，曾說到記憶體頻寬消耗可以在1倍和4倍的請求資料量之間變化，此視請求的對齊和緩衝器的快取效能而定。

於一範例，速率控制可以應用於高解析度資料的預先取得。舉例而言，典型而言會消耗記憶體頻寬2.2倍之請求資料量的系統可能被限制成僅消耗1.5倍。頻寬限制是藉由避免讀取高解析度資料的特定區塊而實施，並且改成供應低解析度資料給應用。

速率控制演算法乃用於視訊編碼，其中常常須要產生在所要資料速率的編碼位元流。視訊編碼器藉由改變用於每個編碼區塊的量化程度而控制資料速率。於圖3的系統，其中高解析度資料乃讀取自記憶體，則速率控制器可以讀取或不讀取每個區塊的資料。於圖4的系統，若殘值資料是適當編碼的，則速率控制器可以選擇讀取每個區塊的所有或一些殘值或不讀取。這可以允許做到比圖3系統所可能之更複雜的速率控制。

典型的速率控制演算法將達成長期的目標速率，同時常常允許短期高於目標速率的變動。於基於訊框的系統，例如視訊處理，想要將可得的頻寬適當的分布跨越訊框。如果意謂訊框下部乃渴望資料的話，速率控制不應該浪費供應高解析度資料到訊框頂部的頻寬。另一方面，預期高解析度細節不存在時，頻寬不應該被過度保留。分析訊框中的細節分布(例如已配合殘值的計算而描述)則提供了速率控制器可以用來適當分配頻寬的資料。若應用資料也允許預先取得控制器避免讀取影像之某些部分的高解析度資料，則應用資料也可以供應給速率控制器並且併入速率控制計算。

已經描述了圖7，並且已經討論了資料請求的對齊對於頻寬的效應。當高解析度資料不可得自於高解析度緩衝器時，所引起的另一議題則是輸出影像中可能有可見的不連續性，在此發生了高解析度和低解析度資料之間的轉變。

圖8a顯示的情況是高解析度資料不是完全可得的。顯示成陰影的儲存區塊(例如800)是高解析度資料是可得的區塊，並且沒有陰影的區塊(例如805)是高解析度資料是不可得的區塊。對於像素資料區塊810的請求可以從高解析度緩衝器所完全滿足。然而，像素資料區塊815需要來自儲存區塊805的資料，其在高解析度緩衝器中是不可得的。該請求的至少部分820因此必須使用低解析度資料來滿足。

圖8b顯示對於進一步像素資料區塊850的請求，其發生在對於區塊810的請求之後的某時刻。因為先前可得於緩衝器之儲存區塊800的高解析度資料不再是可得的，所以該請求的部分855是使用低解析度資料來滿足。

當請求例如815或825的區塊時，讀取控制器可以選擇僅提供請求區塊的低解析度像素資料，或者選擇提供可得的高解析度像素並且從低解析度緩衝器提供其餘者。此決定可以取決於可得之高解析度像素的比例或它們在區塊裡的分布。於供應高和低解析度像素的混合之情形，圖5的讀取控制單元500必須回應於資料在高解析度緩衝器中的部分可得性，並且基於每個像素來控制多工器525。圖6所示的類似單元行為類似。

針對解析度不連續性的做法乃高度取決於應用。當請求資料時，已經總是知道哪個像素可以從高解析度緩衝器來提供，並且哪個可以從低解析度緩衝器來提供。應用然後可以考慮例如殘值大小的資料或於影像分析期間所獲得的其他資訊，以便決定任何不連續性的可能可見度。一種選項是藉由施加平滑化後處理而隱藏不連續性。可以看到這做法類似於視訊解碼器所已知的分離區塊做法，例如H.264。替代而言，雖然僅供應低解析度資料將避免區塊裡的不連續性，但是在它們的邊緣則未必如此。於圖8a，在內部邊緣825和830的不連續性在像素資料區塊815供應給應用時是已知的。於圖8b，在外部邊緣860和865的不連續性可以僅當像素資料組合成輸出影像時(舉例而言於圖像建構器應用中)才是已知的。

隨著資料被提供，一種替代性做法採用過濾或混合。圖9顯示對圖5之系統的適當修改，雖然它或可相等應用於圖6的系統。混合單元910取代多工器，並且具有來自讀取控制單元900之適合的控制915，而提供在高解析度和低解析度資料之間的平滑轉變。混合控制資料(而非提供每個像素切換)現在必須提供分數值以指示出要使用在每個位置之低解析度資料的比例。由於低解析度資料總是可得的而高解析度資料可以不是，故混合的區域總是落在不連續線的高解析側。混合單元的詳細控制將取決於應用和用於每個特殊情況的預先取得演算法，尤其取決於讀取請求樣式和資料在高解析度緩衝器的可得性之可以事先知道的程度。

視訊影像常常使用照度和色度資料來代表。照度資料包含高解析度黑白影像，而色度資料包含形成彩色影像所需的額外資料。色度資料通常被次取樣，使得它是在低於對應照度資料的解析度。已知影像中之細節和銳利度的感知主要是來自照度資料，並且已知相當多的資訊量可以在容易感知影像劣化之前先從色度資料移除。

於另一範例，緩衝控制器分開處理照度和色度資料。當對於是否載入資料到高解析度緩衝器裡做出決定時，預先取得控制器可以針對照度資料和對應的色度資料做出不同的決定。這決定舉例而言可以是基於照度和色度資料中之高頻細節的量、來自應用的資料、或速率控制器的需求。對於影像資料的請求乃根據照度或色度資料是否可得於高解析度緩衝器而處理，其中任何不可得的成分則經由升級器而從低解析度緩衝器來供應。系統可以設定成使得大多數的色度資料是供應自低解析度緩衝器，而節省頻寬並且讓更多高解析度緩衝器空間用於照度資料。替代而言，系統可以從低解析度緩衝器來供應所有的色度資料。

於上面範例，系統已描述成當中的影像資料存在二種解析度。顯然相同的技術可以延伸到任何數目的解析度。舉例而言，系統可以增加中解析度的影像緩衝器。圖10顯示圖3系統的修改，其中緩衝器控制單元1000同時管理高解析度緩衝器1015和中解析度緩衝器1010。升降級器1005同時執行從高解析度到中解析度的降級和從中解析度到高解析度的升級。系統可以選擇緩衝在中解析度的影像資料，在此分析顯示如果使用低解析度資料則影像內容會被無法接受的劣化，但是在此使用高解析度資料會帶來一些額外的利益。中解析度緩衝器1010可以與高解析度緩衝器1015整合到單一記憶體1020裡，其中分配給每種解析度之資料的儲存比例可加以變化。儲存中解析度資料而非高解析度資料則增加了記憶體1020的有效容量，並且增加系統的緩衝效能。

100．．．像素資料緩衝器

105．．．搜尋範圍

110、115．．．區塊

120、125．．．一欄區塊

130．．．一列區塊

135．．．左右往復式處理次序

140．．．水平掃描式次序

145．．．緩衝器內容

200．．．像素資料緩衝器

205．．．搜尋範圍

210、215、220、225．．．區塊

300．．．記憶體

305．．．降級單元

310．．．低解析庋緩衝器

315．．．低解析度應用

320．．．緩衝器控制單元

325．．．升級器

330．．．高解析度緩衝器

335．．．高解析度應用

400．．．記憶體

405．．．高解析度訊框

410．．．降級器

415．．．低解析度緩衝控制器

420．．．低解析度訊框

425．．．殘值編碼器

430．．．殘值資料

435．．．緩衝器控制單元

440．．．編碼之殘值資料的緩衝

445．．．殘值解碼器

500．．．讀取控制器

505．．．高解析度緩衝器

510．．．標籤

515．．．緩衝資料

520．．．路徑

525．．．多工器

530、535．．．路徑

540．．．輸出

545．．．預先取得控制器

550．．．應用資料路徑

600．．．殘值緩衝器

605．．．殘值解碼器

610．．．加總器

615．．．未緩衝的殘值資料路徑

620．．．應用資料路徑

700．．．區塊

711~714．．．儲存區塊

720．．．區塊

731、732．．．儲存區塊

740．．．區塊

751~753．．．儲存區塊

760．．．區塊

777、778．．．叢集

780．．．區塊

791、792．．．儲存區塊

800、805．．．儲存區塊

810、815．．．像素資料區塊

820．．．部分請求

825、830．．．內部邊緣

850．．．像素資料區塊

855．．．部分請求

860、865．．．外部邊緣

900．．．讀取控制單元

910．．．混合單元

915．．．混合控制

920．．．輸出

1000．．．緩衝器控制單元

1005．．．升降級器

1010．．．中解析度緩衝器

1015．．．高解析度緩衝器

1020．．．記憶體

現在將參考所附圖式而僅以舉例的方式來描述本發明的實施例，其中：圖1示範像素資料緩衝器，其與移動估計器的搜尋範圍有相同的大小；圖2示範像素資料緩衝器，其與訊框一樣寬；圖3是顯示系統架構的方塊圖，其於本發明的實施例中具有高和低解析度緩衝器而在緩衝控制器的控制下；圖4是增強系統的方塊圖，其於本發明的實施例中儲存低解析度訊框和殘值資料；圖5是於本發明的實施例中之緩衝器控制單元的方塊圖；圖6是替代性緩衝器控制單元的方塊圖，其於本發明的實施例中管理殘值資料的緩衝；圖7示範請求資料相對於緩衝器儲存區塊的多種對齊；圖8示範來自緩衝器所請求區塊中之資料的可得性和非可得性；圖9顯示緩衝器控制單元的變體，其於本發明的實施例中併入了混合單元；以及圖10是系統方塊圖，其於本發明的實施例中具有中解析度之額外的緩衝器儲存資料。