TWI477142B

TWI477142B - 影像處理電路及相關方法

Info

Publication number: TWI477142B
Application number: TW097123113A
Authority: TW
Inventors: Chung Yi Chen; Su Chun Wang
Original assignee: Mstar Semiconductor Inc
Priority date: 2008-06-20
Filing date: 2008-06-20
Publication date: 2015-03-11
Also published as: US20090316799A1; US8582665B2; TW201002047A

Description

影像處理電路及相關方法

本發明係指一種影像處理機制，尤指一種能夠節省整體線緩衝器之儲存容量的影像處理電路及相關的方法。

一般，對於影像處理而言，一動態隨機存取記憶體(Dynamic Random Access Memory，DRAM)經常會被用來儲存來源影像資料，以供後續的移動估測/補償電路藉由讀取動態隨機存取記憶體中的資料來進行影像處理。由於動態隨機存取記憶體本身的頻寬相當寶貴，若移動估測/補償電路經常存取動態隨機存取記憶體來取得來源影像資料，則整體的處理效能會因為動態隨機存取記憶體的延遲(Latency)較長而下降。因此，傳統上為了提高處理效能會於動態隨機存取記憶體與移動估測/補償電路之間設置多個線緩衝器(line buffer)，其中該些線緩衝器通常係以靜態隨機存取記憶體(Static Random Access Memory，SRAM)實作之。

請參照第1圖，第1圖是習知影像處理電路100的示意圖。如圖所示，線緩衝器120a~120g會依序地接收並緩衝記憶體105所輸出之影像位元流，例如，當線緩衝器120g接收並緩衝該影像位元流之第1條掃描線中每一像素的資料時，線緩衝器120f則接收、緩衝該影像位元流之第2條掃描線中每一像素的資料，其餘以此類推。移動估測/補償電路140則可由線緩衝器120a~120g中讀出所想要的影像區塊資料而避免因為經常存取記憶體105所造成的效能下降。然而，線緩衝器過多或者整體線緩衝器所需要的儲存容量過大，實作時則會提高整體的電路成本。

因此，本發明的目的之一在於提供一種能夠節省整體線緩衝器之儲存容量的影像處理電路及方法，以解決上述電路成本過高的問題。

依據本發明一實施例，其係揭露一種影像處理電路。該影像處理電路，用於接收一來源影像資料，並進行移動估測/補償，其包含有一壓縮電路，用於接收該來源影像資料，並對該來源影像資料進行壓縮以產生一壓縮後影像資料；複數個第一線緩衝器(line buffer)，耦接於該壓縮電路，用於依序地接收該壓縮後影像資料，並暫存該壓縮後影像資料；一解壓縮電路，耦接於該複數個第一線緩衝器，用於解壓縮該壓縮後影像資料以產生一解壓縮後影像資料；以及一移動估測/補償電路，耦接於該解壓縮電路，用於依據該解壓縮後影像資料進行移動估測/補償。

依據本發明一實施例，其另揭露一種影像處理方法。該影像處理方法，用於接收一來源影像資料，並進行移動估測/補償，其包含有：接收該來源影像資料，並對該來源影像資料進行壓縮以產生一壓縮後影像資料；依序地接收該壓縮後影像資料並暫存該壓縮後影像資料於複數個第一線緩衝器；解壓縮該壓縮後影像資料產生一解壓縮後影像資料；以及依據該解壓縮後之影像資料進行移動估測/補償。

請搭配參照第2A圖與第2B圖，第2A圖是本發明一較佳實施例之影像處理電路200的示意圖，第2B圖是第2A圖所示之影像處理電路200的操作流程示意圖。影像處理電路200包含有一儲存裝置205、一壓縮電路210、兩緩衝器215a與215b、複數個第一線緩衝器220a~220g、複數個第二線緩衝器225c~225e、一解壓縮電路230、一處理電路235與一移動估測/補償電路240，其中儲存裝置205通常為一動態隨機存取記憶體，而線緩衝器220a~220g與225c~225e通常以靜態隨機存取記憶體實現之，且影像處理電路200可設計成一單晶片，或將儲存裝置205採獨立成另一動態記憶體晶片，與影像處理電路200晶片分離。儲存裝置205係用來儲存由影像處理電路200外部所進來的一來源影像資料DATA_source (步驟405)，而壓縮電路210用來接收儲存裝置205所儲存之來源影像資料DATA_source 並對DATA_source 進行處理，產生一壓縮後的影像資料DATA_compressed (步驟410)，並儲存於壓縮部分緩衝器215a中，以及產生一殘餘影像資料DATA_residual ，並儲存於殘餘部分緩衝器215b中，其中壓縮後影像資料DATA_compressed 包含有複數線像素資料(line pixels)。接著複數個第一線緩衝器220a~220g會依序地接收及暫存壓縮後的影像資料DATA_compressed 中該複數個線像素資料，而複數個第二線緩衝器225c~225e會接收及暫存殘餘影像資料DATA_residual (步驟415)。解壓縮電路230中則包含有複數個解壓縮單元2300a~2300g，分別對應至複數個第一線緩衝器220a~220g，用來解壓縮該影像資料DATA_compressed ，以分別產生一解壓縮後的影像資料DATA_decompressed (步驟420)。最後將該解壓縮後的影像資料DATA_decompressed 傳送至移動估測/補償電路240，供移動估測/補償電路240進行移動估測及畫面插補使用。

在本實施例中，壓縮電路210進行資料壓縮時係採用截短(truncate)來源影像資料DATA_source 中每一線像素資料寬度(data width)來產生壓縮後影像資料DATA_compressed 中相對應的線像素資料，而每一線像素資料可為RGB格式、YUV色彩格式或其他格式色彩資料，以RGB色彩為例，若一R像素資料之資料寬度為10個位元，則本實施例中壓縮電路210可將該R像素資料的資料寬度截短為5個位元，亦即，去掉5個低位元(lower bit)而留下另外5個高位元(higher bit)，由於被截短的5個低位元為重要性低的位元，對畫質的影響較小。當對壓縮後影像資料DATA_compressed 還原時，解壓縮電路230附加(append)一特定位元型樣(bit pattern)至壓縮後影像資料DATA_compressed 中相對應的線像素資料，使每一線像素資料回復至壓縮前之資料寬度，以產生解壓縮後影像資料DATA_decompressed ；例如，對每一線像素資料來說，解壓縮電路230皆附加5個位元'0'至該線像素資料的低位元部分使得該線像素資料的資料寬度變回10個位元，以利後續移動估測/補償電路240 作處理。

承上所述，由於本實施例壓縮電路210係採截短資料寬度的方法來進行資料壓縮處理，並採特定位元型樣(bit pattern)附加的方法來進行解壓縮處理。因此，解壓縮電路230所產生的解壓縮後之影像資料DATA_decompressed 並不完全等於原先的來源影像資料DATA_source ，當影像顯示於螢幕上時，人眼可能會感知到一定程度的畫面失真。所以，為使在影像資料中產生精確度損失時人眼仍不易感知到影像畫面失真，除了壓縮後的影像資料DATA_compressed 外，壓縮電路210另會產生殘餘影像資料DATA_residual ，其中DATA_residual 包含有複數殘餘線像素資料，此殘餘影像資料DATA_residual 會先被緩衝於殘餘緩衝器215b中，並配合第一線緩衝器時序暫存於複數個第二線緩衝器225c~225e中，第一緩衝器220c和第二緩衝器225c係對應至同一水平掃瞄線，第一緩衝器220d和第二緩衝器225d係對應至同一水平掃瞄線，依此類推；而處理電路235則是依據第二線緩衝器225c~225e中所緩衝的殘餘影像資料DATA_residual 來調整解壓縮後的影像資料DATA_decompressed 中之一部分的資料(步驟425)，因此，移動估測/補償電路240依據經部分補償的影像資料DATA_decompressed 來進行移動估測/補償(步驟430)。實作上，當壓縮電路210將來源影像資料DATA_source 之每一線像素資料的資料寬度截短為5個位元以產生壓縮後影像資料DATA_compressed 時，其係取每一線像素資料之5個低位元作為殘餘影像資料DATA_residual ，所以，解壓縮後之影像資料DATA_decompressed 中一部分被處理電路235所調整的資料可被完全還原成壓縮前的資料而不會造成資料精確度損失。

由於靜止影像物件的畫面失真會比移動影像物件的畫面失真更易被人眼所察知，所以，本實施例設計一處理電路235將調整部分解壓縮後影像資料，以使得若該待插補像素對應到一靜止影像物件則移動估測/補償電路240可依據未產生精確度損失的影像資料來插補出靜止影像物件。例如，當影像處理電路200係針對畫面中第4條掃描線上某一像素進行影像插補，而第1條～第7條掃描線是移動估測時的一搜尋範圍(search range)，壓縮電路210會依序地將第1條～第7條掃描線之線像素資料的RGB資料分別寬度截短為5個位元，因此，在資料寬度為10個位元時，第一線緩衝器220a~220g會分別儲存第7條～第1條掃描線中每一線像素資料之5個高位元，例如，第一線緩衝器220a會緩衝第7條掃描線中每一線像素資料之5個高位元，以此類推；另一方面，壓縮電路210會依序地將第3條～第5條掃描線中每一線像素資料的5個低位元輸出以產生殘餘影像資料DATA_residual ，所以，第二線緩衝器225c~225e會分別儲存第5條～第3條掃描線中每一線像素資料之5個低位元，例如，第二線緩衝器225c會緩衝第5條掃描線中每一線像素資料之5個低位元，以此類推。因此，依據上述所提及之解壓縮電路230與處理電路235的運作，移動估測/補償電路240會接收到對應於第1條～第7條掃描線之每一像素的解壓縮後之影像資料，其中第3條～第5條掃描線之線像素資料所對應的解壓縮後影像資料等同於來源影像資料DATA_source 之第3條～第5條掃描線之線像素資料的原始影像資料，亦即，第3條～第5條掃描線之線像素的資料沒有產生任何的精確度損失，而其餘掃描線中之線像素所對應的解壓縮後影像資料則與來源影像資料DATA_source 之其餘掃描線中線像素的原始影像資料有些許的差異，換言之，其餘掃描線之線像素的解壓縮後影像資料有些微的精確度損失；然而，此精確度損失所造成的影像畫面失真將不易被人眼所察知。

舉例來說，當移動估測/補償電路240的一移動估測結果指示出待插補像素所對應的一影像物件在前後連續兩畫面的一垂直移動距離超出一特定影像空間範圍時(例如垂直移動距離超過第3條～第5條掃描線的空間範圍時)，移動估測/補償電路240會判斷該影像物件係為一具有垂直移動的影像物件並依據未被殘餘影像資料DATA_residual 所調整過的解壓縮後影像資料來產生待插補像素，亦即，例如依據第1條、第2條、第6條或第7條等掃描線上之線像素所對應的解壓縮後影像資料來產生待插補像素，此時該影像物件實際上係一移動的影像物件，而移動估測/補償電路240使用具有些許精確度損失的解壓縮後影像資料來產生該影像物件的畫面並不易被人眼所察知。另外，當垂直移動距離小於第3條～第5條掃描線的空間範圍時，移動估測/補償電路240會判斷該影像物件係為一不具有垂直移動的影像物件並依據經由殘餘影像資料DATA_residual 所調整過的解壓縮後影像資料來產生待插補像素，亦即，依據第3條～第5條掃描線之線像素所對應的解壓縮後影像資料來產生待插補像素，此時待插補像素對應之一影像物件可能為一靜止的影像物件或一僅具有水平移動的影像物件，移動估測/補償電路240依據第3條～第5條掃描線之線像素所對應的解壓縮後影像資料(未產生精確度損失的影像資料)來產生待插補區塊MB的影像並不會造成任何畫面失真的問題。

此外，本實施例的壓縮電路210可依據移動估測/補償電路240的移動估測結果來選擇性地輸出殘餘影像資料DATA_residual 至第二線緩衝器225c~225e。由於殘餘影像資料DATA_residual 的目的是用來調整一部分的解壓縮後影像資料DATA_decompressed 以使得當依據解壓縮後影像資料DATA_decompressed 來插補出一靜止影像物件的畫面時人眼不易感知到影像畫面失真，因此，當移動估測結果指示出一待插補像素係對應至具有垂直移動之一影像物件時，壓縮電路210可不輸出殘餘影像資料DATA_residual 至線緩衝器225c~225e；而當移動估測結果指示出待插補像素係對應至不具有垂直移動的一影像物件時，壓縮電路210會輸出殘餘影像資料DATA_residual 至第二線緩衝器225c~225e。此一設計屬於本發明的範疇。

再者，為了更進一步節省所使用到之線緩衝器的儲存容量(亦即靜態隨機存取記憶體的儲存容量)，可選擇不調整解壓縮後影像資料，換言之，其係在犧牲部分畫面品質下盡量地節省所用到的靜態隨機存取記憶體。請參照第3A圖，第3A圖是本發明另一實施例之影像處理電路300的示意圖。與影像處理電路200不同的是，影像處理電路300中並未包含第2A圖所示之殘餘緩衝器215b、第二線緩衝器225c~225e與處理電路235，因此，以壓縮電路210係截短每一線像素資料之資料寬度來說，解壓縮電路230在解壓縮之後並無法將壓縮後的影像資料DATA_compressed 完全還原為原始的來源影像資料DATA_source ，所以，解壓縮後的影像資料DATA_decompressed 會與來源影像資料DATA_source 有些微的資料差異，而此資料差異會在畫面上將造成部分的影像失真，然而，此影像失真對於在犧牲部分畫面品質的前提下盡量節省所使用之靜態隨機存取記憶體而言，係可被忽略的。影像處理電路300的操作流程則顯示於第3B圖，在第3B圖中，除步驟515、525與第2B圖中的步驟稍有不同外，步驟505、510、520係類似於第2B圖之步驟405、410、420，因此，為了避免篇幅為於冗長，在此不另贅述。

綜而言之，本發明的影像處理電路200/300係利用資料壓縮的方式來節省線緩衝器的儲存容量；而為了確保人眼不易察知資料精確度損失所造成的影像畫面失真，對於影像品質需求較高的部分(例如靜止的影像)，影像處理電路200在移動估測/補償電路240處理之前會將對應到影像品質需要較高之部分影像的解壓縮後資料還原為原始的來源影像資料，以兼顧節省線緩衝器的成本以及維持一定程度之影像畫面品質的目的。需注意的是，上述的實作方式僅係用來方便說明本發明的運作，而非本發明的限制；例如，上述第一線緩衝器的個數亦可以設計為其他數目，不限於7 個，一般設計與移動估測時需要搜尋的範圍有關，而壓縮電路210並非限定必需將資料寬度截短為5個位元，以及壓縮電路210的壓縮方式亦可使用其他資料壓縮機制而非僅限於截短資料寬度，而解壓縮電路230則使用相對應的解壓縮機制。另外，具有些微精確度損失的解壓縮後影像資料仍適用於進行移動估測，這是因為移動估測的目的在於找出移動向量，而非利用具有精確度損失的影像資料來進行影像插補。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100、200、300‧‧‧影像處理電路

105‧‧‧動態隨機存取記憶體

120a~120g、220a~220g、225c~225e‧‧‧線緩衝器

140、240‧‧‧移動估測/補償電路

205‧‧‧儲存裝置

210‧‧‧壓縮電路

215a、215b‧‧‧緩衝器

230‧‧‧解壓縮電路

235‧‧‧處理電路

2300a~2300g‧‧‧解壓縮單元

第1圖為習知影像處理電路的示意圖。

第2A圖為本發明一實施例之影像處理電路的示意圖。

第2B圖為第2A圖所示之影像處理電路的操作流程圖。

第3A圖為本發明另一實施例之影像處理電路的示意圖。

第3B圖為第3A圖所示之影像處理電路的操作流程圖。

200‧‧‧影像處理電路

205‧‧‧儲存裝置

210‧‧‧壓縮電路

215a、215b‧‧‧緩衝器

220a~220g、225c~225e‧‧‧線緩衝器

230‧‧‧解壓縮電路

235‧‧‧處理電路

240‧‧‧移動估測/補償電路

2300a~2300g‧‧‧解壓縮單元

Claims

一種影像處理電路，用於接收一來源影像資料，並進行移動估測/補償，以將影像顯示於螢幕上，其包含有：一壓縮電路，用於接收該來源影像資料，並對該來源影像資料進行壓縮以產生一壓縮後影像資料，該壓縮後影像資料包含複數線像素資料(line pixels)；複數個第一線緩衝器(line buffer)，耦接於該壓縮電路，用於依序地接收並儲存該等線像素資料；一解壓縮電路，耦接於該等第一線緩衝器，用於解壓縮該等線像素資料，以產生一解壓縮後影像資料；以及一移動估測/補償電路，耦接於該解壓縮電路，用於依據該解壓縮後影像資料進行移動估測/補償，以產生移動向量/移動插補圖框；其中該壓縮電路另產生一殘餘影像資料(residual image data)，該殘餘影像資料包含複數殘餘線像素資料(line pixels)，以及該影像處理電路另包含有：複數個第二線緩衝器，耦接於該壓縮電路，用於依序地接收並儲存該等殘餘線像素資料；一處理電路，耦接於該解壓縮電路與該複數個第二線緩衝器，用於依據該等殘餘線像素資料來調整該解壓縮後影像資料。
如申請專利範圍第1項所述之影像處理電路，其中該壓縮電路係採用截短(truncate)該來源影像資料中代表每一線像素之資料寬度(data width)，以產生該壓縮後影像資料中相對應之一線像素資料，以及該解壓縮電路係採用附加(append)一特定位元型樣(bit pattern)至該壓縮後影像資料中相對應之該線像素資料來還原其資料寬度，以產生該解壓縮後之影像資料。
如申請專利範圍第1項所述之影像處理電路，其中該複數個第二線緩衝器之個數少於該複數個第一線緩衝器之個數。
如申請專利範圍第1項所述之影像處理電路，其中該壓縮電路係依據該移動估測/補償電路之一移動估測結果來選擇性地輸出該等殘餘線像素資料；當該移動估測結果指示出一待插補像素係對應至具有垂直移動之一影像物件時，該壓縮電路不輸出該等殘餘線像素資料至該複數條第二線緩衝器；以及當該移動估測結果指示出該待插補像素係對應至一不具有垂直移動之一影像物件時，該壓縮電路會輸出該殘餘影像資料至該複數條第二線緩衝器。
如申請專利範圍第1項所述之影像處理電路，其中該壓縮電路係採用截短(truncate)該來源影像資料中代表每一像素之資料寬度(data width)，以產生該壓縮後影像資料，以及該解壓縮電路係採用附加(append)一特定位元型樣(bit pattern)至該壓縮後影像資料中每一像素資料來還原其資料寬度，以產生該解壓縮後之影像資料。
如申請專利範圍第5項所述之影像處理電路，其中該壓縮電路係依據該來源影像資料中被截短之資料以產生該殘餘影像資料。
一種影像處理方法，用於接收一來源影像資料，並進行移動估測/補償，以將影像顯示於螢幕上，其包含有：接收該來源影像資料，並對該來源影像資料進行壓縮以產生一壓縮後影像資料，該壓縮後影像資料包含複數線像素資料(line pixels)；依序地接收並暫存該等線像素資料於複數個第一線緩衝器；解壓縮該等線像素資料以產生一解壓縮後影像資料；依據該解壓縮後之影像資料進行移動估測/補償；產生一殘餘影像資料，該殘餘影像資料包含複數殘餘線像素資料(line pixels)；接收並暫存該等殘餘線像素資料於複數個第二線緩衝器；以及依據該等殘餘線像素資料來調整該解壓縮後影像資料。
如申請專利範圍第7項所述之影像處理方法，其中接收該來源影像資料，並對該來源影像資料進行壓縮以產生一壓縮後影像資料，該壓縮後影像資料包含複數線像素資料(line pixels)之步驟包含有：截短該來源影像資料中每一像素資料寬度以產生該壓縮後影像資料；以及解壓縮該等線像素資料以產生該解壓縮後影像資料之步驟包含有：附加一特定位元型樣至該等線像素資料之每一像素資料來還原其資料寬度以產生該解壓縮後之影像資料。
如申請專利範圍第7項所述之影像處理方法，其中該複數個第二線緩衝器之個數少於該複數個第一線緩衝器之個數。
如申請專利範圍第7項所述之影像處理方法，其中依據該等殘餘線像素資料來調整該解壓縮後影像資料之步驟更包含有：當一移動估測結果指示出一待插補像素係對應至具有垂直移動之一影像物件時，不輸出該殘餘影像資料至該複數個第二線緩衝器；否則，輸出該殘餘影像資料至該複數個第二線緩衝器。