TWI384417B

TWI384417B - 影像處理方法及其裝置

Info

Publication number: TWI384417B
Application number: TW098116370A
Authority: TW
Inventors: Jiun Yuan Wu
Original assignee: Mediatek Inc
Priority date: 2008-05-21
Filing date: 2009-05-18
Publication date: 2013-02-01
Also published as: US20090289969A1; TW200949760A; CN101588462B; US8072465B2; CN101588462A

Description

影像處理方法及其裝置

本發明係有關於一種影像處理裝置與方法，更具體地，係關於能夠提高縮放影像的銳度(sharpness)的影像處理裝置與方法。

內插法被廣泛用在基於已知像素值來尋找未知像素值的方法中。一般的內插演算法可分成兩類，適應性內插與非適應性內插。適應性方法改變從屬內插像素(depending interpolated pixels)，而非適應性方法對所有像素一視同仁。線性內插是內插的最基本形式。為了找到未知像素P3，因子x與(1-x)被用於兩個已知像素P1與P2的加權平均數，計算公式如下：

P3=P1×x+P2×(1-x)

若相鄰於未知像素P3的更多像素被知道並包括於計算中，未知像素P3的內插演算會更精確。除了線性內插，雙線性內插(bilinear interpolation)，雙立方內插(bicubic interpolation)，或更高階內插，例如樣條內插(spline interpolation)或是正弦函數內插(sinc interpolation)也是廣泛用於增加未知像素準確度的內插方法。

第1圖是用傳統縮放機制來放大之影像之示意圖。放大影像12與底層影像(bottom image)11在不同層中，這是一種顯示裝置普遍採用的技術。影像被放大後，放大影像12周圍出現模糊邊緣(blurred edge)13。請參考放大區域14。像素14a與14e為已知像素，而像素14b、14c及14d是基於已知像素14a與14e以及對應加權值決定的。模糊邊緣13是由例如像素14b、14c及14d等內插像素引起的，因此，需要一個能夠增加銳度、減少模糊的低複雜度、適應性且有用的影像縮放機制。

有鑑於此，本發明提供一種影像處理方法及裝置，可以提高縮放影像的銳度。

本發明提供一種影像處理方法，用於處理包含複數個像素之影像，其中每一影像具有α值以及影像資料，方法包含：選擇第一像素與第二像素，其中第一像素與第二像素互為鄰近像素；偵測第一像素之α值與第二像素之α值；偵測第一像素之影像資料與第二像素之影像資料；根據第一像素與第二像素決定複數個內插像素；產生對應於每一該等內插像素之加權值，其中該等加權值皆彼此不同；以及若第一像素與第二像素其中之一具有為零的α值，則調整內插像素之影像資料。

本發明另提供一種影像處理方法，用於處理包含複數個像素之影像，其中每一像素具有α值與影像資料，方法包含：選擇第一像素與第二像素，其中第一像素與第二像素互為鄰近像素；偵測第一像素之α值與第二像素之α值；偵測第一像素之影像資料與第二像素之影像資料；根據第一像素與第二像素決定複數個內插像素；產生對應於每一該等內插像素之加權值，其中該等內插像素之對應之加權值皆彼此不同；以及當第一α值與第二α值之間之絕對差值超過差異閾值時，調整內插像素之影像資料。

本發明另提供一種影像處理裝置，包含：資料鎖存器，用於接收包含複數個像素之影像，其中每一影像包含α值與影像資料；縮放單元，具有縮放比率，並輸出賦能信號；α值偵測器，藉由賦能信號啟動，用於接收影像，以基於縮放比率輸出校正後的複數個內插像素；以及影像處理單元，基於縮放比率與內插像素之影像資料縮放影像。

利用本發明能夠基於α值與加權值來決定內插像素的影像資料，因此，本發明的縮放影像具有更好的銳度。

在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解，硬體製造商可能會用不同的名詞來稱呼同一個元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的準則。在通篇說明書及後續的請求項當中所提及的「包含」係為一開放式的用語，故應解釋成「包含但不限定於」。以外，「耦接」一詞在此係包含任何直接及間接的電氣連接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表該第一裝置可直接電氣連接於該第二裝置，或透過其他裝置或連接手段間接地電氣連接至該第二裝置。

第2圖顯示不同層內兩個影像的示意圖。底層影像21，例如電視節目或桌布，是顯示於底層，而螢幕上顯示(On-Screen Display，以下簡稱為OSD)實物22，例如設置選單或新增加視窗，是顯示於頂層。OSD實物22的顯示區域並未佔據整個螢幕，可是，OSD實物22的實際影像大小佔據了整個螢幕，OSD實物22內未包括的像素就無法顯示其影像資料。一個影像由複數個像素組成。每一像素包含顯示資料，顯示資料包含α值(alpha value)與影像資料。影像資料可包含RGB，YCbCr或CMYK影像資料以及α值代表像素亮度。於多層顯示機制中，α值非常重要。假設α值位於0和255之間，α值越高，所顯示的像素之影像資料就越銳利。假設OSD實物22為一個紅色矩形，而底層影像21為風景影像，其中OSD實物22中的每一像素都具有顯示資料(255,255,0,0)。若OSD實物22之像素的α值減小，OSD實物22下面的風景影像就變得清晰。OSD實物22之實際影像包含兩個部分，具有最大α值的OSD實物22，以及α值為0的剩餘區域像素，因此僅顯示OSD實物22。

第3圖係根據本發明之影像處理方法之實施例之流程圖。於步驟S31中，偵測器於影像縮放時偵測已知像素之α值。於步驟S32中，若偵測器並未在兩個鄰近像素中偵測到零α值，方法前進至步驟S33，以基於對應加權值設置內插像素之影像，若偵測器偵測到兩個鄰近像素其中之一的α值為零，但並非兩個鄰近像素的α值都為零，於步驟S34中，內插像素之影像資料與兩個鄰近像素其中之一相同。於一些實施例中，當兩個鄰近像素中之一的α值為零時，內插像素之α值也可被調整。α值可根據預定差異閾值(predetermined difference-threshold value)來調整。

以像素14a至14e為例。像素14a在影像被放大前與像素14e相鄰。請注意相鄰點僅為說明之用。像素14a與14e可能僅是鄰近，並非必須相鄰。假設已知像素14a的顯示資料為(255,255,0,0)，且另一已知像素14e之顯示資料為(0,255,255,255)，當像素14a與14e兩者的α值都為零或都不為零或像素14a與14e之間並無顯著差異時，第一內插像素14d，第二內插像素14c及第三內插像素14b之顯示資料分別為(²⁵⁵ /₄ ,255,²⁵⁵ /₄ ,²⁵⁵ /₄ )，(^255×2 /₄ ,255,^255×2 /₄ ,^255×2 /₄ )及(^255×3 /₄ ,255,^255×3 /₄ ,^255×3/ ₄ )。根據如第3圖中步驟S33所示之加權值來設置內插像素14b，14c與14d。當像素14a與14e中只有一個的α值為零或像素14a與14e的α值之間差別很大，這就導致了如第1圖所示的模糊邊緣13。為了決定α值之間的差異是否很大，可利用差異閾值來決定。差異閾值可為預定的值。為了更好地比較差異與差異閾值，簡便起見，差異之絕對值被作為絕對差異來與差異閾值比較。該方法需要的另一因子是加權值。於本實施例中，第一內插像素14d，第二內插像素14c及第三內插像素14b的加權值分別為¹ /₄ ，² /₄ 與³ /₄ 。第3圖的步驟S34中。內插像素的顯示資料與兩個鄰近像素中的一個是相同的，並且內插像素的顯示資料可基於加權值被決定為與一鄰近像素相同。於本實施例中，加權閾值(weighting-thresbold value)被用來決定內插像素之顯示資料。當然，加權閾值可預定或是根據內插像素的加權值來適應性地調整。舉例來說，簡便起見假定加權值為0.5。當內插像素的加權值小於0.5時，內插像素的顯示資料與像素14e的顯示資料相同，且當內插像素的加權值大於或等於0.5時，內插像素的顯示資料與像素14a的顯示資料相同。因此，根據第3圖所述之新內插方法，第一內插像素14d，第二內插像素14c及第三內插像素14b之顯示資料分別校正為(0,255,255,255)，(255,255,0,0)及(255,255,0,0)。根據上述影像處理方法，縮放影像與的銳度就增加了，模糊邊緣也變清晰了。

第4圖顯示本發明之影像處理方法之另一實施例之流程圖。於步驟S41中，當縮放影像時，偵測器偵測鄰近的第一與第二像素的α值。於步驟S42中，偵測器偵測第一像素與第二像素之間的α值差異。而且在α值差異並未超過差異閾值時，採用內插方法，藉由根據對應加權值決定內插像素來縮放影像(步驟S43)。於步驟S44中，當α差異超過差異閾值時，內插像素的顯示資料被設置為與第一像素的顯示資料或第二像素的顯示資料相同。

以像素14a至14e為例。在上述方法放大影響之前像素14a起初與像素14e相鄰。假定已知像素14a的顯示資料為(255,255,0,0)，且另一已知像素14e的顯示資料為(45,255,255,255)，當像素14a與14e兩者的α值都為零或都為非零，或者像素14a與14e的α值之間並無很大差異時，第一內插像素14d，第二內插像素14c及第三內插像素14b的顯示資料分別為(³⁸⁰ /₄ ,255,²⁵⁵ /₄ ,²⁵⁵ /₄ )，(⁶⁰⁰ /₄ ,255,^255×2 /₄ ,^255×2 /₄ )與(⁸¹⁰ /₄ ,255,^255×3 /₄ ,^255×3 /₄ )。當像素14a與14e中僅有一個的α值為零或像素14a與14e的α值之間的差異很大時，於本實施例中，α值差異的差異閾值為200，且第一像素與第二像素之間的α值差異超過了差異閾值。第一內插像素14d，第二內插像素14c及第三內插像素14b的加權值分別為1/4，2/4和3/4。加權閾值用來決定內插像素的顯示資料。於一實施例中，加權閾值可基於加權值來決定。舉例來說，加權閾值可為多個加權值的中位數或是0至1之間任意預定值，而於本實施例中，加權閾值為0.5。於其他一些實施例中，加權閾值可根據內插像素產生的加權值來調整。當內插像素的加權值小於0.5時，內插像素的顯示資料與像素14e的顯示資料相同。當內插像素的加權值大於或等於0.5時，內插像素的顯示資料與像素14a的顯示資料相同。因此，內插像素14b至14d的校正後顯示資料為(255,255,0,0)、(255,255,0,0)與(45,255,255,255)。

第5圖顯示根據本發明之影像處理系統之實施例之方塊圖。資料鎖存器51接收包含複數個像素的影像，其中每一像素都包含α值與影像資料。縮放單元52具有縮放比率且輸出賦能信號給α值偵測器54。α值偵測器54被賦能信號啟動，並接收影像以基於縮放比率輸出內插像素之校正後的影像資料。影像處理單元53基於縮放比率及內插像素之影像資料來縮放該影像。一加權閾值用來基於縮放比率決定內插像素之顯示資料。當第一內插像素之加權值超過加權閾值時，第一內插像素之影像資料與用於決定第一內插像素的參考像素其中之一的影像資料相同，其中參考像素是與未知的第一內插像素相鄰的已知像素。另外，出於影像處理目的，可輸出內插像素之校正後的α值。如此來根據內插像素之加權值與加權閾值設置α值等於參考像素中的一個。

第6圖是OSD或子圖像單元影像(Sub-Picture Unit，SPU)的影像處理系統之另一實施例之方塊示意圖。OSD影像61的解析度是720×480像素。顯示單元63的解析度是1440×960像素。縮放單元62基於OSD影像61與顯示單元63的解析度縮放OSD影像61。縮放單元62還執行如第3圖與第4圖所示的影像處理方法來提高縮放的OSD影像61的銳度。

上述之實施例僅用來例舉本發明之實施態樣，以及闡釋本發明之技術特徵，並非用來限制本發明之範疇。任何熟悉此技術者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，本發明之權利範圍應以申請專利範圍為準。

11．．．底層影像

12．．．放大影像

13．．．模糊邊緣

14．．．放大區域

21．．．底層影像

22．．．OSD實物

S31-S34、S41-S44．．．步驟

51．．．資料鎖存器

52．．．縮放單元

53．．．影像處理單元

54．．．α值偵測器

61．．．OSD影像

62．．．縮放單元

63．．．顯示單元

第1圖是用傳統縮放機制來放大影像之示意圖。

第2圖顯示不同層內兩個影像的示意圖。

第3圖係根據本發明之影像處理方法之實施例之流程圖。

第4圖顯示本發明之影像處理方法之另一實施例之流程圖。

第5圖顯示根據本發明之影像處理系統之實施例之方塊圖。

第6圖是OSD或子圖像單元影像的影像處理系統之另一實施例之方塊示意圖。

Claims

一種影像處理方法，用於處理包含複數個像素之一影像，其中每一該等像素具有一α值以及一影像資料，該影像處理方法包含：選擇一第一像素與一第二像素，其中該第一像素與該第二像素互為鄰近像素；偵測該第一像素之α值與該第二像素之α值；偵測該第一像素之影像資料與該第二像素之影像資料；根據該第一像素與該第二像素決定複數個內插像素；產生對應於每一該等內插像素之一加權值，其中該等內插像素之對應之加權值皆彼此不同；以及若該第一像素與該第二像素其中之一的α值為零，則調整該等內插像素之影像資料。
如申請專利範圍第1項所述之影像處理方法，其中若該第一像素與該第二像素之α值皆不為零，則基於對應之該等加權值決定該等內插像素之影像資料。
如申請專利範圍第1項所述之影像處理方法，其中若該第一像素與該第二像素之α值皆為零，則基於對應之該等加權值決定該等內插像素之影像資料。
如申請專利範圍第1項所述之影像處理方法，其中當從該等內插像素獲取之一內插像素之對應加權值超過一加權閾值時，該內插像素之影像資料被設置為與該第一像素之影像資料相同。
如申請專利範圍第1項所述之影像處理方法，其中當從該等內插像素獲取之一內插像素之對應加權值並未超過一加權閾值時，該內插像素之影像資料被設置為與該第二像素之影像資料相同。
如申請專利範圍第4項或第5項所述之影像處理方法，其中該加權閾值係預定的。
如申請專利範圍第4項或第5項所述之影像處理方法，其中該加權閾值係根據對應於該等內插像素之該等加權值被適應性地調整。
如申請專利範圍第1項所述之影像處理方法，其中該影像資料包含RGB影像資料。
如申請專利範圍第1項所述之影像處理方法，其中該影像資料包含YCbCr影像資料。
一種影像處理方法，用於處理包含複數個像素之一影像，其中每一該等像素具有一α值與一影像資料，該影像處理方法包含：選擇一第一像素與一第二像素，其中該第一像素與該第二像素互為鄰近像素；偵測該第一像素之α值與該第二像素之α值；偵測該第一像素之影像資料與該第二像素之影像資料；根據該第一像素與該第二像素決定複數個內插像素；產生對應於每一該等內插像素之一加權值，其中該等內插像素之對應之加權值皆彼此不同；以及當該第一α值與該第二α值之間之一絕對差值超過一差異閾值時，調整該等內插像素之影像資料。
如申請專利範圍第10項所述之影像處理方法，其中若該第一α值與該第二α值之間之該絕對差值未超過一差異閾值時，基於對應之該等加權值決定該等內插像素之影像資料。
如申請專利範圍第10項所述之影像處理方法，其中當從該等內插像素獲取之一內插像素之對應加權值並未超過一加權閾值時，該內插像素之影像資料被設置為與該第一像素之影像資料相同。
如申請專利範圍第10項所述之影像處理方法，其中當從該等內插像素獲取之一內插像素之對應加權值超過一加權閾值時，該內插像素之影像資料被設置為與該第二像素之影像資料相同。
如申請專利範圍第12項或第13項所述之影像處理方法，其中該加權閾值係預定的。
如申請專利範圍第12項或第13項所述之影像處理方法，其中該加權閾值係根據對應於該等內插像素之該等加權值被適應性地調整。
如申請專利範圍第10項所述之影像處理方法，其中該影像資料包含RGB影像資料。
如申請專利範圍第10項所述之影像處理方法，其中該影像資料包含YCbCr影像資料。
一種影像處理裝置，包含：一資料鎖存器，用於接收包含複數個像素之一影像，其中每一該等像素包含一α值與一影像資料；一縮放單元，具有一縮放比率，以及輸出一賦能信號；一α值偵測器，藉由該賦能信號所啟動，用於接收該影像，以基於該縮放比率輸出複數個經校正之內插像素的影像資料；以及一影像處理單元，基於該縮放比率與該等內插像素之影像資料縮放該影像。
如申請專利範圍第18項所述之影像處理裝置，其中該α值偵測器更基於該縮放比率決定該等內插像素之複數個加權值。
如申請專利範圍第19項所述之影像處理裝置，其中當一第一內插像素之加權值超過一預定值時，該第一內插像素之影像資料被設置為與複數個參考像素之一之影像資料相同，其中該等參考像素用來決定該第一內插像素。