TW201314623A - 影像處理模組及影像處理方法 - Google Patents

Abstract

一種影像處理模組，包括：一解馬賽克單元，用於解馬賽克一像素矩陣的原始資料；解馬賽克單元包括：一邊緣方向偵測單元，用以決定像素矩陣之一中心像素的一邊緣方向；以及一多像素方向內插單元，用以根據邊緣方向決定中心像素之至少一遺失顏色值，與根據邊緣方向決定中心像素之複數鄰近像素之至少一遺失顏色值；以及一影像強化單元，耦接至解馬賽克單元。

Description

影像處理模組及影像處理方法

本發明係有關於一種影像處理模組以及影像處理方法。

影像感測器包括光二極體陣列用以轉換入射光為電子訊號以表示入射光的亮度差。舉例而言，光二極體陣列被具有排列成貝爾圖形的一顏色濾波陣列覆蓋以輸出影像，單一像素只能取得單一顏色值，該單一顏色值可作為原始顏色值。貝爾圖形包括交錯排列的紅-綠列與綠-藍列。貝爾圖形影像作為原始資料被輸出，其中該影像具有紅綠藍之單一顏色值的像素。因此，為了取得完整的顏色影像，原始資料需要利用解碼賽克(顏色內插)的影像處理以根據相對應像素的顏色值與相對應之鄰近像素的顏色值復原相對應之遺失顏色值。

傳統的影像處理裝置如第1圖所示，包括儲存原始資料(排列成貝爾圖形)的線暫存器110、解馬賽克單元120、儲存顏色空間資料，例如RGB/YCbCr(解馬賽克後的資料)的線暫存器130以及影像強化單元140等。儲存原始資料的線暫存器110儲存一現行線與四線的原始資料，亦即是解馬賽克單元120是逐一處理5*5矩陣的資料。舉例而言，儲存顏色空間資料的線暫存器130則是只能一次儲存3個3*3矩陣的像素資料，例如分別是3*3的紅色像素矩陣、3*3的綠色像素矩陣以及3*3的藍色像素矩陣。

解馬賽克單元120包括邊緣方向偵測單元122以及方向內插單元124，其分別用以在第2圖中原始資料的矩陣上實施邊緣方向偵測方法及方向內插方法。舉例而沿，邊緣方向偵測單元122使用下列公式(1)以決定中心像素b4的邊緣方向。

如下列公式(2)所示，方向內插單元124根據邊緣方向決定中央像素b4的遺失顏色值(例如綠色值)。

diffV表示b4與同一行(垂直方向)中相同顏色之鄰近像素b1與b7間的垂直亮度差。diffH表示b4與同一列(水平方向)中相同顏色之鄰近像素b3與b5的水平亮度差。當diffV大於diffH時，則中心像素b4的邊緣方向為水平。相反地，當diffV小於diffH時，則中心像素b4的邊緣方向為垂直。

b0-b8表示具有藍色值的藍色像素、g0-g11表示具有綠色值的綠色像素，且g＠b4表示在像素b4的內插綠色像素值。公式2可以決定在像素b4的內插綠色像素值。

然而，傳統的解馬賽克單元120需要大量線暫存器儲存內插顏色值以使影像強化單元140能作進一步處理。因此線暫存器佔據了感測IC大量的面積。

有鑑於此，本發明提供一種影像處理模組，包括：一解馬賽克單元，用於解馬賽克一像素矩陣的原始資料；解馬賽克單元包括：一邊緣方向偵測單元，用以決定像素矩陣之一中心像素的一邊緣方向；以及一多像素方向內插單元，用以根據邊緣方向決定中心像素之至少一遺失顏色值，與根據邊緣方向決定中心像素之複數鄰近像素之至少一遺失顏色值；以及一影像強化單元，耦接至解馬賽克單元。

本發明更提供接收一像素矩陣的原始資料；以及解馬賽克原始資料；解碼塞克的步驟更包括：決定像素矩陣之一中心像素的一邊緣方向；根據邊緣方向決定中心像素之至少一遺失顏色值；以及根據邊緣方向決定中心像素之複數鄰近像素之至少一遺失顏色值以便輸出一全彩色影像。

為使本發明之上述目的、特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖示，詳細說明如下。

第3圖係為顯示依據本發明實施例之影像處理裝置的示意圖。影像處理裝置300包括線暫存器310、解馬賽克單元320以及影像強化單元330。解馬賽克單元320包括邊緣方向偵測單元322及多像素方向內插單元324。影像強化單元330可包括例如處理影像雜訊的雜訊降低單元(未顯示)及銳化影像的銳化增強單元(未顯示)。

線暫存器310用以儲存四線的原始像素資料，此外更儲存一現行線的原始像素資料。在一實施例中，解馬賽克單元320用於接收像素矩陣(在此實施例中為5乘5矩陣)的原始資料以對每一像素產生遺失顏色值。舉例而言，原始資料是來自感測器。感測器具有排列成貝爾圖形的顏色濾波陣列且分別包含每一影像之每一像素的原始顏色值。影像強化單元330用於強化影像的畫質，例如對三原色像素陣列實施減雜訊及銳化。

起初，邊緣方向偵測單元322根據原始資料的一像素行中之複數個第一顏色像素決定第一顏色垂直亮度差。再根據該像素行的中心像素與同一行的其他像素之間的顏色值差之絕對值之總合決定第一顏色垂直亮度差。舉例來說，於本實施例中，第一顏色是藍色，參考第2圖，就第3行的像素的而言，第3行包括像素b1、b4、b7、g3、g8。以中心像素b4來說，垂直亮度差diffV如以下公式所示：

diffV=|b4-b1|+|b4-b7|

然後，邊緣方向偵測單元322根據原始資料的一像素列中之複數個第一顏色像素決定第一顏色水平亮度差。再根據該像素列的中心像素與同一列的其他像素之間的顏色值差之絕對值之總合決定第一顏色垂直亮度差。如第2圖所示，舉例來說，第3列包括像素b3-b5以及像素g5-g6。以中心像素b4來說，水平亮度差diffH如以下公式所示：

diffH=|b4-b3|+|b4-b5|

若垂直亮度差diffV大於水平亮度差diffH，則定義中心像素b4的邊緣方向為水平方向。若垂直亮度差diffV小於水平亮度差diffH，則定義中心像素b4的邊緣方向為垂直方向。此外，邊緣方向偵測單元322對多像素方向內插單元324設定中心像素b4的鄰近像素為相同於中心像素b4的方向，也就是鄰近像素的方向與中心像素b4的方向相同。

在邊緣方向偵測單元322決定中心像素b4的邊緣方向後，多像素方向內插單元324用於根據邊緣方向決定中心像素b4的遺失顏色值與中心像素b4之鄰近像素的遺失顏色值。舉例來說，於本實施例中，第一顏色為藍色，第二顏色為紅色，第三顏色為綠色。每一相對應像素的遺失綠色值係根據偵測到的邊緣方向值所決定，其中遺失綠色值為沿著偵測到的邊緣方向的綠色顏色值與鄰近相對應像素的綠色顏色值之平均值。

上述方法可描述成以下公式：

上列公式根據相同邊緣方向輸出像素矩陣之紅色與藍色像素的遺失綠色值。遺失藍色值與遺失紅色值可藉由相同方法或其他方法得到。每一像素的內插顏色值被輸出至影像強化單元330以更進一步進行處理。內插顏色值根據儲存在四線暫存器310以及一現行線的值所產生，因此不需要額外的暫存器儲存內插顏色值。

第4圖係為顯示依據本發明實施例之影像處理方法的流程圖。在步驟402，邊緣方向偵測單元根據根據垂直亮度差與水平亮度差決定中心像素的邊緣方向。以中心像素b4來說，垂直亮度差diffV如以下公式所示：

diffV=|b4-b1|+|b4-b7|

以中心像素b4來說，水平亮度差diffH如以下公式所示：

diffH=|b4-b3|+|b4-b5|

中心像素b4的邊緣方向係根據至少垂直亮度差diffV以及水平亮度差diffH所決定。應注意的是本實施例只使用垂直亮度差diffV以及水平亮度差diffH以決定邊緣方向，但在其他實施例中也可使用對角亮度差。

在步驟404，多像素方向內插單元324根據邊緣方向以決定中心像素b4的遺失顏色值與中心像素b4之鄰近像素的遺失顏色值。在本實施例中，每一相對應像素的遺失綠色值係藉由沿著偵測到的邊緣方向內插所決定。遺失藍色值與遺失紅色值可藉由相同方法或其他方法得到。

在步驟406，遺失顏色值、內插顏色值以及原始顏色值作為全彩色影像被輸出至影像強化單元330以更進一步進行處理。

雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟悉此項技藝者，在不脫離本發明之精神和範圍內，當可做些許更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100．．．影像處理裝置

110．．．線暫存器

120．．．解馬賽克單元

122．．．邊緣方向偵測單元

124．．．方向內插單元

130．．．線暫存器

140．．．影像強化單元

300．．．影像處理裝置

310．．．線暫存器

320．．．解馬賽克單元

322．．．邊緣方向偵測單元

324．．．多像素方向內插單元

330．．．影像強化單元

402、404、406．．．步驟

b0-b8、g0-g11、r1-r4．．．像素

v．．．垂直方向

h．．．水平方向

第1圖為顯示傳統影像處理裝置的示意圖；

第2圖為顯示5*5矩陣的貝爾圖形的示意圖；

第3圖為顯示依據本發明實施例之影像處理裝置的示意圖；以及

第4圖為顯示依據本發明實施例之影像處理方法的流程圖。

300．．．影像處理裝置

310．．．線暫存器

320．．．解馬賽克單元

322．．．邊緣方向偵測單元

324．．．多像素方向內插單元

330．．．影像強化單元

Claims (13)

1. 一種影像處理模組，包括：一解馬賽克單元，用於解馬賽克一像素矩陣的原始資料；該解馬賽克單元包括：一邊緣方向偵測單元，用以決定該像素矩陣之一中心像素的一邊緣方向；以及一多像素方向內插單元，用以根據該邊緣方向決定該中心像素之至少一遺失顏色值，與根據該邊緣方向決定該中心像素之複數鄰近像素之至少一遺失顏色值；以及一影像強化單元，耦接至該解馬賽克單元。
2. 如申請專利範圍第1項所述之影像處理模組，其中該邊緣方向偵測單元用以決定該中心像素之一垂直亮度差與一水平亮度差，若該垂直亮度差大於該水平亮度差時，則決定該邊緣方向為水平，若該垂直亮度差小於該水平亮度差時，則決定該邊緣方向為垂直。
3. 如申請專利範圍第1項所述之影像處理模組，其中該中心像素之該遺失顏色值與該等鄰近像素之該遺失顏色值為相對應於一相同顏色。
4. 如申請專利範圍第3項所述之影像處理模組，其中該相同顏色為綠色。
5. 如申請專利範圍第3項所述之影像處理模組，其中該多像素方向內插單元分別對該等鄰近像素產生該等遺失顏色值。
6. 如申請專利範圍第1項所述之影像處理模組，其中該多像素方向內插單元藉由沿著該邊緣方向內插以產生該中心像素之該遺失顏色值與該等鄰近像素之該等遺失顏色值。
7. 如申請專利範圍第1項所述之影像處理模組，其中該像素陣列被具有排列成貝爾圖形的一顏色濾波陣列所覆蓋。
8. 一種影像處理方法，包括下列步驟：接收一像素矩陣的原始資料；以及解馬賽克該原始資料；解碼塞克的步驟更包括：決定該像素矩陣之一中心像素的一邊緣方向；根據該邊緣方向決定該中心像素之至少一遺失顏色值；以及根據該邊緣方向決定該中心像素之複數鄰近像素之至少一遺失顏色值以便輸出一全彩色影像。
9. 如申請專利範圍第8項所述之影像處理方法，其中決定該邊緣方向的步驟更包括先決定有關於該中心像素的一垂直亮度差與一水平亮度差，若該垂直亮度差大於該水平亮度差時，則決定該邊緣方向為水平，若該垂直亮度差小於該水平亮度差時，則決定該邊緣方向為垂直。
10. 如申請專利範圍第8項所述之影像處理方法，其中該中心像素之該遺失顏色值與該等鄰近像素之該遺失顏色值為相對應於一相同顏色。
11. 如申請專利範圍第10項所述之影像處理方法，其中該相同顏色為綠色。
12. 如申請專利範圍第8項所述之影像處理方法，其中決定遺失顏色值的步驟包括分別對該等鄰近像素產生該等遺失顏色值。
13. 如申請專利範圍第8項所述之影像處理方法，其中決定遺失顏色值的步驟包括藉由沿著該邊緣方向內插以產生該中心像素之該遺失顏色值與該等鄰近像素之該等遺失顏色值。