TWI546769B

TWI546769B - 影像處理裝置與影像處理方法

Info

Publication number: TWI546769B
Application number: TW104111583A
Authority: TW
Inventors: 姜昊天; 陳世澤
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2015-04-10
Filing date: 2015-04-10
Publication date: 2016-08-21
Also published as: US20160300326A1; TW201636949A; US9779321B2

Description

影像處理裝置與影像處理方法

本發明是關於影像處理裝置與方法，尤其是關於可針對影像的邊緣與細節做強化的影像處理裝置與方法。

影像增強是影像處理中最重要也最常見的技巧之一，大致上可以分為兩大類別：第一類是針對亮度以及色彩部分做強化，第二類是針對紋理部分（例如邊緣以及細節）做強化。執行影像增強時可以同時做兩類別的方法，亦或是擇一類別來做。現在有多種影像評測標準會根據影像的細節和平滑區域做檢測，像是微軟公司（Microsoft）所制訂的測試規範中就定義了調制轉換函數（Modulation Transfer Function，MTF）、過銳利度（Over-sharpness）、粗糙度（Roughness）、銳敏度（Acutance）和訊號雜訊比（Signal-to-Noise Ratio，SNR）等指標。要能通過這些專業的測試標準，必須對影像品質有更高的要求，其對應設計的演算法也要更為強健。而針對以上的這些測試標準，第二類的影像增強演算法扮演了非常重要的角色。

本發明之一目的在於提供一種影像處理裝置與方法，以增加影像調整的彈性以及針對影像的邊緣與細節做強化。

本發明揭露了一種影像處理裝置，用來處理包含複數像素之一影像，每一像素具有一像素值，該影像處理裝置包含：一記憶體，用來暫存該些像素值之一部分；一像素增強模組，耦接該記憶體，用來對該些像素值進行增強圖像邊緣之運算，以產生一運算結果；一第一濾波模組，耦接該記憶體，用來依據一第一濾波係數對該些像素值進行一第一濾波運算，以產生一第一濾波結果；一第二濾波模組，耦接該像素增強模組及該第一濾波模組，用來依據一第二濾波係數以及該運算結果與該第一濾波結果進行一第二濾波運算，及輸出一第一中間值；以及一對比度調整模組，耦接該第二濾波模組，用來依據一亮度調整參數調整該影像之一對比度，以產生一對比度調整結果，並依據該第一中間值及該對比度調整結果產生一輸出值；其中該第一濾波係數、第二濾波係數及該亮度調整參數係可獨立調整。

本發明另揭露了一種影像處理方法，用來處理包含複數像素之一影像，每一像素具有一像素值，該影像處理方法包含：暫存該些像素值；對該些像素值進行增強圖像邊緣之運算，以產生一運算結果；依據一第一濾波係數對該些像素值進行一第一濾波運算，以產生一第一濾波結果；將該運算結果及該第一濾波結果相加以產生一第一中間值；依據一第二濾波係數對該第一中間值進行一第二濾波運算，以產生一第二濾波結果；產生一第二中間值，該第二中間值係與該第二濾波結果相關；依據一亮度調整參數調整該影像之一對比度，以產生一對比度調整結果；以及依據該第二中間值及該對比度調整結果產生一輸出值；其中該第一濾波係數、第二濾波係數及該亮度調整參數係可獨立調整。

本發明之影像處理裝置與方法能夠獨立且彈性地調整各種影像處理機制的係數或參數，以使得調整後的影像更容易通過各種評測標準。

有關本發明的特徵、實作與功效，茲配合圖式作實施例詳細說明如下。

以下說明內容之技術用語係參照本技術領域之習慣用語，如本說明書對部分用語有加以說明或定義，該部分用語之解釋係以本說明書之說明或定義為準。

圖1為本發明之影像處理裝置之一實施方式的功能方塊圖。影像處理裝置100包含線緩存器（line buffer）110、像素增強模組120、平滑效果模組130、雜訊抑制模組140以及對比度調整模組150。影像處理裝置100對影像資料進行影像處理時，通常以影像畫面中某一目標像素為基準，將其鄰近像素的資料暫存於線緩存器110中，以供後續的模組使用。舉例來說，假設影像處理裝置100每次處理的視窗大小為M個像素×N個像素（M條像素線，每條像素線取N個像素，M、N為正整數，可為相等或不相等），則該視窗包含該目標像素，且線緩存器110設計為可至少暫存M-1條像素線。之後像素增強模組120及平滑效果模組130各自從線緩存器110中取出該視窗的影像資料進行運算。線緩存器110可以例如是動態隨機存取記憶體、同步動態隨機存取記憶體或靜態隨機存取記憶體等記憶體，且可以為影像處理裝置100的專屬記憶體，或是與其他的電路共用。影像處理裝置100可以適用於多種影像編碼方法，例如貝爾（Bayer）域、RGB域或YUV域。在貝爾域或RGB域中，影像處理裝置100所處理的像素資料可以是代表R、G、B之其中之一的像素值；在YUV域中，影像處理裝置100所處理的像素資料可以是代表Y的像素值。

像素增強模組120以增強圖像邊緣的演算法對原始像素值P進行處理，對應一個目標像素（或一個視窗）可得到一個增強後的像素值P’。像素增強模組120可以採用習知的演算法，例如非銳利遮罩（unsharp mask）演算法、拉普拉斯矩陣（Laplacian matrix）演算法或其他可達到類似效果的演算法。

平滑效果模組130的目的在於減緩影像邊緣的鋸齒狀現象。平滑效果模組130首先偵測視窗中所包含的邊緣位置以及方向。邊緣方向的種類可以預先定義，例如圖2所示的四種邊緣方向（四個大的矩形分別代表視窗，灰色的格子代表邊緣所在位置的像素），然而在不同的實施例中可能定義不同的邊緣方向。偵測影像的邊緣及方向可以使用一階梯度的濾波方法，例如習知的索貝爾（Sobel）運算方法。找出邊緣及其方向後，對該邊緣上的像素或是邊緣之法向量上的像素進行一維的空間濾波。舉例來說，圖2所示的視窗大小為9×9，位於最左邊的視窗的水平邊緣上包含9個像素，平滑效果模組130可以依據以下的算式來進行濾波： (1) 其中 P _i 為原始影像的像素值， C _i 為對應像素位置的濾波係數。在一個實施例中，濾波結果value1可以是位於邊緣上的所有像素的平均值（亦即對任何 i值， C _i =1/9）；在其他的實施例中，濾波係數 C _i 可以依據高斯分佈（Gaussian distribution）來做設定。平滑效果模組130決定濾波係數 C _i 時，可以依據訊號para1做決定。在一個實施例中，平滑效果模組130內建查找表（loop-up table），並且依據訊號para1從查找表中找出對應的濾波係數 C _i 來進行濾波。例如影像處理裝置100可以包含其他用來偵測影像的特性的影像處理模組（圖未示），偵測影像的亮度、彩度及/或像素的變化程度等特性，而產生該訊號para1，也就是說濾波係數 C _i 可以依據影像的特性自動調整；又例如使用者可以依據濾波結果value1是否滿足實際的需求而手動調整該訊號para1。在其他的實施例中，平滑效果模組130不內建查找表，濾波係數 C _i 可以藉由訊號para1傳入。平滑效果模組130也同樣對應一個目標像素（或一個視窗）產生一個濾波結果value1，濾波結果value1與相對應的增強後的像素值P’相加後形成像素值P _En。

雜訊抑制模組140的目的在於緩解隨著影像強化而增長的雜訊，以及使影像的平滑區更為平滑以提升視覺感受度。在一個實施例中，雜訊抑制模組140可以包含圖3所示的功能方塊以對像素值P _En進行二維濾波。儲存單元310儲存k組濾波係數312（k為正整數）。在此例中，視窗大小為5×5，因此每組濾波係數312包含5×5=25個數值，數值可為有理數，不以圖式中之整數為限。多工器320依據訊號para2從k組濾波係數312中選取其中一組，之後摺積（convolution）運算單元330依據該組選取的濾波係數312對像素值P _En進行摺積運算。同樣地，濾波係數312可以藉由訊號para2的控制來作選擇，訊號para2可以依據影像的特性自動調整，或由使用者手動調整。摺積運算單元330進行摺積運算時，視窗中的25個像素值分別與該組濾波係數中對應位置的數值相乘，再將所得的25個乘積相加後平均。

但因為二維濾波很容易影響影像的細節，所以雜訊抑制模組140還會依據此視窗中影像細節的多寡決定上述的濾波結果對影像的作用程度。亦即，雜訊抑制模組140依據下式將濾波結果P _Co與先前的像素值P _En做混合運算（blending）。 (2) 比重α用來控制濾波結果P _Co所佔的比例，可以依據視窗中影像的特性動態計算得到。圖4為本發明之一實施例依據影像的變化程度決定比重α的示意圖。橫軸chg代表影像的變化程度，可以利用多種方法計算而得，例如習知的索貝爾運算方法。數值chg愈大，表示影像的變化程度愈大，而當影像的變化程度愈大，本發明令比重α愈小。也就是說，當影像的細節愈多時（亦即變化程度愈大），為了避免影像經過二維濾波後造成細節損失，此時運算結果value2傾向保留較多的像素值P _En，而降低二維濾波結果P _Co的比重；相反的，如果影像比較平滑（亦即變化程度小），雜訊抑制模組140則傾向使二維濾波結果P _Co在運算結果value2佔有較大的比重。圖4中的數值Max1與Min1分別為比重α的上限與下限，可以彈性調整，且分別對應數值thd1及thd2。數值Max1與Min1的大小關係為：0 ≤ Min1 ＜ Max1 ≤ 1。比重α對應變化程度chg的斜率，以及數值thd1、thd2、Max1與Min1可以依據影像處理裝置100所處理的影像的特性而預先設定。數值thd1、thd2、Max1與Min1可由訊號para2輸入雜訊抑制模組140。

運算結果value2接著由對比度調整模組150處理，針對影像的對比度做調整，以滿足調制轉換函數。由於調制轉換函數與影像的邊緣高度相關，更明確地說，調制轉換函數與目標像素所在之邊緣的細節高度相關。因此，對比度調整模組150在進行運算時，會先判斷目標像素是否位於一細邊（thin edge）上。圖5顯示本發明判斷影像之邊緣是否為細邊的一種實施方式。圖中以5×5的視窗為例，灰色格子代表目標像素，本例中以視窗的中心位置的像素作為目標像素。圖中的虛線代表影像的邊緣（沿x方向）的所在位置，目標像素經判斷為位於邊緣上之後（例如使用前述的索貝爾運算方法），現在進一步判斷該邊緣是否為細邊。圖中的三個矩形代表三個濾波遮罩（mask），遮罩中的數字代表濾波係數，空白的部分代表數值0。判斷時，以三個濾波遮罩分別對同一視窗中的運算結果value2做摺積運算，並取其絕對值。三個遮罩主要用來計算位於該邊緣的法向量上（y方向），且與該目標像素呈直線排列的複數像素的像素值變化情形，對應該三個遮罩可以分別得到該邊緣偏上、該邊緣上以及該邊緣偏下的像素差值（分別為Vu、Vc及Vd）。位於影像邊緣附近的像素值在邊緣的法向量上通常具有梯度變化，判斷邊緣是否為細邊實際上即是判斷邊緣在法向量上的像素值變化是否明顯，像素值變化明顯即代表該邊緣為細邊。因此如果Vc大於Vu且Vc大於Vd，則代表目標像素位於細邊上。

如果對比度調整模組150判斷目標像素不位於細邊上，則直接輸出雜訊抑制模組140的運算結果value2；然而如果目標像素位於細邊上，則對比度調整模組150依據下式來提升影像的對比度。 (3) 數值R是對比度的調整倍率，可以依據影像的特性自動調整或是依據評測標準而手動微調；n表示每一個像素所佔的位元數。P _To即為經過對比度調整後的像素值。尚有許多增加像素之對比度的方法，本發明不以上式的方法為限。得到新的像素值P _To之後，對比度調整模組150再將像素值P _To與前述的運算結果value2作混合運算，而得到運算結果value3，如下式所示： (4) 比重β用來控制像素值P _To的比重，可以根據影像區域的特性動態計算出來。圖6為本發明之一實施例依據影像的變化程度決定比重β的示意圖。橫軸chg代表影像的變化程度，本實施例令比重β隨著數值chg增大而增加，也就是當影像的細節愈多時，影像的對比度也隨之加強，使細邊的邊緣更加銳利；相反的，當影像的變化程度不大時，細邊相對而言已夠銳利，故可以降低像素值P _To的比重。同樣的，圖6中的數值Max2與Min2分別為比重β的上限與下限，可以彈性調整，且分別對應變化程度thd4及thd3。數值Max2與Min2的大小關係為：0 ≤ Min2 ＜ Max2 ≤ 1。比重β對應變化程度chg的斜率，以及數值thd3、thd4、Max2與Min2可以依據影像處理裝置100所處理的影像的特性而預先設定。上述的數值R及數值thd3、thd4、Max2與Min2可由訊號para3輸入對比度調整模組150。

經過上述各功能模組的處理後，影像處理裝置100產生輸出像素值P _Out。各功能模組可以針對不同的影像評測標準做微調，例如平滑效果模組130可以藉由改變濾波係數來使輸出像素值P _Out更能符合粗糙度的評測標準，雜訊抑制模組140可以藉由選擇不同的濾波遮罩來使輸出像素值P _Out更能符合訊號雜訊比的評測標準，以及對比度調整模組150可以藉由檢測目標像素是否位於細邊上以及藉由改變對比度以使輸出像素值P _Out更能符合調制轉換函數的評測標準。上述各模組所使用的參數或係數都可以個別調整，因此本發明很容易針對各種影像評測標準來獨立調整相對應的影像特性，以快速調整影像來滿足各種不同的應用情形或評測標準。此外，雜訊抑制模組140及對比度調整模組150將影像的變化程度chg納入參考則有助於調整輸出像素值P _Out的銳敏度。另外，為了調整彈性方便，平滑效果模組130也可以進一步只針對細邊做處理。

請參閱圖7，其係本發明之影像處理方法之一實施例的流程圖，包含下列步驟：步驟S810：接收並暫存一影像的像素值。像素值中包含一目標像素的像素值。儲存時僅需暫存影像之部分像素線的像素值；步驟S820：對原始像素值進行強化運算。此步驟可以利用非銳利遮罩演算法、拉普拉斯矩陣演算法或其他具有相同目的的演算法，來增強原始像素值P的圖像邊緣，而後得到像素值P’；步驟S830：對原始像素值進行濾波運算，以減緩影像邊緣的鋸齒狀現象。此步驟先偵測邊緣的方向，再對邊緣上的像素或是邊緣之法向量上的像素進行一維空間的濾波。濾波係數可以藉由自動偵測影像的特性來決定，或是由使用者依據濾波的結果而手動微調，或是兩者合併實施。此步驟濾波後得到濾波結果value1；步驟S840：抑制雜訊以及使影像的平滑區更為平滑。此步驟針對步驟S820所產生的像素值P’及步驟S830所產生的濾波結果value1相加後的結果（即像素值P _En）進行二維濾波運算，以抑制因強化影像而增長的雜訊。此步驟從複數組濾波係數中選取一組，再對該組濾波係數及該像素值P _En進行摺積運算，而得到濾波結果P _Co。此外，此步驟還可以進一步依據影像的變化程度對濾波結果P _Co與像素值P _En做混合運算，而得到運算結果value2。同樣的，濾波係數可以藉由自動偵測影像的特性來決定，或是由使用者依據濾波的結果而手動微調，或是兩者合併實施；步驟S850：偵測目標像素是否位於細邊上。此步驟先偵測目標像素是否位於一邊緣上（可採用步驟S830所使用之方法），如果是，則再進一步判斷該邊緣是否為一細邊。判斷是否為細邊可以利用例如圖5所示的濾波遮罩對步驟S840所產生的運算結果value2進行摺積運算。如果為細邊，則進行步驟S860；如果目標像素不在邊緣上，或雖然在邊緣上但該邊緣不是細邊，則進行步驟S870；步驟S860：調整影像的對比度。因為調制轉換函數與邊緣的銳利程度息息相關，改善細邊的對比度有助於滿足調制轉換函數的標準。提升對比度的方法很多，本發明不限於方程式(3)的方法，對比度經過調整後得到像素值P _To。此外，此步驟還可以進一步依據影像的變化程度對像素值P _To與前述的運算結果value2做混合運算，得到運算結果value3；以及步驟S870：輸出處理完畢之像素值。如果步驟S850的判斷為否，則此步驟輸出運算結果value2作為最後的輸出像素值P _Out；如果步驟S850的判斷為是，則此步驟輸出步驟S860所得到的混合結果value3作為最後的輸出像素值P _Out。

為了增加調整彈性，上述的步驟S830之前亦可以加入細邊的判斷程序。更明確地說，步驟S820之後先判斷目標像素是否位於細邊上，如果是，則進行步驟S830，如果不是，則略過步驟S830直接進行步驟S840。此外，本發明亦可針對不同的影像處理需求選擇對應的實施步驟，也就是說步驟S830、步驟S840及步驟S860不一定要全部實施。舉例來說，如果訊號雜訊比的評測標準不是某次影像處理的重點，則可以省略步驟S840。

雖然本發明之實施例如上所述，然而該些實施例並非用來限定本發明，本技術領域具有通常知識者可依據本發明之明示或隱含之內容對本發明之技術特徵施以變化，凡此種種變化均可能屬於本發明所尋求之專利保護範疇，換言之，本發明之專利保護範圍須視本說明書之申請專利範圍所界定者為準。

100、200‧‧‧影像處理裝置
110‧‧‧線緩存器
120‧‧‧像素增強模組
130‧‧‧平滑效果模組
140‧‧‧雜訊抑制模組
150‧‧‧對比度調整模組
310‧‧‧儲存單元
312‧‧‧濾波係數
320‧‧‧多工器
330‧‧‧摺積運算單元
S810～S870‧‧‧步驟

［圖1］為本發明之影像處理裝置的之一實施方式的功能方塊圖；［圖2］為本發明其中一實施例之邊緣方向種類的示意圖；［圖3］為本發明之雜訊抑制模組用來進行二維濾波之功能方塊圖；［圖4］為本發明之一實施例依據影像的變化程度決定比重α的示意圖；［圖5］為本發明判斷影像之邊緣是否為細邊的一種實施方式；［圖6］為本發明之一實施例依據影像的變化程度決定比重β的示意圖；以及［圖7］為本發明之影像處理方法之一實施例的流程圖。

100‧‧‧影像處理裝置

110‧‧‧線緩存器

120‧‧‧像素增強模組

130‧‧‧平滑效果模組

140‧‧‧雜訊抑制模組

150‧‧‧對比度調整模組

Claims

一種影像處理裝置，用來處理包含複數像素之一影像，每一像素具有一像素值，該影像處理裝置包含：一記憶體，用來暫存該些像素值之一部分；一像素增強模組，耦接該記憶體，用來對該些像素值進行增強圖像邊緣之運算，以產生一運算結果；一第一濾波模組，耦接該記憶體，用來依據一第一濾波係數對該些像素值進行一第一濾波運算，以產生一第一濾波結果；一第二濾波模組，耦接該像素增強模組及該第一濾波模組，用來依據一第二濾波係數以及該運算結果與該第一濾波結果進行一第二濾波運算，及輸出一第一中間值；以及一對比度調整模組，耦接該第二濾波模組，用來依據一對比度調整參數調整該影像之一對比度，以產生一對比度調整結果，並依據該第一中間值及該對比度調整結果產生一輸出值；其中該第一濾波係數、第二濾波係數及該對比度調整參數係可獨立調整。
如申請專利範圍第1項所述之影像處理裝置，其中該對比度調整模組更判斷部分該些第一中間值之間的差異程度是否滿足一邊緣條件，其中該部分該些第一中間值係對應沿同一方向排列之像素，且該方向與該影像之一邊緣方向垂直。
如申請專利範圍第1項所述之影像處理裝置，其中該第二濾波模組係對該運算結果與該第一濾波結果相加後之一第二中間值進行該第二濾波運算，而得到一第二濾波結果，並依據該第二中間值及該第二濾波結果產生該第一中間值。
如申請專利範圍第1項所述之影像處理裝置，其中該第一濾波模組更判斷該影像之一邊緣方向，並以該邊緣方向上之複數像素或該邊緣方向之垂直方向上之複數像素進行該第一濾波運算。
如申請專利範圍第1項所述之影像處理裝置，其中該第一濾波模組更判斷部分該些像素值之間的差異程度是否滿足一邊緣條件以決定是否進行該第一濾波運算，其中該部分該些像素值係對應沿同一方向排列之像素，且該方向與該影像之一邊緣方向垂直。
一種影像處理方法，用來處理包含複數像素之一影像，每一像素具有一像素值，該影像處理方法包含：暫存該些像素值；對該些像素值進行增強圖像邊緣之運算，以產生一運算結果；依據一第一濾波係數對該些像素值進行一第一濾波運算，以產生一第一濾波結果；將該運算結果及該第一濾波結果相加以產生一第一中間值；依據一第二濾波係數對該第一中間值進行一第二濾波運算，以產生一第二濾波結果；產生一第二中間值，該第二中間值係與該第二濾波結果相關；依據一對比度調整參數調整該影像之一對比度，以產生一對比度調整結果；以及依據該第二中間值及該對比度調整結果產生一輸出值；其中該第一濾波係數、第二濾波係數及該對比度調整參數係可獨立調整。
如申請專利範圍第6項所述之影像處理方法，其中該產生該第二中間值之步驟係對該第二濾波結果及該第一中間值進行一混合運算，以產生該第二中間值。
如申請專利範圍第6項所述之影像處理方法，更包含：於調整該影像之該對比度之前判斷部分該些第二中間值之間的差異程度是否滿足一邊緣條件，其中該部分該些第二中間值係對應沿同一方向排列之像素，且該方向與該影像之一邊緣方向垂直。
如申請專利範圍第6項所述之影像處理方法，更包含：判斷該影像之一邊緣方向；其中該依據該第一濾波係數對該些像素值進行該第一濾波運算之步驟係以該邊緣方向上之複數像素或該邊緣方向之垂直方向上之複數像素進行該第一濾波運算。
如申請專利範圍第6項所述之影像處理方法，更包含：判斷部分該些像素值之間的差異程度是否滿足一邊緣條件以決定是否進行該第一濾波運算；其中該部分該些像素值係對應沿同一方向排列之像素，且該方向與該影像之一邊緣方向垂直。