TW201633253A - 影像處理裝置與方法 - Google Patents

Abstract

影像處理裝置包含梯度資訊計算元件、方向判斷元件、方向插補元件以及影像混合元件。梯度資訊計算元件處理輸入影像，以產生輸入影像中多個輸入像素分別對應的梯度值和梯度角度；方向判斷元件根據輸入像素對應的梯度值和梯度角度產生多個插補角度和方向信任度值；方向插補元件根據插補角度對輸入影像進行方向插補處理，並產生與輸入影像解析度不同的第一影像；影像混合元件接收第一影像與輸入影像經影像插補處理所產生的第二影像，並根據方向信任度值混合第一影像與第二影像作為輸出影像。

Description

影像處理裝置與方法

本揭示內容是有關於一種影像處理裝置與方法，特別是有關插補技術的影像處理裝置與方法。

隨著顯示技術的進步，平面型顯示裝置的解析度不斷提升，如何提供高解析度影像更成為影像處理相關領域的重要研究主題。影像資料在傳送與儲存時，因受限於傳輸速率或儲存空間等，往往需採用低解析度的影像格式，為了在高解析度規格之顯示裝置上有良好的效果，需解決影像資料與顯示裝置解析度不相同的問題。

傳統上改變影像解析度可使用影像插補(image interpolation)技術來提升影像解析度，傳統影像插補技術又包含不具方向性的最近相鄰插補(nearest neighbor interpolation)技術、雙線性插補(bilinear interpolation)技術和雙三次插補(bicubic interpolation)技術，傳統插補技術硬體成本低且計算所需資源也較低，故為常用的插補技術，但插補後之影像的邊緣(edges)容易存在鋸齒狀或模糊等問題。

另外也有根據協方差(covariance)插補影像像 素的進階插補技術，如根據低解析度影像的協方差和高解析度影像協方差之間的關係產生影像插補結果，然而，這種技術的硬體實現成本和計算成本均偏高，不容易實現即時(real-time)的影像處理，在應用上有其限制。

因此，亟需一種低計算成本和製造成本的影像處理裝置，來解決習知插補技術的問題。

本揭示內容之一態樣為一種影像處理裝置，包含梯度資訊計算元件、方向判斷元件、方向插補元件以及影像混合元件。梯度資訊計算元件處理輸入影像，以產生輸入影像中多個輸入像素分別對應的梯度值和梯度角度；方向判斷元件根據輸入像素對應的梯度值和梯度角度產生多個插補角度和方向信任度值；方向插補元件根據插補角度對輸入影像進行方向插補處理，並產生與輸入影像解析度不同的第一影像；影像混合元件接收第一影像與輸入影像經影像插補處理所產生的第二影像，並根據方向信任度值混合第一影像與第二影像作為輸出影像。

於一實施例中，輸入像素包含位於第一範圍內之多個第一輸入像素，方向判斷元件係用以比較第一輸入像素及與第一輸入像素相鄰之其他輸入像素的梯度值和梯度角度，以產生插補角度中之第一插補角度和方向信任度值中之一者。

於一實施例中，輸入像素包含位於第二範圍內 之多個第二輸入像素，且第二範圍包含第一範圍，方向判斷元件係用以比較第一插補角度與第二輸入像素之梯度角度，以更新第一插補角度。

於一實施例中，方向插補元件用以將插補角度 之第一插補角度對應至多個角度區中之第一角度區間，並選取一取樣窗內之輸入像素作為多個方向插補輸入像素，根據第一角度區間，選擇性地對方向插補輸入像素進行低通濾波處理，再根據處理後之方向插補輸入像素之像素值，產生第一像素之像素值，其中第一像素對應至第一插補角度且為第一影像之組成像素之一。

於一實施例中，方向插補元件用以根據第一角 度區間，自多個角度取樣窗中選取一者作為取樣窗，角度取樣窗包含直角座標取樣窗、垂直對角座標取樣窗以及水平對角座標取樣窗。

於一實施例中，方向插補元件用以將第一插補 角度對應至一第二角度區間，並根據第二角度區間產生第一像素之另一像素值，混和第一像素之像素值與另一像素值，以更新第一像素之像素值。

於一實施例中，所述角度區間小於30度。

本揭示內容之另一態樣為一種影像處理方法，包含以下步驟：對輸入影像進行運算處理，以產生輸入影像中之多個輸入像素分別對應之梯度值和梯度角度；根據輸入像素所對應之梯度值和梯度角度，產生多個插補角度以及多個方向信任度值；根據插補角度，對輸入影像進行方向插補 處理，以產生第一影像，其中第一影像之解析度與輸入影像之解析度不同；對輸入影像進行影像插補處理產生第二影像，並根據方向信任度值所對應之第一影像與第二影像之權重，混合第一影像與第二影像作為輸出影像，且第二影像之解析度與第一影像之解析度相同。

於一實施例中，計算插補角度與方向信任度值 之步驟包含：比較多個第一輸入像素及與第一輸入像素相鄰之其他輸入像素的梯度值和梯度角度，以產生插補角度中之一第一插補角度和方向信任度值中之一者，其中第一輸入像素包含位於一第一範圍內之輸入像素。

於一實施例中，計算插補角度與方向信任度值 之步驟包含：比較第一插補角度與多個第二輸入像素之梯度角度，以更新第一插補角度，其中第二輸入像素包含位於第二範圍內之輸入像素，且第二範圍包含第一範圍。

於一實施例中，產生第一影像之步驟包含：將 插補角度之第一插補角度對應至多個角度區間中之第一角度區間，並選取一取樣窗內之輸入像素作為多個方向插補輸入像素，根據第一角度區間，選擇性地對方向插補輸入像素進行低通濾波處理，再根據處理後之方向插補輸入像素之像素值，產生第一像素之像素值，其中第一像素對應至第一插補角度且為第一影像之組成像素之一。

於一實施例中，產生第一影像之步驟包含：根 據第一角度區間，自多個角度取樣窗中選取一者作為取樣窗，角度取樣窗包含直角座標取樣窗、垂直對角座標取樣窗 以及水平對角座標取樣窗。

於一實施例中，產生第一影像之步驟包含：將 第一插補角度對應至一第二角度區間，並根據第二角度區間產生第一像素之另一像素值，混和第一像素之像素值與另一像素值，以更新第一像素之像素值。

於一實施例中，所述角度區間小於30度。

本發明之又一態樣為一種影像處理裝置，包含梯度資訊計算元件、方向判斷元件以及方向插補元件，梯度資訊計算元件處理輸入影像，以產生輸入影像中多個輸入像素分別對應的梯度值和梯度角度；方向判斷元件根據輸入像素對應的梯度值和梯度角度產生多個插補角度和方向信任度值；方向插補元件用以將插補角度之一第一插補角度對應至多個角度區間中之一第一角度區間，並選取一取樣窗內之輸入像素作為多個方向插補輸入像素，根據第一角度區間，選擇性地對方向插補輸入像素進行低通濾波處理，再根據處理後之方向插補輸入像素之像素值，產生第一像素之像素值，其中第一像素對應至第一插補角度且為第一影像之組成像素之一。

本發明之再一態樣為一種影像處理方法，包含以下步驟：對輸入影像進行運算處理，以產生輸入影像中之多個輸入像素分別對應之梯度值和梯度角度；根據輸入像素所對應之梯度值和梯度角度，產生多個插補角度以及多個方向信任度值；將插補角度之一第一插補角度對應至多個角度區間中之一第一角度區間，並選取一取樣窗內之輸入像素作 為多個方向插補輸入像素，根據第一角度區間，選擇性地對方向插補輸入像素進行低通濾波處理，再根據處理後之方向插補輸入像素之像素值，產生第一像素之像素值，其中第一像素對應至第一插補角度且為第一影像之組成像素之一。

綜上所述，本揭示內容所提供之影像處理裝置 與方法以低硬體實作成本，讓較高解析度之輸出影像(output image)的邊緣(edges)更為細緻，在進行方向插補處理時結合低通濾波器，讓影像中不同方向的邊緣更加平滑連續，以達到更佳的影像效果。影像處理裝置並以方向信任度值以及多階段的插補角度收斂來結合方向插補處理與影像插補處理之結果，進一步提昇輸出影像品質的穩定性。

100‧‧‧影像處理裝置

110‧‧‧梯度資訊計算元件

120‧‧‧方向判斷元件

130‧‧‧方向插補元件

140‧‧‧影像插補元件

150‧‧‧影像混合元件

160‧‧‧輸入影像

161‧‧‧方向信任度值

162‧‧‧插補角度

163‧‧‧第一影像

164‧‧‧第二影像

165‧‧‧輸出影像

166‧‧‧梯度值

167‧‧‧梯度角度

P1~P16‧‧‧輸入像素

210‧‧‧第一範圍

220‧‧‧第二範圍

230‧‧‧中心像素

300‧‧‧第一插補角度

310~360(310A~360A)‧‧‧角度區間

370‧‧‧直角座標取樣窗

380‧‧‧水平對角座標取樣窗

390‧‧‧垂直對角座標取樣窗

400‧‧‧影像處理方法

S410~S440‧‧‧步驟

第1圖係依照本揭示內容實施例繪示一種影像處理裝置的方塊示意圖；第2A~2B圖係依照本揭示內容實施例繪示之像素範圍示意圖與方向判斷之對照表；第3A~3B圖係依照本揭示內容實施例繪示之角度區間與角度取樣窗示意圖；以及第4圖依照本揭示內容實施例繪示之一種影像處理方法的流程圖。

為了使本揭示內容之敘述更加詳盡與完備，可參 照所附之圖式及以下所述各種實施例，圖式中相同之號碼代表相同或相似之元件。另一方面，眾所週知的元件與步驟並未描述於實施例中，以避免對本揭示內容造成不必要的限制。此外，圖式僅以說明為目的，並未依照原尺寸作圖。

第1圖係依照本揭示內容實施例繪示一種影像處 理裝置的方塊示意圖，其中，平行四邊形方塊代表輸出或輸入資料，長方形方塊代表硬體元件。影像處理裝置100用以接收輸入影像160，並輸出解析度與輸入影像160不同的輸出影像165。舉例而言，輸入影像160之解析度720p，亦即1280x720像素(pixel)，而輸出影像165之解析度為1080p，亦即1920x1080像素，又或者輸入影像160之解析度為640x480像素，而輸出影像165之解析度為1280x960像素。在某些實施例中，影像處理裝置100接收之輸入影像160解析度為5x5像素，且輸出解析度為10x10像素之輸出影像165，又或者影像處理裝置100依序接收屬於一全幅影像之輸入影像160，而其輸出影像165為解析度經改變之全幅影像。以上所列僅為示例，並非用以限定本揭示內容。

影像處理裝置100包含梯度資訊計算元件110、方 向判斷元件120、方向插補元件130、影像插補元件140以及影像混合元件150。梯度資訊計算元件110處理輸入影像160，以產生輸入影像160中多個輸入像素分別對應的梯度值和梯度角度；方向判斷元件120根據輸入像素對應的梯度值和梯度角度產生多個方向信任度值161和插補角度162，插補 角度162與影像中邊緣方向相關，而方向信任度值161則代表插補角度162為正確的邊緣方向之可能性(likelihood)，此處邊緣方向為邊緣之法線方向；方向插補元件130根據插補角度162對輸入影像160進行方向插補處理，並產生與輸入影像160解析度不同的第一影像163；影像插補元件140對輸入影像160做影像插補處理產生第二影像164；影像混合元件150接收第一影像163以及第二影像164，並根據方向信任度值161混合第一影像163與第二影像164作為輸出影像165。如上所述，影像處理裝置100以方向信任度值161結合方向插補處理與影像插補處理之結果，可提昇輸出影像165品質，藉以得到銳利清晰的輸出影像165。

於不同的實施例中，梯度資訊計算元件110、方 向判斷元件120、方向插補元件130、影像插補元件140以及影像混合元件150可分別以特定功能積體電路(ASIC)或現場可程式規劃邏輯閘陣列(FPGA)實做並電性連接元件110~150，亦可將影像處理裝置100整合為系統單晶片(SoC)，而元件110~150則為晶片中的功能方塊。另外，在一些實施例中，影像處理裝置100亦可為個人電腦(PC)或微控制器(microcontroller)，而元件110~150則為以軟體或韌體方式實作的功能模組，儲存於影像處理裝置100之儲存裝置中，並由影像處理裝置100之中央處理器或其他處理器執行。本領域具通常知識者當可視實際應用需求，以不同硬體或軟體實作本揭示內容之技術思想，並不限於所舉示例。

當輸出影像165之解析度高於輸入影像160時，影 像處理裝置100係用以在輸出影像165中增加像素點，其增加之像素點所對應的像素值使輸出影像165中的邊緣平滑且連續，並降低使用一般影像插補技術造成之鋸齒狀或模糊的邊緣。在彩色影像中，影像之像素值又可分為紅綠藍(RGB)三原色之強度，或是分為色調、飽和度和亮度(HSV)之強度值，另外尚有其他像素值表示方式，並不限於所舉示例。為便於說明，以下像素值將以灰階強度值為例，以說明影像處理裝置100之操作細節，本領域具通常知識者在閱讀本揭示內容後，可將所揭示內容應用至使用不同像素值表示方式的彩色影像，即本揭示內容不以灰階影像為限。

梯度資訊計算元件110用以對輸入影像160進行運算處理，以產生輸入影像160中各輸入像素所對應之梯度值(gradient magnitude)和梯度角度(gradient angle)。梯度值越大，表示影像中該像素與鄰近像素之像素值差異越大，亦即，該像素越可能對應至影像中的邊緣區域，而梯度方向則對應至影像中邊緣方向。於一實施例中，梯度資訊計算元件110係利用垂直方向和水平方向的Sobel運算元(operator)與輸入影像160做卷積(convolution)運算，並以垂直方向所得結果Dy與水平方向所得結果Dx之平均絕對值作為梯度值，並以垂直方向所得結果Dy除以水平方向所得結果Dx，再對其取反正切函數(arctangent)以取得梯度角度，運算公式如下：GradientMagnitude=(|Dx|+|Dy|)/2,

GradientAngle=arctan(Dy/Dx)於其他實施例中，梯度資訊計算元件110以垂直方向所得結果 Dy與水平方向所得結果Dx之方均根(RMS)值作為梯度值。

於另一實施例中，梯度資訊計算元件110係利用 Perwitt運算元與輸入影像160做卷積運算，以得到梯度值和梯度角度。於又一實施例中，梯度資訊計算元件110用以根據一梯度門檻值對輸入像素對應的梯度值和梯度角度進行過濾，亦即，將梯度值低於梯度門檻值的部份視為0，以避免將數位影像中雜訊干擾造成的像素值變化視為邊緣。舉例而言，梯度門檻值可為像素值中最大值的十六分之一或八分之一。本領域具通常知識者可思及其他運算元或計算方式用以產生梯度資訊，並不限於以上示例。

方向判斷元件120用以根據自梯度資訊計算元件 110接收的梯度值和梯度角度產生多個插補角度162以及方向信任度值161，插補角度162代表邊緣方向，而方向信任度值161則代表插補角度162為正確的邊緣方向之可能性。如上所述，輸入影像160中邊緣部分之輸入像素對應至較高的梯度值，但由於數位影像中包含雜訊，直接使用梯度值和梯度方向判斷輸入影像160中的邊緣部分和邊緣方向有可能造成誤判。 因此，於本揭示內容中，方向判斷元件120不僅依賴單一輸入像素之梯度值與梯度方向來產生插補角度162和方向信任度值161，而是使用多個輸入像素之梯度資訊來得到可靠的插補角度162，以提升輸出影像165之品質。

於一實施例中，輸入像素包含位於第一範圍內的 多個第一輸入像素，如第2A圖所示，第一範圍210中包含的輸入像素P6、P7、P10、P11為第一輸入像素，而方向判斷元件 120用以比較第一輸入像素和與第一輸入像素相鄰之輸入像素(輸入像素P1~P5、P8~P9以及P12~16)的梯度值和梯度角度，以產生插補角度162中的第一插補角度和方向信任度值161其中的第一方向信任度值，產生的第一插補角度和第一方向信任度值對應至中心像素230，其中，方向插補元件130所輸出之第一影像163將包含中心像素230。具體而言，方向判斷元件120計算第一輸入像素(輸入像素P6、P7、P10、P11)與其相鄰之輸入像素間的梯度角度差，找出第一輸入像素中與鄰近輸入像素之梯度角度最為相像者，以其對應的梯度角度和梯度值產生第一插補角度和第一方向信任度值。本領域具通常知識者可視其需要訂定第一範圍210之大小，第2A圖所繪僅為示例，並非用於限定本揭示內容。

於一實施例中，方向判斷元件120計算第一輸入像素(輸入像素P6、P7、P10、P11)中每一者與輸入像素P1~P16之梯度角度差異，並以梯度值作為權重，據以計算出第一輸入像素之信任度值(Confidence)，並以第一輸入像素中信任度值最高者之梯度角度作為第一插補角度，並以第一輸入像素中信任度值最高者之信任度值作為第一方向信任度值，第一輸入像素中的輸入像素Pk之信任度值Confidence _k 使用以下公式計算：Confidence _k =Σ _i=1~16 f(Magi)˙f(AngDiff _i,k ),k=6,7,10,11

Mag _i ：輸入像素Pi之梯度值

Ang _i ：輸入像素Pi之梯度角度

AngDiff _i,k ：輸入像素Pi和輸入像素Pk之梯度角度差其中梯度值輸出函數f(Mag _i )以及梯度角度差輸出函數 f(AngDiff _i,k )如第2B圖所示。

梯度值輸出函數f(Mag _i )包含門檻值Mag1與門檻 值Mag2，當輸入像素Pi之梯度值低於門檻值Mag1時，方向判斷元件120判斷輸入像素Pi並非對應至影像中之邊緣(edge)，梯度值輸出函數f(Mag _i )之輸出值為0，而當輸入像素Pi之梯度值高於門檻值Mag2時，方向判斷元件120判斷輸入像素Pi對應至影像中之邊緣，梯度值輸出函數f(Mag _i )之輸出值為1，當輸入像素Pi之梯度值介於門檻值Mag1與門檻值Mag2之間時，方向判斷元件120判斷輸入像素Pi可能對應至影像中之邊緣，梯度值輸出函數f(Mag _i )之輸出值介於0~1之間。梯度角度差輸出函數f(AngDiff _i,k )則包含門檻值Ang1與門檻值Ang2，當輸入像素Pi與輸入像素Pk之梯度角度差異的絕對值小於門檻值Ang1時，視為輸入像素Pi與輸入像素Pk之梯度角度為相同方向，梯度角度差輸出函數f(AngDiff _i,k )之輸出值為1，當輸入像素Pi與輸入像素Pk之梯度角度差異的絕對值大於門檻值Ang2時，視為輸入像素Pi與輸入像素Pk之梯度角度為不同方向，梯度角度差輸出函數f(AngDiff _i,k )之輸出值為0，當輸入像素Pi與輸入像素Pk之梯度角度差異的絕對值介於門檻值Ang1與門檻值Ang2之間時，視為輸入像素Pi與輸入像素Pk之梯度角度為相似方向，梯度角度差輸出函數f(AngDiff _i,k )之輸出值為0~1之間。以上述算式所算出的輸入像素Pk的信任度值Confidence _k 代表輸入像素Pk之梯度角度代表包含輸入像素P1~P16的影像範圍中邊緣方向的可能性。

於一實施例中，影像之梯度值範圍為0~255，梯 度值輸出函數f(Mag _i )中的門檻值Mag1為40而門檻值Mag2為100，影像之梯度角度範圍為0°~180°，因角度具週期性，故角度差範圍為0°~90°，梯度角度差輸出函數f(AngDiff _i,k )中的門檻值Ang1為15°而門檻值Ang2為30°。本領域具通常知識者在閱讀本揭示內容後，可視應用需求自行訂定圖中所示之數值Mag1、Mag2、Ang1以及Ang2，並不限於上述所舉示例。

於另一實施例中，輸入像素亦包含位於第二範圍 220內的多個第二輸入像素，且第二範圍220包含上述之第一範圍210，方向判斷元件120用以比較第一插補角度與第二輸入像素之梯度角度，以更新第一插補角度，第二範圍220如第2A圖所示。具體而言，方向判斷元件120將第二輸入像素(輸入像素P1~P16)中，所對應梯度角度與第一插補角度之差異小於一角度門檻值者的水平方向梯度值Dx與垂直方向梯度值Dy分別累加，再將累加結果相除並取反正切函數，以所得結果更新第一插補角度。於一些實施例中，角度門檻值為10度，於其他實施例中，角度門檻值為15度，以上所述角度門檻值僅為示例，並非用以限定本揭示內容。

如此一來，方向判斷元件120以較大的第二範圍 220內輸入像素的梯度資訊微調根據第一範圍210內輸入像素所取得之第一插補角度，使所得第一插補角度更符合鄰近區域中梯度方向，進一步降低雜訊之干擾，並產生邊緣更穩定平滑的第一影像163。

方向插補元件130用以根據方向判斷元件120產 生的插補角度162，對輸入影像160進行方向插補處理，以產 生第一影像163，且第一影像163之解析度與輸入影像160之解析度不同，但與輸出影像165之解析度相同。插補角度162對應到輸入影像160中邊緣方向，方向插補元件130根據插補角度162做方向插補，使得經過補點增加像素的第一影像163有比使用一般影像插補技術更銳利清晰的影像品質。

於一實施例中，如第3A圖所示，方向插補元件130 用以將方向判斷元件120產生的第一插補角度300對應至多個角度區間310~360中之第一角度區間320，其中，第一插補角度300為方向判斷元件120產生的插補角度162中之一者。角度區間310~360涵蓋90度，每個角度區間為15度(小於30度)。方向判斷元件120選取一取樣窗(window)內之輸入像素作為多個方向插補輸入像素，並根據第一角度區間320選擇性地對方向插補輸入像素進行低通濾波處理，再根據處理後之方向插補輸入像素之像素值產生一第一像素之像素值，其中，第一像素為第一影像163之組成像素之一，且對應至第一插補角度300。

方向插補元件130進行的低通濾波處理包含水平 方向和垂直方向的低通濾波處理，方向插補元件130以低通濾波處理取樣窗內之方向插補輸入像素，使處理結果更接近方向判斷元件120所產生之第一插補角度300。於本實施例中，方向插補元件130所選用之取樣窗大小為4x4像素，而方向插補元件130根據第一角度區間320，對取樣窗中心2x2像素範圍內之方向插補輸入像素做水平低通濾波處理。

於其他實施例中，當插補角度162對應至角度區間310時，方向插補元件130亦對取樣窗中心2x2像素範圍內之 方向插補輸入像素做水平低通濾波處理，當插補角度對應至角度區間350~360時，方向插補元件130對取樣窗中心2x2像素範圍內之方向插補輸入像素做垂直低通濾波處理。本領域具通常知識者，可依應用需求(例如取樣窗範圍)修飾或潤飾進行低通濾波處理之範圍與方向，並不限於本揭示內容所舉示例。

具體而言，方向插補元件130根據插補角度162 所對應的角度區間選擇性對方向插補輸入像素做低通濾波處理後，方向插補元件130將處理後之方向插補輸入像素與一包含係數(coefficient)的取樣窗做卷積運算，亦即，4x4像素之取樣窗中每一像素均對應至一係數，以取樣窗所對應之係數為權重，取得方向插補輸入像素之像素值的權重和(weighted sum)，以產生第一像素之像素值。舉例而言，取樣窗係數可根據Lanczos插補演算法制定，或是根據樣條插補(spline interpolation)演算法制定，本領域具通常知識者可依實際需求設計遮罩之係數，並不限於本揭示內容所舉示例。

於另一實施例中，方向插補元件130亦根據第一 角度區間320自不同的角度取樣窗中選擇取樣窗，如第3B圖所示，角度取樣窗包含直角座標取樣窗370、水平對角座標取樣窗380以及垂直對角座標取樣窗390，角度區間310和角度區間360對應至直角座標取樣窗370，角度區間320和角度區間330對應至水平對角座標取樣窗380，而角度區間340和角度區間350則對應至垂直對角座標取樣窗390。方向插補元件130根據方向判斷元件120所得之插補角度162，在輸入影像160中選擇用以產生第一像素之像素值所需之輸入像素，如此一來，由於 所選取之輸入像素為沿邊緣方向選取，方向插補元件130可避免所產生的第一影像163有模糊之邊緣，因而提昇影像的銳利度。

需注意的是，上述說明以角度區間310~360為 例，而角度區間310A~360A為角度區間310~360之補角，本領域具通常知識者在閱讀上述揭示內容後，可類推出角度區間310A~360A之取樣窗與低通濾波處理之方向，不脫離本揭示內容之精神與範圍。

於另一實施例中，方向插補元件130還用以將第 一插補角度300對應至第二角度區間，並根據第二角度區間產生第一像素之另一像素值，混合第一像素之像素值與另一像素值，以更新第一像素之像素值。舉例而言，當應用場景需要更高的影像平滑度時，方向插補元件130除了將第一插補角度300對應至第一角度區間320，更選擇與第一插補角度300次靠近的第二角度區間310，並如上所述，根據第二角度區間310決定是否進行低通濾波處理以及進行低通濾波處理的方向，再以第二角度區間310對應之角度取樣窗選取方向插補輸入像素，並根據所選取的方向插補輸入像素之像素值計算第一像素的另一像素值。隨後，方向插補元件130再根據第一插補角度300與第一角度區間320和第二角度區間310之中心角度的差異，混合第一像素的像素值和另一像素值為新的第一像素的像素值。

由於方向插補元件130根據相近的兩個角度區間來產生第一像素之像素值，在輸入影像160為影片或影音等連 續影像的其中之一時，影像處理裝置100所產生輸出影像165在連續播放時，可避免角度持續變化的邊緣部分有跳動的情況，增加影像的穩定性和銳利度。

於某些實施例中，方向插補元件130根據第一插 補角度300與第一角度區間320和第二角度區間310之中心角度的差異，比例相加第一像素的像素值和另一像素值為新的第一像素的像素值(即為像素值和另一像素值的權重和)，其中，像素值和另一像素值之權重與第一插補角度300與第一角度區間320和第二角度區間310之中心的角度差異成反比，舉例來說，第一角度區間320的中心角度與第一插補角度300的角度差異為6°，第二角度區間310的中心角度與第一插補角度300的角度差異為9°，因此，像素值和另一像素值之權重為0.6和0.4。隨後，方向插補元件130計算像素值和另一像素值之權重和，藉以更新第一像素之像素值。

影像混合元件150用以接收方向插補元件130所 產生的第一影像163，以及自影像插補元件140接收對輸入影像160進行影像插補處理所產生的第二影像164，且第二影像164之解析度與第一影像163之解析度相同。方向判斷元件120所產生方向信任度值161對應至第一影像163與第二影像164之權重，影像混合元件150則根據權重混合第一影像163與第二影像164作為輸出影像165。舉例而言，影像混合元件150將方向信任度值161作為第一影像163之權重α，而第二影像164之權重為(1-α)，影像混合元件150計算第一影像163與第二影像164之權重和作為輸出影像165。本領域具通常知識者 在參閱本揭示內容後，可修飾或潤飾根據方向信任度值161產生權重之方式，並不限於上述之示例。

影像插補元件140對輸入影像160進行傳統的影 像插補處理，包括非方向性的雙線性插補(bilinear interpolation)技術和雙三次插補(Bicubic interpolation)技術，或其他非線性影像插補技術，本領域具通常知識者可根據運算資源或其他設計考量，決定選用之影像插補技術，以上所舉示例並非用以限定本揭示內容。

於一實施例中，影像處理裝置100包含梯度資訊 計算元件110、方向判斷元件120以及方向插補元件130，各元件之功能分別如上所述。於此實施例中，方向插補元件130接收方向判斷元件120所輸出之插補角度162，根據插補角度162進行低通濾波處理，使進行方向插補處理之方向更接近插補角度162(亦即邊緣方向)，來降低輸出影像165邊緣區域常產生的假影(artifact)或模糊的情形。

影像處理裝置100以低硬體成本實作，由小範圍 到大範圍地逼近輸入像素之邊緣方向，得到穩定且可靠的插補角度162，根據插補角度162進行方向插補處理，再根據方向信任度值161將所得結果與一般影像插補處理所得結果混合，以低複雜度的運算取得高品質影像。影像處理裝置100更結合低通濾波處理以取得接近插補角度162之方向插補輸入像素之像素值，並混合根據不同角度區間進行方向插補處理所得的像素值，使得單張或連續影像的處理結果均皆呈現銳利清晰的影像效果。

第4圖依照本揭示內容實施例繪示之一種影像處 理方法的流程圖。應瞭解到，雖然流程圖中對於影像處理方法400係以特定順序的步驟來做描述，然此並不限制本發明所提及步驟的前後順序，另外在實作中可增加或減少所述步驟。另外，為了方便及清楚說明，以第1圖所示的影像處理裝置100執行影像處理方法400為例來進行闡述，但本揭示內容並不以此為限。

於影像處理方法400之操作流程中，影像處理 裝置100對輸入影像進行運算處理，以產生輸入影像中之輸入像素分別對應之梯度值和梯度角度(步驟S410)。輸入影像可為黑白或彩色影像，並以垂直和水平的Sobel運算元、Perwitt運算元或Laplacian運算元等運算元，對輸入影像做卷積運算以取得梯度值和梯度角度，並視需要以梯度門檻值濾除過低的梯度值，以確保所得之梯度值和梯度方向不受雜訊干擾。影像處理裝置100取得梯度值和梯度方向之細節如上所述，於此不再贅述。

影像處理裝置100並根據輸入像素所對應之梯 度值和梯度角度，產生多個插補角度以及方向信任度值(步驟S420)。於一實施例中，影像處理裝置100比較多個第一輸入像素及與第一輸入像素相鄰之其他輸入像素的梯度值和梯度角度，以產生插補角度中之第一插補角度和對應的方向信任度值，第一輸入像素包含位於第一範圍內之輸入像素。舉例而言，第一範圍如第2A圖所示為2x2像素，根據第一範圍內的輸入像素與其相鄰的輸入像素，可得對應至第一 範圍中心的插補角度，比較第一輸入像素與相鄰之其他輸入像素的梯度值和梯度角度之細節如上所述，於此不再贅述。

於另一實施例中，影像處理裝置100還用以比 較第一插補角度與多個第二輸入像素之梯度角度，以更新第一插補角度，第二輸入像素包含位於第二範圍內之輸入像素，且第二範圍包含第一範圍，如此一來，可擴大用以產生插補角度的輸入像素範圍，使插補角度更符合區域之邊緣方向，並得到較穩定的方向插補結果。比較第一插補角度與第二輸入像素之梯度角度並據以更新第一插補角度之細節，以及第一範圍和第二範圍之設定，如前述實施例之描述，於此不再贅述。

影像處理裝置100根據插補角度，對輸入影像 進行方向插補處理，以產生第一影像，且第一影像之解析度與輸入影像之解析度不同(步驟S430)。於一實施例中，影像處理裝置100將插補角度中之第一插補角度對應至多個角度區間中之第一角度區間，選取一取樣窗內之輸入像素作為方向插補輸入像素，並根據第一角度區間，選擇性地對方向插補輸入像素進行低通濾波處理，再根據處理後之方向插補輸入像素之像素值，產生第一像素之像素值，第一像素為第一影像之組成像素之一，且對應至第一插補角度。影像處理裝置100對方向插補輸入像素進行低通濾波處理之細節，以及根據低通濾波處理後之方向插補輸入像素之像素值計算出第一像素之像素值的細節，如上述實施例之說明，於此不再贅述。

在另一實施例中，影像處理裝置100根據第一 角度區間，自多個角度取樣窗中選取一者作為取樣窗，其中角度取樣窗包含直角座標取樣窗、垂直對角座標取樣窗或水平對角座標取樣窗，根據角度區間選取角度取樣窗之細節，以及角度取樣窗之具體實施例，如上述實施例中說明，於此不再贅述。

在又一實施例中，影像處理裝置100除根據第 一角度區間產生第一像素之像素值外，亦將第一插補角度對應至第二角度區間，並根據第二角度區間產生第一像素之另一像素值，混和第一像素之像素值與另一像素值，以更新第一像素之像素值。影像處理裝置100將第一插補角度對應至第二角度區間、產生第一像素之另一像素值以及混合像素值與另一像素值之細節如上所述，於此不再贅述。

透過混合根據第一角度區間所產生之像素值以 及根據第二角度區間所產生之另一像素值，影像處理方法300能夠產生邊緣細緻的影像，並避免連續影像的邊緣產生跳動的情形，進一步提昇影像品質。

影像處理裝置100於產生第一影像後，更將第 一影像與對輸入影像進行影像插補處理所產生的第二影像混合，第二影像之解析度與第一影像之解析度相同，並根據方向信任度值所對應之第一影像與第二影像之權重，混合第一影像與第二影像作為輸出影像(步驟S440)。根據方向信任度值產生第一影像和第二影像權重以及混合第一影像和第二影像之細節如上所述，於此不再贅述。

於一實施例中，影像處理方法300包含步驟 S410~S430，於此實施例中，步驟S430之操作中包含以低通濾波處理方向插補輸入像素後再計算輸出像素值，如此一來，方向插補處理所產生影像具有銳利平滑之邊緣，可提升輸出影像品質。

結合方向插補處理和影像插補處理之結果，讓 影像處理裝置100以及影像處理方法300以較低的計算複雜度產生清晰的影像。如前所述，於一些實施例中，影像處理裝置100以及影像處理方法300以梯度門檻值對輸入像素對應的梯度值進行過濾，因此於輸入影像160中的平坦區域方向信任度值為0，當方向信任度值為0時，可省略與方向插補處理有關之操作運算，舉例而言，當於影像處理裝置100中，可省略方向判斷元件120以及方向插補元件130之運算處理，於影像處理方法300中，可省略步驟S430~S440，如此一來，可進一步節省所耗費之計算資源。

本揭示內容所提供之影像處理裝置與方法以低 硬體實作成本，讓高解析度之輸出影像的邊緣更為細緻，在進行方向插補處理時結合低通濾波器，讓影像中不同方向的邊緣更加平滑連續，以達到更佳的影像效果。影像處理裝置與方法更以方向信任度值以及多階段的插補角度收斂，結合方向插補處理與影像插補處理之結果，進一步提昇輸出影像品質的穩定性。

雖然本揭示內容已以實施方式揭露如上，然其 並非用以限定本揭示內容，任何熟習此技藝者，在不脫離本 揭示內容之精神和範圍內，當可做各種之更動與潤飾，因此本揭示內容之保護範圍當視後附之申請專利範圍所界定者為準。

100‧‧‧影像處理裝置

110‧‧‧梯度資訊計算元件

120‧‧‧方向判斷元件

130‧‧‧方向插補元件

140‧‧‧影像插補元件

150‧‧‧影像混合元件

160‧‧‧輸入影像

161‧‧‧方向信任度值

162‧‧‧插補角度

163‧‧‧第一影像

164‧‧‧第二影像

165‧‧‧輸出影像

166‧‧‧梯度值

167‧‧‧梯度角度

Claims (18)

1. 一種影像處理裝置，包含：一梯度資訊計算元件，用以對一輸入影像進行運算處理，以產生該輸入影像中之複數個輸入像素分別對應之梯度值和梯度角度；一方向判斷元件，用以根據該些輸入像素所對應之梯度值和梯度角度，產生複數個插補角度以及複數個方向信任度值；一方向插補元件，用以根據該些插補角度，對該輸入影像進行方向插補處理，以產生一第一影像，其中該第一影像之解析度與該輸入影像之解析度不同；以及一影像混合元件，用以接收該第一影像以及對該輸入影像進行影像插補處理所產生的一第二影像，並根據該些方向信任度值所對應之該第一影像與該第二影像之權重，混合該第一影像與該第二影像作為輸出影像，其中該第二影像之解析度與該第一影像之解析度相同。
2. 如請求項1所述之影像處理裝置，其中該些輸入像素包含位於一第一範圍內之複數個第一輸入像素，該方向判斷元件係用以比較該些第一輸入像素及與該些第一輸入像素相鄰之其他輸入像素的梯度值和梯度角度，以產生該些插補角度中之一第一插補角度和該些方向信任度值中之一者。
3. 如請求項2所述之影像處理裝置，其中該些輸入像素包含位於一第二範圍內之複數個第二輸入像素，且該第二範圍包含該第一範圍，該方向判斷元件係用 以比較該第一插補角度與該些第二輸入像素之梯度角度，以更新該第一插補角度。
4. 如請求項1所述之影像處理裝置，其中該方向插補元件用以將該些插補角度之一第一插補角度對應至複數個角度區間之一第一角度區間，並選取一取樣窗內之該些輸入像素作為複數個方向插補輸入像素，根據該第一角度區間，選擇性地對該些方向插補輸入像素進行低通濾波處理，再根據處理後之該些方向插補輸入像素之像素值，產生一第一像素之像素值，其中該第一像素對應至該第一插補角度且為該第一影像之組成像素之一。
5. 如請求項4所述之影像處理裝置，其中該方向插補元件用以根據該第一角度區間，自複數個角度取樣窗中選取一者作為該取樣窗，該些角度取樣窗包含直角座標取樣窗、垂直對角座標取樣窗以及水平對角座標取樣窗。
6. 如請求項4所述之影像處理裝置，其中該方向插補元件用以將該第一插補角度對應至一第二角度區間，並根據該第二角度區間產生該第一像素之另一像素值，混和該第一像素之像素值與另一像素值，以更新該第一像素之像素值。
7. 一種影像處理方法，包含：對一輸入影像進行運算處理，以產生該輸入影像中之複數個輸入像素分別對應之梯度值和梯度角度；根據該些輸入像素所對應之梯度值和梯度角度，產生複數個插補角度以及複數個方向信任度值； 根據該些插補角度，對該輸入影像進行方向插補處理，以產生一第一影像，其中該第一影像之解析度與該輸入影像之解析度不同；以及對該輸入影像進行影像插補處理產生一第二影像，並根據該些方向信任度值所對應之該第一影像與該第二影像之權重，混合該第一影像與該第二影像作為輸出影像，其中該第二影像之解析度與該第一影像之解析度相同。
8. 如請求項7所述之影像處理方法，其中計算出該些插補角度以及該些方向信任度值之步驟包含：比較複數個第一輸入像素及與該些第一輸入像素相鄰之其他輸入像素的梯度值和梯度角度，以產生該些插補角度中之一第一插補角度和該些方向信任度值中之一者，其中該些第一輸入像素包含位於一第一範圍內之該些輸入像素。
9. 如請求項8所述之影像處理方法，其中計算出該些插補角度以及該些方向信任度值之步驟包含：比較該第一插補角度與複數個第二輸入像素之梯度角度，以更新該第一插補角度，其中該些第二輸入像素包含位於一第二範圍內之該些輸入像素，且該第二範圍包含該第一範圍。
10. 如請求項7所述之影像處理方法，其中產生該第一影像之步驟包含：將該些插補角度之一第一插補角度對應至複數個角度區間之一第一角度區間，並選取一取樣窗內之該些輸入像素作為複數個方向插補輸入像素，根據該第一角度區間， 選擇性地對該些方向插補輸入像素進行低通濾波處理，再根據處理後之該些方向插補輸入像素之像素值，產生一第一像素之像素值，其中該第一像素對應至該第一插補角度且為該第一影像之組成像素之一。
11. 如請求項10所述之影像處理方法，其中產生該第一影像之步驟包含：根據該第一角度區間，自複數個角度取樣窗中選取一者作為該取樣窗，該些角度取樣窗包含直角座標取樣窗、垂直對角座標取樣窗以及水平對角座標取樣窗。
12. 如請求項10所述之影像處理方法，其中產生該第一影像之步驟包含：將該第一插補角度對應至一第二角度區間，並根據該第二角度區間產生該第一像素之另一像素值，混和該第一像素之像素值與另一像素值，以更新該第一像素之像素值。
13. 一種影像處理裝置，包含：一梯度資訊計算元件，用以對一輸入影像進行運算處理，以產生該輸入影像中之複數個輸入像素分別對應之梯度值和梯度角度；一方向判斷元件，用以根據該些輸入像素所對應之梯度值和梯度角度，產生複數個插補角度；以及一方向插補元件，用以將該些插補角度之一第一插補角度對應至複數個角度區間之一第一角度區間，並選取一取樣窗內之該些輸入像素作為複數個方向插補輸入像素，根據該第一角度區間，選擇性地對該些方向插補輸入像素進行低通濾波處理，再根據處理後之該些方向插補輸入像 素之像素值，產生一第一像素之像素值，其中該第一像素對應至該第一插補角度且為該第一影像之組成像素之一。
14. 如第13項所述之影像處理裝置，其中該方向插補元件用以根據該第一角度區間，自複數個角度取樣窗中選取一者作為該取樣窗，該些角度取樣窗包含直角座標取樣窗、垂直對角座標取樣窗以及水平對角座標取樣窗。
15. 如第13項所述之影像處理裝置，其中該方向插補元件用以將該第一插補角度對應至一第二角度區間，並根據該第二角度區間產生該第一像素之另一像素值，混和該第一像素之像素值與另一像素值，以更新該第一像素之像素值。
16. 一種影像處理方法，包含：對一輸入影像進行運算處理，以產生該輸入影像中之複數個輸入像素分別對應之梯度值和梯度角度；根據該些輸入像素所對應之梯度值和梯度角度，產生複數個插補角度；以及將該些插補角度之一第一插補角度對應至複數個角度區間之一第一角度區間，並選取一取樣窗內之該些輸入像素作為複數個方向插補輸入像素，根據該第一角度區間，選擇性地對該些方向插補輸入像素進行低通濾波處理，再根據處理後之該些方向插補輸入像素之像素值，產生一第一像素之像素值，其中該第一像素對應至該第一插補角度且為該第一影像之組成像素之一。
17. 如請求項16所述之影像處理方法，更包 含：根據該第一角度區間，自複數個角度取樣窗中選取一者作為該取樣窗，其中該些角度取樣窗包含直角座標取樣窗、垂直對角座標取樣窗以及水平對角座標取樣窗。
18. 如請求項16所述之影像處理方法，其中產生該第一像素之像素值的步驟包含：將該第一插補角度對應至一第二角度區間，並根據該第二角度區間產生該第一像素之另一像素值，混和該第一像素之像素值與另一像素值，以更新該第一像素之像素值。