TWI719645B

TWI719645B - 影像處理電路與相關的影像處理方法

Info

Publication number: TWI719645B
Application number: TW108134015A
Authority: TW
Inventors: 黃煜翔
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2019-09-20
Filing date: 2019-09-20
Publication date: 2021-02-21
Also published as: US20210090221A1; US11922608B2; TW202114397A

Abstract

本發明揭露一種影像處理電路，其包含有一接收電路、一參考值計算電路、一中心亮度值計算電路以及一輸出電路。在該影像處理電路的操作中，該接收電路接收一影像資料；該參考值計算電路計算出該影像資料連續之多個像素的一第一參考值以及一第二參考值；該中心亮度值計算電路根據該第一參考值與該第二參考值來計算出一中心亮度值；以及該輸出電路根據該影像資料、該第一參考值、該第二參考值以及該中心亮度值來計算出該多個像素的輸出亮度值。

Description

影像處理電路與相關的影像處理方法

本發明係有關於影像處理電路，尤指一種提升影像銳利度(sharpness)的影像處理電路。

當影像經過傳統方式放大之後，物體的邊緣會出現亮度遞增或是遞減的區域，而其遞增或遞減的程度會較為緩慢而使得其清晰度會差於未放大時的影像。目前已經有部分演算法提升這些區域的清晰度，例如使用區域兩側之亮度來取代區域內像素的亮度，然而，此方法會有兩個缺陷，其一是原始亮度僅微幅變化，但輸出亮度卻大幅變化的情形，其二則是物體邊緣寬度無法視情況而隨意調整。

因此，本發明的目的之一在於提出一種影像處理電路，其可以在有效提升影像銳利度的情形下，避免先前技術中所存在的缺陷，以解決先前技術中所述的問題。

在本發明的一個實施例中，揭露了一種影像處理電路，其包含有一接收電路、一參考值計算電路、一中心亮度值計算電路以及一輸出電路。在該影像處理電路的操作中，該接收電路接收一影像資料；該參考值計算電路計算出該影像資料連續之多個像素的一第一參考值以及一第二參考值，其中該第一參考值與該第二參考值係分別為該多個像素之兩個邊緣像素在經過該影像處理電路處理後之最高亮度值與最低亮度值；該中心亮度值計算電路根據該第一參考值與該第二參考值來計算出一中心亮度值；以及該輸出電路根據該影像資料、該第一參考值、該第二參考值以及該中心亮度值來計算出該多個像素的輸出亮度值。

在本發明的另一個實施例中，揭露了一種影像處理方法，其包含有以下步驟：接收一影像資料；計算出該影像資料連續之多個像素的一第一參考值以及一第二參考值，其中該第一參考值與該第二參考值係分別為該多個像素之兩個邊緣像素在經過該影像處理方法處理後之最高亮度值與最低亮度值；根據該第一參考值與該第二參考值來計算出一中心亮度值；以及根據該影像資料、該第一參考值、該第二參考值以及該中心亮度值來計算出該多個像素的輸出亮度值。

100:影像處理電路

102:後端處理電路

104:顯示面板

110:接收電路

120:參考值計算電路

130:中心亮度值計算電路

140:輸出電路

200~208:步驟

Din:影像資料

D_cen:中心亮度值

Dout:輸出影像

REF1:第一參考值

REF2:第二參考值

第1圖為根據本發明一實施例之影像處理電路的示意圖。

第2圖為使用與不使用調整值來產生第一參考值與第二參考值時，修正後之亮度的示意圖。

第3圖為根據本發明一實施例之一種影像處理方法的流程圖。

第1圖為根據本發明一實施例之影像處理電路100的示意圖。如第1圖所示，影像處理電路100包含了一接收電路110、一參考值計算電路120、一中心亮度值計算電路130以及一輸出電路140。在本實施例中，影像處理電路100係用來接收一影像資料(影像圖框)Din後進行銳利化處理以產生一輸出影像Dout，且輸出影像Dout透過一後端處理電路102的處理之後被傳送到一顯示面板104並顯示於其上。

在影像處理電路100的操作中，接收電路110接收影像資料Din，而參考值計算電路120計算出影像資料Din中連續之多個像素的一第一參考值REF1以及一第二參考值REF2，其中第一參考值REF1與第二參考值REF2係分別為該多個像素之兩個邊緣像素在經過影像處理電路100處理後之最高亮度值與最低亮度值，或是該多個像素在經過影像處理電路100處理後之最高亮度值與最低亮度值。舉例來說，假設該多個像素係用來顯示一物體邊緣，且該多個像素的亮度值由左至右係為一遞增數列或是一部分遞增數列，則第一參考值REF1可以是該多個像素中最右側像素在經過影像處理電路100處理後之最高亮度值，且第二參考值REF2可以是該多個像素中最左側像素在經過影像處理電路100處理後之最低亮度值。接著，中心亮度值計算電路130根據第一參考值REF1、第二參考值REF2以及該多個像素的亮度值來計算出一中心亮度值D_cen。最後，輸出電路140根據影像資料Din、第一參考值REF1、第二參考值REF2以及中心亮度值D_cen來計算出該多個像素的輸出亮度值，並據以產生一輸出影像Dout。

詳細來說，關於參考值計算電路120，針對該多個像素中的每一個像素，參考值計算電路120計算出一亮度累加值以及一亮度累減值，並將該像素的亮度值減去所對應的亮度累減值以得到一初始第一參考值，將該像素的亮度值加上所對應的亮度累加值以得到一初始第二參考值；其中該像素所對應之亮度累加值係為當該像素的亮度值大於一前一位置像素的亮度值時，將該像素的亮度值減去該前一位置像素的亮度值後再加上該前一位置像素所對應之亮度累加值所得到；以及該像素所對應之亮度累減值係為當該像素的亮度值低於該前一位置像素的亮度值時，該前一位置像素的亮度值減去該像素的亮度值後再加上該前一位置像素所對應之亮度累減值所得到。在本實施例中，前一位置像素指的是位於一特定方向的相鄰像素，例如位於左側的相鄰像素。接著，在決定出每一個像素的初始第一參考值以及初始第二參考值之後，參考值計算電路120選擇該多個像素之該多個初始第一參考值中最高的數值以作為第一參考值REF1，並選擇該多個像素之該多個初始第二參考值中最低的數值以作為第二參考值REF2。舉例來說，假設影像資料Din包含了位於圖框中同一列或是同一行之連續的多個像素，假設該多個像素的亮度值分別為50、60、70、69、79、89，且每一個初始第一參考值在計算上不能低於像素位置“0”的亮度值，每一個初始第二參考值在計算上不能高於像素位置“0”的亮度值，則參考值計算電路120所計算出之每一個像素的亮度累加值、亮度累減值、初始第一參考值以及初始第二參考值可以參考以下的表一。

在表一的實施例中，就像素位置“1”來說，亮度累加值為“60-50=10”、初始第一參考值為“60-0=60”、初始第二參考值為“60+10=70”，但由於所計算的初始第二參考值大於像素位置“0”的亮度值“50”，故具有位置“1”的像素的初始第二參考值調整為“50”；就像素位置“2”來說，亮度累加值為“(70-60)+10=20”、初始第一參考值為“70-0=70”、初始第二參考值為“70+20=90”，但由於所計算的初始第二參考值大於像素位置“0”的亮度值“50”，故具有位置“2”的像素的初始第二參考值調整為“50”；接著，就像素位置“3”來說，由於像素位置“3”的亮度值低於像素位置“2”的亮度值，故亮度累加值與像素位置“3”的亮度累加值相同，初始第一參考值為“69-1=68”、初始第二參考值為“69+20=89”，但由於所計算的初始第二參考值大於像素位置“0”的亮度值“50”，故具有位置“3”的像素的初始第二參考值調整為“50”...以此類推。在表一的實施例中，第一參考值REF1係為初始第一參考值中的最大值“88”，而第二參考值REF2係為初始第二參考值中的最小值“50”。

另外，若是影像資料Din中該多個像素的亮度值係在遞增的情形下同時包含些微亮度遞減的狀況，例如該多個像素的亮度值分別為50、49、59、69、79、78，則在第一參考值REF1以及第二參考值REF2的計算上可以另外使用一調整值來進行調整，以避免影像在邊緣出現較粗的黑影或白影。詳細來說，參考值計算電路120所計算出之每一個像素的亮度累加值、亮度累減值、初始第一參考值以及初始第二參考值可以參考以下的表二。

關於調整值的計算上，參考值計算電路120可以計算初始第一參考值中的最大值與像素位置“0”之亮度值的差異(亦即，78-50=28)，計算初始第二參考值中的最小值與像素位置“0”之亮度值的差異(亦即，50-49=1)，並選擇以上兩個數值(亦即，“28”與“1”)中的較小值來做為調整值。之後，參考值計算電路120再將初始第一參考值中的最大值減去調整值以得到第一參考值REF1，並將初始第二參考值中的最小值加上調整值以得到第二參考值REF2，在本實施例中，第一參考值REF1為“78-1=77”，而第二參考值REF2為“49+1=50”。參考第2圖所示，若是沒有採用調整值，而是直接使用初始第一參考值中的最大值以及初始第二參考值中的最小值來分別作為第一參考值REF1與第二參考值REF2時，則會如第2圖所示之在邊緣出現較粗的黑影或白影(即，較細的虛線所示，邊緣亮度有變化)；因此，本實施例使用調整值來調整初始第一參考值中的最大值以及初始第二參考值中的最小值，可以使得邊緣會具有一致的亮度(亦即，第2圖之較粗虛線)。

在以上表一、表二所述的兩個實施例中，係以單方向的亮度變化來決定出第一參考值REF1與第二參考值REF2，然而，在其他的實施例中，參考值計算電路120亦可以參考兩個方向的亮度變化來決定出第一參考值REF1與第二參考值REF2。舉例來說，參考以下表三的實施例。

表三中每一個像素的亮度累加值、亮度累減值、初始第一參考值以及初始第二參考值的計算係以像素位置“0”為基準，往左以及往右來進行計算，而在本實例中第一參考值REF1為“90”，且第二參考值REF2為“50”。

接著，關於中心亮度值計算電路130，中心亮度值計算電路130對第一參考值REF1與第二參考值REF2做加權平均運算以產生一初始中心亮度值，並根據該多個像素的亮度值之一峰值與一谷值的一差值以決定出一物體主體成分，最後再根據該初始中心亮度值與該物體主體成分以計算出中心亮度值D_cen。參考以下所示之表四來進行說明。

在表四的實施例中，參考以上相關的例子中的計算方法，參考值計算電路120所計算的第一參考值REF1為“66”、第二參考值REF2為“30”，中心亮度值計算電路130對第一參考值REF1與第二參考值REF2做加權平均運算(在本例中以平均運算來做為說明)以產生一初始中心亮度值“48”，像素位置“0”之右側的物體主體成分為“(66-58)=8”，像素位置“0”之左側的物體主體成分為“(30-40)=-10”，而接著中心亮度值計算電路130可以直接將初始中心亮度值加上物體主體成分的最大值(亦即，像素位置“0”之右側的物體主體成分“8”)以及物體主體成分的最小值(亦即，像素位置“0”之左側的物體主體成分“-10”)以得到中心亮度值D_cen(48+8-10=46)。

此外，關於中心亮度值計算電路130對第一參考值REF1與第二參考值REF2做加權平均運算的例子中，若是將第一參考值REF1的權重調高、第二參考值REF2的權重調低，則輸出的影像看起來會是較亮的物體寬度變寬、較暗的物體寬度變窄；此外，若是將第一參考值REF1的權重調低、第二參考值REF2的權重調高，則輸出的影像看起來會是較亮的物體寬度變窄、較暗的物體寬度變寬。使用者可以根據本身的需求或喜好來控制上述權重。

另外，上述物體主體成分可以再經過調整以使得物體邊緣有不同的寬度，舉例來說，若是想要把亮度較低的物體變細，可以調降物體主體成分的最大值；而若是想要把亮度較高的物體變細，可以調升物體主體成分的最小值。舉例來說，物體主體成分的最大值可以加上一比例(例如，0.5)乘上物體主體成分的最小值以得到調整後的物體主體成分的最大值，在表四的實施例中，物體調整後的物體主體成分為“(8-0.5*10=3)”，而此時中心亮度值D_cen則為“(48+3-10=41)”。

最後，關於輸出電路140的操作，針對每一個像素，輸出電路140可以根據像素的亮度值、該中心亮度值以及一銳利度調整倍率來產生該像素的輸出亮度值，其中該像素的輸出亮度值不高於該一參考值REF1，且不低於第二參考值REF2。舉例來說，針對一像素，其輸出亮度值使用以下公式來計算：(原始亮度+銳利度調整倍率*(位置“0”的亮度值-中心亮度值)。假設目前像素的原始亮度值為“50”、像素位置“0”的亮度值為“50”、中心亮度值D_cen為“41”、銳利度調整倍率為“2”，則該像素的輸出亮度值的計算結果為“(50+2*(50-41)=68)”，但由於計算結果超出第一參考值REF1，故該像素的輸出亮度值則修正為“66”。

需注意的是，上述實施例中所述的“亮度”可以根據採用之色板的不同而包含了不同的像素值，以“紅綠藍”色板來說，上述實施例之亮度的運算係包含了紅色像素值、綠色像素值以及藍色像素值的運算；以“亮度及色差(YUV)” 色板來說，上述實施例之亮度的運算即為亮度(Y)的運算；以“青、洋紅、黃、黑(CMYK)”色板來說，上述實施例之亮度的運算係包含了青色像素值、洋紅色像素值、黃色像素值以及黑色像素值的運算。

第3圖為根據本發明一實施例之一種影像處理方法的流程圖。參考以上實施例的說明，影像處理方法的流程如下所述。

步驟300：流程開始。

步驟302：接收一影像資料。

步驟304：計算出該影像資料連續之多個像素的一第一參考值以及一第二參考值，其中該第一參考值與該第二參考值係分別為該多個像素之兩個邊緣像素在經過該影像處理方法處理後之最高亮度值與最低亮度值。

步驟306：根據該第一參考值與該第二參考值來計算出一中心亮度值。

步驟308：根據該影像資料、該第一參考值、該第二參考值以及該中心亮度值來計算出該多個像素的輸出亮度值。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。