TWI727306B

TWI727306B - 對比調整系統及對比調整方法

Info

Publication number: TWI727306B
Application number: TW108113261A
Authority: TW
Inventors: 池忠諺; 劉楷; 黃文聰
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2019-04-16
Filing date: 2019-04-16
Publication date: 2021-05-11
Also published as: US20200334797A1; US10909669B2; TW202040559A

Abstract

對比調整系統包含記憶體及處理器。記憶體儲存指令。處理器用以存取並執行指令以進行以下步驟：存取具有複數像素的影像，其中該些像素分別具有一亮度值；根據該些亮度值於亮度下界以及亮度上界之間的分布產生直方圖；根據該些亮度值的中值分割該直方圖為四個副直方圖；根據預設參數擴增該些副直方圖；根據累積分布函數分別對該些副直方圖實施重映射，以產生伽瑪曲線；以及根據伽瑪曲線調整另一影像中的像素。

Description

對比調整系統及對比調整方法

本案涉及一種電子系統以及控制方法，尤為一種用以調整影像對比度的系統以及方法。

習知的直方圖均質化方法皆係根據整張影像實施，無法以特定區域作為參考進行加強。此外，習知的直方圖均質化方法的過程仍有不足，亟需加以改良。

本案的一實施態樣係為一種對比調整系統，包含記憶體以及處理器，處理器耦接於記憶體。記憶體儲存指令。處理器用以存取並執行指令以：存取具有複數第一像素的第一影像，其中該些第一像素的每一者具有一亮度值；根據該些第一像素的每一者的該亮度值於亮度下界以及亮度上界之間的分布產生直方圖；根據該些第一像素的每一者的該亮度值的中值分割該直方圖為四個副直方圖；根據預設參數擴增該些副直方圖；根據累積分布函數分別對該些副直方圖實施重映射，以產生用以調整該些亮度值的伽瑪曲線；以及將該伽瑪曲線實施於第二影像中的複數第二像素。

本案的另一實施態樣係為一種對比調整方法，由處理器自記憶體存取指令以執行。對比調整方法包含：存取具有複數第一像素的第一影像，其中該些第一像素的每一者具有一亮度值；根據該些第一像素的每一者的該亮度值於亮度下界以及亮度上界之間的分布產生直方圖；根據該些第一像素的每一者的該亮度值的中值分割該直方圖為四個副直方圖；根據預設參數擴增該些副直方圖；根據累積分布函數分別對該些副直方圖實施重映射，以產生用以調整該些亮度值的伽瑪曲線；以及將該伽瑪曲線實施於第二影像中的複數第二像素。

100‧‧‧對比調整系統

110‧‧‧記憶體

120‧‧‧處理器

130‧‧‧顯示器

200‧‧‧對比調整方法

S210~S260‧‧‧方法步驟

AV1‧‧‧第一平均值

AV2‧‧‧第二平均值

M‧‧‧中值

BD1‧‧‧第一分界線

BD2‧‧‧第二分界線

NT‧‧‧數量閾值

H1、H2‧‧‧直方圖

C1、C2‧‧‧累積分布函數曲線

G1、G2‧‧‧伽瑪曲線

S1、S2‧‧‧閾值

0、1、2、3‧‧‧區域

第1圖為根據本案一實施例繪示的對比調整系統之示意圖；第2圖為根據本案一實施例所繪示的對比調整方法之步驟流程圖；第3圖為根據本案一些實施例繪示的直方圖之示意圖；第4A~4B圖為根據本案一些實施例繪示的直方圖的示意圖；第5圖為根據本案一些實施例繪示的直方圖的示意圖；第6A~6B圖為根據本案一些實施例繪示的直方圖以及累積分布函數曲線的對照圖；第7A~7B圖為根據本案一些實施例繪示的伽瑪曲線的示意圖；第8圖為根據本案一些實施例繪示的伽瑪曲線的示意圖；以及第9A~9B圖為本案的實驗結果的示意圖。

第1圖為根據本案一實施例繪示的對比調整系統之示意圖。在一些實施例中，對比調整系統100包含記憶體110以及處理器120，處理器120電性耦接於記憶體110。在一些實施例中，處理器120可包含但不限於單一處理電路或複數微處理器電路的集成，記憶體110係為一種電腦可讀取媒體，其可為揮發性或非揮發性的內部或外部記憶體。

在一些實施例中，處理器120係用以自記憶體110存取至少一指令，該至少一指令關聯於一對比調整方法。處理器120經配置以執行該指令，藉以實施該對比調整方法。為了更佳地理解處理器120之運作，下面段落中將輔以圖式說明該對比調整方法之詳細步驟。

在一些實施例中，對比調整系統100更可包含顯示器130。在處理器120實施該對比調整方法的過程中，處理器120可藉由顯示器130輸出相應的複數影像，令使用者可藉由顯示器130觀賞該些影像。

應理解，上述實施例僅係用以說明而非用以限定本案。在一些實施例中，對比調整系統100更可包含其他的輸入裝置以及輸出裝置，以利使用者或其他裝置藉由該對比調整系統100實施相應操作。本案的實施例並不限於示例中給出的值或範圍，本案可在不具有或具有部分示例中給定的特殊細節時實施。

第2圖為根據本案一實施例所繪示的對比調整方法之步驟流程圖。在一些實施例中，對比調整方法200係藉由第1圖當中的對比調整系統100所實施，故請一併參照第1圖之實施例。在本實施例中，對比調整系統100執行對比調整方法200的步驟將詳述於下列段落中。

步驟S210：存取具有複數像素的第一影像，其中該些像素的每一者具有一亮度值。

在一些實施例中，在第1圖所示的對比調整系統100中，處理器120可自記憶體110(也可為其他記憶體)存取至少一影像，處理器120亦可藉由顯示器130顯示該影像。在一些實施例中，處理器120所存取的該影像係為一影像串流中的其中一幀影像。

在一些實施例中，該影像中包含有複數像素(pixels)，各像素分別對應於一亮度值(intensity)。一般而言，亮度值可介於亮度區間中，該亮度區間由亮度下界(lovver bound，亮度值為0)以及亮度上界(upper bound，亮度值為255)所界定。其中，0~255之間的各數值可用以表示各像素的灰階度(gray scale)。當一像素的亮度值為0時，其可對應黑色，當一像素的亮度值為255時，其可對應白色。

應理解，該影像中的該些像素可能對應於相同或不同的亮度值。該些亮度值間的差異程度可表現該影像的對比度(contrast)。

步驟S220：根據該些像素的每一者的亮度值於最小亮度值以及最大亮度值之間的分布產生直方圖。

在一些實施例中，處理器120可執行一統計程序，其可根據亮度值統計該影像中的該些像素的數量。該統計程序係為了計算該影像當中具有相同/不同亮度值的像素數量。例如，在一些實施例中，統計程序的結果可表示為：亮度值為0的像素數量為25、亮度值為2的像素數量為120、...、亮度值為255的像素數量為46...等。

在一些實施例中，統計程序的結果可影像化為一直方圖(histogram)。為了更佳地理解，請一併參照第3圖，其係根據本案一些實施例繪示的直方圖之示意圖。如第3圖所示，直方圖的橫軸表示亮度值，直方圖的橫軸表示像素數量，直方圖可較佳地體現影像中所有像素的亮度值分布狀況。在一些實施例中，為了降低計算所需的暫存空間，處理器120可根據較低的採樣率及統計精度來產生直方圖。

在一些實施例中，沿該影像的長及/或寬，處理器120可根據每四個像素取一點的方式進行採樣，並將直方圖的亮度統計區間改為四分之一精度，即係將每四個像素的亮度值合併統計。藉此，計算所需的暫存空間可大致降低為未降低採樣頻率及統計精度時的十六分之一(1/4*1/4)。詳細而言，在一些實施例中，處理器120可將直方圖的橫軸分為複數區間，各區間的長度為4個亮度單位(例如：0~3、...、252~255)。在一次採樣中，處理器120可沿該影像的長/寬取四個像素，並將該四個像素的亮度值總和計算，進而根據橫軸上的該些區間統計像素數量。

步驟S230：根據該些像素的每一者的亮度值的中值分割直方圖為四個副直方圖。

在一些實施例中，處理器120可計算影像中所有亮度值的中值，該中值可為該些亮度值的平均數(mean)或中位數(median)。應理解，在一些實施例中，中值為自直方圖中對應最小亮度值(非必定為0)的像素數量起算，累計至50%像素數量時的亮度值。

在一些實施例中，處理器120可先偵測該影像中是否有感興趣區域(region of interest)，該感興趣區域係為使用者/系統於該影像中根據特定邏輯標示/選取的區域，例如：人臉、動物、載具...等，但不以此為限。在一些實施例中，若處理器120於影像中偵測到感興趣區域，處理器120改為計算感興趣區域所涵蓋像素的亮度值之中值，而非計算影像中所有亮度值的中值。該中值計算方式使本案的對比調整方法可動態地適應於感興趣區域，對比提升的效果較佳。

在一些實施例中，進一步地，處理器120可計算中值和亮度下界(0)的一第一平均值，並計算中值和亮度上界(255)的一第二平均值。若以第一平均值、中值以及第二平均值作為分界線，直方圖可大致上被分為四個副直方圖。為了更佳地理解，請參照第4A圖，其係為根據本案一些實施例繪示的直方圖的示意圖，如第4A圖所示，根據第一平均值AV1、中值M、第二平均值AV2，處理器120可將第3圖所示的直方圖分割為四個副直方圖，分別為第一至第四副直方圖，以由左至右的次序表示。

步驟S240：根據至少一預設參數擴增該些副直方圖。

在一些實施例中，處理器120可根據至少一預設參數(offset)擴增該些副直方圖，以放大該些副直方圖與整體亮度區間(0~255)的對應關係。在一些實施例中，處理器120可將第一副直方圖中的最小亮度值(即影像中像素對應的最小亮度值)減去第一預設參數，以產生新的最小亮度值。並將副直方圖區域中的最大亮度值(即影像中像素對應的最大亮度值)加上第二預設參數，以產生新的最大亮度值。

在一些實施例中，若最小亮度值的計算結果小於0，處理器120可將新的最小亮度值設置為0。若最大亮度值計算結果大於255，處理器120可將新的最大亮度值設置為255。該設置可避免處理器120擴增副直方圖時超出整體亮度區間。

為了更佳地理解，請參照第4B圖。第4B圖係為根據本案一些實施例繪示的直方圖的示意圖，如第4B圖所示，處理器120可根據前述步驟調整最小亮度值以及最大亮度值，使其對應值分別靠近亮度下界以及亮度上界。

對應地，在一些實施例中，處理器120可將第一平均值減去二分之一的第一預設參數，以產生第一分界線BD1，其係為調整後的第一及第二副直方圖的分界線。並將第二平均值加上二分之一的第二預設參數，以產生第二分界線 BD2，其係為調整後的第三及第四副直方圖的分界線。

藉此，調整後的四個副直方圖所對應的亮度區間分別為：調整後的第一副直方圖，介於亮度下界與第一分界線BD1之間(新的最大亮度值落於該區間中)；調整後的第二副直方圖，介於第一分界線BD1與中值M之間；調整後的第三副直方圖，介於中值M與第二分界線BD2之間；以及調整後的第四副直方圖，介於第二分界線BD2與亮度上界之間(新的最大亮度值落於該區間中)。

在一些實施例中，處理器120可根據第一分界線BD1以及第二分界線BD2對該些副直方圖進行均值映射，以擴增該些副直方圖於整體亮度區間中的涵蓋範圍。亦即，處理器120可將原本的四個副直方圖分別於調整後的四個副直方圖對應的區間中等比例拉伸。為了更佳地理解，請參照第4B圖。第4B圖所示的副直方圖係為第4A圖所示的副直方圖擴增後的結果。應理解，根據最小可覺差(just noticeable difference,JND)理論，中值相對較接近整體像素範圍的中值，因此中值兩側的副直方圖係為肉眼相對最易察覺對比變化的部分。因此，以中值為基準來擴增副直方圖可使調整後的影像對比度更佳地為人眼所察覺。

在一些實施例中，處理器120可存取一數量閾值，並刪除擴增後的副直方圖中超過該數量閾值的部分。例如，若數量閾值為2000，當特定亮度值累積的像素數量超過2000個，其在副直方圖中位於數量閾值以上的區域將被切除。為了更佳地理解，請參照第5圖。如第5圖所示，副直方圖中位於數量閾值NT以上的區域將被刪除，刪除的像素數量可累積於副直方圖的下方。

步驟S250：根據累積分布函數分別對該些副直方圖實施重映射，以產生用以調整該些像素的每一者的亮度值的一伽瑪曲線。

在一些實施例中，處理器120可根據一累積分布函數(Cumulative Distribution Function,CDF)將該些副直方圖中的該些亮度值調整為複數調整後的亮度值，藉以產生用以重映射該些亮度值的一伽瑪曲線。應理解，該累積分布函數係為一種映射函數，其輸入值為副直方圖中的一原始亮度值，其輸出值為對應該亮度值的一個新亮度值。藉由該累積分布函數，原始亮度值將根據其於該副直方圖區域中所佔的比率被轉換為新亮度值。在一些實施例中，其公式如下。

前述公式當中的「Σ hist_(range)」係用以表示某一副直方圖中的特定範圍內的像素累積數量，「i」係用以表示原始亮度值，「start」係用以表示該副直方圖的最小邊界值，「end」係用以表示該副直方圖的最大邊界值，「remapped intensity(i)」代表將i代入重映射函數。因此，前述公式可理解如下：先計算涵蓋原始亮度值i的副直方圖中累積至亮度值i的累積機率，再將該累積機率乘以該副直方圖的區間寬度，復加上副直方圖對應區間的下界值，即得原始亮度值i重映射後的新亮度值。其中，累積機率係為由該副直方圖的下界起累積至對應亮度值i的面積(即像素數量)除以該副直方圖的總面積 (即總像素數量)。其中，副直方圖的區間寬度為副直方圖對應區間之上界值減去下界值之數值。

為了更佳地理解，請參照第6A~6B圖。第6A圖所繪示的係為未使用本案對比調整方法所產生的直方圖H1以及累積分布函數曲線C1，第6B圖所繪示的則係使用本案對比調整方法所產生的直方圖H2以及累積分布函數曲線C2。其中，使用本案對比調整方法後產生的直方圖及累積分布函數曲線的對比度較佳。

在一些實施例中，當處理器120獲取該伽瑪曲線後，處理器120可存取一最大預設斜率以及一最小預設斜率，並判斷該伽瑪曲線中的各線段的斜率是否大於該最大預設斜率或小於該最小預設斜率。若該伽瑪曲線中有線段的斜率大於該最大預設斜率，處理器120可調整該線段的斜率為該最大預設斜率。若該伽瑪曲線中有線段的斜率小於該最小預設斜率，處理器120可調整該線段的斜率為該最小預設斜率。

為了更佳地理解，請參照第7A~7B圖。第7A~7B圖係為根據本案一些實施例繪示的伽瑪曲線以及斜率的示意圖。圖中的閾值S1係為最大預設斜率的示意線，閾值S2則為最小預設斜率的示意線。如第7A圖所示，處理器120獲取的伽瑪曲線G1中有某些線段(圈選處)的斜率大於該最大預設斜率或小於該最小預設斜率。如第7B圖所示，處理器120可將該些線段的斜率調整為該最大預設斜率或該最小預設斜率。藉此，調整後的伽瑪曲線G2的整體線段斜率位於圖中的閾值S1以及閾值S2之間。該調整用以平滑化伽瑪曲線中過於陡峭的線段，可避免調整後的影像產生不連續感。

在一些實施例中，處理器120可再對伽瑪曲線實施線性拉伸，以增強該伽瑪曲線位於中值左右側的線段斜率。為了更佳地理解，請參照第8圖。如第8圖所示，整體伽瑪曲線的映射區間可根據第4A~4B圖的中值M大致分為四個區域，如下所示。區域0：亮度值界於0~M/2的區域。區域1：亮度值界於M/2~M的區域。區域2：亮度值界於M~(255-M/2)的區域。區域3：亮度值界於(255-M/2)~255的區域。

在一些實施例中，處理器120可根據至少一線性函數實施線性拉伸，其計算方式為：將區域0中的伽瑪曲線斜率乘以(1-a)；將區域1中的伽瑪曲線斜率乘以(1+a)；將區域2中的伽瑪曲線斜率乘以(1+b)；將區域3中的伽瑪曲線斜率乘以(1-b)。其中，a、b皆為預設斜率參數，可由使用者/系統所設置。藉此，可加強伽瑪曲線於中值M左側與中值M右側的相對斜率。

步驟S260：將該伽瑪曲線實施於一第二影像中的複數像素。

在一些實施例中，處理器120可存取另一影像，其可為影像串流中的下一幀影像。處理器120可根據該伽瑪曲線重映射該另一影像中的各像素對應的像素，以提升該另一影像的對比度。在一些實施例中，處理器120可針對每一幀影像皆實施前述的對比調整方法，並用以調整下一幀影像。

由上述實施方式可知，本案實施例提供了一種對比調整系統以及方法，其可有效地增強影像的對比度。為了更佳地理解，請參照第9A~9B圖，其係為本案的實驗結果示意圖。第9A圖所示的係為未使用本案對比調整方法之前的影像。第9B圖所示的係為使用本案對比調整方法之後的影像。顯然地，第9B圖中影像的對比度較第9A圖中影像的對比度為佳。

100‧‧‧對比調整系統

110‧‧‧記憶體

120‧‧‧處理器

130‧‧‧顯示器

Claims

一種對比調整系統，包含：一記憶體，儲存至少一指令；以及一處理器，耦接於該記憶體，用以存取並執行該至少一指令以：存取具有複數第一像素的一第一影像，其中該些第一像素的每一者具有一亮度值；根據該些第一像素的每一者的該亮度值於一亮度下界以及一亮度上界之間的一分布產生一直方圖；根據該些第一像素的每一者的該亮度值的一中值分割該直方圖為四個副直方圖；根據該些第一像素的每一者的該亮度值的該中值、一最小亮度值以及至少一預設參數產生一第一分界值；根據該些第一像素的每一者的該亮度值的該中值、一最大亮度值以及該至少一預設參數產生一第二分界值；根據該第一分界值以及該第二分界值對該些副直方圖進行均值映射，以於該亮度下界以及該亮度上界之間擴增該些副直方圖；根據一累積分布函數分別對該些副直方圖實施重映射，以產生用以調整該些第一像素的每一者的該亮度值的一伽瑪曲線；以及將該伽瑪曲線實施於一第二影像中的複數第二像素。
如請求項1所述之對比調整系統，其中該處理器更用以存取並執行該至少一指令以：偵測該第一影像中的一感興趣區域；以及根據該些第一像素的每一者的該亮度值中的複數第一亮度值計算該中值，其中該些第一亮度值對應於該感興趣區域。
如請求項1所述之對比調整系統，其中該處理器更用以存取並執行該至少一指令以：計算該中值和該最小亮度值的一第一平均值；計算該中值和該最大亮度值的一第二平均值；根據該第一平均值、該中值以及該第二平均值分割該直方圖以產生該些副直方圖；將該第一平均值減去該至少一預設參數中的一第一預設參數以產生該第一分界值；將該第二平均值加上該至少一預設參數中的一第二預設參數以產生該第二分界值；以及根據該第一分界值以及該第二分界值對該些副直方圖進行均值映射，以於該亮度下界以及該亮度上界之間擴增該些副直方圖。
如請求項3所述之對比調整系統，其中該處理器更用以存取並執行該至少一指令以：存取一數量閾值；刪除該些副直方圖中超過該數量閾值的區域；以及根據該累積分布函數分別對刪除後的該些副直方圖實施重映射，以產生該伽瑪曲線。
如請求項1所述之對比調整系統，其中該處理器更用以存取並執行該至少一指令以：存取一最大預設斜率以及一最小預設斜率；判斷該伽瑪曲線中的一第一線段的一第一斜率是否大於該最大預設斜率；若該第一線段的該第一斜率大於該最大預設斜率，調整該第一斜率為該最大預設斜率；判斷該伽瑪曲線中的一第二線段的一第二斜率是否小於該最小預設斜率；以及若該第二線段的該第二斜率小於該最小預設斜率，調整該第二斜率為該最小預設斜率。
一種對比調整方法，由一處理器自一記憶體存取至少一指令以執行，其中該對比調整方法包含：存取具有複數第一像素的一第一影像，其中該些第一像素的每一者具有一亮度值；根據該些第一像素的每一者的該亮度值於一亮度下界以及一亮度上界之間的一分布產生一直方圖；根據該些第一像素的每一者的該亮度值的一中值分割該直方圖為四個副直方圖；根據該些第一像素的每一者的該亮度值的該中值、一最小亮度值以及至少一預設參數產生一第一分界值；根據該些第一像素的每一者的該亮度值的該中值、一最大亮度值以及該至少一預設參數產生一第二分界值；根據該第一分界值以及該第二分界值對該些副直方圖進行均值映射，以於該亮度下界以及該亮度上界之間擴增該些副直方圖；根據一累積分布函數分別對該些副直方圖實施重映射，以產生用以調整該些亮度值的一伽瑪曲線；以及將該伽瑪曲線實施於一第二影像中的複數第二像素。
如請求項6所述之對比調整方法，更包含：偵測該第一影像中的一感興趣區域；以及根據該些第一像素的每一者的該亮度值中的複數第一亮度值計算該中值，其中該些第一亮度值對應於該感興趣區域。
如請求項6所述之對比調整方法，更包含：計算該中值和該最小亮度值的一第一平均值；計算該中值和該最大亮度值的一第二平均值；根據該第一平均值、該中值以及該第二平均值分割該直方圖以產生該些副直方圖；將該第一平均值減去該至少一預設參數中的一第一預設參數以產生該第一分界值；將該第二平均值加上該至少一預設參數中的一第二預設參數以產生該第二分界值；以及根據該第一分界值以及該第二分界值對該些副直方圖進行均值映射，以於該亮度下界以及該亮度上界之間擴增該些副直方圖。
如請求項6所述之對比調整方法，更包含：存取一數量閾值；刪除該些副直方圖中超過該數量閾值的區域；以及根據該累積分布函數分別對刪除後的該些副直方圖實施重映射，以產生該伽瑪曲線。
如請求項6所述之對比調整方法，更包含：存取一最大預設斜率以及一最小預設斜率；判斷該伽瑪曲線中的一第一線段的一第一斜率是否大於該最大預設斜率；若該第一線段的該第一斜率大於該最大預設斜率，調整該第一斜率為該最大預設斜率；判斷該伽瑪曲線中的一第二線段的一第二斜率是否小於該最小預設斜率；以及若該第二線段的該第二斜率小於該最小預設斜率，調整該第二斜率為該最小預設斜率。