TW202004662A

TW202004662A - 影像強化方法及電腦系統

Info

Publication number: TW202004662A
Application number: TW107134816A
Authority: TW
Inventors: 林晉安
Original assignee: 多方科技股份有限公司
Priority date: 2018-05-28
Filing date: 2018-10-02
Publication date: 2020-01-16
Also published as: CN110545412A; US20190362475A1; CN110545412B; TWI668668B; US10628929B2

Abstract

一種用於一影片之影像強化方法，包含取得一影像之一光度統計；根據一目標亮度及該影像之亮度決定一提升曲線；根據自該光度統計取得之一像素亮度之一顯著性分佈、該目標亮度及該影像之一雜訊程度，決定一強化曲線；根據一強化程度調和該提升曲線及該強化曲線，以產生一控制曲線；以及根據該控制曲線強化該影像；其中，該控制曲線強化該影像之亮度及對比度。

Description

影像強化方法及電腦系統

本發明涉及一種用於影片之影像強化方法及電腦系統，尤其涉及一種透過強化影像亮度及對比度，以保留更多圖片細節的影像強化方法及電腦系統。

隨著科技的發展與進步，各種數位裝置隨之產生，產業及消費者對數位影像處理的技術的需求也日益增加。影像強化是用來提升影像的品質、全域對比度（global contrast）、細節、色彩外觀（color appearance）等。在現有的系統中，色調映射（tone mapping）及內容強化（content-based enhancement）為提升影像的方法。其中，色調映射為一種產生新的低動態範圍（Low Dynamic Range，LDR）影像以近似於高動態範圍影像（High Dynamic Range，HDR）的外觀的技術，而內容強化為一種根據影像分析（scene analysis）以提升影像細節的方法。然而，現有的色調映射及內容強化技術不易控制其產生的影像結果的亮度、對比度及雜訊，反而放大了影片中的影像的既存差異或對比。

因此，如何解決上述問題並提供一種高品質影像強化方法，以保留影片之影像的更多細節即成為一重要課題。

因此，本發明之主要目的即在於提供一種方法及電腦系統，藉由採用的影像亮度及對比度，以保存影片中之影像之更多細節，進而改善先前技術的缺點。

本發明之一實施例揭露一種用於一影片之影像強化方法，包含取得一影像之一光度統計；根據一目標亮度及該影像之亮度決定一提升曲線；根據自該光度統計取得之一像素亮度之一顯著性分佈、該目標亮度及該影像之一雜訊程度，決定一強化曲線；根據一強化程度調和該提升曲線及該強化曲線，以產生一控制曲線；以及根據該控制曲線強化該影像；其中，該控制曲線強化該影像之亮度及對比度。

本發明之另一實施例揭露一電腦系統，包含一處理裝置；以及一記憶體裝置耦接於該處理裝置，用來儲存一程式碼以指示該處理裝置執行用於一影片之一影像強化流程，其中，該流程包含有取得一影像之一光度統計；根據一目標亮度及該影像之亮度決定一提升曲線；根據自該光度統計取得之一像素亮度之一顯著性分佈、該目標亮度及該影像之一雜訊程度，決定一強化曲線；根據一強化程度調和該提升曲線及該強化曲線，以產生一控制曲線；以及根據該控制曲線強化該影像；其中，該控制曲線強化該影像之亮度及對比度。

請參考第1圖，第1圖為本發明實施例一影像強化流程10之流程圖。影像強化流程10包含下列步驟：

步驟102：開始。

步驟104：取得一影像之一光度統計。

步驟106：根據一目標亮度及影像之一亮度，決定一提升曲線。

步驟108：根據自光度統計取得之一像素亮度之一顯著性分佈、目標亮度及影像之一雜訊程度，決定一強化曲線。

步驟110：基於一強化程度混合提升曲線及強化曲線，以產生一控制曲線。

步驟112：基於控制曲線強化影像。

步驟114：結束。

根據影像強化流程10，控制曲線為用來決定以應用於影像，進而調整一影片中之影像，並且強化影像的品質，例如一全域對比度、細節或色彩外觀等，以保留影片中影像的更多細節。首先，在步驟104中，取得影像之光度統計，其中影像可以自一或多個擷取裝置中取得。換言之，用於影像強化流程10之影像之光度統計可以自不同的擷取裝置取得，並且統計性地計算為光度統計。在一實施例中，光度統計可以是影像中之像素之一光度直方圖，以判斷於給定的一光度值範圍（luminance value range）有多少個像素，並且進一步地，判斷在給定的光度值範圍內的像素於該影像中相對於整體像素數量所佔的比例。

在取得影像之光度統計後，在步驟106中，提升曲線係根據目標亮度與影像亮度之間的關係所決定。提升曲線係根據一功率函數所決定，並且影像亮度為關於影像之像素強度。值得注意的是，提升曲線可藉由其它函數決定，而不限制於藉由功率函數來決定，並且，目標亮度可透過一電腦系統或使用者決定。舉例來說，提升曲線可以是一組具有不同斜率之線性曲線。在一實施例中，提升曲線係可由式（1）獲得：

在式（1）中，p為影像之像素，x為影像之每一像素之亮度，並且x介於範圍0到1之間，I（p）為像素強度，以及f(x)為一組x之功率函數。藉由預設之目標亮度，式（1）以功率函數來決定f(x)，其最小化像素強度及目標亮度之間的差值之總和，表示每一像素皆與目標亮度最接近。因此，當影像亮度太暗或太亮時，提升曲線可提升影像的亮度。

在一實施例中，請參考第2圖，第2圖為本發明實施例之功率函數f(x)之曲線之示意圖。如第2圖所示，每一曲線代表其中之一功率函數，並且提升曲線即為尋找最小化像素強度與目標亮度之間的差值之總和的功率函數。在第2圖中，點線表示當

為0.5時，功率函數的曲線，以轉換光度統計之一輸入值為光度統計之一輸出值。相似地，其他具有不同

值的功率函數的曲線亦可被據以應用於轉換光度統計，以提升影像亮度。值得注意的是，當目標亮度改變時，提升曲線也可能不同，並且提升曲線為用來基於目標亮度提升影像亮度。

接著，在步驟108中，強化曲線係根據自光度統計取得之像素亮度之顯著性分佈、目標亮度及影像之雜訊程度所決定。詳細而言，影像的像素亮度之顯著性分佈是自影像的光度直方圖之功率函數以及一目標雜訊（target noise）所取得，其中光度直方圖為相關於光度統計，並且為等化或加權後以取得一顯著性直方圖（saliency histogram）。在一實施例中，當影像為一8位元的三通道RGB影像，每一通道具有範圍0至255，共256個的亮度值。由於影像之光度統計之分佈係等化的或加權的，使得影像的亮度也是等化的或加權的。

請繼續參考第3圖，第3圖為本發明實施例之一等化光度統計（equalized luminance statistics）之示意圖。在第3圖中，點線代表一參考線，三角線代表等化之前的光度統計，以及交叉線代表等化光度統計。於光度統計的等化後，在SRGB值的64～128的範圍中，光度統計為等化的，以達到更佳的影像對比度及亮度。

接著，光度統計可進一步地基於光度統計，用來計算像素亮度的顯著性分佈。顯著性分佈可被用來根據目標亮度及影像的雜訊程度，以產生一直方圖均勻曲線（histogram equalization curve），以提升影像的對比度，而直方圖均勻曲線可以為強化曲線的修改曲線。在一實施例中，顯著性分佈為相關於像素群組的一尺寸，其中每一像素群組包含具有相似影像強度的像素。具體而言，影像的顯著性分佈表現出影像片段的每一像素的獨一品質。舉例來說，假使像素的其中之一位於影像的一大暗區，則在取得影像的光度統計的顯著性後，像素的品質將以一種明顯的方式表現。

在一實施例中，影像的顯著性分佈係自影像的光度統計的機率密度函數（probability density function，pdf）的功率函數以及目標雜訊所得到。式（2）為用來計算對應於每一像素的強度的顯著性分佈：

在式（2）中，γ為範圍0至1的一指數次方，

為一位移函數，其相關於目標雜訊及光度統計的一最大亮度值的一機率，而

為對應於SRGB值的機率之等化光度統計的強化曲線。在一實施例中，ε函數是用來消除主導雜訊（dominant noise）所造成的影響，並且ε函數與光度統計的最大SRGB值的機率及目標雜訊有關，其中，目標雜訊可由電腦系統或使用者決定。在光度統計的每一片段中，

的

為用來分散像素的強度。請參考第4A圖及第4B圖作為範例，第4A圖及第4B圖為本發明實施例之具有不同γ之強化曲線之光度統計示意圖。如第4A圖所示，當

時，三角線表示將顯著性分佈應用於對應於每一SRGB值的強度之前的光度統計的機率密度函數，而交叉線表示將顯著性分佈應用於對應於每一SRGB值的強度之後的光度統計的機率密度函數。值得注意的是，當

以及

時，

可被視為

；因此，強化曲線幾乎與以

計算後的顯著性相同。在此情形下，影像的光度統計的分佈仍幾乎保持相同。

另一方面，當

時，三角線表示將顯著性分佈應用於對應於每一像素的強度之前的光度統計的機率密度函數，而交叉線表示將顯著性分佈應用於對應於每一像素的強度之後的光度統計的機率密度函數。由此可見，對應於16至48之間的SRGB值的光度統計的機率據以被適當的分佈，以增加影像的對比度，並且細緻化影像的更多細節。因此，根據目標雜訊及加權光度統計以應用於每一片段的顯著性分佈的強化曲線，可改善光度統計的機率密度函數的分佈，並且重新分配影像的對比度。如此一來，採用本發明之影像強化流程10的影像，可藉由控制雜訊及影像的對比度，以提供於對比度及亮度上更平滑的影像。

於藉由加權直方圖以決定強化曲線，以及將顯著性分佈應用於每一像素的強度後，在步驟110中，本發明之實施例基於強化程度混合提升曲線及強化曲線以產生控制曲線。強化程度可由電腦系統或使用者決定。在一實施例中，強化曲線及提升曲線是基於強化程度進行加權，其中，強化程度為關於一場景分析之結果，並且場景分析為關於光度統計及一影像色調的至少其中之一。更具體而言，式（3）為用來基於強化程度決定混合提升曲線及強化曲線。

在式（3）中，x為影像中的每一像素的亮度，f(x)為提升曲線，

為強化曲線，以及α為強化程度，強化程度具有0至1之範圍，並且係由使用者或系統需求決定。根據強化程度及控制曲線，將提升曲線及強化曲線混和以產生控制曲線，並應用於影片的影像上，進而基於強化程度、目標雜訊及目標亮度來提升影像的對比度及亮度。

值得注意的是，上述實施例僅代表本發明之概念，本領域之技術人員可據以做適當的修改，而不限於此。舉例來說，影像並不限制於8位元的三通道RGB影像，或者控制曲線可以基於強化程度、目標雜訊及目標亮度之至少其中之一決定，皆屬本發明之範疇。

在另一實施例中，請參考第5圖，第5圖為本發明實施例之一電腦系統50之示意圖。電腦系統50可用來實現前述影像強化方法，但不以此為限。電腦系統50包括一處理單元500例如一微處理器或一特定應用積體電路（Application-Specific Integrated Circuit，ASIC）、一儲存單元510以及一通信介面單元520。儲存單元510可為任一資料儲存裝置，用來儲存一程式碼512，處理單元500可通過儲存單元510讀取及執行程式碼512。舉例來說，儲存單元510可為使用者識別模組（Subscriber Identity Module，SIM）、唯讀式記憶體（Read-Only Memory，ROM）、隨機存取記憶體（Random-Access Memory，RAM）、光碟唯讀記憶體（CD-ROM／DVD-ROM）、磁帶（magnetic tape）、硬碟（hard disk）及光學資料儲存裝置（optical data storage device），而不限於此。

綜上所述，本發明之影像強化方法決定控制曲線，其中，控制曲線包含提升曲線以提升影像的亮度及強化曲線以改善影像的亮度及對比度，因此，可保留更多影像細節並且改影像品質，以用來進行空間平滑（temporal smoothing）。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

10‧‧‧影像強化流程102、104、106、108、110、112‧‧‧步驟50‧‧‧電腦系統500‧‧‧處理單元510‧‧‧儲存單元512‧‧‧程式碼520‧‧‧通信介面單元

第1圖為本發明實施例一影像強化流程之流程圖。第2圖為本發明實施例之功率函數之曲線之示意圖。第3圖為本發明實施例之一等化光度統計之示意圖。第4A圖及第4B圖為本發明實施例之具有不同γ之強化曲線之光度統計示意圖。第5圖為本發明實施例之一電腦系統之示意圖。

10‧‧‧影像強化流程

102、104、106、108、110、112、114‧‧‧步驟

Claims

一種用於一影片之影像強化方法，包含：取得一影像之一光度統計（luminance statistics）；根據一目標亮度（target brightness）及該影像之亮度決定一提升曲線（boosting curve）；根據自該光度統計取得之一像素亮度之一顯著性分佈（saliency distribution）、該目標亮度及該影像之一雜訊程度（noise level），決定一強化曲線（enhancing curve）；根據一強化程度（enhance level）調和該提升曲線及該強化曲線，以產生一控制曲線；以及根據該控制曲線強化該影像；其中，該控制曲線強化該影像之亮度及對比度。
如請求項1所述之方法，其中該提升曲線係由一功率函數（power function）所決定。
如請求項1所述之方法，其中該影像之亮度相關於該影像之複數個像素之強度。
如請求項1所述之方法，其中根據自該光度統計取得之該像素亮度之該顯著性分佈、該目標亮度及該影像之該雜訊程度，決定該強化曲線之步驟包含有：根據該光度統計計算該像素亮度之該顯著性分佈；根據該顯著性分佈產生一直方圖均勻曲線（histogram equalization curve）；以及根據該目標亮度修正該強化曲線。
如請求項4所述之方法，其中該像素亮度之該顯著性分佈相關於複數個像素群組之尺寸，並且每一像素群組包含具有相似強度的複數個像素。
如請求項1所述之方法，其中該影像之該像素亮度之該顯著性分佈係自該影像之一光度直方圖（luminance histogram）之一功率函數、一目標雜訊取得，其中該光度直方圖相關於該光度統計。
如請求項1所述之方法，其中根據該強化程度調和該提升曲線及該強化曲線，以產生該控制曲線之步驟包含有：根據該強化程度權衡該強化曲線及該提升曲線；其中，該強化程度相關於一場景分析（scene analysis）之結果，並且該場景分析至少關於該光度統計及一影像色調（image tone）之其中一者。
一電腦系統，包含：一處理裝置；以及一記憶體裝置耦接於該處理裝置，用來儲存一程式碼以指示該處理裝置執行用於一影片之一影像強化流程，其中，該流程包含有：取得一影像之一光度統計；根據一目標亮度及該影像之亮度決定一提升曲線；根據自該光度統計取得之一像素亮度之一顯著性分佈、該目標亮度及該影像之一雜訊程度，決定一強化曲線；根據一強化程度調和該提升曲線及該強化曲線，以產生一控制曲線；以及根據該控制曲線強化該影像；其中，該控制曲線強化該影像之亮度及對比度。
如請求項8所述之電腦系統，其中該提升曲線係由一功率函數所決定。
如請求項8所述之電腦系統，其中該影像之亮度相關於該影像之複數個像素之強度。
如請求項8所述之電腦系統，其中根據自該光度統計取得之該像素亮度之該顯著性分佈、該目標亮度及該影像之該雜訊程度，決定該強化曲線之步驟包含有：根據該光度統計計算該像素亮度之該顯著性分佈；根據該顯著性分佈產生一直方圖均勻曲線；以及根據該目標亮度修正該強化曲線。
如請求項11所述之電腦系統，其中該像素亮度之該顯著性分佈相關於複數個像素群組之尺寸，並且每一像素群組包含具有相似強度的複數個像素。
如請求項8所述之電腦系統，其中該影像之該像素亮度之該顯著性分佈係自該影像之一光度直方圖之一功率函數、一目標雜訊取得，其中該光度直方圖相關於該光度統計。
如請求項8所述之電腦系統，其中根據該強化程度調和該提升曲線及該強化曲線，以產生該控制曲線之步驟包含有：根據該強化程度權衡該強化曲線及該提升曲線；其中，該強化程度相關於一場景分析之結果，並且該場景分析至少關於該光度統計及一影像色調之其中一者。