TWI473039B - 影像的動態範圍壓縮與局部對比增強方法及影像處理裝置 - Google Patents

影像的動態範圍壓縮與局部對比增強方法及影像處理裝置 Download PDF

Info

Publication number
TWI473039B
TWI473039B TW102107728A TW102107728A TWI473039B TW I473039 B TWI473039 B TW I473039B TW 102107728 A TW102107728 A TW 102107728A TW 102107728 A TW102107728 A TW 102107728A TW I473039 B TWI473039 B TW I473039B
Authority
TW
Taiwan
Prior art keywords
input
pixel
image
value
luminance
Prior art date
Application number
TW102107728A
Other languages
English (en)
Other versions
TW201435805A (zh
Inventor
Chi Yi Tsai
Chih Hung Huang
Original Assignee
Univ Tamkang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Tamkang filed Critical Univ Tamkang
Priority to TW102107728A priority Critical patent/TWI473039B/zh
Priority to US13/909,086 priority patent/US9076218B2/en
Publication of TW201435805A publication Critical patent/TW201435805A/zh
Application granted granted Critical
Publication of TWI473039B publication Critical patent/TWI473039B/zh

Links

Classifications

    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Description

影像的動態範圍壓縮與局部對比增強方法及影像處 理裝置
本發明是有關於一種影像處理方法及裝置，且特別是有關於一種影像的動態範圍壓縮與局部對比增強方法及影像處理裝置。
像素為構成一張影像的最小基本元素，而每張影像即是由多個各種不同顏色的像素所組合而成。「動態範圍」的定義是指影像的所有像素中最高和最低亮度的比值。所謂高動態範圍場景是指明暗之間亮度差別很大的場景，例如日出、夕陽、煙火等。
人眼所能感受景物的亮度變化非常大，而且所謂視覺適應的能力能夠使得人眼在短時間內適應外界亮度的改變，而感受分辨出變化的範圍更大。人眼的動態範圍比一般影像擷取裝置較大許多。以相機拍攝而言，當環境光源不平均時，所拍攝出的影像可能會造成明亮區域曝光過度和黑暗區曝光不足，便是相機的 動態範圍不足所造成的。因此，當影像的動態範圍越高，影像所能呈現原始場景的細節和資訊也越多；換言之，影像也更貼近於人眼所看到的原始景物。
高動態範圍的場景可藉由色調重現與動態範圍壓縮在顯示器上重現影像的高對比和資訊。動態範圍壓縮可以在同時保留影像亮部與暗部的細節資訊的前提下，將影像的動態範圍降低。這類的演算法首先會將影像中的高對比區域偵測出來，然後壓縮其動態範圍，以降低整張影像的動態範圍。如此一來，即可增強影像的暗部細節且可以同時保留原本清楚的亮部細節。自適應性且結合相鄰像素的非線性強化(Adaptive and Integrated Neighborhood-dependent Approach for Non-linear Enhancement,AINDANE)演算法為一種在彩色圖像增強技術中公認的方法。此演算法主要是由兩個步驟所構成：適應性全域亮度增強以及適應性區域對比度增強。然而，AINDANE演算法只處理一個輸入影像的亮度集合，也就是說此演算法需要結合線性色彩復原處理來針對彩色影像的增強。此演算法雖然在彩色影像增強中有良好的表現，但影像增強的過程需要很高的運算成本和極大的儲存空間，導致演算的效率低。此外，此演算法會過度增強影像的暗區，使得當有暗像素的情況下會造成較大的色彩映射(color-mapping)比。
有鑑於此，在有限的運算成本下，本發明提出了一個動態範圍壓縮方法結合的局部對比度增強演算法，以改善傳統的彩色影像視覺品質，實現即時高清解析度影像訊號處理的性能。
本發明提供一種影像的動態範圍壓縮與局部對比增強方法及影像處理裝置，以提升影像的品質。
本發明提出一種影像的動態範圍壓縮與局部對比增強方法。此方法先接收一個影像的多個輸入像素，其中這些輸入像素包括第一輸入像素。接著，取得各個輸入像素的輸入亮度像素值以及影像的黑暗程度等級。之後，根據各個輸入像素的輸入亮度像素值進行濾波器運算，以獲得第一輸入像素的濾波器結果，並且根據黑暗程度等級進行影像相關運算，以獲得影像相關參數。接著，根據一個非線性強度轉換函數將第一輸入像素的輸入亮度像素值、影像相關參數、第一參數以及第二參數轉換為第一輸入像素的亮度重新映射輸出值，其中第二參數為第一參數的因變數，並且當第一輸入像素的輸入亮度像素值等於0時，亮度重新映射輸出值為0。再根據動態範圍壓縮與局部對比增強演算公式，利用第一輸入像素的輸入亮度像素值與第一輸入像素的濾波器結果的比值、第一輸入像素的亮度重新映射輸出值以及第一輸入像素的局部對比度增強成分值，以獲得第一輸入像素的輸出亮度像素值，其中第一輸入像素的局部對比度增強成分值為第一輸入像素的輸入亮度像素值與第一輸入像素的非線性強度轉換函數的導函數的輸出的乘積。
在本發明的一實施例中，上述根據影像的黑暗程度等級，進行影像相關運算以獲得影像相關參數的公式為方程式(1)： 其中L為影像的黑暗程度等級，z為影像相關參數，Lmin 以及Lmax 為正整數，並且符合0<Lmin <Lmax <，其中為輸入亮度像素值的最大值。
在本發明的一實施例中，上述將第一輸入像素的輸入亮度像素值、影像相關參數、第一參數以及第二參數轉換為第一輸入像素的亮度重新映射輸出值的非線性強度轉換函數為方程式(2)： 其中x以及y為正整數，z為影像相關參數，Lin (x,y)為影像中第x列第y行的輸入像素的輸入亮度像素值。S為第一參數，並且0<S 2。φ 為第二參數，並且第二參數符合0 φ min(1,S )或0 φ Φ兩者之一，其中Φ為方程式φ (1+ε )(φ -1) -S =0中φ 的解，並且ε 為正數值。
在本發明的一實施例中，上述根據動態範圍壓縮與局部對比增強演算公式，利用第一輸入像素的輸入亮度像素值與第一輸入像素的濾波器結果的比值、第一輸入像素的亮度重新映射輸出值以及第一輸入像素的局部對比度增強成分值，以獲得為第一輸入像素的輸出亮度像素值包括下列步驟。首先，根據非線性強度轉換函數，獲得非線性強度轉換導函數，其中非線性強度轉換 導函數為非線性強度轉換函數相對於影像相關參數的一階導函數(first-order derivative)。接著，將第一參數、第二參數、影像相關參數、第一輸入像素的輸入亮度像素值代入非線性強度轉換導函數，並根據非線性強度轉換導函數的輸出，獲得第一輸入像素的非線性強度轉換導函數結果。之後，根據第一輸入像素的輸出亮度像素值、第一輸入像素的非線性強度轉換導函數結果以及第三參數，獲得第一輸入像素的局部對比度增強成份值。根據第一輸入像素的輸入亮度像素值與第一輸入像素的濾波器結果，獲得第一輸入像素的加權係數。根據第三參數、最大輸入亮度像素值、最大加權係數以及最大非線性強度轉換導函數結果，獲得正規化因子，其中最大輸入亮度像素值為輸入亮度像素值的最大值，最大加權係數為對應於最大輸入亮度像素值的加權係數，最大非線性強度轉換導函數結果為對應於最大輸入亮度像素值的非線性強度轉換導函數結果。再根據動態範圍壓縮與局部對比增強演算公式，利用第一輸入像素的亮度重新映射輸出值、第一輸入像素的局部對比度增強成份值、第一輸入像素的加權係數以及正規化因子，獲得第一輸入像素的輸出亮度像素值。
在本發明的一實施例中，上述利用第一輸入像素的輸入亮度像素值與第一輸入像素的濾波器結果的比值、第一輸入像素的亮度重新映射輸出值以及第一輸入像素的局部對比度增強成分值，以獲得該第一輸入像素的輸出亮度像素值的動態範圍壓縮與局部對比增強演算公式包括方程式(3)~(7)： 其中α 為第三參數-1或1，運算子表示x值限制範圍為[a ,b ]，(x ,y )為影像中第x列第y行的輸入像素的輸出亮度像素值，(x ,y )為影像中第x列第y行的輸入像素的亮度重新映射輸出值，(x ,y )為影像中第x列第y行的輸入像素的局部對比度增強成份值，(x ,y )為影像中第x列第y行的正規化因子，γ (x ,y )為影像中第x列第y行的輸入像素的權重係數且定義為方程式(8)： 其中(x ,y )為影像中第x列第y行的輸入像素的濾波器結果，ε 為正數值，為最大輸入亮度像素值，而γ max (x ,y )為影像中第x列第y行的對應於最大輸入亮度像素值的最大加權係數。
在本發明的一實施例中，上述動態範圍壓縮與局部對比增強方法更包括根據方程式(3)~(8)，產生方程式(9)： 其中g 1 (L in ,z )為計算影像的輸入像素的亮度重新映射輸出值的函數，g 2 (L in ,z )為計算影像的輸入像素的局部對比度增強成份值的函數，g 3 (L in ,)為計算影像的輸入像素的加權係數的函數以及g 4 (,z )為計算正規化因子的函數。
在本發明的一實施例中，上述動態範圍壓縮與局部對比增強方法更包括根據方程式(9)，建立一個三維亮度查找表(3-dimensional lookup table,3D LUT)，以獲得第一輸入像素的輸出亮度像素值，其中三維亮度查找表的輸入索引為影像相關參數、第一輸入像素的輸入亮度像素值以及第一輸入像素的濾波器結果。
在本發明的一實施例中，上述動態範圍壓縮與局部對比增強方法更包括根據方程式(9)以及影像相關參數，建立與更新一個二維亮度查找表(2-dimensional lookup table,2D LUT)，以獲得第一輸入像素的輸出亮度像素值，其中二維亮度查找表的輸入索引為第一輸入像素的輸入亮度像素值以及第一輸入像素的濾波器結果。
在本發明的一實施例中，上述動態範圍壓縮與局部對比增強方法更包括根據方程式(9)，產生方程式(10) 其中g i (L in ,)=g (L in ,,i /N -1)，N為有限整數且N 2，i為整數且0 i N -1，並且w=z(N-1)-i。
在本發明的一實施例中，上述動態範圍壓縮與局部對比增強方法更包括根據方程式g i (L in ,)=g (L in ,,i /N -1)建立N個二維亮度查找表，以獲得第一輸入像素的輸出亮度像素值，其中二維亮度查找表的輸入索引為第一輸入像素的輸入亮度像素值以及第一輸入像素的濾波器結果，其中N為有限整數且N 2。
本發明提出一種影像處理裝置，此影像處理裝置包括：亮度擷取電路、濾波器運算電路、參數運算電路、像素值調整電路。亮度擷取電路接收一個影像的多個輸入像素，其中這些輸入像素包括第一輸入像素。此外，亮度擷取電路又取得各個輸入像素的輸入亮度像素值以及影像的黑暗程度等級。濾波器運算電路耦接至亮度擷取電路，其根據各個輸入像素的輸入亮度像素值進行濾波器運算，以獲得第一輸入像素的濾波器結果。參數運算電路，耦接至亮度擷取電路，其根據黑暗程度等級進行影像相關運算，以獲得影像相關參數。像素值調整電路耦接至亮度擷取電路、濾波器運算電路以及參數運算電路，其根據一個非線性強度轉換函數將第一輸入像素的輸入亮度像素值、影像相關參數、第一參數以及第二參數轉換為第一輸入像素的亮度重新映射輸出值，其中第二參數為第一參數的因變數，並且當第一輸入像素的輸入亮度像素值等於0時，亮度重新映射輸出值為0。像素值調整電路又根據動態範圍壓縮與局部對比增強演算公式，利用第一輸入像素 的輸入亮度像素值與第一輸入像素的濾波器結果的比值、第一輸入像素的亮度重新映射輸出值以及第一輸入像素的局部對比度增強成分值，以獲得第一輸入像素的輸出亮度像素值，其中第一輸入像素的局部對比度增強成分值為第一輸入像素的輸入亮度像素值與第一輸入像素的非線性強度轉換函數的導函數的結果的乘積。
在本發明的一實施例中，上述參數運算電路根據影像的黑暗程度等級，進行影像相關運算以獲得影像相關參數的公式為方程式(1)：
其中L為影像的黑暗程度等級，z為影像相關參數，Lmin 以及Lmax 為正整數，並且符合0<Lmin <Lmax <，其中為輸入亮度像素值的最大值。
在本發明的一實施例中，上述像素值調整電路將第一輸入像素的輸入亮度像素值、影像相關參數、第一參數以及第二參數轉換為第一輸入像素的亮度重新映射輸出值的非線性強度轉換函數為方程式(2)： 其中x以及y為正整數，z為影像相關參數，Lin (x,y)為影像中第x列第y行的輸入像素的輸入亮度像素值。S為第一參數，並且 0<S 2。φ 為第二參數，並且第二參數符合0 φ min(1,S )或0 φ Φ兩者之一，其中Φ為方程式φ (1+ε )(φ -1) -S =0中φ 的解，並且ε 為正數值。
在本發明的一實施例中，上述像素值調整電路根據非線性強度轉換函數，獲得非線性強度轉換導函數，其中非線性強度轉換導函數為非線性強度轉換函數相對於影像相關參數的一階導函數(first-order derivative)。像素值調整電路又將第一參數、第二參數、影像相關參數、第一輸入像素的輸入亮度像素值代入非線性強度轉換導函數，並根據非線性強度轉換導函數的輸出，獲得第一輸入像素的非線性強度轉換導函數結果。像素值調整電路又根據第一輸入像素的輸出亮度像素值、第一輸入像素的非線性強度轉換導函數結果以及第三參數，獲得第一輸入像素的局部對比度增強成份值。像素值調整電路又根據第一輸入像素的輸入亮度像素值與第一輸入像素的濾波器結果，獲得第一輸入像素的加權係數。像素值調整電路另外根據第三參數、最大輸入亮度像素值、最大加權係數以及最大非線性強度轉換導函數結果，獲得正規化因子，其中最大輸入亮度像素值為輸入亮度像素值的最大值，最大加權係數為對應於最大輸入亮度像素值的加權係數，最大非線性強度轉換導函數結果為對應於最大輸入亮度像素值的非線性強度轉換導函數結果。像素值調整電路根據動態範圍壓縮與局部對比增強演算公式，利用第一輸入像素的亮度重新映射輸出值、第一輸入像素的局部對比度增強成份值、第一輸入像素的加權係數 以及正規化因子，獲得第一輸入像素的輸出亮度像素值。
在本發明的一實施例中，上述像素值調整電路獲得第一輸入像素的輸出亮度像素值的動態範圍壓縮與局部對比增強演算公式包括方程式(3)~(7)： 其中α 為第三參數-1或1，運算子表示x值限制範圍為[a ,b ]，(x ,y )為影像中第x列第y行的輸入像素的輸出亮度像素值，(x ,y )為影像中第x列第y行的輸入像素的亮度重新映射輸出值，(x ,y )為影像中第x列第y行的輸入像素的局部對比度增強成份值，(x ,y )為影像中第x列第y行的正規化因子，γ (x ,y )為影像中第x列第y行的輸入像素的權重係數且定義為方程式(8)： 其中(x ,y )為影像中第x列第y行的輸入像素的濾波器結果，ε 為正數值，為最大輸入亮度像素值，而γ max (x ,y )為影像中第x列第 y行的對應於最大輸入亮度像素值的最大加權係數。
在本發明的一實施例中，上述像素值調整電路更根據方程式(3)~(8)，產生方程式(9)： 其中g 1 (L in ,z )為計算影像的輸入像素的亮度重新映射輸出值的函數，g 2 (L in ,z )為計算影像的輸入像素的局部對比度增強成份值的函數，g 3 (L in ,)為計算影像的輸入像素的加權係數的函數以及g 4 (,z )為計算正規化因子的函數。
在本發明的一實施例中，上述像素值調整電路更包括一個三維亮度查找表。三維亮度查找表是根據方程式(9)所建立，其中三維亮度查找表的輸入索引為影像相關參數、第一輸入像素的輸入亮度像素值以及第一輸入像素的濾波器結果，三維亮度查找表的輸出為第一輸入像素的輸出亮度像素值。
在本發明的一實施例中，上述像素值調整電路更包括一個二維亮度查找表。二維亮度查找表是根據方程式(9)以及影像相關參數所建立與更新，其中二維亮度查找表的輸入索引為第一輸入像素的輸入亮度像素值以及第一輸入像素的濾波器結果，二維亮度查找表的輸出為第一輸入像素的輸出亮度像素值。
在本發明的一實施例中，上述像素值調整電路更根據方程式(9)，產生方程式(10) 其中g i (L in ,)=g (L in ,,i /N -1)，N為有限整數且N 2，i為整數且0 i N -1，並且w=z(N-1)-i。
在本發明的一實施例中，上述像素值調整電路更包括N個二維亮度查找表。二維亮度查找表是根據方程式g i (L in ,)=g (L in ,,i /N -1)所建立，其中二維亮度查找表的輸入索引為第一輸入像素的輸入亮度像素值以及第一輸入像素的濾波器結果，二維亮度查找表的輸出為第一輸入像素的輸出亮度像素值，其中N為有限整數且N 2。
基於上述，本發明實施例所提出的動態範圍壓縮與局部對比增強方法及影像處理裝置結合圖像相依的非線性強度轉換函數以及壓縮對比演算公式，可同時提高圖像亮度以及局部對比度，以保留影像中的細節和色彩資訊。此外，結合亮度查找表的索引操作及/或線性內插運算，大幅加快整個動態範圍壓縮與局部對比增強的處理程序以及降低記憶體的使用空間。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100、300、500、600、700‧‧‧影像處理裝置
110、310‧‧‧亮度擷取電路
120、320‧‧‧濾波器運算電路
125‧‧‧濾波器
130、330‧‧‧參數運算電路
140、340、540、640、740‧‧‧像素值調整電路
341~346‧‧‧第一電路、第二電路、第三電路、第四電路、第五電路、第六電路
347‧‧‧非揮發性記憶體
350‧‧‧色彩映射電路
360‧‧‧色彩輸出電路
545‧‧‧三維亮度查找表
645、745‧‧‧二維亮度查找表
A、A'‧‧‧輸入影像、輸出影像
AC ‧‧‧第一輸入像素
RA 、GA 、BA ‧‧‧R像素值、G像素值、B像素值
S402、S404、S406、S408、S410‧‧‧動態範圍壓縮與局部對比增強方法的流程
圖1繪示依據本發明一實施例的一種影像處理裝置的方塊示意圖。
圖2繪示依據本發明一實施例的影像示意圖。
圖3繪示依據本發明一實施例的一種影像處理裝置的方塊示意圖。
圖4繪示依據本發明一實施例的一種動態範圍壓縮與局部對比增強方法的流程圖。
圖5繪示依據本發明第二實施例的一種影像處理裝置的方塊示意圖。
圖6繪示依據本發明第三實施例的一種影像處理裝置的方塊示意圖。
圖7繪示依據本發明第四實施例的一種影像處理裝置的方塊示意圖。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。
〔第一實施例〕
圖1繪示依據本發明一實施例的一種影像處理裝置的方塊示意圖，但此僅是為了方便說明，並不用以限制本發明。首先 圖1先介紹影像處理裝置的所有構件以及配置關係，詳細功能將配合圖2一併揭露。
請參照圖1，本實施例的影像處理裝置100接收影像A，並輸出影像A'。影像處理裝置100針對影像A進行動態範圍的壓縮以及局部對比度的增強，以增強影像A的細節資訊，其輸出結果為輸出影像A'。影像處理裝置100可以為個人電腦、筆記型電腦、數位相機、數位攝影機、網路攝影機、智慧型手機、平板電腦或是掃描機，本發明不以此為限。
影像處理裝置100包括亮度擷取電路110、濾波器運算電路120、參數運算電路130以及像素值調整電路140，其中亮度擷取電路110、濾波器運算電路120、參數運算電路130以及像素值調整電路140可被實作為積體電路，其中各包括多個邏輯閘(logic gate)。
亮度擷取電路110接收影像A中的多個輸入像素，且每一個輸入像素都包括至少一個像素值。此外，亮度擷取電路110亦可將這些像素值進行色域(color space)轉換。
濾波器運算電路120耦接至亮度擷取電路110，針對像素值進行濾波器運算。此濾波器運算可以為高斯分佈函數(Gaussian distribution function)、平均值等運算，但本發明不以此為限。
參數運算電路130耦接至亮度擷取電路110，可根據影像的黑暗程度等級進行影像相關運算，以獲得一個影像相關參數。
像素值調整電路140耦接至亮度擷取電路110、濾波器運 算電路120以及參數運算電路130，可調整影像A中的像素值，以產生影像A'。
亮度擷取電路110、濾波器運算電路120、參數運算電路130以及像素值調整電路140將詳細說明如下。
圖2繪示依據本發明一實施例的影像示意圖。請同時參照圖1與圖2，影像A包括多個輸入像素，且這些輸入像素是以行(column)與列(row)的方式排列成一個矩陣。舉例而言，輸入像素A11 為影像A中第1列第1行的輸入像素，輸入像素A12 為影像A中第1列第2行的輸入像素，輸入像素A21 為影像A中第2行第1列的輸入像素，以此類推。每一個輸入像素會包括至少一個像素值。在本實施例中，影像A為在RGB色域中的彩色影像，其中每一個像素會包括紅色像素值(R像素值)、綠色像素值(G像素值)以及藍色像素值(B像素值)。然而，在其它實施例中，每一個輸入像素亦可以包括YCbCr色域中的Y像素值、Cb像素值以及Cr像素值，本發明不在此設限。
亮度擷取電路110接收影像A中的輸入像素，取得每一個輸入像素的像素值。在本實施例中，此像素值是在HSV(hue,saturation,value)色域中的V像素值，在此定義為「輸入亮度像素值」。然而在其它實施例中，輸入亮度像素值也可以是將RGB像素值轉換為NTSC或sRGB標準的像素值。
濾波器運算電路120會針對這些輸入像素的輸入亮度像素值進行濾波器運算，以獲得濾波器結果。舉例而言，濾波器運 算電路120是根據濾波器125來進行濾波器運算。在本實施例中，濾波器125是一個高斯模糊濾波器(Gaussian blur filter)，也就是以輸入像素AC (在此定義為「第一輸入像素」)為中心，利用高斯分佈函數，在濾波器125範圍內所有輸入像素的輸入亮度像素值進行迴旋積運算(convolution operation)。在其它實施例中，濾波器125亦可以是均值濾波器(mean filter)、邊緣保留濾波器(edge-preserving filter)或其它種類的低通濾波器(low-pass filter)，本發明不以此為限。
參數運算電路130會根據影像A的黑暗程度等級進行影像相關運算，以獲得影像相關參數。在本實施例中，參數運算電路130可以是根據方程式(1)進行影像相關運算： 其中Lmin 以及Lmax 為正整數，並且符合0<Lmin <Lmax <，其中為輸入亮度像素值的最大值。z為根據影像A中的所有輸入亮度像素值的直方圖(histogram)而獲得的影像相關參數，L為影像A的黑暗程度等級。Lmin 以及Lmax 為黑暗程度等級的門檻值，可根據使用者進行設定。舉例而言，當Lmin =50且Lmax =150時，若一個輸入像素的黑暗程度等級為25時，可以視為一個暗的像素；若一個輸入像素的黑暗程度等級為175時，可以視為一個亮的像素。此外，黑暗程度等級L是取決於直方圖中的累積分佈函數 (cumulative distribution function,CDF)數值為β所對應的輸入亮度像素值，其中0β1。舉例而言，當影像A中有(1-β)×100%以上的輸入像素的輸入亮度像素值大於Lmax 時，則將影像相關參數z設定為1；當影像A中有β×100%以上的輸入像素的輸入亮度像素值小於Lmin 時，則將影像相關參數z設定為0。
像素值調整電路140會根據一個非線性強度轉換函數，將第一輸入像素AC 的輸入亮度像素值、影像相關參數、第一參數以及第二參數轉換為第一輸入像素AC 的亮度重新映射輸出值，其中第二參數為對應第一參數的因變數(dependent variable)且可控制動態壓縮範圍的性能。此非線性強度轉換函數是一個單調遞增(monotonically increasing)連續且一階可微分的函數，而此非線性強度轉換函數的結果在此定義為「亮度重新映射輸出值」。舉例而言，此非線性強度轉換函數可以為方程式(2)： 其中x以及y為正整數，z為影像相關參數，Lin (x,y)為影像中第x列第y行的輸入像素的輸入亮度像素值。S為第一參數，並且0<S 2。φ 為第二參數，並且第二參數符合0 φ min(1,S )或0 φ Φ兩者之一，其中Φ為方程式φ (1+ε )(φ -1) -S =0中φ 的解，並且ε 為極小的正數值以避免任何除以0的運算產生。
此外，影像相關參數z可根據影像A中的所有輸入亮度像素值的直方圖而適應性地改變。換言之，黑暗程度等級L是根 據β×100%的輸入像素而設定的一個指標。值得一提的是，相較於AINDANE演算法中所提到的轉換函數，上述方程式(2)的非線性轉換函數可達到零輸入零輸出(zero-input zero-output)的情況。換言之，當輸入亮度像素值為0時，亮度重新映射輸出值亦為0。此特性有助於實現可接受的動態範圍結果與較少的假影(artifact)，以解決AINDANE演算法中過度增強影像暗區的問題。
像素值調整電路140又會根據動態範圍壓縮與局部對比增強演算公式，利用第一輸入像素AC 的輸入亮度像素值與第一輸入像素AC 的濾波器結果的比值、第一輸入像素AC 的亮度重新映射輸出值以及第一輸入像素AC 的局部對比度增強成分值，獲得第一輸入像素AC 的輸出亮度像素值。此動態範圍壓縮與局部對比增強演算公式可以為方程式(3)~(7)： 其中α 為第三參數-1或1，運算子表示x值限制範圍為a x b ，(x ,y )為影像中第x列第y行的輸入像素的輸出亮度 像素值，(x ,y )為影像中第x列第y行的輸入像素的亮度重新映射輸出值，(x ,y )為影像中第x列第y行的輸入像素的局部對比度增強成份值，(x ,y )為影像中第x列第y行的正規化因子，γ (x ,y )為影像中第x列第y行的輸入像素的權重係數且定義為方程式(8)： 其中(x ,y )為影像中第x列第y行的輸入像素的濾波器結果，ε 為極小的正數值，為最大輸入亮度像素值(亦即，所有輸入亮度像素可能發生的最大值)，而γ max (x ,y )為影像中第x列第y行的對應於最大輸入亮度像素值的最大加權係數。根據方程式(3)所產生的輸出亮度像素值可在後續搭配色彩映射(color-mapping)的演算法，所輸出的影像A'可以達到動態範圍壓縮的功效以及保留影像中的細節。
值得注意的是，在一實施例中，上述的輸入亮度像素值是在HSV色域中的V像素值。然而，影像A卻是在RGB色域中，因此亮度擷取電路110會將RGB色域的像素轉換為HSV色域中的V像素值。
圖3繪示依據本發明一實施例的一種影像處理裝置的方塊示意圖。請參照圖3，影像處理裝置300包括亮度擷取電路310、濾波器運算電路320、參數運算電路330、像素值調整電路340、色彩映射電路350以及色彩輸出電路360，其中像素值調整電路340包括第一電路341、第二電路342、第三電路343、第四電路 344、第五電路345以及第六電路346。此外，像素值調整電路340；色彩映射電路350以及色彩輸出電路360可以為加法器、減法器、乘法器、除法器、及/或指數器所組成的積體電路。
在本實施例中，影像A包括多個輸入像素，並且是在RGB色域中，因此影像A可被分為R像素值RA 、G像素值GA 以及B像素值BA 。亮度擷取電路310會將這些在RGB色域的像素值RA 、GA 以及BA 轉換為HSV色域的V像素值(以下僅針對其中一個輸入像素的輸入亮度像素值L in 進行說明)。值得注意的是，在本實施例中，最大輸入亮度像素值是所有輸入像素的輸入亮度像素值中可能發生的最大值。此外，在其它實施例中，亮度擷取電路310亦可以先把RGB色域的像素值轉換為符合NTSC或sRGB標準的像素值，本發明不以此為限。
接著，濾波器運算電路320會根據輸入亮度像素值L in 進行濾波器運算，以產生濾波器結果。參數運算電路330會根據輸入亮度像素值L in 取得影像A的黑暗程度等級，並且進行影像相關運算，以獲得影像相關參數z。此濾波器運算以及此影像相關運算已說明如上，在此不再贅述。
接著，第一電路341根據方程式(2)，利用亮度擷取電路310所輸出的輸入亮度像素值L in 、最大輸入亮度像素值、影像相關參數z，加上第一參數S以及第二參數φ 而產生亮度重新映射輸出值T 2 以及最大亮度重新映射輸出值T 2_max 。
第二電路342根據方程式(7)，同樣地利用最大輸入亮度 像素值、輸入亮度像素值L in 、影像相關參數z、第一參數S以及第二參數φ 產生線性強度轉換導函數結果以及最大線性強度轉換導函數結果。
第三電路343根據方程式(6)，利用輸入亮度像素值L in 、線性強度轉換導函數結果以及第三參數α產生局部度對增強成份值。
第四電路344根據方程式(8)，利用最大輸入亮度像素值、輸入亮度像素值L in 以及濾波器結果產生加權係數γ 以及最大加權係數γ max 。
第五電路345根據方程式(4)利用最大加權係數γ max 、最大線性強度轉換導函數結果、最大亮度重新映射輸出值T 2_max 、第三參數α產生正規化因子。
接著，第六電路346會根據方程式(3)，利用第一電路341、第三電路343、第四電路344以及第五電路345所分別輸出的亮度重新映射輸出值T 2 、局部度對增強成份值、加權係數γ 以及正規化因子產生輸出亮度像素值。
此外，在本實施例中的第一參數S、第二參數φ 以及第三參數α可以另外儲存於非揮發性記憶體347中，以供第一電路341、第二電路342、第三電路343以及第五電路345使用。
值得說明的是，輸出亮度像素值L out 可在後續搭配色彩映射電路350，以增加輸出影像色彩的飽和度並且輸出符合一般數位影像標準的影像增強方法大多採用YCbCr色域。舉例而言，第六 電路產生輸出亮度像素值可輸入至色彩映射電路350，以根據方程式(9)得到彩色映射比(color-mapping ratio)ρ ： 其中ρ (x ,y )為彩色映射比，L out (x ,y )為輸出亮度像素值。接著，彩色映射比ρ 會輸出至色彩輸出電路360。
色彩輸出電路360可以根據R像素值RA 、G像素值GA 以及B像素值BA 轉換成YCrCb色域中的Y像素值YA 、Cb像素值CbA 以及Cr像素值CrA 。此外，色彩輸出電路360又可以根據方程式(10)以及方程式(11)得到輸入像素在YCbCr色域中的Y的輸出亮度像素值Yout 、Cb輸出色彩像素值或是Cr輸出色彩像素值：Y out (x ,y )=ρ (x ,y )Y in (x ,y )+16[1-ρ (x ,y )] 方程式(10)
其中i=b,r，Y in (x ,y )、(x ,y )以及(x ,y )為YCbCr色域中的輸入亮度像素值，Y out (x ,y )、(x ,y )以及(x ,y )為YCbCr色域中的輸出亮度像素值。藉此，Y的輸出亮度像素值Yout 、Cb輸出色彩像素值或是Cr輸出色彩像素值的輸出可組成影像A'，其可以達到動態範圍壓縮的功效以及保留影像A中的細節資訊。
圖4繪示依據本發明一實施例的一種動態範圍壓縮與局部對比增強方法的流程圖。請參照圖4，在步驟S402中，先接收一個影像的多個輸入像素，其中包括第一輸入像素。在步驟S404 中，取得各個輸入像素的輸入亮度像素值以及影像的黑暗程度等級。在步驟S406中，根據輸入亮度像素值進行濾波器運算，以獲得第一輸入像素的濾波器結果。在步驟S408中，根據黑暗程度等級進行影像相關運算，以獲得影像相關參數。在步驟S410中，根據一個非線性強度轉換函數以及動態範圍壓縮與局部對比增強演算公式，將影像相關參數、第一輸入亮度像素值以及第一輸入像素的濾波器結果轉換為第一輸入像素的輸出亮度像素值。然而，圖4各步驟已詳細說明如上，在此便不再贅述。
〔第二實施例〕
第二實施例與第一實施例類似，在此僅描述不同之處。在第二實施例中，像素值調整電路的功能可以實作為一個三維亮度查找表(3-dimensional lookup table,3D LUT)，藉此增加執行速度。
圖5繪示依據本發明第二實施例的一種影像處理裝置的方塊示意圖。請參照圖5，影像處理裝置500包括亮度擷取電路310、濾波器運算電路320、參數運算電路330、像素值調整電路540、色彩映射電路350，其中亮度擷取電路310、濾波器運算電路320、參數運算電路330、色彩映射電路350以及色彩輸出電路360的功能在第一實施例說明，在此便不在贅述。像素值調整電路540包括三維亮度查找表545，其中三維亮度查找表545是根據動態範圍壓縮與局部對比增強演算公式，亦即前述方程式(3)所建立。
詳細而言，前述方程式(3)取決於四個條件：亮度重新映射輸出值、局部對比度增強成份值、正規化因子以及權重係數γ 。假設動態範圍壓縮參數φ 是事前決定(priori)並且在整個過程中是恆定。根據前述方程式(5)，亮度重新映射輸出值可被簡化成方程式(12)： 其中g 1 (L in ,z )為兩個變量的函數，此兩個變量分別為輸入亮度像素值L in 以及影像相關參數z。同樣地，局部對比度增強成份值可被簡化成方程式(13)： 其中g 2 (L in ,z )為兩個變量的函數，此兩個變量亦為輸入亮度像素值L in 以及影像相關參數z。權重係數γ 可被簡化成方程式(14)： 其中g 3 (L in ,z )為兩個變量的函數，此兩個變量分別為輸入亮度像素值L in 以及濾波器結果。正規化因子可被簡化成方程式(15)： 其中g 4 (,z )為兩個變量的函數，此兩個變量分別為濾波器結果以及影像相關參數z。若將前述方程式(12)~(15)代入前述方程式(3)，壓縮對比演算公式可改寫為方程式(16)： 其中g (L in ,,z )為三個變量的函數，此三個變量分別為輸入亮度值L in 、濾波器結果以及影像相關參數z。
一般而言，數位影像標準的亮度值通常是一個8位元(bit)的數位訊號，而輸入亮度值L in 、濾波器結果以及黑暗程度等級L是一個固定範圍內(例如0~255)。因此，當動態範圍壓縮參數φ 是事前決定並且在整個過程中是恆定時，前述方程式(16)的結果可以被預先計算。
具體而言，前述方程式(16)可以預先被建立為256-256-256的三維亮度查找表545，其中此三維亮度查找表545的輸入索引為輸入亮度值L in 、濾波器結果以及影像相關參數z，並且獲得輸出亮度像素值。
換言之，在本實施例中的動態範圍壓縮與局部對比增強方法，可將非線性強度轉換函數以及動態範圍壓縮與局部對比增強演算的步驟簡化為輸出亮度像素值的三維亮度查找表545的索引操作，而大幅加快整個動態範圍壓縮與局部對比增強的處理程序。
〔第三實施例〕
第三實施例與第二實施例類似，在此僅描述不同之處。在第三實施例中，像素值調整電路的功能可以實作為一個二維亮度查找表(2-dimensional lookup table,2D LUT)，其可有效減少記憶體空間使用量。
圖6繪示依據本發明第三實施例的一種影像處理裝置的方塊示意圖。請參照圖6，影像處理裝置600包括亮度擷取電路310、濾波器運算電路320、參數運算電路330、像素值調整電路640、色彩映射電路350以及色彩輸出電路360，其中亮度擷取電路310、濾波器運算電路320、參數運算電路330、色彩映射電路350以及色彩輸出電路360的功能在第一實施例說明，在此便不在贅述。像素值調整電路640包括一個二維亮度查找表645，其中二維亮度查找表645是根據前述方程式(16)所建立。
具體而言，由第二實施例得知，前述方程式(16)可以預先被建立為256-256-256的三維亮度查找表545，其中上述三維亮度查找表545的輸入索引為輸入亮度值L in 、濾波器結果以及影像相關參數z。而當影像相關參數z為恆定時，上述三維亮度查找表545可降維成單一個256-256的二維亮度查找表645。相較於三維亮度查找表所需16百萬位元組(Megabyte,MB)的記憶體空間，本實施例中使用的二維亮度查找表645降低為65千位元組(Kilobyte,KB)的記憶體空間。
當輸入不同影像時，影像的黑暗程度等級可能相異，而使得影像相關參數z改變。因此，在本實施例中，當影像相關參數z改變時，二維亮度查找表645亦需要一併更新。因此，此方法較適用於單一影像，對於即時影像串流的處理則是需要例如是第四實施例所提出的方法。
〔第四實施例〕
第四實施例與第二實施例類似，在此僅描述不同之處。在第四實施例中，像素值調整電路的功能可以實作為多個二維亮度查找表，其可有效減少記憶體空間使用量並且增加執行速度。
圖7繪示依據本發明第四實施例的一種影像處理裝置的方塊示意圖。請參照圖7，影像處理裝置700包括亮度擷取電路310、濾波器運算電路320、參數運算電路330、像素值調整電路740、色彩映射電路350以及色彩輸出電路360，其中亮度擷取電路310、濾波器運算電路320、參數運算電路330、色彩映射電路350以及色彩輸出電路360的功能在第一實施例說明，在此便不在贅述。像素值調整電路740包括N個二維亮度查找表745，其中二維亮度查找表745是可由方程式(16)進行推導而建立，且N 2。
具體而言，由於影像相關參數z的範圍為0~1，因此前述方程式(16)可被改寫為方程式(17)： 其中N與i分別為整數，N 2以及i=0,1,…,N-1。值得注意的是，當N趨近於無限大時，則函數g i (L in ,)相當於函數g (L in ,,z )。相反地，當N是一個有限整數，則方程式(17)為離散(discrete)且具有N個樣本。因此，若依此概念來建立一個高效的近似方法，可以利用較少的記憶體空間來加快整個動態範圍壓縮與局部對比增強演算的處理程序。
詳細而言，假設，其中運算子表示小於或 等於X的最大整數，則會使得前述方程式(17)趨近為線性內插(linear interpolation)例如方程式(18)的離散函數： 其中w =z (N -1)-i 。舉例而言，當影像相關參數z=0.1且有限整數N=4時，則i=0且w =0.3。也就是說，依此線性內插的離散函數所估測的輸出亮度值是介於函數g 0 (L in ,)與函數g 1 (L in ,)之間，亦即 類似地，當i=0,1,…,N-1時，每個輸出的函數g i (L in ,)皆可以預算為一個N-256-256的三維亮度查找表。以方程式(18)而言，可將非線性強度轉換函數以及動態範圍壓縮與局部對比增強演算的步驟簡化為兩個二維亮度查找表的索引操作以及線性內插的運算。
線性內插的運算方法，其與使用的記憶體空間與二維亮度查找表的層數N有關。在本發明一實施例中，將計算出線性內插所估測的輸出亮度像素值與輸出亮度像素值之間的均方誤差(Mean Square Error,MSE)，以找到一個可接受的最小層數N來進行估測。線性內插的運算所估測的輸出亮度像素值與輸出亮度像素值之間的均方誤差定義如方程式(19)： 其中U和V分別為影像的輸入像素的行與列的總數量。當N 5時，線性內插所估測的輸出亮度像素值與輸出亮度像素值之間的均方誤差收斂到一個極小的數值。因此，適合進行線性內插的運算所需的最小層數N可以設置為5層。然而，本發明不限於利用線性內插所估測的輸出亮度像素值與輸出亮度像素值之間的均方誤差來對最小層數N進行估測。在其它的實施例中，亦可藉由其它統計學上的演算法，根據輸出亮度像素值與輸出亮度像素值計算出至少為2層的最小層數N。
具體而言，前述方程式(17)可以預先被建立至少為2層256-256的二維亮度查找表745，其中此二維亮度查找表745的輸入索引為輸入亮度像素值L in 以及濾波器結果，並且獲得輸出亮度像素值。
換言之，在本實施例中的動態範圍壓縮與局部對比增強方法，可將非線性強度轉換函數以及壓縮對比演算的步驟簡化為二維亮度查找表的索引操作以及線性內插的運算，不僅大幅加快整個動態範圍壓縮與局部對比增強演算的處理程序，相較於三維亮度查找表所需16MB的記憶體空間，本實施例中使用的至少2層二維亮度查找表降低為至少131KB的記憶體空間。
綜上所述，本發明實施例所提出的動態範圍壓縮與局部對比增強方法及影像處理裝置，結合圖像相依的非線性強度轉換函數以及動態範圍壓縮與局部對比增強演算公式，可同時提高圖像亮度以及局部對比度，以保留影像中的細節和色彩資訊。此外，藉由亮度查找表的索引操作及/或線性內插運算，可大幅加快整個動態範圍壓縮與局部對比增強演算的處理程序以及降低記憶體的 使用空間。此動態範圍壓縮與局部對比增強方法及影像處理裝置不僅可達到彩色圖像增強的功效，並且可對高清影像串流處理達到了即時的效能，更可以運用於低成本的消費性電子產品上，增強了本發明在實際應用中的適用性。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
8402、S404、S406、S408、S410‧‧‧動態範圍壓縮與局部對比增強方法的流程

Claims (20)

  1. 一種影像的動態範圍壓縮與局部對比增強方法，包括：接收一影像的多個輸入像素，其中該些輸入像素包括一第一輸入像素；取得每一該些輸入像素的一輸入亮度像素值以及該影像的一黑暗程度等級；根據該些輸入像素的該些輸入亮度像素值，進行一濾波器運算，以獲得該第一輸入像素的一濾波器結果；根據該影像的該黑暗程度等級，進行一影像相關運算，以獲得一影像相關參數；根據一非線性強度轉換函數，將該第一輸入像素的該輸入亮度像素值、該影像相關參數、一第一參數以及一第二參數轉換為第一輸入像素的一亮度重新映射輸出值，其中該第二參數為該第一參數的因變數(dependent variable)，並且當該第一輸入像素的該輸入亮度像素值等於0時，該亮度重新映射輸出值為0；以及根據一動態範圍壓縮與局部對比增強演算公式，利用該第一輸入像素的該輸入亮度像素值與該第一輸入像素的該濾波器結果的比值、該第一輸入像素的該亮度重新映射輸出值以及該第一輸入像素的一局部對比度增強成分值，以獲得該第一輸入像素的一輸出亮度像素值，其中該第一輸入像素的該局部對比度增強成分值為該第一輸入像素的該輸入亮度像素值與該第一輸入像素的該非線性強度轉換函數的導函數的輸出的乘積。
  2. 如申請專利範圍第1項所述的動態範圍壓縮與局部對比增強方法，其中根據該影像的該黑暗程度等級，進行該影像相關運算以獲得該影像相關參數的公式為方程式(1)： 其中L為該影像的該黑暗程度等級，z為該影像相關參數，Lmin 以及Lmax 為正整數，並且符合0<Lmin <Lmax <，其中為該些輸入亮度像素值的最大值。
  3. 如申請專利範圍第2項所述的動態範圍壓縮與局部對比增強方法，其中將該第一輸入像素的該輸入亮度像素值、該影像相關參數、該第一參數以及該第二參數轉換為該第一輸入像素的該亮度重新映射輸出值的該非線性強度轉換函數為方程式(2)： 其中x以及y為正整數，z為該影像相關參數，Lin (x,y)為該影像中第x列第y行的輸入像素的該輸入亮度像素值；其中S為該第一參數，並且0<S 2；其中φ 為該第二參數，並且該第二參數符合0 φ min(1,S )或0 φ Φ兩者之一，其中Φ為方程式φ (1+ε )(φ -1) -S =0中φ 的解，並且ε 為一正數值。
  4. 如申請專利範圍第3項所述的動態範圍壓縮與局部對比增強方法，其中根據該動態範圍壓縮與局部對比增強演算公式，利 用該第一輸入像素的該輸入亮度像素值與該濾波器結果的比值、該亮度重新映射輸出值以及該第一輸入像素的該局部對比度增強成分值，以獲得為該第一輸入像素的該輸出亮度像素值的步驟包括：根據該非線性強度轉換函數，獲得一非線性強度轉換導函數，其中該非線性強度轉換導函數為該非線性強度轉換函數相對於該影像相關參數的一階導函數(first-order derivative)；將該第一參數、該第二參數、該影像相關參數、該第一輸入像素的該輸入亮度像素值代入該非線性強度轉換導函數，並根據該非線性強度轉換導函數的輸出，獲得該第一輸入像素的一非線性強度轉換導函數結果；根據該第一輸入像素的該輸出亮度像素值、該第一輸入像素的該非線性強度轉換導函數結果以及一第三參數，獲得該第一輸入像素的該局部對比度增強成份值；根據該第一輸入像素的該輸入亮度像素值與該第一輸入像素的該濾波器結果，獲得該第一輸入像素的一加權係數；根據該第三參數、一最大輸入亮度像素值、一最大加權係數以及一最大非線性強度轉換導函數結果，獲得一正規化因子，其中該最大輸入亮度像素值為該些輸入亮度像素值的最大值，該最大加權係數為對應於該最大輸入亮度像素值的該加權係數，該最大非線性強度轉換導函數結果為對應於該最大輸入亮度像素值的該非線性強度轉換導函數結果； 根據該動態範圍壓縮與局部對比增強演算公式，利用該第一輸入像素的該亮度重新映射輸出值、該第一輸入像素的該局部對比度增強成份值、該第一輸入像素的該加權係數以及該正規化因子，獲得該第一輸入像素的該輸出亮度像素值。
  5. 如申請專利範圍第4項所述的動態範圍壓縮與局部對比增強方法，其中利用該第一輸入像素的該輸入亮度像素值與該第一輸入像素的該濾波器結果的比值、該第一輸入像素的該亮度重新映射輸出值以及該第一輸入像素的該局部對比度增強成分值，以獲得該第一輸入像素的該輸出亮度像素值的該動態範圍壓縮與局部對比增強演算公式包括方程式(3)~(7)： 其中α 為該第三參數-1或1，運算子表示x值限制範圍為[a ,b ]，(x ,y )為該影像中第x列第y行的輸入像素的該輸出亮度像素值，(x ,y )為該影像中第x列第y行的輸入像素的該亮度重新映射輸出值，(x ,y )為該影像中第x列第y行的輸入像素的 該局部對比度增強成份值，(x ,y )為該影像中第x列第y行的正規化因子，γ (x ,y )為該影像中第x列第y行的輸入像素的該權重係數且定義為方程式(8)： 其中(x ,y )為該影像中第x列第y行的輸入像素的該濾波器結果，ε 為該正數值，為該最大輸入亮度像素值，而γ max (x ,y )為該影像中第x列第y行的對應於該最大輸入亮度像素值的該最大加權係數。
  6. 如申請專利範圍第4項所述的動態範圍壓縮與局部對比增強方法更包括：根據方程式(3)~(8)，產生方程式(9)： 其中g 1 (L in ,z )為計算該影像的輸入像素的該亮度重新映射輸出值的函數，g 2 (L in ,z )為計算該影像的輸入像素的該局部對比度增強成份值的函數，g 3 (L in ,)為計算該影像的輸入像素的該加權係數的函數以及g 4 (,z )為計算該正規化因子的函數。
  7. 如申請專利範圍第6項所述的動態範圍壓縮與局部對比增強方法更包括：根據方程式(9)，建立一三維亮度查找表(3-dimensional lookup table,3D LUT)，以獲得該第一輸入像素的該輸出亮度像素值，其 中該三維亮度查找表的輸入索引為該影像相關參數、該第一輸入像素的輸入亮度像素值以及該第一輸入像素的該濾波器結果。
  8. 如申請專利範圍第6項所述的動態範圍壓縮與局部對比增強方法更包括：根據方程式(9)以及該影像相關參數，建立與更新一二維亮度查找表(2-dimensional lookup table,2D LUT)，以獲得該第一輸入像素的該輸出亮度像素值，其中該二維亮度查找表的輸入索引為該第一輸入像素的輸入亮度像素值以及該第一輸入像素的該濾波器結果。
  9. 如申請專利範圍第6項所述的動態範圍壓縮與局部對比增強方法更包括：根據方程式(9)，產生方程式(10) 其中g i (L in ,)=g (L in ,,i /N -1)，N為一有限整數且N 2，i為一整數且0 i N -1，並且w=z(N-1)-i。
  10. 如申請專利範圍第9項所述的動態範圍壓縮與局部對比增強方法更包括：根據方程式g i (L in ,)=g (L in ,,i /N -1)，建立N個二維亮度查找表，以獲得該第一輸入像素的該輸出亮度像素值，其中該二維亮度查找表的輸入索引為該第一輸入像素的輸入亮度像素值以及該第一輸入像素的該濾波器結果，其中i為一整數且0 i N -1，N 為該有限整數且N 2。
  11. 一種影像處理裝置，包括：一亮度擷取電路，接收一影像的多個輸入像素，並且取得每一該些輸入像素的一輸入亮度像素值以及該影像的一黑暗程度等級，其中該些輸入像素包括一第一輸入像素；一濾波器運算電路，耦接至該亮度擷取電路，根據該些輸入像素的該些輸入亮度像素值，進行一濾波器運算，以獲得該第一輸入像素的一濾波器結果；一參數運算電路，耦接至該亮度擷取電路，根據該影像的該黑暗程度等級，進行一影像相關運算，以獲得一影像相關參數；以及一像素值調整電路，耦接至該亮度擷取電路、該濾波器運算電路以及該參數運算電路，根據一非線性強度轉換函數，將該第一輸入像素的該輸入亮度像素值、該影像相關參數、一第一參數以及一第二參數轉換為該第一輸入像素的一亮度重新映射輸出值，以及根據一動態範圍壓縮與局部對比增強演算公式，利用該第一輸入像素的該輸入亮度像素值與該第一輸入像素的該濾波器結果的比值、該第一輸入像素的該亮度重新映射輸出值以及該第一輸入像素的一局部對比度增強成分值，以獲得該第一輸入像素的一輸出亮度像素值，其中該第二參數為該第一參數的因變數，並且當該第一輸入像素的該輸入亮度像素值等於0時，該亮度重新映射輸出值為0； 其中該第一輸入像素的該局部對比度增強成分值為該第一輸入像素的該輸入亮度像素值與該第一輸入像素的該非線性強度轉換函數的導函數的輸出的乘積。
  12. 如申請專利範圍第11項所述的影像處理裝置，其中該參數運算電路根據該影像的該黑暗程度等級進行該影像相關運算，以獲得該影像相關參數的公式為方程式(1)： 其中L為該影像的該黑暗程度等級，z為該影像相關參數，Lmin 以及Lmax 為正整數，並且符合0<Lmin <Lmax <，其中為該些輸入亮度像素值的最大值。
  13. 如申請專利範圍第12項所述的影像處理裝置，其中該像素值調整電路將該第一輸入像素的該輸入亮度像素值、該影像相關參數、該第一參數以及該第二參數轉換為該第一輸入像素的該亮度重新映射輸出值的該非線性強度轉換函數為方程式(2)： 其中x以及y為正整數，z為該影像相關參數，Lin (x,y)為該影像中第x列第y行的輸入像素的該輸入亮度像素值；其中S為該第一參數，並且0<S 2；其中φ為該第二參數，並且該第二參數符合0 φ min(1,S )或0 φ Φ兩者之一，其中Φ為方程式φ (1+ε )(φ -1) -S =0中φ 的解，並 且ε 為一正數值。
  14. 如申請專利範圍第13項所述的影像處理裝置，其中該像素值調整電路根據該非線性強度轉換函數，獲得一非線性強度轉換導函數，其中該非線性強度轉換導函數為該非線性強度轉換函數相對於該影像相關參數的一階導函數；該像素值調整電路將該第一參數、該第二參數、該影像相關參數、該第一輸入像素的該輸入亮度像素值代入該非線性強度轉換導函數，並根據該非線性強度轉換導函數的輸出，獲得該第一輸入像素的一非線性強度轉換導函數結果；該像素值調整電路根據該輸出亮度像素值、該第一輸入像素的該非線性強度轉換導函數結果以及一第三參數，獲得該第一輸入像素的該局部對比度增強成份值；該像素值調整電路根據該第一輸入像素的該輸入亮度像素值與該第一輸入像素的該濾波器結果，產生該第一輸入像素的一加權係數；該像素值調整電路根據該第三參數、一最大輸入亮度像素值、一最大加權係數以及一最大非線性強度轉換導函數結果，獲得一正規化因子，其中該最大輸入亮度像素值為該些輸入亮度像素值的最大值，該最大加權係數為對應於該最大輸入亮度像素值的該加權係數，該最大非線性強度轉換導函數結果為對應於該最大輸入亮度像素值的該非線性強度轉換導函數結果；該像素值調整電路根據該動態範圍壓縮與局部對比增強演算 公式，利用該第一輸入像素的該亮度重新映射輸出值、該第一輸入像素的該局部對比度增強成份值、該第一輸入像素的該加權係數以及該正規化因子，獲得該第一輸入像素的該輸出亮度像素值。
  15. 如申請專利範圍第14項所述的影像處理裝置，其中該像素值調整電路獲得該第一輸入像素的該輸出亮度像素值的該動態範圍壓縮與局部對比增強演算公式包括方程式(3)~(7)： 其中α 為該第三參數-1或1，運算子表示x值限制範圍為[a ,b ]，(x ,y )為該影像中第x列第y行的輸入像素的該輸出亮度像素值，(x ,y )為該影像中第x列第y行的輸入像素的該亮度重新映射輸出值，(x ,y )為該影像中第x列第y行的輸入像素的該局部對比度增強成份值，(x ,y )為該影像中第x列第y行的正規化因子，γ (x ,y )為該影像中第x列第y行的輸入像素的該權重係數且定義為方程式(8)： 其中(x ,y )為該影像中第x列第y行的輸入像素的該濾波器結果，ε 為該正數值，為該最大輸入亮度像素值，而γ max (x ,y )為該影像中第x列第y行的對應於該最大輸入亮度像素值的該最大加權係數。
  16. 如申請專利範圍第14項所述的影像處理裝置，其中該像素值調整電路更根據方程式(3)~(8)，產生方程式(9)： 其中g 1 (L in ,z )為計算該影像的輸入像素的該亮度重新映射輸出值的函數，g 2 (L in ,z )為計算該影像的輸入像素的該局部對比度增強成份值的函數，g 3 (L in ,)為計算該影像的輸入像素的該加權係數的函數以及g 4 (,z )為計算該正規化因子的函數。
  17. 如申請專利範圍第16項所述的影像處理裝置，其中該像素調整電路更包括：一三維亮度查找表，該三維亮度查找表是根據方程式(9)所建立，其中該三維亮度查找表的輸入索引為該影像相關參數、該第一輸入像素的該輸入亮度像素值以及該濾波器結果，該三維亮度查找表的輸出為該第一輸入像素的該輸出亮度像素值。
  18. 如申請專利範圍第16項所述的影像處理裝置更包括：一二維亮度查找表，該二維亮度查找表是根據方程式(9)以及 該影像相關參數建立與更新，其中該二維亮度查找表的輸入索引為該第一輸入像素的輸入亮度像素值以及該第一輸入像素的該濾波器結果，該二維亮度查找表的輸出為該第一輸入像素的該輸出亮度像素值。
  19. 如申請專利範圍第16項所述的影像處理裝置，其中該像素調整電路更根據方程式(9)，產生方程式(10) 其中g 1 (L in ,)=g (L in ,,i /N -1)，N為一有限整數且N 2，i為一整數且0 i N -1，並且w=z(N-1)-i。
  20. 如申請專利範圍第19項所述的影像處理裝置，其中該像素調整電路更包括：N個二維亮度查找表，該些二維亮度查找表是根據方程式g 1 (L in ,)=g (L in ,,i /N -1)建立，其中i為一整數且0 i N -1，N為該有限整數且N 2，該些二維亮度查找表的輸入索引為該第一輸入像素的該輸入亮度像素值以及該濾波器結果，該些二維亮度查找表的輸出為該第一輸入像素的該輸出亮度像素值。
TW102107728A 2013-03-05 2013-03-05 影像的動態範圍壓縮與局部對比增強方法及影像處理裝置 TWI473039B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW102107728A TWI473039B (zh) 2013-03-05 2013-03-05 影像的動態範圍壓縮與局部對比增強方法及影像處理裝置
US13/909,086 US9076218B2 (en) 2013-03-05 2013-06-04 Method and image processing device for image dynamic range compression with local contrast enhancement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102107728A TWI473039B (zh) 2013-03-05 2013-03-05 影像的動態範圍壓縮與局部對比增強方法及影像處理裝置

Publications (2)

Publication Number Publication Date
TW201435805A TW201435805A (zh) 2014-09-16
TWI473039B true TWI473039B (zh) 2015-02-11

Family

ID=51487910

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102107728A TWI473039B (zh) 2013-03-05 2013-03-05 影像的動態範圍壓縮與局部對比增強方法及影像處理裝置

Country Status (2)

Country Link
US (1) US9076218B2 (zh)
TW (1) TWI473039B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150117515A1 (en) * 2013-10-25 2015-04-30 Microsoft Corporation Layered Encoding Using Spatial and Temporal Analysis
US9609338B2 (en) 2013-10-25 2017-03-28 Microsoft Technology Licensing, Llc Layered video encoding and decoding
JP6383425B2 (ja) 2014-02-25 2018-08-29 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ビデオ符号化及び復号のための適応的伝達関数
US10045050B2 (en) * 2014-04-25 2018-08-07 Vid Scale, Inc. Perceptual preprocessing filter for viewing-conditions-aware video coding
US10880557B2 (en) * 2015-06-05 2020-12-29 Fastvdo Llc High dynamic range image/video coding
CN106897965B (zh) * 2015-12-14 2020-04-28 国基电子（上海）有限公司 彩色图像处理系统及彩色图像处理方法
CN106412448B (zh) * 2016-02-03 2023-08-15 深圳市迪威码半导体有限公司 一种基于单帧图像的宽动态范围处理方法与系统
US10834400B1 (en) 2016-08-19 2020-11-10 Fastvdo Llc Enhancements of the AV1 video codec
WO2018035691A1 (zh) * 2016-08-22 2018-03-01 华为技术有限公司 用于图像处理的方法和装置
KR20180089939A (ko) * 2017-02-01 2018-08-10 삼성전자주식회사 비디오 코딩 모듈 및 그것의 동작 방법
CN107896330B (zh) * 2017-11-29 2019-08-13 北京大学深圳研究生院 一种用于帧内和帧间预测的滤波方法
CN110956587B (zh) * 2018-09-27 2023-07-21 中科创达软件股份有限公司 一种显示画面的调节方法及装置
CN109523477B (zh) * 2018-11-06 2021-07-30 武汉高德智感科技有限公司 一种自适应红外图像动态范围变换方法
US10664960B1 (en) * 2019-04-15 2020-05-26 Hanwha Techwin Co., Ltd. Image processing device and method to perform local contrast enhancement
CN110049256B (zh) * 2019-04-23 2024-02-20 光沦科技(深圳)有限公司 一种局部自适应成像系统以及局部自适应成像控制方法
US11398017B2 (en) * 2020-10-09 2022-07-26 Samsung Electronics Co., Ltd. HDR tone mapping based on creative intent metadata and ambient light
US11526968B2 (en) 2020-11-25 2022-12-13 Samsung Electronics Co., Ltd. Content adapted black level compensation for a HDR display based on dynamic metadata
CN112419195B (zh) * 2020-11-26 2023-06-20 华侨大学 一种非线性变换的图像增强方法
CN112581400A (zh) * 2020-12-22 2021-03-30 安徽圭目机器人有限公司 基于高斯标准差和对比度调谐图像增强方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031199A1 (en) * 2001-06-07 2005-02-10 Moshe Ben-Chorin System and method of data conversion for wide gamut displays
TW201034448A (en) * 2009-03-13 2010-09-16 Asustek Comp Inc Image processing device and image processing method
TW201044886A (en) * 2009-06-12 2010-12-16 Asustek Comp Inc Image processing method and image processing system
US20110025890A1 (en) * 2005-10-12 2011-02-03 Haruo Yamashita Visual processing device, display device, and integrated circuit

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
KR101089394B1 (ko) * 2003-09-11 2011-12-07 파나소닉 주식회사 시각 처리 장치, 시각 처리 방법, 시각 처리 프로그램 및 반도체 장치
US8014034B2 (en) * 2005-04-13 2011-09-06 Acd Systems International Inc. Image contrast enhancement
US7426312B2 (en) * 2005-07-05 2008-09-16 Xerox Corporation Contrast enhancement of images
JP4240032B2 (ja) * 2005-11-02 2009-03-18 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
US7933454B2 (en) * 2007-06-25 2011-04-26 Xerox Corporation Class-based image enhancement system
US8150202B2 (en) * 2008-06-30 2012-04-03 Honeywell International Inc. Gaussian mixture model based illumination normalization for global enhancement
JP4386959B1 (ja) * 2009-02-06 2009-12-16 正浩 小林 画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031199A1 (en) * 2001-06-07 2005-02-10 Moshe Ben-Chorin System and method of data conversion for wide gamut displays
US20110025890A1 (en) * 2005-10-12 2011-02-03 Haruo Yamashita Visual processing device, display device, and integrated circuit
TW201034448A (en) * 2009-03-13 2010-09-16 Asustek Comp Inc Image processing device and image processing method
TW201044886A (en) * 2009-06-12 2010-12-16 Asustek Comp Inc Image processing method and image processing system

Also Published As

Publication number Publication date
US20140254928A1 (en) 2014-09-11
US9076218B2 (en) 2015-07-07
TW201435805A (zh) 2014-09-16

Similar Documents

Publication Publication Date Title
TWI473039B (zh) 影像的動態範圍壓縮與局部對比增強方法及影像處理裝置
US11849224B2 (en) Global tone mapping
TWI729377B (zh) 用於將影像自第一動態範圍映射至第二動態範圍之方法
JP6255063B2 (ja) Ｈｄｒ画像のための画像処理
KR101059403B1 (ko) 이미지 정보를 필터링하기 위한 적응적 공간 이미지 필터
JP6362793B2 (ja) ハイダイナミックレンジ映像のためのディスプレイマネジメント
EP3308534A1 (en) Color filter array scaler
WO2002089060A2 (en) Image enhancement methods and apparatus therefor
CN111292269B (zh) 图像色调映射方法、计算机装置及计算机可读存储介质
EP3411831A1 (en) Adaptive bilateral (bl) filtering for computer vision
WO2019104047A1 (en) Global tone mapping
CN115052137A (zh) 一种视频信号处理方法及装置
EP3063931A1 (en) Two-dimensional color transformations for wide gamut workflows in digital cameras
Adams Jr et al. Digital camera image processing chain design
Albu et al. One scan shadow compensation and visual enhancement of color images
TWI523500B (zh) 影像的動態範圍壓縮方法與影像處理裝置
CN114223209A (zh) Hdr图像传感器的自适应图像数据线性化
Deever et al. Digital camera image formation: Processing and storage
WO2016200480A1 (en) Color filter array scaler
WO2021093980A1 (en) Device and method for pre-processing image data for a computer vision application
WO2018010026A1 (en) Method of presenting wide dynamic range images and a system employing same
TWI533708B (zh) 影像增強處理方法及影像處理裝置
KR20150127524A (ko) 영상 처리 장치 및 영상 처리 방법
Kao et al. Video recording in high dynamic range scenes
Luo et al. Real-Time LUT-based color correction for cell phone cameras in low light conditions without frame memory