TWI819411B - 用以對比提升的影像處理裝置及影像處理方法 - Google Patents

用以對比提升的影像處理裝置及影像處理方法 Download PDF

Info

Publication number
TWI819411B
TWI819411B TW110143451A TW110143451A TWI819411B TW I819411 B TWI819411 B TW I819411B TW 110143451 A TW110143451 A TW 110143451A TW 110143451 A TW110143451 A TW 110143451A TW I819411 B TWI819411 B TW I819411B
Authority
TW
Taiwan
Prior art keywords
image
frequency part
low
pixel
frequency
Prior art date
Application number
TW110143451A
Other languages
English (en)
Other versions
TW202322053A (zh
Inventor
官侑萱
李宗軒
陳世澤
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW110143451A priority Critical patent/TWI819411B/zh
Priority to US17/720,280 priority patent/US20230162333A1/en
Publication of TW202322053A publication Critical patent/TW202322053A/zh
Application granted granted Critical
Publication of TWI819411B publication Critical patent/TWI819411B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本發明提供一種影像處理方法,包括有:接收一輸入影像;根據該輸入影像之該至少一像素單元之該影像的一低頻資訊進行一低頻部分影像調節操作,調節該至少一像素單元之該影像的區域亮度值;根據該輸入影像之該至少一像素單元之該影像的一高頻資訊進行一高頻部分影像調節操作,提高該至少一像素單元之該影像的影像細節;以及根據該輸入影像、該低頻部分影像調節操作與該高頻部分影像調節操作來產生一輸出影像。

Description

用以對比提升的影像處理裝置及影像處理方法
本發明關於一種影像處理機制,尤指一種用以對比提升的影像處理裝置及影像處理方法。
一般而言,現有技術雖然可以調節一影像畫面中區域之間的亮暗,產生符合使用者喜好的影像,然而現有技術並無法有效提升區域內之影像的細節,其僅僅能夠調整遮罩影像的高斯濾波,此外沒有其他參數可供彈性調整,同時現有技術只能夠對於亮暗區域的調整,對於例如格子狀或欄杆之影像的線條的細節提升,相當有限。
因此本發明的目的之一在於提供一種影像處理裝置及影像處理方法,以解決上述的問題。
根據本發明的實施例,其公開了一種影像處理裝置。影像處理裝置包含一處理電路,處理電路用來接收一輸入影像,並包含有一低頻部分處理單元與一高頻部分處理單元。低頻部分處理單元用來根據該輸入影像之該至少一像素單元之該影像的一低頻資訊進行一低頻部分影像調節操作,調節該至少一像素單元之該影像的區域亮度值。高頻部分處理單元用來根據該輸入影像之該至少一像素單元之該影像的一高頻資訊進行一高頻部分影像調節操作,提高該至少一像素單元之該影像的影像細節。該處理電路係根據該輸入影像、該低頻部分影像調節操作與該高頻部分影像調節操作來產生一輸出影像。
根據本發明的實施例,另公開了一種影像處理方法,包含:接收一輸入影像;使用一低頻部分處理單元以根據該輸入影像之該至少一像素單元之該影像的一低頻資訊進行一低頻部分影像調節操作,調節該至少一像素單元之該影像的區域亮度值;使用一高頻部分處理單元以根據該輸入影像之該至少一像素單元之該影像的一高頻資訊進行一高頻部分影像調節操作,提高該至少一像素單元之該影像的影像細節;以及根據該輸入影像、該低頻部分影像調節操作與該高頻部分影像調節操作來產生一輸出影像。
100:影像處理裝置
105:儲存單元
110:處理電路
110H:高頻部分處理單元
110L:低頻部分處理單元
第1圖為本發明一較佳實施例一影像處理裝置的方塊示意圖。
第2圖為根據本發明實施例第1圖所示之處理電路在選定其低頻部分處理單元所採用的演算法的曲線方程式與對應的參數值以及選定其高頻部分處理單元所採用的演算法的曲線方程式與對應的參數值時所產生的一二維查找表LUT的立體模型示意圖。
第3圖為根據本發明實施例第1圖所示之處理電路在選定其低頻部分處理單元所採用的演算法的曲線方程式與對應的參數值以及選定其高頻部分處理單元所採用的演算法的曲線方程式與對應的參數值時所產生的一二維查找表LUT的立體模型示意圖,其中低頻與高頻各自採用不同的曲線方程式調整。
第4圖為根據本發明實施例第1圖所示之處理電路在選定其低頻部分處理單元所採用的演算法的曲線方程式與對應的參數值以及決定不執行高頻部分處理單元的影像調整時所產生的一二維查找表LUT的另一立體模型示意圖。
第5圖為根據本發明實施例第1圖所示之處理電路在選定其高頻部分處理單元所採用的演算法的曲線方程式與對應的參數值以及決定不執行低頻部分處理 單元的影像調整時所產生的一二維查找表LUT的另一立體模型示意圖。
第6圖為所對應的逆S型曲線的一實施例示意圖。
第7圖為採用非線性增強演算法所對應的曲線公式來計算產生mean_new的值之一範例示意圖。
第8圖為原始的輸入影像以及本發明之實施例有處理低頻部分但高頻部分無採用特別參數進行調節之影像後的輸出影像的比較圖。
第9圖為高頻部分無採用特別參數進行調節之影像調節以及高頻部分有採用特別參數進行調節之影像調節的比較圖。
第10圖為通過某固定點的S型曲線以折線實作之的一實施例示意圖。
第11圖為S型曲線的一實施例示意圖。
本發明旨在於提供一種能夠達到調整或調節一輸入影像中各區域的亮度及同時提升該輸入影像的畫面細節之影像處理方法,該影像處理方法能夠將接收進來的一輸入影像(例如圖框或影像畫面)中的較暗區域(以下簡稱暗區)調亮、較亮區域(以下簡稱亮區)調暗,以及能夠提升亮區及暗區的影像畫面細節,來產生並輸出一輸出影像。
請參照第1圖,第1圖是本發明一較佳實施例一影像處理裝置100的方塊示意圖。影像處理裝置100包括有一儲存單元(例如一記憶單元或記憶體)105以及一處理電路110,其中處理電路110包括有一高頻部分處理單元110H以及一低頻部分處理單元110L。本實施例中,該影像處理裝置100(或處理電路110)接收一輸入影像,例如是一輸入圖框或一輸入畫面影像,並用來對該輸入影像中的至少一個像素單元的影像進行至少一特定影像處理操作,以將暗區調亮、亮區調暗並同時提升亮區及暗區的影像畫面細節,使用者在進行影像調節時高頻部分與低頻部分可各自選用不同的曲線方程式及多種不同的參數值;應注意的 是,曲線方程式的選擇種類及不同參數值的設定並非是本發明的限制。
暗區調亮、亮區調暗的影像處理操作可由該低頻部分處理單元110L所執行,該低頻部分處理單元110L係用來對該輸入影像之該至少一像素單元之該影像的一低頻資訊進行一低頻部分影像調節操作,該低頻資訊對應於該至少一像素單元之該影像的一區域亮度值,舉例來說,該區域亮度值是該至少一像素單元之該影像與周圍像素單元之影像的一平均亮度值。
提升影像畫面細節的影像處理操作則可由該高頻部分處理單元110H所執行,該高頻部分處理單元110H係用來對該輸入影像之該至少一像素單元之該影像的一高頻資訊進行一高頻部分影像調節操作,該高頻資訊對應於該至少一像素單元之該影像的一像素值除以該區域亮度值。
換言之,本實施例的該處理電路110係採用該高頻部分處理單元110H來對該至少一個像素單元的影像進行一高頻部分的影像處理以提升該些像素單元之影像的細節度,以及採用了該低頻部分處理單元110L來對該至少一個像素單元的影像及周圍影像進行一低頻部分的影像處理以對應地將該輸入影像中的一個較暗的影像區域(亦即暗區)調亮及同時將該輸入影像中的一個較亮的影像區域(亦即亮區)調暗,使該輸入影像的整體影像亮暗程度均勻化,亦即調整各區域平均亮度。應注意的是,在另一實施例,也可只採用低頻部分處理單元110L而不採用高頻部分處理單元110H來進行影像的調整,或者亦可只採用高頻部分處理單元110H而不採用低頻部分處理單元110L來進行影像的調整。
在本實施例,例如以一個像素單元的影像處理而言,高頻部分處理單元110H及低頻部分處理單元110L等效上係個別獨立地對該像素單元的影像進行其對應的影像處理操作,之後再將其影像處理後的結果進行組合來得到該像素單元的最終影像,據此來產生該像素單元在該輸出影像(例如是一輸出圖框或一輸出畫面影像)中的最終像素值。相同地,上述的操作可以適用於其他像 素單元或全部的像素單元的影像處理。
此外,高頻部分處理單元110H及低頻部分處理單元110L在實作上可以是純硬體電路、純軟體程式或是軟硬體的組合,此並非是本案的限制。舉例來說,高頻部分處理單元110H及低頻部分處理單元110L均可以分別由不同演算法的軟體程式所實現,使用者可以自己決定各自演算法的曲線方程式及對應的參數值,來決定最終的該輸出影像中的整體亮暗均勻程度及畫面細節度。
在本實施例,對於該輸入影像中的一特定像素單元(例如一當前的像素單元)而言,高頻部分的影像處理可以是對該特定像素單元的像素影像的反射率(或亮度反射率)進行調整及處理,而低頻部分的影像處理可以是對該特定像素單元的像素影像的亮度(或平均亮度)進行調整及處理。舉例來說,該特定像素單元的影像(或像素值)的資訊例如可以視為其低頻資訊與其高頻資訊的一個乘積:
Figure 110143451-A0305-02-0007-1
其中val_org是該特定像素單元的影像資訊,例如是像素值,其值例如可以位於0~255的範圍內,或者可以採用位於0~1之間的歸一化(normalized)表示法,其中數值0可以指的是該輸入影像中的一最小像素值(或絕對像素值0),而數值1可以指的是該輸入影像中的一最大像素值(或絕對像素值255)。 mean_org是該特定像素單元的影像的低頻資訊,例如區域平均亮度,其值例如也可以位於0~255的範圍內,或者可以採用位於0~1之間的歸一化表示法,其中數值0可以指的是該輸入影像中的一最小亮度值,而數值1可以指的是該輸入影像 中的一最大亮度值。
Figure 110143451-A0305-02-0007-2
是該特定像素單元的影像的高頻資訊,例如是影像 的反射率,其值不一定會在0~1之間,亦有可能大於1,例如當前像素如果是在影 像的白邊上,則val_org的值會大於mean_org的值,因此
Figure 110143451-A0305-02-0007-32
的值會大於1, 此外,另一個例子是主動發光體,反射率也會大於1。
對於產生該像素單元所相應於該輸出影像中的影像,該輸出影像中的該像素單元的影像資訊也是可以拆分為低頻資訊與高頻資訊的乘積:
Figure 110143451-A0305-02-0008-4
其中val_new是該影像處理裝置100對該像素單元在該輸入影像中的像素值進行影像處理後所產生的在該輸出影像中的一結果的像素值;mean_new可以視為是低頻部分處理單元110L對該像素單元的原本的低頻資訊mean_org進行低頻部分的影像處理後所產生的在該輸出影像中的一結果的低頻資訊;
Figure 110143451-A0305-02-0008-6
可以視為是高頻部分處理單元110H對該像素單元的原本的高頻資訊
Figure 110143451-A0305-02-0008-7
進行高頻部分的影像處理後所產生的在該輸出影像中的一結果的高頻資 訊。val_new及mean_new亦均可以採用歸一化表示法,於此不另贅述,而
Figure 110143451-A0305-02-0008-5
的值可以在0~1之間,或是大於1。
在一實施例中,在使用者決定該高頻部分處理單元110H所採用的演算法的曲線方程式與對應的參數值以及該低頻部分處理單元110L所採用的演算法的曲線方程式與對應的參數值之後,便可以據此對一輸入影像中的一個或每一像素單元的影像進行處理來產生一輸出影像中一個或每一像素單元的影像。
在其他實施例,為了簡化每一次根據不同參數值來進行曲線方程式計算的運算量,該處理電路110例如可以被安排用來先根據多個不同的像素來產生相應的多個不同的區域平均亮度值,接著根據該多個不同的像素值與該多個不同的區域平均亮度值的多種組合來產生多個輸出像素值,其中該些數值例如均可以採用歸一化表示之,並根據該些組合及所產生的該些輸出像素的值來產生一個二維查找表LUT,該二維查找表LUT可以被儲存於該儲存單元105中。
舉例來說,輸入像素的值、區域平均亮度值及所產生的輸出像素的 值均分別可以採用歸一化表示法,其可能數值範圍為0至1之間,可將輸入像素的值的可能範圍(0至1之間)等分為N個區段,每一區段的距離範圍是
Figure 110143451-A0305-02-0009-18
,亦即採用(N+1)個分段點,舉例來說,在簡易的例子中(但不限定),如果N等於4,則每一分段的距離為0.25,則5個分段點的選擇可以是0、0.25、0.5、0.75、1的組合;可將輸入像素的區域平均亮度值的可能數值範圍(0至1之間)等分為M個區段,每一區段的距離範圍是
Figure 110143451-A0305-02-0009-19
,亦即採用(M+1)個分段點,其中N與M也可以相同的數值。舉例來說,在一實施例,N與M均等於32(但不限定),該處理電路110可以根據各33個分段點所形成的33×33種組合來產生對應的33×33個輸出像素值,應注意的是,該些輸出像素值中也可能有部分的數值是相等或相似的,此並非是本發明的限制。
因此,當接收到一個新進來的輸入像素,該處理電路110可以據此產生其對應的區域平均亮度值,並根據該輸入像素的值及所產生的區域平均亮度值,於上述的二維對照表中索引找到各自所對應的鄰近的兩個分段點,例如根據該輸入像素的數值可找出其數值鄰近的兩個分段點,根據該區域平均亮度值也可以找出其數值鄰近的兩個分段點,以及找出該4個分段點的組合所對應到的4個輸出像素的數值,之後該處理電路110可以根據該輸入像素的值、所產生的區域平均亮度值、所找出的4個分段點以及該4個輸出像素的值,執行一雙線性內插計算,產生一最終的輸出像素的值。
請參照第2圖至第5圖,第2圖至第5圖是該處理電路110採用不同演算法所對應之曲線方程式與參數值所分別顯示前述的輸入像素值的(N+1)個分段點、區域平均亮度值的(M+1)個分段點及(N+1)×(M+1)個輸出像素值之關係的不同的立體模型示意圖,N與M例如等於32。第2圖是根據本發明實施例第1圖所示之處理電路110在選定其低頻部分處理單元110L所採用的演算法的曲線方程式與對應的參數值以及選定其高頻部分處理單元110H所採用的演算法的曲線方程式與 對應的參數值時所產生的一二維查找表LUT的立體模型示意圖,其中低頻部分處理單元110L與高頻部分處理單元110H所採用的演算法的曲線方程式採用關於同樣的曲線方程式的一參數變換,該演算法例如是一局部顏色校正機制(Local Color Correction,LCC)的演算法,但不限定;應注意的是,該局部顏色校正機制的演算法可以用來調整低頻成分及高頻成分的影像資訊,且採用一致的調整。第3圖是根據本發明實施例第1圖所示之處理電路110在選定其低頻部分處理單元110L所採用的演算法的曲線方程式與對應的參數值以及選定其高頻部分處理單元110H所採用的演算法的曲線方程式與對應的參數值時所產生的一二維查找表LUT的立體模型示意圖,其中低頻部分處理單元110L所採用的演算法例如是局部顏色校正機制的演算法,而高頻部分處理單元110H所採用的是一局部伽瑪校正(Local Gamma Correction)操作的演算法且其參數γ設定為1.1(但不限定)。第4圖是根據本發明實施例第1圖所示之處理電路110在選定其低頻部分處理單元110L所採用的演算法的曲線方程式與對應的參數值以及決定不執行高頻部分處理單元110H的影像調整時所產生的一二維查找表LUT的另一立體模型示意圖,其中低頻部分處理單元110L所採用的演算法例如是一非線性增強(Adaptive and Integrated Neighborhood-dependent Approach for Nonlinear Enhancement of Color Images,AINDANE)的演算法且其參數z的值例如設定為0.5(但不限定)。第5圖是根據本發明實施例第1圖所示之處理電路110在選定其高頻部分處理單元110H所採用的演算法的曲線方程式與對應的參數值以及決定不執行低頻部分處理單元110L的影像調整時所產生的一二維查找表LUT的另一立體模型示意圖,其中高頻部分處理單元110H所採用的演算法例如是一局部伽瑪校正操作的演算法且其參數γ設定為1.5(但不限定)。
如第2圖至第5圖所分別繪示的網狀或格子狀的多個模型,其每一個交叉點指的是前述的輸入像素的值與所對應的區域平均亮度值之一組合所對應 到的一最終輸出像素值。該些二維查找表LUT的模型均可以被儲存於該儲存單元105中。由上可知,本發明之實施例等效上是通過先分別獨立地執行低頻部分處理及高頻部分處理之後再將其各自的結果進行整合,可令影像調節操作的設計更具彈性,使用者可依照自身需求來決定高頻部分影像與低頻部分影像所適用的演算法曲線公式及相關的參數值來進行亮度調節與畫面細節調整。
就低頻部分處理單元110L的操作原理而言,在一實施例,該低頻部分處理單元110L可採用該影像增強局部對比度的演算法例如是局部顏色校正機制的原理來處理一特定像素單元之影像的低頻部分,例如以8位元的RGB影像為例(其R、G、B的像素值位於0至255的範圍),如果只考慮亮度(intensity)以避免色度失真,則該特定像素單元之影像的亮度會是R、G、B三個顏色通道上之影像亮度的平均值,例如:
Figure 110143451-A0305-02-0011-8
其中參數(x,y)是一輸入影像中該特定像素單元之影像的像素座標,I(x,y)指的是該特定像素單元之影像的亮度,R(x,y)、G(x,y)、B(x,y)分別指的是該特定像素單元在三個不同顏色域上的影像亮度。該局部顏色校正機制會接著對該特定像素單元的影像進行一高斯模糊(Gaussian blur)來計算遮罩影像:M(x,y)=(Gaussian*(255-I))(x,y)
其中該局部顏色校正機制會先對該影像的亮度的值進行反轉之後再取高斯模糊運算,以得到M(x,y),接著使用M(x,y)來對該特定像素單元的輸入像素進行一伽瑪校正(Gamma correction)以產生在該輸出影像中的該特定像素單元的低頻部分影像資訊Output(x,y):
Figure 110143451-A0305-02-0011-9
上述方程式接著可以被簡化成歸一化的版本: M(x,y)=(Gaussian*I)(x,y)
Output(x,y)=(Input(x,y))22M(x,y)-1
其中Input(x,y)指的是在像素座標(x,y)上之輸入像素單元的亮度值,Output(x,y)指的是在像素座標(x,y)上調整後之輸出像素單元的亮度值,M(x,y)可視為是該輸入像素單元的一區域平均亮度值。就該局部顏色校正機制的原理來說,當該特定像素單元的影像是在影像的暗區時,其亮度值I(x,y)會較小,而(255-I(x,y))的數值就會較大,對該(255-I(x,y))的數值進行高斯運算後的數值仍然會相對較大,此時M(x,y)有較多機會是可能會超過一半亮度值128的,這情況下的伽瑪校正的數值就會小於1,使得影像暗區的地方執行伽瑪校正小於1的數值的校正,由於伽瑪校正小於1的數值所相應的校正曲線為一上拋曲線,因此影像暗區就會據此被調亮。另外,當在影像的亮區時,其亮度值I(x,y)會較大,而(255-I(x,y))的數值就會較小,對該(255-I(x,y))的數值進行高斯運算後的數值仍然會相對較小,此時M(x,y)有較多機會是可能會小於一半亮度值128的,這情況下的伽瑪校正的數值就會大於1,使得影像亮區的地方執行伽瑪校正大於1的數值的校正,由於伽瑪校正大於1的數值所相應的校正曲線為一下拋曲線,因此影像亮區就會據此被相應地調暗。
此外,為了進一步更彈性地調整影像的細節,實作上,該低頻部分處理單元110L除了根據上述的原理以外,也同時採用了快速中心點與周圍資訊的對比度調整操作(Fast Centre-surround Contrast Modification,FCSCM),以考量中心點物體(像素單元)的影像及周圍像素單元的影像之間的關係來調整所輸出的影像。舉例來說,將當前的像素單元的周圍視為其具有區域平均亮度的資訊,當周圍影像的亮度較暗時,將參考上拋曲線,令暗處物體的影像與其周圍物體的影像的對比度可以拉開,而當周圍影像的亮度較亮時,則參考下拋曲線,令亮處物體的影像與其周圍物體的影像的對比度也可以拉開;應注意的是,該 快速中心點與周圍資訊的對比度調整操作並非只有調整影像的低頻資訊,亦部分地調整了影像的高頻資訊。在本實施例,以上述的歸一化的影像為例,該低頻部分處理單元110L係將前述的局部顏色校正機制之操作中的當前像素單元的亮度值Input(x,y)及其區域平均亮度值M(x,y)分別視為是該快速中心點與周圍資訊的對比度調整操作中的中心點資訊及其周圍資訊,因此對應的曲線方程式可以表示如下:
Figure 110143451-A0305-02-0013-10
其中mean_org是該特定像素單元的影像的區域平均亮度。請再度參照第2圖,於第2圖所示之模型中,該處理電路110係選定其低頻部分處理單元110L所採用的是局部顏色校正機制演算法的曲線方程式,亦即將前述段落中的val_org視為mean_org以及將val_new視為是mean_new,據此便能夠得到下列方程式:
Figure 110143451-A0305-02-0013-11
此為沿著第2圖中的對角線所對應到的曲線公式,亦即第6圖的曲線。
請參照第6圖,第6圖係繪示了上述方程式所對應的一逆S型曲線的一實施例示意圖,其中該逆S型曲線的水平軸為mean_org的值,其值歸一化的範圍例如從0到1,垂直軸為mean_new的值,其值歸一化的範圍例如也是從0到1,舉例來說,該低頻部分處理單元110L係根據第6圖的逆S型曲線來對該輸入影像中整體區域的亮度進行調整,例如當mean_org的值靠近於0(最暗)及靠近於1(最亮)的不同情況時係採用不同的拋物線曲線來調整亮度的對比,而當mean_org的值靠近於0.5(中間亮度)時,此時mean_new的值會相當接近於mean_org的值(不一定會滿足mean_new=mean_org的條件),因此近似於不進行亮度調節。另外,需注意的是,該逆S型曲線並非是本案的限制,在其他實施例中,亦可以採用其他不同形狀的曲線例如一S型曲線等,舉例來說,請參照第11圖,第11圖為 S型曲線的一實施例示意圖,以Smoothstep曲線實作之,例如可以採用以下的方程式(但不限定)來實現S型曲線: mean_new=3.mean_org2-2.mean_org3
該低頻部分處理單元110L在實作上係採用第6圖所示之該逆S型曲線依據上述的方程式,利用mean_org的值來計算得到mean_new的值。
此外,在其他實施例,對於影像的調節,該低頻部分處理單元110L在實作上亦可採用其他演算法公式來實現,例如(但不限定),其可採用一非線性增強的AINDANE演算法所對應的曲線公式來計算產生mean_new的值,舉例來說,第7圖為採用非線性增強演算法所對應的曲線公式來計算產生mean_new的值之一範例示意圖,其中該非線性增強演算法包含有一參數z,參數z的值位於0至1之間,例如,可將參數z的值設定為0.5來實現,但此並非是本案的限制。
此外,在其他實施例中,該低頻部分處理單元110L也可以選擇被安排不進行調節,直接將所有像素單元的區域平均亮度mean_org的值作為mean_new的值,即mean_new=mean_org。
對於高頻部分的影像處理來說,該高頻部分處理單元110H例如係採用一局部伽瑪校正操作並根據下列方程式進行調整:
Figure 110143451-A0305-02-0014-12
其中val_org是該特定像素單元在該輸入影像中的一輸入像素的值,γ為一可調整的參數,在對數域可看出γ有拉伸中心像素單元的像素值與周圍像素單元之像素值之對比度的作用,如下列方程式所示:log(val_new)-log(mean_new)=γ.(log(val_org)-log(mean_org))
因此,該處理裝置100將調整過的低頻與高頻部分重新組合即為:
Figure 110143451-A0305-02-0014-13
其中配合上述二維查找表LUT,例如可建立構造出33條曲線,每條曲線的γ均為可調整的,其資訊或數值也可以被儲存於該儲存單元105中。應注意的是,局部伽瑪校正並非是本案的限制,在其他實施例中,該高頻部分處理單元110H也可以採用例如其他曲線公式來達到調整影像細節的效果,例如是S型的曲線。
此外,在其他實施例中,該高頻部分處理單元110H也可以選擇被安 排不進行調節,直接將所有像素單元的反射率
Figure 110143451-A0305-02-0015-14
的值作為
Figure 110143451-A0305-02-0015-15
的值,
Figure 110143451-A0305-02-0015-16
另外,在其他實施例,該處理裝置100也可以將調整過的低頻與高頻部分重新組合為:val_new=min(max(m.(val_org-mean_org)+mean_new,0),1)
其中m為可調整的斜率,當mean_org位於0~1之間時(亦即0<mean_org<1時),取m滿足以下的不等式:
Figure 110143451-A0305-02-0015-17
而當mean_org等於0或等於1時,取m滿足以下的不等式:m>1
上述的方程式所顯示的是一折線圖,如第10圖所示;第10圖為通過某固定點的S型曲線的一實施例示意圖,以折線實作之。
為了令讀者更清楚明白本發明的精神,提供了第8圖與第9圖。第8圖為一張原始的輸入影像以及本發明之實施例處理低頻部分影像及高頻部分影像所採用的曲線方程式係採用關於同樣曲線方程式的一參數變換(亦即高頻部分調節操作無另外採用其他參數)之影像後的輸出影像的比較圖,如第8圖之左側所示,原始的輸入影像IMG例如是一張亮暗不均勻的影像,例如整張輸入影像 IMG中包含有一例如是窗外的戶外影像部分OUTD及其他剩餘區域的室內影像部分IND,其中該戶外影像部分OUTD例如包含有一建築物B1,而室內影像部分IND包含有一梯子的影像P1,舉例來說,原始的輸入影像IMG是在白天戶外光線充足下且室內並沒有開燈的情況下所拍攝(但不限定),如此該戶外影像部分OUTD所顯示的是白天的景像,因此,戶外影像部分OUTD中例如建築物B1之影像的亮度會過亮,而室內影像部分IND(包括梯子的影像P1)則會過暗,其中以點(dot)來表示亮暗程度,點的密度較高者代表亮度較暗,該建築物B1的影像不包括點以表示最亮,其次則為戶外影像部分OUTD的其他影像為次亮,在室內影像部分IND中則以窗外所透光下來的區域R的亮度為次暗,而其他區域的影像之亮度為最暗。如第8圖之右側所示,在處理過該原始的輸入影像IMG的低頻部分影像之後所產生的一輸出影像IMG’中,例如係將該戶外影像部分OUTD之亮度調暗,而將室內影像部分IND的亮度調亮,如第8圖中的點之密度所示;B1’、R’、OUTD’、IND’、P1’分別是B1、R、OUTD、IND、P1被處理後所得到的影像。第9圖為高頻部分影像調節操作無另外採用其他範圍參數之影像調節以及高頻部分影像調節操作有另外採用其他範圍參數之影像調節的比較圖,如第9圖之左側所示,梯子影像P1’所對應的影子影像S1’較模糊,而第9圖右側中所示的是同時進行高頻與低頻部分的影像調節的結果,梯子影像P1”所對應的影子影像S1”較清楚且銳利,亦即細節度被提升,本發明之實施在進行亮暗區域的亮度調整時也可大幅地提升例如畫面中格子狀或欄杆這種線條的影像細節。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
100:影像處理裝置
105:儲存單元
110:處理電路
110H:高頻部分處理單元
110L:低頻部分處理單元

Claims (8)

  1. 一種影像處理裝置,包含:一處理電路,用來接收一輸入影像,包含:一高頻部分處理單元,用來根據該輸入影像之該至少一像素單元之該影像的一高頻資訊進行一高頻部分影像調節操作,提高該至少一像素單元之該影像的影像細節;以及一低頻部分處理單元,用來根據該輸入影像之該至少一像素單元之該影像的一低頻資訊進行一低頻部分影像調節操作,調節該至少一像素單元之該影像的區域亮度值;其中該處理電路係根據該輸入影像、該低頻部分影像調節操作與該高頻部分影像調節操作來產生一輸出影像;該低頻資訊對應於該至少一像素單元之該影像的該區域亮度值,該區域亮度值是該至少一像素單元之該影像與周圍像素單元之影像的一平均亮度值,以及該低頻部分處理單元所採用之一曲線方程式係為一局部顏色校正演算法的曲線方程式,或一非線性增強演算法的曲線方程式,或一Smoothstep曲線方程式;該非線性增強演算法的參數z為可調整的。
  2. 如申請專利範圍第1項所述之影像處理裝置,其中該高頻資訊對應於該至少一像素單元之該影像的一影像反射率,以及該高頻部分處理單元所採用之一曲線方程式係為一局部伽瑪校正操作演算法的曲線方程式,或一S型曲線方程式;該局部伽瑪校正操作演算法的參數γ為可調整的。
  3. 一種影像處理裝置,包含:一處理電路,用來接收一輸入影像,包含: 一高頻部分處理單元,用來根據該輸入影像之該至少一像素單元之該影像的一高頻資訊進行一高頻部分影像調節操作,提高該至少一像素單元之該影像的影像細節;以及一低頻部分處理單元,用來根據該輸入影像之該至少一像素單元之該影像的一低頻資訊進行一低頻部分影像調節操作,調節該至少一像素單元之該影像的區域亮度值;其中該處理電路係根據該輸入影像、該低頻部分影像調節操作與該高頻部分影像調節操作來產生一輸出影像;該影像處理裝置另包含一儲存單元;該處理電路將該至少一像素單元之該影像的像素值的範圍等分為N個區段,將該至少一像素單元之該影像的區域亮度值的範圍等分為M個區段,根據該N個區段的(N+1)個分段點數值、該M個區段的(M+1)個分段點數值、該高頻部分處理單元所採用之一曲線方程式與一對應高頻參數值以及該低頻部分處理單元所採用之一曲線方程式與一對應低頻參數值,來產生(N+1)×(M+1)個的輸出像素值以產生一二維查找表,以及儲存所產生之該二維查找表於該儲存單元中。
  4. 一種影像處理裝置,包含:一處理電路,用來接收一輸入影像,包含:一高頻部分處理單元,用來根據該輸入影像之該至少一像素單元之該影像的一高頻資訊進行一高頻部分影像調節操作,提高該至少一像素單元之該影像的影像細節;以及一低頻部分處理單元,用來根據該輸入影像之該至少一像素單元之該影像的一低頻資訊進行一低頻部分影像調節操作,調節該至少一像素單元之該影像的區域亮度值; 其中該處理電路係根據該輸入影像、該低頻部分影像調節操作與該高頻部分影像調節操作來產生一輸出影像;其中當接收到進來的一輸入像素時,該處理電路產生該輸入像素所對應之一區域亮度值,以及根據該輸入像素的值與該輸入像素的該區域亮度值於該二維查找表中找出多個分段點數值,根據該輸入像素的值、該輸入像素的該區域亮度值及該些分段點數值來執行一雙線性內插操作以產生一輸出像素值。
  5. 一種影像處理方法,包含:使用一處理電路來接收一輸入影像;使用一高頻部分處理單元以根據該輸入影像之該至少一像素單元之該影像的一高頻資訊進行一高頻部分影像調節操作,提高該至少一像素單元之該影像的影像細節;使用該處理電路的一低頻部分處理單元以根據該輸入影像之該至少一像素單元之該影像的一低頻資訊進行一低頻部分影像調節操作,調節該至少一像素單元之該影像的區域亮度值;以及使用該處理電路以根據該輸入影像、該低頻部分影像調節操作與該高頻部分影像調節操作來產生一輸出影像;其中該低頻資訊對應於該至少一像素單元之該影像的該區域亮度值,該區域亮度值是該至少一像素單元之該影像與周圍像素單元之影像的一平均亮度值,以及該低頻部分處理單元所採用之一曲線方程式係為一局部顏色校正演算法的曲線方程式,或一非線性增強演算法的曲線方程式,或一Smoothstep曲線方程式;該非線性增強演算法的參數z為可調整的。
  6. 如申請專利範圍第5項所述之影像處理方法,其中該高頻資訊對應 於該至少一像素單元之該影像的一影像反射率,以及該高頻部分處理單元所採用之一曲線方程式係為一局部伽瑪校正操作演算法的曲線方程式,或一S型曲線方程式;該局部伽瑪校正操作演算法的參數γ為可調整的。
  7. 一種影像處理方法,包含:使用一處理電路來接收一輸入影像;使用一高頻部分處理單元以根據該輸入影像之該至少一像素單元之該影像的一高頻資訊進行一高頻部分影像調節操作,提高該至少一像素單元之該影像的影像細節;使用該處理電路的一低頻部分處理單元以根據該輸入影像之該至少一像素單元之該影像的一低頻資訊進行一低頻部分影像調節操作,調節該至少一像素單元之該影像的區域亮度值;使用該處理電路以根據該輸入影像、該低頻部分影像調節操作與該高頻部分影像調節操作來產生一輸出影像;提供一儲存單元;使用該處理電路將該至少一像素單元之該影像的像素值的範圍等分為N個區段;使用該處理電路將該至少一像素單元之該影像的區域亮度值的範圍等分為M個區段;使用該處理電路以根據該N個區段的(N+1)個分段點數值、該M個區段的(M+1)個分段點數值、該高頻部分處理單元所採用之一曲線方程式與一對應高頻參數值以及該低頻部分處理單元所採用之一曲線方程式與一對應低頻參數值,來產生(N+1)×(M+1)個的輸出像素值以產生一二維查找表;以及 儲存該處理電路所產生之該二維查找表於該儲存單元中。
  8. 一種影像處理方法,包含:使用一處理電路來接收一輸入影像;使用一高頻部分處理單元以根據該輸入影像之該至少一像素單元之該影像的一高頻資訊進行一高頻部分影像調節操作,提高該至少一像素單元之該影像的影像細節;使用該處理電路的一低頻部分處理單元以根據該輸入影像之該至少一像素單元之該影像的一低頻資訊進行一低頻部分影像調節操作,調節該至少一像素單元之該影像的區域亮度值;使用該處理電路以根據該輸入影像、該低頻部分影像調節操作與該高頻部分影像調節操作來產生一輸出影像;以及當接收到進來的一輸入像素時,使用該處理電路以產生該輸入像素所對應之一區域亮度值,以及使用該處理電路以根據該輸入像素的值與該區域亮度值於該二維查找表中找出多個分段點數值,根據該輸入像素的值、該輸入像素的該區域亮度值及該些分段點數值來執行一雙線性內插操作以產生一輸出像素值。
TW110143451A 2021-11-23 2021-11-23 用以對比提升的影像處理裝置及影像處理方法 TWI819411B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110143451A TWI819411B (zh) 2021-11-23 2021-11-23 用以對比提升的影像處理裝置及影像處理方法
US17/720,280 US20230162333A1 (en) 2021-11-23 2022-04-13 Image processing apparatus and image processing method for contrast enhancement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110143451A TWI819411B (zh) 2021-11-23 2021-11-23 用以對比提升的影像處理裝置及影像處理方法

Publications (2)

Publication Number Publication Date
TW202322053A TW202322053A (zh) 2023-06-01
TWI819411B true TWI819411B (zh) 2023-10-21

Family

ID=86384021

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110143451A TWI819411B (zh) 2021-11-23 2021-11-23 用以對比提升的影像處理裝置及影像處理方法

Country Status (2)

Country Link
US (1) US20230162333A1 (zh)
TW (1) TWI819411B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217666A (zh) * 2008-07-31 2014-12-17 株式会社宜客斯 画质调整装置、图像校正数据生成程序、图像校正电路及显示面板
TWI703872B (zh) * 2019-05-15 2020-09-01 瑞昱半導體股份有限公司 影像色彩還原與增強電路

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217666A (zh) * 2008-07-31 2014-12-17 株式会社宜客斯 画质调整装置、图像校正数据生成程序、图像校正电路及显示面板
TWI703872B (zh) * 2019-05-15 2020-09-01 瑞昱半導體股份有限公司 影像色彩還原與增強電路

Also Published As

Publication number Publication date
TW202322053A (zh) 2023-06-01
US20230162333A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
JP5508679B2 (ja) 低電力駆動装置および方法
JP4616749B2 (ja) 適応コントラスト向上
WO2018133609A1 (zh) 从低动态图像生成高动态图像的方法
KR100456017B1 (ko) 히스토그램 매칭을 이용한 콘트라스트 향상 장치 및 방법
KR100791387B1 (ko) 영상 처리 방법 및 장치
US9691139B2 (en) Adaptive contrast in image processing and display
JP6602789B2 (ja) 局所的なコントラスト強調のためのシステムおよび方法
JP6805968B2 (ja) 画像処理装置、画像投影装置、及び画像処理方法
CN109447910A (zh) 一种基于模糊理论的低照度彩色图像增强方法
US9396526B2 (en) Method for improving image quality
KR20090032385A (ko) 영상의 콘트라스트를 향상시키는 히스토그램 스트레칭 장치및 방법
TWI664860B (zh) 影像調整裝置與方法
JP2010271987A (ja) 領域分類装置、画質改善装置、映像表示装置、およびそれらの方法
WO2013121600A1 (ja) 映像表示装置およびテレビ受信装置
US7379624B2 (en) Image processing method and apparatus
JP5236622B2 (ja) 表示装置
JP2010271480A (ja) 表示装置
TWI819411B (zh) 用以對比提升的影像處理裝置及影像處理方法
JP2009508173A (ja) ビデオレベルの動的ソフトクリッピング
CN116543709A (zh) 背光控制装置、方法及设备
TWI601122B (zh) 應用於顯示器的影像補償方法與相關的控制電路
JP7341091B2 (ja) 制御装置、表示装置、制御プログラムおよび制御方法
WO2012014754A1 (ja) 画像表示装置
CN116205794A (zh) 用以对比提升的图像处理装置及图像处理方法
JP5249703B2 (ja) 表示装置