TWI558207B - 寬動態範圍影像方法 - Google Patents

寬動態範圍影像方法 Download PDF

Info

Publication number
TWI558207B
TWI558207B TW104120937A TW104120937A TWI558207B TW I558207 B TWI558207 B TW I558207B TW 104120937 A TW104120937 A TW 104120937A TW 104120937 A TW104120937 A TW 104120937A TW I558207 B TWI558207 B TW I558207B
Authority
TW
Taiwan
Prior art keywords
value
image
pixel value
region
brightness
Prior art date
Application number
TW104120937A
Other languages
English (en)
Other versions
TW201701648A (zh
Inventor
姜昊天
陳世澤
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW104120937A priority Critical patent/TWI558207B/zh
Priority to US15/089,700 priority patent/US9830690B2/en
Application granted granted Critical
Publication of TWI558207B publication Critical patent/TWI558207B/zh
Publication of TW201701648A publication Critical patent/TW201701648A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

寬動態範圍影像方法
本發明係關於一種影像方法，且特別是一種寬動態範圍影像(wide dynamic range imaging)方法。
增加圖像的動態範圍往往可以增加圖像整體的細節，尤其是暗處和亮處的資訊可以更為明顯，而增加圖像的動態範圍大致可以分成兩大類型的做法：高動態範圍影像(high dynamic range imaging)方法和寬動態範圍影像方法。
高動態範圍影像方法可以得到較佳品質的影像，但是在演算法上大多需要超過兩張的影像當作輸入影像才可以得到一張輸出影像，此外這兩張輸入影像又很難在同時間可以擷取到，因此高動態範圍影像方法非常不容易應用於動態視訊與即時(real time)影像輸出，亦即其有不少的使用限制。
寬動態範圍影像方法僅需要一張輸入影像就可以得到一張輸出影像，故其不論是在軟體或是硬體上都很方便實做，但是也因為寬動態範圍影像方法只有使用一張輸入影像，故其可以利用的資訊比多張輸入影像少，且其所需要的演算法也因此十分地重要。
一般的寬動態影像範圍方法很容易產生其他的不良影響，例如：影像雜訊變大、整體對比度降低、光暈現象與色彩過於鮮豔甚至偏色。甚至，寬動態範圍影像方法產生的影像，在暗處的視覺感受不甚理想，尤其是當人臉在背光環境下，人臉會過暗。
最普遍的寬動態範圍影像方法之一是利用一個全域映射曲線來達成，例如使用伽瑪校正(gamma correction)曲線來進行映射，其公式表示為P'=N．(P/N)1/γ，其中P表示輸入的像素值(其可以是紅色、綠色或藍色像素值)，P’表示透過全域映射曲線進行校正後所產生的像素值，N表示像素值的量化階數(例如為255)，而γ是一個靜態或是可以動態調整的參數，決定了伽瑪校正曲線的變化幅度(變化較緩或較陡)。此種方法是將影像中所有的像素值使用個全域映射曲線進行校正，故實作上較為簡單。
然而，利用一個全域映射曲線來達成的寬動態範圍影像方法有者以下缺點。因為紅色、綠色或藍色像素值對應於全域映射曲線的不同位置，而這些不同位置對應有不同的切線斜率，故紅色、綠色或藍色像素值增益值不全相同，而可能會有偏色的情況發生。另外，因為最大增益值相關於全域映射曲線的最大切線斜率，故對於影像中暗部區域之細節與視覺感受的提升非常有限。除此之外，全域映射曲線雖然可以提升影像中某處的亮度與細節，但卻會另外地犧牲掉影像中其他一處的細節，導致影像部份之細節與整體對比之損失。
另一種普遍的寬動態範圍影像方法是利用多個區域映射曲線來達成。影像可以被劃分為多個區域，其中每一個區域會對應到其中一個區域映射曲線，以對輸入的像素值進行校正。利用多個區域映射曲線來達成的寬動態範圍影像方法可以解決無法提升影像中暗部區域之細節與視覺感受的問題，且不會造成影像部份之細節與整體對比之損失。
然而，利用多個區域映射曲線來達成的寬動態範圍影像方法是將每一個區域對應到其中一個區域映射曲線，且影像很難正確地劃分區域，因此各區域之間可能有會光暈現象的發生。特別是在無法使用複雜硬體對影像進一步地作邊緣濾波的情況下，影像中的光暈現象會非常明顯。即使，使用了邊緣濾波對影像進行了 處理，區域之間仍會出現不自然的分層現象。
本發明實施例提供一種寬動態範圍影像方法，其包括以下的步驟。透過多個區域映射曲線對影像進行區域映射，以針對影像中多個區域進行不全一樣的亮度校正，其中區域最少包括一個像素。區域映射的步驟說明如下。該影像進行濾波，以獲得低頻影像。依據低頻影像獲得影像各區域的參考值。依據影像之區域的參考值自多個區域映射曲線選擇其中之一對應於影像的區域。依據對應於影像之區域的區域映射曲線獲得對應的增益曲線，依據增益曲線獲得區域之像素值或亮度的增益值，依據像素值對應的亮度獲得增益調整值，以及根據亮度、增益值與增益調整值來調整像素值。
綜合以上所述，本發明實施例所提供的寬動態範圍影像方法可以增加影像整體的細節，且同時能夠讓影像中暗部區域與亮部區域的細節明顯顯現。
為使本發明所屬技術領域具有通常知識者能更進一步瞭解本發明之特徵及技術內容，請參閱以下有關本發明之詳細說明與附圖，但是此等說明與所附圖式僅係用來說明本發明，而非對本發明的權利範圍作任何的限制。
S11~S14、S31~S36‧‧‧步驟流程
GC‧‧‧全域映射曲線
R1~R3‧‧‧區域
W1、W2‧‧‧低通濾波視窗
CP‧‧‧像素
LC1~LC3、LC‧‧‧區域映射曲線
GNC‧‧‧增益曲線
MASK1~MASKN‧‧‧遮罩
MOD‧‧‧模式信號
MUX‧‧‧多工器
CONV‧‧‧卷積分器
Psmooth‧‧‧平緩像素值
HC1~HC3‧‧‧直方圖
α1‧‧‧光暈值
α3‧‧‧增益調整值
α1’、R1’、MA、mA、PI1、PI2、β1、β2、m1、m2‧‧‧數值
R1‧‧‧微調率
TH1~TH5‧‧‧門限值
R、R’‧‧‧紅色亮度值
G、G’‧‧‧綠色亮度值
B、B’‧‧‧藍色像素值
GN、GN’‧‧‧增益值
Y、Y’‧‧‧亮度
U、U’‧‧‧色差
V、V’‧‧‧濃度
DNS‧‧‧抑雜訊值
DIF‧‧‧差異值
MAX‧‧‧最大值
圖1是本發明實施例的寬動態範圍影像方法的流程之示意圖。
圖2是本發明實施例的全域映射曲線的示意圖。
圖3是本發明實施例的寬動態範圍影像方法對影像進行區域映射的流程之示意圖。
圖4是本發明實施例的寬動態範圍影像方法對影像進行減低光暈現象之計算差異值的示意圖。
圖5是本發明實施例的寬動態範圍影像方法對影像進行減低光暈現象時，所計算出之差異值與光暈值的曲線之示意圖。
圖6是本發明實施例的寬動態範圍影像方法對影像進行減低光暈現象時，所計算出之最大值與微調率的曲線之示意圖。
圖7是本發明實施例的多個區域映射曲線的示意圖。
圖8是本發明實施例的選定之區域映射曲線對應的增益曲線的示意圖。
圖9是本發明實施例的寬動態範圍影像方法對影像進行增益放大時，計算出之亮度與調整值的曲線的示意圖。
圖10本發明實施例的寬動態範圍影像方法對影像進行增益放大時，對輸入的像素進行增益放大的示意圖。
圖11是本發明實施例的寬動態範圍影像方法對影像進行雜訊降低時，所使用的像素值與抑雜訊值之曲線的示意圖。
圖12是本發明實施例的寬動態範圍影像方法對影像進行雜訊降低時，計算像素平緩值的示意圖。
圖13是本發明實施例的寬動態範圍影像方法對影像進行自動強度調整後之像素值的直方圖之示意圖。
本發明實施例提供一種寬動態範圍影像方法，所述寬動態範圍影像方法會將影像的曝光程度降低，以讓影像中過曝或過亮的亮部區域之細節可以明顯呈現，而提升視覺感受。接著，所述寬動態範圍影像方法會透過多個區域映射曲線對影像進行區域映射，以針對不同區域進行不同的亮度校正，以使得影像中暗部區域與亮部區域的細節都能夠完整地呈現，其中區域最少包括一個像素(包括紅色、藍色與綠色像素；或者，包括兩個綠色像素與兩個紅色像素(貝爾圖樣))。
在此請注意，對影像進行區域映射的步驟說明如下。所述寬 動態範圍影像方法會對影像進行低通濾波，然後，再根據經低通濾波後的影像之區域的像素值產生參考值，以及根據區域內的參考值自多個區域映射曲線中選擇其中之一作為影像(其未經低通濾波)的區域對應的區域映射曲線。針對影像(其未經低通濾波)的每一個區域，根據選定的區域映射曲線獲得對應的增益曲線，依據所述增益曲線獲得區域內之像素值或亮度的增益值，然後，再依據像素值對應的亮度獲得增益調整值，以及根據亮度、增益值與增益調整值來調整像素值，以藉此解決影像中色彩過於鮮艷或偏色的問題。
於本發明其他實施例，在對影像進行區域映射的步驟中，上述區域內之參考值可以是經低通濾波後之影像之區域內的像素值，或者所述參考值可以依照下述方式獲得。在上述對影像進行低通濾波後，所述寬動態範圍影像方法還會計算經低通濾波後的影像之每一個像素值於兩個不同低通濾波視窗下的差異值，並依據差異值與其中一個低通濾波視窗下所計算出的最大值來決定光暈現象比重，以透過此光暈現象比重決定所述像素值對應之參考值。
於本發明其他實施例，在對影像進行區域映射的步驟中，所述寬動態範圍影像方法更對影像進行區域標註處理，例如，人臉辨識(face detection)、視覺顯著區域標示(salience map)或影像切割處理(image segmentation)，以在根據亮度、增益值與增益調整值來調整像素值後，進一步地依據區域標註處理的結果，再對特定區域的像素值進行亮度調整。例如，再次提升人臉之區域的亮度。
於本發明其他實施例，在對影像進行區域映射的步驟中，所述寬動態範圍影像方法更在根據亮度、增益值與增益調整值來調整像素值後，根據經低通濾波後的影像之區域的參考值決定抑雜訊值，並根據抑雜訊值與選定的遮罩來減低影像的雜訊。
於本發明其他實施例，所述寬動態範圍影像方法更可以在對 影像進行區域映射前，先對利用全域映射曲線先對影像進行一次全域映射，以針對影像的亮度作一次全域的校正。除此之外，所述寬動態範圍影像方法還可以在對影像進行區域映射後，對影像進行自動強度調整，以增加影像的對比度。
接著，將以圖式與文字詳細地描述上述步驟的細節。在此請注意，本發明概念可能以許多不同形式來體現，且不應解釋為限於本文中所闡述之例示性實施例。另外，在圖式中相同參考數字可用以表示類似的元件。
首先，請參照圖1，圖1是本發明實施例的寬動態範圍影像方法的流程之示意圖。所述寬動態範圍影像方法包括步驟S11~S14，且可以執行於具有影像擷取功能的電子裝置，例如智能手機、數位相機或行車記錄器等。
於步驟S11中，所述寬動態範圍影像方法會降低影像的曝光程度，以讓影像中過曝或過亮的亮部區域之細節可以明顯呈現，而提升視覺感受。例如，透過縮小光圈、減少曝光時間或透過軟體的影像處理技術來降低影像的曝光程度，總而言之，本發明並不限降低影像的曝光程度之作法。
接著，於步驟S12中，所述寬動態範圍影像方法透過全域映射曲線對影像進行全域映射，以提升整張影像的亮度。影像可以分為多個區域，每一個區域包括至少一個像素。若每一個區域包括複數個像素，則每一個區域之紅色、綠色與藍色像素每一者的平均像素值作為全域映射曲線的輸入值，以產生此區域之像素之校正後的紅色、綠色與藍色像素值。若每一個區域僅包括一個像素，則每一個區域之紅色、綠色與藍色像素每一者的像素值作為全域映射曲線的輸入值，以產生此區域之像素之校正後的紅色、綠色與藍色像素值。
全域映射曲線例如為伽瑪校正曲線，其公式表示為P'=N．(P/N)1/γ，其中P表示輸入的像素值(其可以是紅色、綠色或藍 色像素值或平均像素值)，P’表示透過全域映射曲線進行校正後所產生的像素值，N表示像素值的量化階數(例如為255)，而γ是一個靜態或是可以動態調整的參數，決定了伽瑪校正曲線的變化幅度(變化較緩或較陡)。在此請注意，參數γ可以依據影像內容或需求而進行調整，而且全域映射曲線並非限定僅能為伽瑪校正曲線。
請同時參照圖1與圖2，圖2是本發明實施例的全域映射曲線的示意圖。簡單地說，影像若分為區域R1~R3，則區域R1~R3都使用同一條全域映射曲線GC進行全域映射，以提升整張影像的亮度。於圖2中，全域映射曲線GC對應之縱軸代表輸出的像素值(例如上述公式的P’)，而全域映射曲線GC對應之橫軸代表輸入的像素值(例如上述公式的P)。
請接著繼續參照圖1，在對影像進行全域映射，以提升整張影像的亮度後，考量到影像中可能有不同的物件與場景，對應於不同物件與場景的區域需要提升的亮度可能不一樣，故可以透過步驟S13，使用多個不同的區域映射曲線對對影像進行區域映射，對不同區域的亮度作不同的提升。
接著，進一步地說明對影像進行區域映射的細節。請同時參照圖1與圖3，圖3是本發明實施例的寬動態範圍影像方法對影像進行區域映射的流程之示意圖。步驟S13可以進一步地包括步驟S31~S36，其中步驟S31、S33與S36並非是必要步驟，亦即可以依據需求自步驟S13中選擇性地移除。
首先，在步驟S31中，對影像進行區域標註處理，也就是對影像作一些事前判斷的動作，例如人臉辨識、視覺顯著區域標示或影像切割處理，以在後續步驟S35根據亮度、增益值與增益調整值來調整像素值後，進一步地依據區域標註處理的結果，再對特定區域的像素值進行亮度調整。例如，再次提升人臉之區域的亮度。
在此請注意，依據能夠接受的硬體複雜度，人臉辨識、視覺 顯著區域標示與影像切割處理可以選擇性地被執行。較佳地，人臉辨識至少要被執行，因為人臉部份的亮度有時可能不足，故可以透過步驟S31，將人臉的區域標註，以在後續步驟S35根據亮度、增益值與增益調整值來調整像素值後，再次提升人臉之區域的亮度，從而使得影像之品質較符合使用者的需求。
接著，在步驟S32中，對影像進行低通濾波，以取出影像中低頻的區域。對影像進行低通濾波的作法例如有使用高斯濾波、中值濾波或邊緣保護濾波(edge preserved filtering)對影像進行濾波，其中邊緣保護濾波又可以例如是雙邊濾波(bilateral filtering)或引導濾波(guided filtering)，且低通濾波的詳細作法並非用以限制本發明。
低頻影像(經低通濾波後的影像)之區域的像素值可以用來產生參考值，以根據區域內的參考值自多個區域映射曲線選擇其中之一作為影像(其未經低通濾波)的區域對應的區域映射曲線。在此請注意，若省略下述的步驟S33，則低頻影像之區域的參考值等於低頻影像之區域的像素值。倘若沒有省略下述步驟S33，則依據低頻影像之區域的像素值執行步驟S33來計算出低頻影像之區域的參考值。以下將進一步地介紹步驟S33。
因為，不同區域若使用不同區域映射曲線進行亮度的調整有可能導致區域之間會有光暈現象產生，因此可以利用步驟S33對步驟S32所產生的低頻影像進行處理，以減低影像的光暈現象。 另外，如同前面所述，步驟S33可以選擇性地自步驟S13中移除，例如，場景會造成的光暈現象並不嚴重，則可以選擇不執行步驟S33。
請同時參照圖3與圖4，圖4是本發明實施例的寬動態範圍影像方法對影像進行減低光暈現象之計算差異值的示意圖。在步驟S33中，所述寬動態範圍影像方法會先計算經低頻影像之每一個像素值於兩個不同低通濾波視窗W1、W2下的差異值DIF，其公式 為DIF=LPF{Pi|iW1}-LPF{Pi|iW2}，其中LPF{Pi|iW1}表示以像素CP為中心點依據低通濾波視窗W1所計算出的低頻值，而LPF{Pi|iW2}表示以像素CP為中心點依據低通濾波視窗W2所計算出的低頻值，其中i為像素索引值。一般來說差異值DIF越大，表示越有可能發生光暈現象，而需要給予較大的光暈值α1。
在此請注意，上述低通濾波視窗W1與W2的尺寸例如為33x33與3x3個像素大小，但本發明不以視窗W1與W2的尺寸為限。除此之外，上述低通濾波視窗W1與W2的類型較佳地彼此相同，但實際情況亦可以彼此不同，總而言之，發明不以視窗W1與W2的類型為限。
請接著參照圖3與圖5，圖5是本發明實施例的寬動態範圍影像方法對影像進行減低光暈現象時，所計算出之差異值與光暈值的曲線之示意圖。光暈值α1為0~α1’的數值，α1’例如為1。當差異值DIF小於等於負的門限值TH1時，光暈值α1為0。當差異值DIF介於負的門限值TH1與正的門限值TH2之間時，光暈值α1與差異值DIF大致上成正比例關係，亦即差異值DIF越大，則光暈值α1越大。差異值DIF大於等於正的門限值TH2時，光暈值α1為α1’。
然後，請參照圖3與圖6，圖6是本發明實施例的寬動態範圍影像方法對影像進行減低光暈現象時，所計算出之最大值與微調率的曲線之示意圖。光暈現象除了相關於上述差異值DIF之外，亦與低通濾波視窗W2內的最大值MAX相關，因此，在得到光暈值α1後，需要依據低通濾波視窗W2內的最大值MAX對光暈值α1進行微調，以獲得光暈比重。低通濾波視窗W2內的最大值MAX定義為以像素CP為中心點之低通濾波視窗W2內的最大值，亦即MAX=max{Pi|iW2}。
於圖6中，微調率R1為0~R1’的數值，R1’例如為1。當低通濾波視窗W2內的最大值MAX小於或等於正的門限值TH3，則 微調率R1為R1’。當低通濾波視窗W2內的最大值MAX介於正的門限值TH3與TH4時，則微調率R1與低通濾波視窗W2內的最大值MAX大致上成線性遞減關係，亦即低通濾波視窗W2內的最大值MAX越大，則微調率R1越低。當低通濾波視窗W2內的最大值MAX大於或等於正的門限值TH4，則微調率R1為0。另外，依據低通濾波視窗W2內的最大值MAX對光暈值α1進行微調的公式表示為α2=1-(1-α1)×R1，其中α2表示光暈比重。
光暈比重α2越大，則表示影像區域間的光暈現象越嚴重，相反地，光暈比重α2越小，則表示影像區域間的光暈現象越輕微。接著，依據光暈比重對低頻影像的像素值進行修正，以得到低頻影像之參考值，其中低頻影像之參考值的公式為REF=α2×LPF{Pi | i W1}+(1-α2)×LPF{Pi | i W2}，其中REF表示低頻影像之參考值。簡單地說，低頻影像之參考值REF是根據以對應像素為中心點依據低通濾波視窗W1、W2所計算出的低頻值所決定。
請接著繼續參照圖3，在步驟S34中，依據低頻影像之區域的參考值REF選擇影像(未經低通濾波)之區域的區域映射曲線，其中區域映射曲線可以是伽瑪校正曲線、指數曲線或線性曲線，總之本發明並不以區域映射曲線的類型為限制。更進一步地說，若區域僅有一個像素，則以區域內像素對應的參考值REF來選擇影像(未經低通濾波)之區域所對應的區域映射曲線。若區域內有複數個像素，則以低頻影像之區域內多個像素對應的參考值REF之平均值來選擇影像(未經低通濾波)之區域所對應的區域映射曲線。
請同時參照圖3與圖7，圖7是本發明實施例的多個區域映射曲線的示意圖。簡單地說，影像(未經低通濾波)若分為區域R1~R3，且於低頻影像中，區域R1~R3的參考值之平均值不同，則影像(未經低通濾波)之區域R1~R3分別使用不同的區域映射曲線LC1~LC3進行區域映射，以分別提升影像(未經低通濾波)之區域 R1~R3的亮度。於圖7中，區域映射曲線LC1~LC3對應之縱軸代表輸出的像素值，而區域映射曲線LC1~LC3對應之橫軸代表輸入的像素值。
另外，在硬體儲存空間有限的情況，一般僅會紀錄變化最緩與最陡的區域映射曲線與對應的參考值或參考值之平均值，而其他的參考值或參考值之平均值所對應的區域映射曲線，則可以由變化最緩與最陡的區域映射曲線透過內插的方式來獲得。以圖7為例來說，若變化最陡與最緩的區域映射曲線為LC3、LC1，則僅有區域映射曲線為LC3、LC1與其對應參考值或參考值之平均值被儲存，而區域映射曲線LC2則是透過內插法來獲得。
請繼續參照圖3，在選定了影像之區域所對應的區域映射曲線後，在步驟S35中，依據影像各區域選定的區域映射曲線，對影像各區域進行增益映射。更進一步地說，於步驟S35中，寬動態範圍影像方法並不會直接地使用區域映射曲線對影像之區域內的像素值進行校正，而是根據選定的區域映射曲線獲得對應的增益曲線，再依據所述增益曲線獲得區域內之像素值或亮度的增益值。然後，再依據像素值對應的亮度獲得增益調整值，以及根據亮度、增益值與增益調整值來調整像素值，以藉此解決影像中色彩過於鮮艷或偏色的問題。
請同時參照圖3與圖8，圖8是本發明實施例的選定之區域映射曲線對應的增益曲線的示意圖。於步驟S35中，根據選定的區域映射曲線獲得對應的增益曲線的作法說明如下，影像某一個區域選定之區域映射曲線LC可以將其縱軸上的輸出像素值除以其橫軸對應的輸入像素值，以藉此獲得各輸入像素值P對應的增益值GN，從而產生出增益曲線GNC。
接著，依據所述增益曲線獲得影像之區域內之像素值P的增益值GN，以藉此將像素值P乘上增益值GN，以獲得放大後的像素值P’，亦即，P'=P×GN，其中像素值P為紅色、綠色與藍色像 素值R、G、B。然後，依據紅色、綠色與藍色像素值R、G、B計算出像素值P對應的亮度Y，其中亮度Y的計算公式為Y=Cr×R+Cg×G+Cb×B，其中Cr、Cg與Cb表示色域轉換係數。
之後，請同時參照圖3與圖9，圖9是本發明實施例的寬動態範圍影像方法對影像進行增益放大時，計算出之亮度與調整值的曲線的示意圖。因為，要解決影像過於鮮艷或偏色問題，因此，需要依據計算出來的亮度Y去獲得一個增益調整值α3。如圖9所示，增益調整值α3在像素對應的亮度Y為0~門限值TH5之間，其與亮度Y大致上成線性遞減關係，其中，在亮度Y為0時，增益調整值α3為其定義的最大值MA，而在亮度Y為門限值TH5時，增益調整值α3為其定義的最小值mA。增益調整值α3代表的物理意義是解決過於鮮艷或偏色問題的比率，亦即，增益調整值α3越大，則表示解決鮮艷或偏色問題的能力越強，反之，增益調整值α3越小，則表示解決鮮艷或偏色問題的能力越弱，調整後的像素值會與調整前的像素值較為接近。
在獲得增益調整值α3後，進一步地依據亮度Y、增益值GN與增益調整值α3來調整像素值P。調整後的像素值P”的計算公式大概表示如下，P"=P'×(1-α3)+α3×Y'，其中Y’為放大後的亮度，亦即Y'=Y×GN。
除了上述對影像各區域進行增益映射的作法外，另外說明另一種對影像各區域進行增益映射的作法如下。請同時參照圖3與圖10，圖10本發明實施例的寬動態範圍影像方法對影像進行增益放大時，對輸入的像素進行增益放大的示意圖。如圖10所示，先將輸入的像素進行色域轉換，從RGB域轉換為YUV域，其中色域轉換的公式如前所述。
接著，將亮度Y作為輸入，根據所獲得對應之增益曲線(如圖8所示)，獲得對應亮度Y的增益值GN。然後，根據亮度與增益調整值的曲線(如圖9所示)，獲得對應亮度Y的增益調整值α3。 接著，將增益調整值α3與增益值GN相乘，以獲得調整後的增益值GN’，亦即GN'=α3×GN。
之後，將亮度Y乘上增益值GN，以及將色差U與濃度V乘上調整後的增益值GN’，以獲得調整後的亮度Y’、色差U’與濃度V’，亦即，Y'=Y×GN、U'=U×GN'、V'=V×GN'。最後，將調整後的亮度Y’、色差U’與濃度V’從YUV域轉換回為RGB域，以獲得調整後的紅色、藍色與綠色像素值R’、G’、B’，亦即R'=Y'+1.13983×(V'-128)、G'=Y'-0.39465×(U'-128)-0.58060×(V'-128)與R'=Y'+2.03211×(V'-128)。另外，上述YUV域亦可以採用HIS或HSV域來取代，總而言之，本發明並不限制於此。
在此請注意，若之前步驟S31有對區域進行標註處理，則步驟S35更在根據亮度、增益值與增益調整值來調整像素值後，進一步地依據區域標註處理的結果，再次對特定區域的像素值進行亮度調整。例如，再次提升人臉之區域的亮度。
由於，寬動態範圍影像方法為了提升影像中暗部區域的可見度，故越暗的區域，往往會成上越大的增益值，使得影像中的雜訊增加，因此在考量到雜訊可能影響整張影像之品質時，需要進一步地對影像的雜訊進行抑制，從而提升視覺感受度。
請同時參照圖3與圖11，圖11是本發明實施例的寬動態範圍影像方法對影像進行雜訊降低時，所使用的像素值與抑雜訊值之曲線的示意圖。因為越暗的區域，往往會成上越大的增益值，故由圖11之像素值與抑雜訊值之曲線，可以知道像素值越大，則抑雜訊值DNS越小，相反地，像素值越小，則抑雜訊值DNS越大。舉例來說，像素值為PI1時，其抑雜訊值DNS對應為β1，像素值為PI2時，其抑雜訊值DNS對應為β2，其中PI1小於PI2，而β1大於β2。
在獲得像素值對應的抑雜訊值DNS後，依據平緩像素值Psmooth與抑雜訊值DNS調整步驟S35產生之影像的各像素值 PWDR，以獲得減低影像雜訊後的各像素值PDenoised，其運算公式可以表示為PDenoised=DNS．Psmooth+PWDR．(1-DNS)。上述平緩像素值Psmooth是透過n．n遮罩以像素值PWDR為中心透過卷積分運算而得到。
請同時參照圖3與圖12，圖12是本發明實施例的寬動態範圍影像方法對影像進行雜訊降低時，計算像素平緩值的示意圖。寬動態範圍影像方法會對應場景或情境產生模式信號MOD，以控制多工器MUX選出對應多個場景或情境的多個遮罩MASK1~MASKN的其中之一。然後，透過卷積分器CONV，以像素值PWDR為中心取5．5個像素值使用選擇的遮罩，例如MASK1，進行卷積分運算，以獲得平緩像素值Psmooth。另外，上述遮罩MASK1~MASKN雖以5．5遮罩為例說明，但本發明不限制遮罩的尺寸。
請同時參照圖1與圖13，圖13是本發明實施例的寬動態範圍影像方法對影像進行自動強度調整後之像素值的直方圖之示意圖。由於步驟S13對影像進行區域映射，因此，影像的對比度可能會改變，故在考量到影像之全域對比度的情況下，寬動態範圍影像方法更可以執行步驟S14，對影像進行自動強度調整。
於圖13中，原始之影像的直方圖為左邊之直方圖HC1，其中影像的最小亮度為m1。在經過步驟S13之後，影像的直方圖為中間之直方圖HC2，其中影像的最小亮度為m2。於步驟S13執行後，影像之直方圖會有偏移，故會導致影像的全域對比度的下降。因此，步驟S14的目的就是對影像進行處理，以使影像之直方圖可以從中間之直方圖HC2變為右邊之直方圖HC3。自動強度調整之公式可以表示為Pout=2n-1-(2n-1-PDenoised)．((2n-1-m1)/((2n-1-m2))，其中n為像素值的位元數，而Pout為輸出的像素值。在此請注意，倘若步驟S13中的S36被移除，則上述像素值PDenoised須改用像素值PWDR。
請繼續參照圖1，在此請注意，上述步驟S12與S14在其他 實施例中亦可以移除。簡單地說，本發明實施例的寬動態影像方法可以僅包括步驟S11與S13，倘若僅進行步驟S11與S13，將影像的曝光程度降低，以及對影像進行區域映射後所輸出的影像已經能夠符合需求，則步驟S12與S14可以移除。當然，在其他實施例中，亦可以僅移除步驟S12與S14的其中之一。
總而言之，本發明實施例提供一種寬動態範圍影像方法，所述寬動態範圍影像方法可以增加影像整體的細節，特別是同時能夠讓影像中暗部區域與亮部區域的細節都能夠明顯顯現。除此之外，所述寬動態範圍影像方法更可以解決傳統寬動態範圍影像方法產生之影像雜訊變大、整體對比度降低、光暈現象、色彩過於鮮艷甚至偏色與暗部區域之細節不明顯(特別是人臉在背光時會過暗)等問題。另外，所述寬動態範圍影像方法的計算複雜度不大，因此其執行時間快，且硬體複雜度低，特別可以實現於具有影像擷取功能的電子裝置內。
以上所述，僅為本發明最佳之具體實施例，惟本發明之特徵並不侷限於此，任何熟悉該項技藝者在本發明之領域內，可輕易思及之變化或修飾，皆可涵蓋在以下本案之專利範圍。
S11~S14‧‧‧步驟流程

Claims (10)

  1. 一種寬動態範圍影像方法，包括：透過多個區域映射曲線對一影像進行一區域映射，以針對影像中多個區域進行不全一樣的亮度校正，其中該區域最少包括一個像素；其中該區域映射包括：對該影像進行濾波，以獲得一低頻影像；依據該低頻影像獲得該影像各區域的一參考值；依據該影像之該區域的該參考值自該些區域映射曲線選擇其中之一對應於該影像的該區域；以及依據對應於該影像之該區域的該區域映射曲線獲得對應的一增益曲線，依據該增益曲線獲得該區域之一像素值或一亮度的一增益值，依據該像素值對應的該亮度獲得一增益調整值，以及根據該亮度、該增益值與該增益調整值來調整該像素值。
  2. 如請求項第1項所述的寬動態範圍影像方法，其中在透過該些區域映射曲線對該影像進行該區域映射前，更包括：透過一全域映射曲線對該影像進行一全域映射。
  3. 如請求項第1項所述的寬動態範圍影像方法，其中在透過該些區域映射曲線對該影像進行該區域映射後，更包括：對該影像進行一自動強度調整，以增加該影像的一對比度。
  4. 如請求項第1項所述的寬動態範圍影像方法，其中依據該低頻影像獲得該影像各區域的該參考值包括：計算該低頻影像之該區域的每一個像素值於兩個不同低通濾波視窗下的一差異值；依據該差異值與其中一個低通濾波視窗下所計算出的最大值來決定一光暈現象比重；以及透過該光暈現象比重決定該像素值對應之該參考值。
  5. 如請求項第1項所述的寬動態範圍影像方法，其中該區域映射更包括：對該影像進行一區域標註處理，以標註至少一區域；以及在調整該些像素值後，針對標註之該區域的該像素值再次進行調整。
  6. 如請求項第1項所述的寬動態範圍影像方法，其中在調整該些像素值後，該區域映射更包括：根據該區域的該參考值決定一抑雜訊值；以及根據該抑雜訊值與多個遮罩中被選定的其中一者來減低該影像的雜訊。
  7. 如請求項第1項所述的寬動態範圍影像方法，其中依據該增益曲線獲得該區域之該像素值的該增益值，將該增益值乘上該亮度與該像素值以獲得放大後的該亮度與該像素值，以及依據該增益調整值、放大後的該亮度與該像素值來調整該像素值。
  8. 如請求項第1項所述的寬動態範圍影像方法，其中將對該像素值進行一色域轉換，以獲得該像素值對應的該亮度、一色差與一濃度，依據該增益曲線獲得該區域之該亮度的該增益值，將該增益值乘上該亮度以獲得放大後的該亮度，將該增益調整值與該增益值乘上該色差與該濃度，以獲得放大後的該色差與該濃度，對放大後的該亮度、該色差與該濃度進行另一色域轉換，以獲得調整後的該像素值。
  9. 如請求項第6項所述的寬動態範圍影像方法，其中以該像素值為中心使用選定的該遮罩進行一卷積分運算，以計算出一平緩像素值，並且依據該平緩像素值、該像素值與該抑雜訊值調整該像素值，來降低該影像的雜訊。
  10. 如請求項第3項所述的寬動態範圍影像方法，其中獲取該影像未經任何處理時的一第一最小亮度值，以及獲得該影像之該些像素值經過調整後的一第二最小亮度值，以及根據該第一最小 亮度值、該第二最小亮度值與該像素值的一位元數調整該像素值。
TW104120937A 2015-06-29 2015-06-29 寬動態範圍影像方法 TWI558207B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW104120937A TWI558207B (zh) 2015-06-29 2015-06-29 寬動態範圍影像方法
US15/089,700 US9830690B2 (en) 2015-06-29 2016-04-04 Wide dynamic range imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104120937A TWI558207B (zh) 2015-06-29 2015-06-29 寬動態範圍影像方法

Publications (2)

Publication Number Publication Date
TWI558207B true TWI558207B (zh) 2016-11-11
TW201701648A TW201701648A (zh) 2017-01-01

Family

ID=57602654

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104120937A TWI558207B (zh) 2015-06-29 2015-06-29 寬動態範圍影像方法

Country Status (2)

Country Link
US (1) US9830690B2 (zh)
TW (1) TWI558207B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102401582B1 (ko) * 2015-09-24 2022-05-24 삼성전자주식회사 렌즈 쉐이딩 정정 회로 및 이를 포함하는 장치들
US10002407B1 (en) * 2017-08-11 2018-06-19 Intermap Technologies Inc. Method and apparatus for enhancing 3D model resolution
US10535119B2 (en) 2017-08-11 2020-01-14 Intermap Technologies Inc. Method and apparatus for enhancing 3D model resolution
US10325349B2 (en) * 2017-08-11 2019-06-18 Intermap Technologies Inc. Method and apparatus for enhancing 3D model resolution
US11532093B2 (en) 2019-10-10 2022-12-20 Intermap Technologies, Inc. First floor height estimation from optical images
CN115883810A (zh) * 2020-04-30 2023-03-31 华为技术有限公司 映射曲线参数的获取方法和装置
US11551366B2 (en) 2021-03-05 2023-01-10 Intermap Technologies, Inc. System and methods for correcting terrain elevations under forest canopy
US12056888B2 (en) 2021-09-07 2024-08-06 Intermap Technologies, Inc. Methods and apparatuses for calculating building heights from mono imagery

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478690A (zh) * 2008-12-08 2009-07-08 四川虹微技术有限公司 一种基于色域映射的图像光照校正方法
TW201001334A (en) * 2008-06-20 2010-01-01 Altek Corp Adjustment method of color tone for digital image and electronic apparatus thereof
TW201142754A (en) * 2010-02-04 2011-12-01 Microsoft Corp High dynamic range image generation and rendering

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879731B2 (en) 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7599578B2 (en) 2004-09-17 2009-10-06 Nikon Corporation Apparatus, program, and method for image tone transformation, and electronic camera
US7768496B2 (en) * 2004-12-02 2010-08-03 Sharp Laboratories Of America, Inc. Methods and systems for image tonescale adjustment to compensate for a reduced source light power level
JP5105209B2 (ja) * 2007-12-04 2012-12-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US9055227B2 (en) * 2010-03-17 2015-06-09 Texas Instruments Incorporated Scene adaptive brightness/contrast enhancement
FR3003378A1 (fr) * 2013-03-12 2014-09-19 St Microelectronics Grenoble 2 Procede de mappage de tons
US9460499B2 (en) * 2014-05-30 2016-10-04 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Systems and methods for selective enhancement of a region of interest in an image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201001334A (en) * 2008-06-20 2010-01-01 Altek Corp Adjustment method of color tone for digital image and electronic apparatus thereof
CN101478690A (zh) * 2008-12-08 2009-07-08 四川虹微技术有限公司 一种基于色域映射的图像光照校正方法
TW201142754A (en) * 2010-02-04 2011-12-01 Microsoft Corp High dynamic range image generation and rendering

Also Published As

Publication number Publication date
US20160379347A1 (en) 2016-12-29
TW201701648A (zh) 2017-01-01
US9830690B2 (en) 2017-11-28

Similar Documents

Publication Publication Date Title
TWI558207B (zh) 寬動態範圍影像方法
WO2016206087A1 (zh) 一种低照度图像处理方法和装置
US8368779B2 (en) Image processing apparatus for performing gradation correction on subject image
US7899267B2 (en) Dynamic range compensation by filter cascade
US7382928B2 (en) Digital image processing system and method for processing digital images
EP2833317B1 (en) Image display device and/or method therefor
KR102317613B1 (ko) 로컬라이징된 콘트라스트 향상을 위한 시스템들 및 방법들
CN111292269B (zh) 图像色调映射方法、计算机装置及计算机可读存储介质
US8284271B2 (en) Chroma noise reduction for cameras
CN108280836B (zh) 一种图像处理方法及装置
JP6004757B2 (ja) 画像処理装置及び画像処理方法
CN106570838A (zh) 一种图像亮度优化方法及装置
CN109146811A (zh) 一种彩色图像的自适应对比度增强方法
TW201410005A (zh) 影像處理方法以及影像處理裝置
JPWO2012127904A1 (ja) 画像処理装置及び方法
CN106341613B (zh) 宽动态范围影像方法
JP2014154108A (ja) 画像処理装置
US20130107123A1 (en) Method and apparatus for controlling overshoot in a video enhancement system
CN105335933A (zh) 一种图像对比度增强方法和装置
CN110782400B (zh) 一种自适应的光照均匀实现方法和装置
US20170069068A1 (en) Wide dynamic range imaging method
Albu et al. One scan shadow compensation and visual enhancement of color images
CN115239570A (zh) 图像处理方法、图像处理装置及存储介质
JP2009010636A (ja) 適応ヒストグラム等化方法及び適応ヒストグラム等化装置
JP2008305122A (ja) 画像処理装置、画像処理方法、およびプログラム