TWI487346B - Method of hue corresponding to high dynamic range image - Google Patents

Method of hue corresponding to high dynamic range image Download PDF

Info

Publication number
TWI487346B
TWI487346B TW101141334A TW101141334A TWI487346B TW I487346 B TWI487346 B TW I487346B TW 101141334 A TW101141334 A TW 101141334A TW 101141334 A TW101141334 A TW 101141334A TW I487346 B TWI487346 B TW I487346B
Authority
TW
Taiwan
Prior art keywords
pixel
block
dynamic range
high dynamic
bgc
Prior art date
Application number
TW101141334A
Other languages
English (en)
Other versions
TW201419861A (zh
Original Assignee
Nat Univ Chung Cheng
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nat Univ Chung Cheng filed Critical Nat Univ Chung Cheng
Priority to TW101141334A priority Critical patent/TWI487346B/zh
Publication of TW201419861A publication Critical patent/TW201419861A/zh
Application granted granted Critical
Publication of TWI487346B publication Critical patent/TWI487346B/zh

Links

Landscapes

  • Image Processing (AREA)

Description

高動態範圍影像之色調對應方法
本發明係與影像處理的技術有關，特別是指一種高動態範圍影像之色調對應方法。
目前的攝像與真實場景之間，仍存有許多差異，其中最主要的因素之一，即使這些設備所能支援的亮度動態範圍，遠遜於人眼所能感知者。目前已可見到感光元件日益進展與影像處理技術的進步，這兩項進展都會有效提升攝像之動態範圍，拉近其與真實場景的距離。
不過，目前的顯示器受限於其電子元件，仍只能支援低動態範圍，因此即使在攝像方面已可以經由先進的感測元件或透過先進的影像處理技術來獲得高動態範圍(High Dynamic Range，以下簡稱HDR)，然而這些HDR影像卻無法直接正確的顯示，必須再經過一色調對應(Tone Mapping，以下簡稱TM)的程序來壓縮動態範圍之後，才能正確的在顯示器上展現影像的原貌。
目前效果最好的色調對應演算法為梯度壓縮式(Gradient Compression-Based，以下簡稱GC)演算法，但由於GC演算法涉及到計算梯度以及衰減函數，並且必須求解Poisson方程式，其運算十分複雜，僅僅一張靜態的影像即需耗時甚久，因此不能以純軟體方式因應即時性的視訊處理，而必須以硬體加速器來輔助運算，如此一來，硬 體成本增加，而且處理時間長，並不符合經濟效益。
由於GC演算法運算十分複雜，因此並不適合將全部的運算直接配合畫面之大小以硬體實現。目前的解決方法是將影像切割成區塊，再針對每個區塊進行運算(以下簡稱Block-based GC)，才能令硬體成本維持在可接受的範圍內。目前不論區塊間有無重疊，一般通用的解法均是在硬體的成本限制下，尋求最大的區塊，藉以減輕因區塊所造成的畫質下降。但無論區塊如何劃分，Block-based GC都會由於其區塊獨立作業的方式，喪失了畫面原有的全域連續性色調的性質，進而導致了畫質下降，此種問題在目前並未獲得解決。故，以Block-based GC雖為實作之必然，但卻也同時產生了畫質不佳的問題。
另外，還有計算較為簡易的「畫面式(Frame-Based)」色調轉換技術，其不需使用到大量的硬體運算成本，例如Photographic(以下簡稱PH)運算法[1]，或是Fast Bilateral Filtering法[2]等，其不會有畫質不佳的問題，但仍需使用一定程度的硬體運算資源，因此與Block-based GC可謂互有所長，而可有互補效果。
由於HDR影像的全面普及幾乎已是既定的趨勢，即時、快速地顯示HDR的影像資料亦必是不可或缺，因此具有即時且高品質的TM計算能力的設備即具有相當商業潛力，本發明正是呼應此一趨勢而提出。
[1] E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda, “Photographic Tone Reproduction for Digital Images,” Proc of SIGGRAPH, 2002.
[2] F. Durand and J. Dorsey, “Fast Bilateral Filtering for the Display of HDR Images,” ACM Transactions on Graphics, 21(3):257-266, 2002.
本發明之主要目的在於提供一種高動態範圍影像之色調對應方法，其可結合以區塊為基礎的梯度壓縮演算法(Block-based GC)以及畫面式(Frame-Based)色調轉換技術，可兼具簡化運算以及提升畫質的效果，進而具有減少硬體需求以及快速處理的效果。
為了達成前述目的，依據本發明所提供之一種高動態範圍影像之色調對應方法，包含有下列步驟：A)取得高動態範圍(HDR)的影像，該HDR影像係由多個畫面所組成，各該畫面係由多個像素所組成；B)對該HDR影像進行兩種處理，其一為將該HDR影像進行快速畫面式色調對應(Fast Global Tone Mapping)處理，並且其所處理的每個像素輸出為PixelFG ，其中各個像素所對應的像素輸出PixelFG 不一定相同；其二為將該HDR影像切割成多個區塊後再針對每個區塊進行以區塊為基礎的梯度壓縮演算法(Block-based GC)運算，並且其所處理的每個像素輸出為PixelBGC ，其中各個像素所對應的像素輸出PixelBGC 不一定相同；以及C)將每個像素所對應的該像素輸出PixelFG 與該像素輸出PixelBGC 進行一運算，此運算內容為 α×PixelFG +β×PixelBGC ，其中α及β的數值介於0與1之間，且α+β=1；運算後之結果即為最終之輸出結果。
較佳地，在步驟C)中，α及β的數值可視區塊的不同或畫面的不同來動態調整，不過仍需維持α及β的數值介於0與1之間，且α+β=1。
較佳地，於步驟B)中，該快速畫面式色調對應處理，係指以畫面為基礎(Frame-based)的處理方式，而且是針對整張畫面直接處理的方式，並且其運算複雜度不超過以區塊為基礎的梯度壓縮演算法(Block-based GC)。
較佳地，該快速畫面式色調對應處理，係選自影像色調對應法(Photographic Tone Mapping，簡稱PH)或快速雙邊濾波法(Fast Bilateral Filtering)兩者技術的其中之一。
為了詳細說明本發明之技術特點所在，茲舉以下之較佳實施例並配合圖式說明如後。
如第一圖所示，本發明一較佳實施例所提供之一種高動態範圍影像之色調對應方法，主要具有下列步驟：
A)取得高動態範圍(HDR)影像，該HDR影像係由多個畫面所組成，各該畫面係由多個像素所組成。
B)對該HDR影像進行兩種處理，其一為將該HDR影像進行快速畫面式色調對應(Fast Global Tone Mapping)處理，並且其所處理的每個像素輸出為PixelFG ，前述所處理的每個像素輸出為PixelFG ，其每個PixelFG 不一定相同；其 二為將該HDR影像切割成多個區塊後再針對每個區塊進行以區塊為基礎的梯度壓縮演算法(Block-based GC)運算，並且其所處理的每個像素輸出為PixelBGC ，前述所處理的每個像素輸出為PixelBGC ，其每個PixelBGC 不一定相同。
於本實施例中，該快速畫面式色調對應處理，係指以畫面為基礎(Frame-based)的處理方式，而且是針對整張畫面直接處理的方式，並且其運算複雜度不超過以區塊為基礎的梯度壓縮演算法(Block-based GC)。舉例而言，該快速畫面式色調對應處理，係可選擇影像色調對應法(Photographic Tone Mapping，簡稱PH)或快速雙邊濾波法(Fast Bilateral Filtering)兩者技術的其中之一。
C)將每個像素所對應的該像素輸出PixelFG 與該像素輸出PixelBGC 進行一運算，此運算內容為α×PixelFG +β×PixelBGC ，其中α及β的數值介於0與1之間，且α+β=1；運算後之結果即為最終之輸出結果。於本實施例中，α及β的數值可視區塊的不同或畫面的不同來動態調整，不過仍需維持α及β的數值介於0與1之間，且α+β=1。
藉由上述步驟，可取得快速畫面式色調處理方法的優點：處理整張畫面，但不分割成區塊，藉以保持畫面品質；另一方面，也可取得以區塊為基礎的梯度壓縮演算法(Block-based GC)的優點：可配合硬體的限制來快速處理，進而減少硬體需求，降低成本。並配合權重的分配(即α 及β的比例)，可調整出最適合的影像輸出結果。藉此，本發明所提供之技術解決了先前技術中對於硬體成本的限制，而且也解決了使用以區塊為基礎的梯度壓縮演算法(Block-based GC)造成畫面品質下降的問題。
由此可見，本發明達到了兼具簡化運算以及提升畫質的效果，進而具有減少硬體需求以及快速處理的效果。
第一圖係本發明一較佳實施例之操作示意圖。

Claims (4)

  1. 一種高動態範圍影像之色調對應方法，包含有下列步驟：A)取得高動態範圍(HDR)的影像，該HDR影像係由多個畫面所組成，各該畫面係由多個像素所組成；B)對該HDR影像進行兩種處理，其一為將該HDR影像進行快速畫面式色調對應(Fast Global Tone Mapping)處理，並且其所處理的每個像素輸出為PixelFG ，前述所處理的每個像素輸出為PixelFG ，其每個PixelFG 不一定相同；其二為將該HDR影像切割成多個區塊後再針對每個區塊進行以區塊為基礎的梯度壓縮演算法(Block-based GC)運算，並且其所處理的每個像素輸出為PixelBGC ，前述所處理的每個像素輸出為PixelBGC ，其每個PixelBGC 不一定相同；以及C)將每個像素所對應的該像素輸出PixelFG 與該像素輸出PixelBGC 進行一運算，此運算內容為α×PixelFG +β×PixelBGC ，其中α及β的數值介於0與1之間，且α+β=1；運算後之結果即為最終之輸出結果。
  2. 依據申請專利範圍第1項所述之高動態範圍影像之色調對應方法，其中：在步驟C)中，α及β的數值可視區塊的不同或畫面的不同來動態調整，不過仍需維持α及β的數值介於0與1之間，且α+β=1。
  3. 依據申請專利範圍第1項所述之高動態範圍影像之色調對應方法，其中：於步驟B)中，該快速畫面式色調對 應處理，係指以畫面為基礎(Frame-based)的處理方式，而且是針對整張畫面直接處理的方式，並且其運算複雜度不超過以區塊為基礎的梯度壓縮演算法(Block-based GC)。
  4. 依據申請專利範圍第3項所述之高動態範圍影像之色調對應方法，其中：該快速畫面式色調對應處理，係選自影像色調對應法(Photographic Tone Mapping，簡稱PH)或快速雙邊濾波法(Fast Bilateral Filtering)兩者技術的其中之一。
TW101141334A 2012-11-07 2012-11-07 Method of hue corresponding to high dynamic range image TWI487346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW101141334A TWI487346B (zh) 2012-11-07 2012-11-07 Method of hue corresponding to high dynamic range image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101141334A TWI487346B (zh) 2012-11-07 2012-11-07 Method of hue corresponding to high dynamic range image

Publications (2)

Publication Number Publication Date
TW201419861A TW201419861A (zh) 2014-05-16
TWI487346B true TWI487346B (zh) 2015-06-01

Family

ID=51294550

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101141334A TWI487346B (zh) 2012-11-07 2012-11-07 Method of hue corresponding to high dynamic range image

Country Status (1)

Country Link
TW (1) TWI487346B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070242141A1 (en) * 2006-04-14 2007-10-18 Sony Corporation And Sony Electronics Inc. Adjustable neutral density filter system for dynamic range compression from scene to imaging sensor
TWI320970B (en) * 2005-08-22 2010-02-21 Aptina Imaging Corp Hdr/ab on multi-way shared pixels
TWI334567B (en) * 2003-07-18 2010-12-11 Microsoft Corp A system and process for generating high dynamic range images from multiple exposures of a moving scene
TWI348816B (en) * 2007-12-14 2011-09-11 Ind Tech Res Inst Variable-gain wide-dynamic-range amplifier
TWI350104B (en) * 2006-08-25 2011-10-01 Micron Technology Inc Method, apparatus, and system providing an imager with pixels having extended dynamic range

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI334567B (en) * 2003-07-18 2010-12-11 Microsoft Corp A system and process for generating high dynamic range images from multiple exposures of a moving scene
TWI320970B (en) * 2005-08-22 2010-02-21 Aptina Imaging Corp Hdr/ab on multi-way shared pixels
US20070242141A1 (en) * 2006-04-14 2007-10-18 Sony Corporation And Sony Electronics Inc. Adjustable neutral density filter system for dynamic range compression from scene to imaging sensor
TWI350104B (en) * 2006-08-25 2011-10-01 Micron Technology Inc Method, apparatus, and system providing an imager with pixels having extended dynamic range
TWI348816B (en) * 2007-12-14 2011-09-11 Ind Tech Res Inst Variable-gain wide-dynamic-range amplifier

Also Published As

Publication number Publication date
TW201419861A (zh) 2014-05-16

Similar Documents

Publication Publication Date Title
CN108574794B (zh) 图像处理方法、装置及显示设备、计算机可读存储介质
CN108702514B (zh) 一种高动态范围图像处理方法及装置
JP5695186B2 (ja) ３次元ビデオのコンフォートノイズ及びフィルム粒子処理
CN109345490B (zh) 一种移动播放端实时视频画质增强方法及系统
EP3149706B1 (en) Image refocusing for camera arrays
NZ590610A (en) Perceptually-based compensation of unintended light pollution of images for display systems
US20140169669A1 (en) Tone mapping method of high dynamic range image/video
CN104182194A (zh) 投影显示中无缝边缘融合处理方法与系统
WO2019061654A1 (zh) 液晶显示器驱动方法、系统及计算机可读取介质
CN112991366A (zh) 对图像进行实时色度抠图的方法、装置及移动端
CN108885790B (zh) 基于所生成的运动数据处理图像
Eilertsen The high dynamic range imaging pipeline
Liba et al. Sky optimization: Semantically aware image processing of skies in low-light photography
WO2022111717A1 (zh) 图像处理方法、装置及电子设备
Lo et al. High dynamic range (hdr) video image processing for digital glass
US10225485B1 (en) Method and apparatus for accelerated tonemapping
WO2021184931A1 (zh) 适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置以及系统
CN109636749B (zh) 图像处理方法
TWI487346B (zh) Method of hue corresponding to high dynamic range image
TW202303374A (zh) 具有訊框外插的高品質ｕｉ元素
CN105469367B (zh) 动态视频图像清晰度强化方法及装置
WO2022000347A1 (zh) 图像处理方法、显示处理装置和计算机可读存储介质
US10063834B2 (en) Method and apparatus for providing video enhancements for display images
CN106648634A (zh) 一种屏幕截屏的方法及装置
WO2020107651A1 (zh) 图像处理方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees