TW200833106A - Tone mapping method for dynamic range image - Google Patents

Description

200833106 P51950170TW 22677twf.doc/t 九、發明說明： 【發明所屬之技術領域】 本發明是有關於一種影像壓縮技術，且特別是有關於 一種動態範圍影像之色調壓縮方法。 身 【先前技術】 ^ 捕捉自然界的亮度一直是攝影學一個重要的議題。一 般而言，人類可見的自然界亮度範圍相當廣，運用亮度捕 籲 捉技術可將之保留並儲存成高動態範圍影像（High

Dyimnic Range Image，HDRI)。然而透過精確的相機或攝 影機’或者透過多張低動態範圍影像(Low Dynamic Range Image ’ LDRI)所捕捉自然界的亮度影像，可完整地保存自 然界的可見光，但是在輸出機器上仍然有許多限制。以一 般的顯示器及列印設備而言，它們所能呈現的顏色頻道通 常僅有256階的對比。如何將一個高動態範圍影像壓縮或 是對應到低動態範圍的影像，同時能夠保留人類視覺上最 多最自然的資訊之研究主題就稱之為色調壓縮（t〇ne maPPing) ’ 或是色調重建(tone reproduction)。 高動態範圍影像的範疇大致上可分為兩大類：高動態 範圍影像重建與壓縮。前者著重於如何透過多張低動態範 • 圍影像來合成出一張精準的高動態範圍影像，同時考慮各 、 種拍攝過程會遇到的問題。而後者則是將高動態範圍影像 壓縮到低動態範圍影像。也就是說，各種不同的方法會產 生各種不同的壓縮效果。過去的研究發展多著重在對比或 是色彩的提升，少部分則是著重在重建人類視覺效果。 200833106 P51950170TW 22677twf.doc/t 若以方法來看，色調壓縮技術可區分成全域性對應 (global mapping)及區域性對應(k)cal mapping)的運算，全域 性運ί方法多數都是產生一個對應曲線使得高動態範圍對 低動悲範圍有一對一的對應，其最後會因為解析度的關係 - 使得在同一階的值對應到同一個低動態範圍值 。不過這不 • 影響全域性運算是一對一對應的本質。區域性運算方法則 疋依照影像不定大小區域的特性，進而改變該畫素的亮 • 度，因此一個高動態範圍值可能對應到不同的低動態範圍 值。 然而’如前所提到的情形，各種不同的方法會產生各 種不同的壓縮效果。因此，業者仍繼續尋求更有效的壓縮 技術，使壓縮過程中仍能盡量維持原影像的對比效果。 【發明内容】 本發明提供一種動態範圍影像之色調壓縮方法，可以 將高動態範圍的影像進行色調壓縮，而仍能至少盡量維持 馨 原有的相對売度關係，減少影像亮度的失真。 本發明提出一種動態範圍影像之色調壓縮方法，包括 接收Ί第一影像，有一第一動態範圍。分離第一影像的一 、 ^衫貧訊與一亮度資訊。根據亮度資訊計算第一影像的一 冗度梯度值。進行疊代(iteration)調整亮度步驟，其中一梯 ’度調整函數被使用來調整亮度，以得到一壓縮亮度資訊。 ，合該壓縮亮度資訊與該色彩資訊，得到一第二影像有一 第二動態範圍，其中該第一動態範圍比該第二動態範圍大。 根據本發明一實施例，於前述色調壓縮方法中，根據 200833106 P51950170TW 22677twf.doc/t 前述亮度資訊計算第一影像的亮度梯度值的步驟，例如包 括：將該亮度資訊對數化；以及根據被對數化後的亮度資 訊，進行每一晝素點計算出亮度梯度值。

根據本發明一實施例，於前述色調壓縮方法中，進行 疊代調整亮度的步驟，例如包括:根據該亮度梯度值，計算 出一梯度調整函數;根據該梯度調整函數，進行調整該亮度 梯度值，得到一初始亮度；以及對該初始亮度進行疊代調 整，以得到該壓縮亮度資訊。 根據本發明一實施例，於前述色調壓縮方法中，前述 梯度調整函數會使高於標準值的畫素的亮度梯度下降，而 使低於標準值的晝素的亮度梯度提高。 根據本發明-實施例，於前述色調壓縮方法中，進行 Γΐϊΐ度梯度值的步驟例如是針對每—4素取該亮度梯 fit梯度娜函數，以得_整亮度梯度。 行疊代調整亮度的步驟，述色韻^方法中’在進 值，是取自另-處理方式:所使用的一影像亮度初始 根據本發明一實施的絲: 行疊代調整亮度的步驟於則述色賴縮方法中，在進 值，是取自利甩全區域斜^如所使用的一影像亮度初始 根據本發明-實施例〜方^所計算的結果。 行疊代調整亮度該步驟，^前述色調壓縮方法中，在進 值，是取自-常數影像。料所使⑽—影像亮度初始 根據本發明一實施柄 ， ’於前述色調壓縮方法中，在進 200833106 P51950170TW 22677twf.doc/t 行疊代調整亮度的步驟，例如所使用的一影像亮度初始 值，是取自該亮度資訊的對數值。 根據本發明一實施例，於前述色調壓縮方法中，其亮 度資訊是針對每一畫素，根據紅(R)/綠(G)/藍(B)三成份， ，分別乘以一常數後的加總值LW。又例如，亮度資訊是計 算式 LW = 0.299R+0.587G+(U14B 的計算結果。 根據本發明一實施例，於前述色調壓縮方法中，色彩 φ 資訊是將紅(R)/綠(G)/i(B)三成份是正規到該加總值，所 得到三個色彩度:RR = R/LW;RG = G/LW;以及RB = B/LW 〇 明之上述和其他目的、特徵和優點能更明顯易懂，下 文特舉較佳實施例，並配合所附圖式，作詳細說明如下。 【實施方式】 本發明針對南動態範圍影像（high dynamic range image，HDRI)提出一色調壓縮技術(t〇ne mapping)。傳統的 顯示器或列印設備無法直接輸出高動態影像範圍影像。本 务明的色调壓縮技術可將咼動態範圍影像轉換為低動態範 圍影像(low dynamic range image，LDRI)，且適度保留高動 態範圍影像的資訊。本案所提及的色調壓縮技術，是以梯 • 度運算方法(gradient operation)為基礎，並採用非線性梯度 調整函數，對高動態範圍影像的梯度做區域性或全域性調 整，使得經壓縮後的影像仍具有良好的對比與清晰度。 本發明所提的演算方法，例如分為三個主要步驟:建立 品質普通的初始影像;梯度調整運算以及疊代型差分運 200833106 P51950170TW 22677twf.doc/t 算。經過這些疊代運算播， 且保留其對比度與色調。度^換高減範圍影像 是本發明不僅限制於所舉實些實施例做為說明，但 算速ίί』Γ二吏用：域性與區域性演算以同時兼顧演 貝。全域性的演算方法目的在於先將高動 也以區域性_方_祕圍影像，同時 # /去改交原本高動態範圍影像的梯度

高動雜_對_以被㈣。接著再以疊 ί ^ ^fmite diffe^ ^ ^ ^ 二Γί冋時兼顧速度及品質。因為現有的全域方法容 Μ 型不同而無法在不同類型場景都適用或是 ^同日痛及高低亮度。而區域的方法則是受限於區域的 所小，定以及必須要較長的計算時間才能達雜佳的品 二木用本發贿提的方式來進行色顧縮可以使得影像 、:^地到達巾等的品質，然後經由不定程度的疊代運算來 、口到較佳影像品f。換句話說，本發明提出具有全域性與 區域性的影像壓縮方法，可兼顧兩者的優點。 古^^顯示器的色調壓縮電路而言，輸入端是輸入一張 二動態範11影像，而輸出端為—張低動態範圍影像。圖！ 、、、曰=依據本發明一實施例，動態範爵影像之色調壓縮方法 的二私示思圖。參閱圖1，於步驟1⑽，接收一張高動態範 圍影像。於步驟102，在輸入高動態範圍影像後，影像中 =色彩與亮度資訊先被分離，其中亮度資訊以對數函數壓 縮後，再進行梯度運算。其中也設計一個與亮度梯度相關 200833106 P51950170TW 22677tw£doc/t 的非線性函數。這個非線性函數用來調整亮声， 這些被修改後的亮度梯度是我俩如 又^而 且應該要存在_態範‘d料，對比效果， ，用豐代法做為逼近所要目標的方法。當次= 數量則終止程序。另外，於步驟1Λκ l 數達疋 態範圍影像中，分離出色彩資^ 輸入的張高動 104中疊縮後的亮度與在步驟⑽中色彩資驟 亚輸出成低_範_像L言， ^ 的輸八細;㈡亮度2 運〜U及(二)$代逼近駿梯度，分述如下。 (一）、關於色頻的輸入與輸出 ^動態翻影像做騎人的齡。㈣介可以 他資料串流形式。這些資訊可以數位化成每一個書 :::ί ;種色頻紅綠藍(職)，且每-個色頻皆涵蓋了高 ^章先透過方程式⑴的線性轉換，例如可將影像中 的母一個晝素的亮度估算成Lw: ^二 〇.2997? + 0·587σ + 〇1145 ° ⑴ ^每-個晝素的三色頻被切割為亮度與色彩。色彩則依 厂儿度的比例被正常化(n〇rmalize)，並且記錄成如方 (2)的形式。 200833106 P51950170TW 22677twf.doc/t K-RiLw ^g=G/Lw (2) 經過色調壓縮運算後，可計算出低動態範圍的亮度^ (後續會說明），在輸出低動態範圍影像之前，需要還原各 - 色頻，因此這些彩度資訊將以線性映射回輸出設備所支援 - $動態範圍。當高動態範圍影像的亮度與色彩分離後，繼 續將亮度壓縮並將這些數值正常化，進而從這些亮度資訊 • 中，取出與對比相關的資訊，例如是亮度的梯度。由於高 動態範圍影像在壓縮的過雇中，極容易發生對比不足的現 象，因此梯度運异與梯度調整(attenuated gradient)格外重 要，經過調整後的梯度仍持續保有原來的對比度，局部對 比不足處，可透過局部調整運算進而強化。 當亮度的梯度已經被調整後，本發明設計出一個較佳 的初始亮度值，當作全域性壓縮的初始條件，接著再對這 ，初始條件進行疊代運算，使它們滿足被調整後的梯度。 φ 最後則是依照前述的方法將亮度值轉換為低動態範圍的 RGB值輸出影像。 (二）、關於亮度梯度運算與調整 圖2繪示依據本發明一實施例，計算亮度梯度的流程 圖。 ' / 先描述計算對數壓縮的亮度值的方法。於取得亮度值 後（步驟120)，其是先以對數函數將亮度資訊壓縮（步驟 12f，因為人類視覺對於自然光線呈現對數的反應，亦即 對回冗度部份的對比反應較低亮度為差因此取得亮度資訊

II 200833106 P51950170TW 22677twf.doc/t 後我們計算梯度的時候必須先進行對數的壓縮，對於每一 個晝素所到的乙㈧值，進行如方程式(3)的運算· (3)

Η 二 l〇g(LJ 接著描述計算亮度梯度的方式(步驟124)。本萨明 用一階差分來計算亮度梯度，其計算方式如方程式x文 其向量數值大小如方程式(5)所示。

(4) (5) 其中，々·代表影像晝素的亮度梯度值。於此，當在計算梯 度值日守，在影像右邊界的晝素，會使用到超出實際影像的 晝素以外的畫素值，其例如可以設為零。 圖3繪示依據本發明實施例，亮度梯度值的分佈示意 圖。於圖3，左邊的影像是實際影像的亮度正常化後的數 馨 值。而右邊影像是壳度梯度的影像，其中亮區表示亮度梯 度較低的部份。' 繼續描述計算梯度調整函數(步驟126)。如先前所述， • 调整函數扮次將党度梯度調並強化對比的角色。通常在影 •像中的冗度梯度較南的部份代表亮度的邊界，而影像中亮 度梯度較低的區域往往是反射或貼圖的邊界。本發明例如 傾向把反射邊界與亮度邊界的梯度比例調整為相同。此可 藉由Fattal所提出的函數來達成。其調整函數如方程式⑹ 所示： 12 (6) 200833106 P51950170TW 22677twf.doc/t II ▽乂 II « 此函數(6)在不同的參數所產生的統計曲線圖繪製如圖4所 示。圖4繪示晝素對Φυ值的直方圖(Histogram)，其中α 是所給的參考值，會產生不同的分佈。以a為標準，將高 於標準值的亮度梯度下降(函數值小於1)，而將低於標準的 '亮度梯度往上提高（函數值大於1)。因此可以造成亮度梯度 分佈不會著重在亮度邊界的結果，使得整個影像的反射邊 界能夠盡量顯現出來。 (三）、關於疊代調整亮度 1·計算調整亮度梯度 本發明將原本的亮度梯度與調整函數做結合使得產 、 一調整過後的亮度梯度，如方程式(7):

2·疊代調整亮度 ⑺

⑻ (9) 、經過調整後的亮度梯度，再以有限差分盘& 程式⑻〜方程式⑽來計算—個新的亮度影像,

▽2/ =： divG I)ij -Ii+lJ +//J+1 13 200833106 P51950170TW 22677twf.doc/t* 0〇)(11) 其運算的電腦程式虛擬碼例如是:

Let 11^=〇 — Initial for each pixels (ij ) in the image for each pixels (ij) in the image

{ 〇,y = functun of ||V//^.|| 、=Φ^Ην } for each pixels (ij ) in the image (divG), = + φ^-φ(；ι for (k=Q·，k〈specified—count·, 灸++ ) for each pixels (ij ) in the image j 1 ^L=Jt+l = 4 + + ^-lj + JiJ-\ ~ (divG)y ],=t ⑩ ~ --— 換句話說，計算後可以到所要的亮度Iij。 圖5繪示依據本發明實施例，計算調整後亮度的产 • 示意圖。於步驟500，計算亮度梯度。於步驟506，進; . 整函計# ’例如式⑹的Φ//的計算。於步驟5〇2，根據步 驟500，506的結果，進行調整亮度梯度，例如式⑺的 φ(/的二鼻。於步驟5。4，進行疊代調整亮度，例) 的計算。 14 200833106 F51950170TW 22677twf.doc/t 本發明提出上述的方法後進行實際驗證。本發明的演 异法包括全域性與區域性演算，也就是說以不同的全域性運算 結果做為初始值，並列舉三組實驗結果： 實驗結果一：例如以常數影像當作方程式(U)的初始值進 • 行疊代，結果如圖6所示。圖(5繪示依據本發明實施例，以常 數影像當做初始值的疊代結果。 貫驗結果二··圖7繪示依據本發明實施例，以對數值當作 ⑩初始值的疊代結果。例如以對數值，l〇g(‘），當作影像方程 式(11)的初始值進行疊代，其不同疊代次數結果可發現，影像 晝素分佈特性相近，整體而言影像亮度稍微降低。可知由亮度 的數空間所計算出的亮度梯度即使經過修正，若將其對原始 売度進行疊代，所能改變的影響不明顯。 貫驗結果三：例如以全區對應的演算結果後，例如採取

Blswas所提財法，再當作縣的初雜進行4代。Biswas 所提出的方法如方程式(12):

• L L CW (12) ，ί :=的c是―參數，La是平均亮度值。利用方程式⑽計 ‘ :、、〇做為方程式(11)的初始值。圖8繪示依據本發明實 ⑪歹"、以全區對應的演算結果為初始值的疊代結果。 ffl 8(d) 1〇5 100 ^ 圖_的2 ^的調整後的亮度值，以反應出對比。其中在 儿度區域因為全域對應的曲線特性之故沒辦法顯 200833106 1 /OTW 22677twf.doc/t 示出該部分的對比。然❿，透過本發明區域的亮度梯度 法，可以把該區域的對比顯示出來，如圖8(e)，圖^^ 繪示圖8(d) ’ 8(e)，8(1)的統計分佈圖。於圖9可看出原本^中 在高亮度區域的影像逐漸擴大其對比分布。 然而，本發明的疊代初始值的選定不限於上述的方式，而 可以實際輯來決定。而本發日収進—步麵域性的亮度 處理，可以保留更多的亮度對比資訊，以提升壓

雖然本發明已以較佳實施例揭露如上，然'其並非用以 限定本發明，任何熟習此技藝者，在不脫離本發明之精 $範圍内，當可作些許之更動與潤飾，因此本發明之保護 範圍當視後附之申請專利範圍所界定者為準。 又 【圖式簡單說明】 圖1 !冒不依據本發明一實施例，動態範圍影像之色調 壓縮方法的流程示意圖。 圖2緣示依據本發明一實施例，計算亮度梯度的流程 圖。 圖3緣示依據本發明實施例，亮度梯度值的分佈示意 圖。 "" ^圖4繪示晝素對％值的直方圖(Histogram)，其中α 是所給的參考值，會產生不同的分佈。 圖5繪示依據本發明實施例，計算調整後亮度的流程 示意圖。 圖6 I會示依據本發明實細，以常數影像當做初始值的 疊代結果。 16 200833106 ίο 1 y)ui /OTW 22677twf.doc/t 圖7繪示依據本發明實施例，以對數值當作初始值的疊 代結果。 圖8繪示依據本發明實施例，以全區對應的演算結果為 初始值的疊代結果。 圖9繪示圖8的統計分佈圖。 【主要元件符號說明】 100〜108 : 步驟 120〜126 : 步驟 500〜506 : 步驟 17

Claims (1)

1. 200833106 roiyDui/uTW 22677twf.doc/t 十、申請專利範圍： I一種動態範圍影像之色調壓縮方法，包括： 接收一弟一影像，有一第一動態範圍； 分離該第一影像的一色彩資訊與一亮度資訊； 根據該亮度資訊計算該第一影像的一亮度梯度值； 進行疊代(iteration)調整亮度步驟，其中一梯度調整函 數破使用來調整亮度，以得到一壓縮亮度資訊；以及

   ，合該壓縮亮度資訊與該色彩資訊，得到一第二影像 ^第-動態範圍，其中該第一動態範圍比該第二動態範 N大。 “ 心2·如申料利範圍第1項所述之動態範圍影像之色調 梯^^中根據該^度資訊計算該第—影像的該亮度 將該亮度資訊對數化；以及 根據被缝化後的該亮度颜，進行每—晝素點計算 出该亮度梯度值。 a/·如中請專利範圍帛1項所述之動態範圍影像之色調 1細方法^其中進行疊代調整亮度之該步驟包括： 根據該亮度梯度值，計算出一梯度調整函數； ―、根據该梯度調整函數，進行調整該亮度梯度值，得到 —初始亮度；以及 對4初始亮度進行疊代調整，以得到該壓縮亮度資 4·如申請專利範圍帛丨項所述之動態範圍影像之色 18 200833106 rji^ui/OTW 22677twfdoc/t :::二二中::度調整函數會使高於標準值的晝素 的儿度梯度τ降，⑽低於鮮值 二述之動態範圍景=調 一者素，取;整该免度梯度值的該步驟是針對每 該^始亮^度值再乘上該梯度調整函數，以得到 壓縮二:1中1 =辄圍ί1、項所述之動態範圍影像之色調 進仃豐代調整亮度的該步驟中所使用的 Τ取自另—處理方式所計算的結果。 調壓縮方、、^1項所述之動態翻影像之色 二-旦 n在進行疊代調整亮度的該步驟中所使用 勺衫像π度初始值，是取自利用全區域 （Global Mapping)方式所計算的結果。 、對應（ 二申Ifj範圍第1項所述之動態範圍影像之色調 。在進行豐代調整亮度的該步驟中所使用的 一影像焭度初始值，是取自一常數影像。 芦纩5申ΐί利範圍J項所述之動態範圍影像之色調 n & > "在進行豐代調整亮度的該步驟中所使用的 一影像免度初始值，是取自該亮度資訊的對數值。 ^ 1〇2 + 申明專利範圍第1項所述之動態範圍影像之色 ’其中該亮度#訊_诗—晝素，根據紅(R)/ 、、、_)/監(Bf成份，分別乘以一常數後的加總值 …、1—1·如申轉利範圍帛10項所述之動態範圍影像之色 調壓縮方法，其中該亮度資訊是 19 200833106 rj doi /OTW 22677twf.doc/t Lw = 0.299R+0.587G+0.114B。 12·如申請專利範圍第ίο項所述之動態範圍影像之 色調壓縮方法，其中該色彩資訊是將紅(R)/綠(G)/藍(B)三 成份是正規(normalization)到該加總值，分別得到對應紅、 綠、藍的三個色彩度： Rr 二 R/Lw、Rg 二 G/Lw、Rb = B/Lw。 20