TWI470581B - 用於顯示器之色調再現之方法 - Google Patents

Description

用於顯示器之色調再現之方法

本發明係關於高動態範圍(HDR)內容在低動態範圍(LDR)顯示器上之色調再現，且特定言之，本發明係關於具有變化照明條件之視訊之色調再現。

本申請案主張根據35 U.S.C. § 119(e)對2010年2月19日申請的臨時專利申請案第61/338532號之申請日期之權利。

當前，大多數顯示裝置具有一有限的動態範圍，該動態範圍低於實景中之動態範圍。在低動態範圍(LDR)顯示裝置上展示的HDR場景通常係對應於攝影中之過度曝光之飽和或對應於曝光不足之極黑。任一情況係不期望的，因為可損失數個細節。

HDR視訊格式中之可視內容之量已大量增加。因此，用於HDR視訊之色調映射吸引了學術以及工業之注意。然而，相比於靜止影像之色調映射，對HDR視訊色調映射做出相對很少的努力。

對於具有相對靜止照明條件之視訊場景，已知參數估計方法已執行得很好。在此等情況下，在具有靜態照明條件之相同視訊區段中一般將一組固定參數應用於所有圖框。

然而，對於一視訊場景中之變化的照明條件，因為色調映射參數可隨圖框不同而改變，所以對圖框應用一組固定參數會引起不良的色調映射結果。如此，存在對於可準確且有效執行具有變化的照明之場景中之色調映射之一色調映射程序之一需要。

一種用於色調映射高動態範圍(HDR)視訊以用於在低動態範圍顯示器中之顯示之方法，該方法包括：存取該HDV視訊；產生用於個別圖框之明亮度資訊；回應於該明亮度資訊將不同連續圖框群組分割成區段；將該等區段分類成靜態明亮度區段及暫態明亮度區段；產生用於該等靜態明亮度區段之一色調映射參數組；回應於一相鄰靜態明亮度區段之色調映射參數組，產生用於該等暫態明亮度區段之至少一者之一色調映射參數組；及根據各別色調映射參數組，色調映射該等靜態明亮度區段及該等暫態明亮度區段。該方法可進一步包括內插至少一參數類型，以自兩個相鄰暫態明亮度區段之色調映射參數組產生用於該等暫態明亮度區段之至少一者之色調映射參數組，其中該至少一參數類型可係一錨定點、一對比度增加位準及/或一曝光值。該分割步驟可包括將一圖框間低通濾波器應用於該等圖框之圖框位準平均明亮度以產生該明亮度資訊，或者，該分割步驟可進一步包括產生經濾波的圖框位準平均明亮度之明亮度梯度，以產生該明亮度資訊。可使用自該等圖框間低通濾波步驟之任一者獲得的峰值及相關聯之頻寬資料來分割群組。此外，一延遲可應用於一些暫態明亮度區段，其中不用該等暫態明亮度區段之參數組來色調映射至少一暫態明亮度區段之開始處之至少一圖框，且用該等暫態明亮度區段之該等參數組來色調映射該至少一暫態明亮度區段之後續圖框。

現將參考隨附圖式例示性描述本發明。

本發明一般係關於包含具有變化的照明條件之一些場景之視訊。通用方法可以首先偵測一視訊中之場景之開始時間及結束時間為開始。此後，該方法涉及藉由內插具有靜態明亮度之先前場景及下一場景之參數值而計算具有變化的照明條件之場景之每個圖框之參數。

圖1中繪示本發明之一通用系統圖。總體上，可藉由首先獲得具有一個以上場景之HDR視訊(101)而實行參數內插方案。下一步驟可涉及分析該視訊且將該視訊分割成場景或區段(102)。分析在此處涉及將該等區段分類成靜態區段或暫態區段。接下來估計用於靜態區段之參數組(103)。接著內插用於暫態區段之參數組(104)且估計該等參數組(105)。可使用一適當使用者介面執行估計。若滿足該等靜態區段及暫態區段之該等參數組之應用，則接著根據該等參數組執行色調映射(106)。若不滿足該等參數組之應用，則接著重新運行步驟103、104及105使得估計並找到靜態區段之一新參數組。

圖2係根據本發明用於步驟102中之視訊序列分割之一流程圖。該視訊101經獲得且被分析並分割成靜態區段及暫態區段(102)。程序流程如下：計算每一圖框之平均明亮度(202)；將圖框間低通濾波應用於平均明亮度資料(203)；計算低通濾波器明亮度資料之梯度(204)；將圖框間低通濾波應用於梯度資料(205)；自經濾波梯度資料來偵測峰值並計算相關聯之頻寬(206)；及自該峰值及頻寬資料計算該等暫態區段及靜態區段之位置(207)。

關於圖2中之程序流程，分析輸入HDR視訊之圖框位準平均明亮度。重要的係記住每一圖框之平均明亮度可隨時間改變。在圖3中繪示此，圖3展示一視訊序列中之不同圖框中之平均明亮度如何改變。此外，根據平均明亮度變化可將一視訊分割成若干區段。具有類似平均明亮度之連續圖框此處被特徵化為一靜態區段。兩個靜態區段間之圖框可具有隨時間逐漸改變的平均明亮度，該等圖框可被特徵化為一暫態區段。舉例而言，在圖3中，0至60周圍之圖框及在峰值處具有類似平均明亮度之圖框90周圍之圖框可係靜態區段且其等間之圖框可包括一暫態區段。

為偵測每一暫態區段之開始時間點及結束時間點，提出基於平均明亮度序列之分析之一方案。該方案如下：

a)在圖3中將一低通濾波器應用於平均明亮度序列(203)，以使如圖4中繪示的明亮度平滑；

b)計算如圖5中展示的平滑明亮度序列之梯度(204)且視情況將一濾波器應用於圖5中之該等梯度(205)，以獲得如圖6中展示的平滑梯度；

c)偵測圖5中之梯度曲線或圖6中之低通濾波器梯度曲線中之峰值及每一峰之頻寬(206)；及

d)計算該等暫態區段及靜態區段(207)。

可藉由從峰值圖框數目減去頻寬之一半而計算或估計每一暫態區域之開始時間點。可藉由將頻寬之一半加至峰值圖框數目而計算該暫態區域之結束時間點。

在定位該等靜態區段及暫態區段之後，估計該等靜態區段之一關鍵圖框之參數組且將該參數組應用於整個區段。該參數組可包含：錨定點，根據該等錨定點可將影像分為若干區域；用於每一區域之曝光值；對比度增加參數；及用於HDR色調映射之任何其他需要的參數。至於該參數組，可由許多技術之任一者獲得該等曝光值、錨定點及對比度增加；然而，下文更詳細闡述對比度增加及錨定點。

在至少一實施方案中，可界定一系列錨定點A _i (i =1..N )使得可使用每一A _i 來界定一區域且亦產生一單一曝光影像。該等錨定點可選擇為：

A ₁ =L _avg /E 　A _{n +1} =4‧A _n (n =2...N -1)

其中以上方程式中之E係一對比度且可採用值8。可如下文計算以上方程式中之區域數目N，該區域數目可涵蓋整個明亮度範圍。

L係明亮度影像，可根據HDR資料計算L。若該HDR資料係在XYZ顏色空間中，則Y分量可用作為明亮度影像。若該HDR資料使用相同的原色作為Rec.709，則可如下完成自RGB顏色空間之轉換：

L (i ,j )=0.2126*R (i ,j )+0.7152*G (i ,j )+0.0722*B (i ,j )

取決於輸入圖像之格式，可使用RGB(或其他顏色空間)與該明亮度影像間之其他轉換。

一旦已知每一區域之錨定點，則可計算用於每一區域之每一像素之權重。一般而言，對於由對應錨定點A _i 界定的每一區域，具有與該單一曝光影像最接近的值之像素係0.5且對於此區域，此像素具有大於其他像素之權重。

因此，可如下計算區域n(由錨定點A _i 界定)之位置(i ,j )處之像素權重：

其中C係一正規化因數且由以下定義：

以上計算的權重採取範圍[0,1]中之值且因此將明亮度影像之一模糊分區界定為N個區域。此意謂著每一區域可含有該影像中之所有像素，但該等區域之僅一部分可具有大權重。

利用線性比例調整，可指定一錨定點。若一像素之明亮度超過該錨定點，則該像素將飽和且被對應至1，否則該像素將被對應至0與1間之一值。因此，可如下定義線性比例調整單一曝光：

其中A係錨定點且可如下定義S(x)：

參數p可採取範圍[2.2,2.4]中之值且代表將展示色調映射影像之輸出裝置之γ。所得影像I可經量化且顯示在一習知LDR顯示器上。注意S(x)之其它定義係可能的。舉例而言，可使用一S形狀曲線代替冪函數。一般而言，可使用任一全部對應曲線用於S。

在另一實施方案中，將權重二進位化，其導致0或1及一硬分段：

W _p (i ,j )=1　W _q (i ,j )=0(q ≠p )

重要的係注意一旦完成該分段，該等錨定點A _n 以及W _n 係固定的。

可藉由使用一帶通金字塔獲得對比度增加，該帶通金字塔稱為拉普拉斯(Laplacian)金字塔，其係藉由形成一金字塔中之相鄰位準間之差異而獲得，其中在相鄰解析度位準處之表示間執行一內插，以能夠計算像素間之差異。I^k 係影像I之拉普拉斯金字塔之一位準，其中k={1,...,K}。k係位準且K係該金字塔中之位準數目。I可代表一數位影像之一顏色分量。I(i,j)代表座標(i,j)處之像素值。接著由金字塔I^k ‧B^k 重新構建該影像，其中B係特徵化為冪函數之對比度增加

此處，形狀控制項α係在範圍[0,1]中且通常在0.2與0.4間且增加強度β係經常在範圍[0,2]中之一正數。注意β<1增加對比度，而β>1減小對比度。利用此等兩個參數，可控制多少增強應用於該影像。應注意可使用不同公式計算對比度增加金字塔B^k ，k={1,...,K}。

判定用於靜態區段之參數組之後，本發明之一實施方案使用兩個相鄰靜態區段之參數用於內插。如此，圖1中展示的下一步驟係內插用於該等暫態區段之參數組104。實用的係兩種內插方案。一種係無光適應之內插。另一種係具有光適應之內插。

對於該等暫態區段，利用無光適應之方法，可內插基於從先前步驟獲得的靜態區段之參數之參數組。可由對數域中之線性內插完成該內插，如下。

其中A、B及G分別指代對數域中之錨定點、對比度增加位準及曝光值；m及n指代暫態區段之開始圖框索引及結束圖框索引，j係定位在該暫態區段中之當前圖框數目。若不考慮光適應，則A、B及G值用作為暫態區段之參數。

然而，人類視覺系統有效執行一廣泛發光強度，介於星光之下至日光間。從暗至亮變化或小光遞減之較快恢復(可費時數秒)稱為光適應。

在具有光適應之一實施方案中，執行上文參數內插以模擬人類視覺系統如何適應光條件改變。當環境變得較亮時，此尤其有用。

本質上的想法係在該參數內插中引入一延遲因數。對於轉變時期中之最前面的少數圖框，仍使用來自一先前場景之參數。此後，將使用對數域中之一線性內插：

其中A、B及G分別指代對數域中之錨定點、對比度增加位準及增益值；m及n指代暫態區段之開始圖框索引及結束圖框索引，且j係定位在該暫態區段中之當前圖框數目。l指代照明改變之開始之時間延遲，其模擬人類視覺系統如何經調適以適應突然的照明改變。通常，l之值採取3至6個圖框。

一旦已獲得用於暫態區段之參數組，該等參數組可直接應用於視訊以色調映射該視訊(106)，則可估計參數組(105)。如上文提到的，可使用一適當使用者介面執行估計，其中若滿足該等靜態區段及暫態區段之該等參數組之應用，則接著根據該等參數組執行色調映射(106)，且若不滿足該等參數組之應用，則接著重新運行步驟103、104及105使得估計並找到靜態區段之一新參數組。步驟103、104及105之重新運行可包括對梯度資料應用一額外低通濾波器操作及/或修改對比度增加參數。

雖然上文已描述本發明之特定實施例，但出於繪示及闡述之目的給出此等描述。在不背離本發明之範圍或精神情況下可採用上文揭示的系統及方法之變體、改變、修改及違背。

101．．．HDR視訊

圖1係根據本發明用於判定之色調映射之參數組之一流程圖；

圖2係根據本發明用於視訊序列分割之一流程圖；

圖3係展示一視訊序列中圖框間之平均明亮度如何改變之一實例之一圖表；

圖4係展示繼低通濾波後一視訊序列中圖框間之平均明亮度如何改變之一實例之一圖表；

圖5係展示圖4中經低通濾波的視訊序列之梯度之一圖表；及

圖6係展示圖5中之梯度之低通濾波結果之一圖表。

101．．．HDR視訊

Claims (15)

1. 一種用於顯示器之色調再現之方法，其包括：存取具有複數個個別圖框之一視訊；產生用於該等個別圖框之一明亮度資訊；回應於該明亮度資訊將不同連續圖框群組分割成區段；將該等區段分類成靜態明亮度區段及暫態明亮度區段；產生用於該等靜態明亮度區段之一色調映射參數組；回應於一相鄰靜態明亮度區段之該色調映射參數組，產生用於該等暫態明亮度區段之至少一者之一色調映射參數組；及根據該等各別色調映射參數組，色調映射該等靜態明亮度區段及該等暫態明亮度區段。
2. 如請求項1之方法，其包括內插至少一參數類型以自兩個相鄰暫態明亮度區段之該等色調映射參數組產生用於該等暫態明亮度區段之該至少一者之該色調映射參數組。
3. 如請求項2之方法，其包括從由錨定點、對比度增加位準或曝光值組成之群組中選擇該至少一參數類型。
4. 如請求項1之方法，將一圖框間低通濾波器應用於該等圖框之圖框位準平均明亮度，以產生用於該分割步驟之該明亮度資訊。
5. 如請求項1之方法，其包括： 將一圖框間低通濾波器應用於該等圖框之圖框位準平均明亮度；及產生該經濾波圖框位準平均明亮度之明亮度梯度，以產生用於該分割步驟之該明亮度資訊。
6. 如請求項1之方法，其包括：將一圖框間低通濾波器應用於該等圖框之圖框位準平均明亮度；產生該經濾波圖框位準平均明亮度之明亮度梯度；自該等梯度偵測峰值及相關聯之頻寬資料；使用該等峰值及該相關聯之頻寬資料作為用於該分割步驟之該明亮度資訊。
7. 如請求項6之方法，其中自一峰值圖框值與對應頻寬之一半間之差異來判定該等暫態明亮度區段之一開始時間點，且自一峰值圖框值與該頻寬之一半之總和來判定該等暫態明亮度區段之一結束時間點。
8. 如請求項2之方法，其包括：將一圖框間低通濾波器應用於該等圖框之圖框位準平均明亮度；及產生該經濾波圖框位準平均明亮度之明亮度梯度，以產生用於該分割步驟之該明亮度資訊。
9. 如請求項2之方法，其包括：將一圖框間低通濾波器應用於該等圖框之圖框位準平均明亮度；產生該經濾波圖框位準平均明亮度之明亮度梯度； 自該等梯度偵測峰值及相關聯之頻寬資料；使用該等峰值及該相關聯之頻寬資料作為用於該分割步驟之該明亮度資訊。
10. 如請求項9之方法，其中自一峰值圖框值與對應頻寬之一半間之差異來判定該等暫態明亮度區段之一開始時間點，且自一峰值圖框值與該頻寬之一半之總和來判定該等暫態明亮度區段之一結束時間點。
11. 如請求項2之方法，將一圖框間低通濾波器應用於該等圖框之圖框位準平均明亮度，以產生用於該分割步驟之該明亮度資訊。
12. 如請求項8之方法，其包括從由錨定點、對比度增加位準或曝光值組成之群組中選擇該至少一參數類型。
13. 如請求項9之方法，其包括從由錨定點、對比度增加位準或曝光值組成之群組中選擇該至少一參數類型。
14. 如請求項1之方法，其包括將一延遲應用於至少一暫態明亮度區段，使得不使用該等暫態明亮度區段之該等參數組來色調映射該至少一暫態明亮度區段之開始處之至少一圖框，且使用該等暫態明亮度區段之該等參數組來色調映射該至少一暫態明亮度區段中之後續圖框。
15. 如請求項14之方法，其中該延遲係3至6個圖框。