TWI671710B

TWI671710B - 用於高動態範圍影像之色調曲線映射

Info

Publication number: TWI671710B
Application number: TW107105408A
Authority: TW
Inventors: 賈桂林安娜派羅茲; 羅賓阿特金斯
Original assignee: 美商杜拜研究特許公司
Priority date: 2017-02-15
Filing date: 2018-02-14
Publication date: 2019-09-11
Also published as: TW201835861A; WO2018152063A1

Abstract

本發明提出了用於將一影像自一第一動態範圍映射至一第二動態範圍之方法。該映射係基於一函數，該函數包含使用三個錨點及三個斜率判定之兩個樣條多項式。使用輸入及目標輸出之黑點位準來判定該第一錨點，使用該輸入及目標輸出之白點位準來判定該第二錨點，且使用該輸入及目標輸出之中間色調資訊資料來判定該第三錨點。基於一理想的一對一映射且藉由保持黑色及高亮光中之輸入對比度，自適應地計算該目標輸出之該中間色調位準。本發明提出了一種基於三階(三次)賀米特樣條(Hermite spline)之例示性色調映射轉移函數。

Description

用於高動態範圍影像之色調曲線映射

本發明大體上係關於影像。更特定言之，本發明之一實施例係關於判定用於將高動態範圍(HDR)影像及視訊信號自一第一動態範圍映射至一第二動態範圍之一色調曲線之參數。

如本文中所使用，術語「動態範圍」(DR)可關於人類視覺系統(HVS)感知一影像中之一強度(例如，照度、亮度)範圍(例如，自最暗灰色(黑色)至最亮白色(高亮光))之一能力。在此意義上，DR係關於一「場景相關性」強度。DR亦可關於一顯示裝置充分或近似地呈現一特定廣度之一強度範圍之能力。在此意義上，DR係關於一「顯示相關性」強度。除非在本文中之描述中之任何時刻將一特定意義明顯地規定為具有特定重要性，否則應推斷該術語可例如可互換地以任一意義使用。如本文中所使用，術語高動態範圍(HDR)係關於跨越人類視覺系統(HVS)之一些14至15個數量級之一DR廣度。實際上，可相對於HDR將DR (人類在超過DR時可同時感知強度範圍中的廣泛廣度)稍微截除。如本文中所使用，術語增強動態範圍(EDR)或視覺動態範圍(VDR)可獨立地或可互換地關於DR，該DR在一場景或影像內可由人類視覺系統(HVS)感知，該HVS包含眼睛移動，從而允許跨該場景或影像之一些光適應變化。實際上，影像包括一或多個色彩成分(例如，亮度Y及色度Cb及Cr)，其中每一色彩成分係以每像素n 位元之一精度表示(例如，n =8)。使用線性照度編碼，將n ≤8之影像(例如，彩色24位元JPEG影像)視為標準動態範圍之影像，同時可將n ＞8之影像視為增強動態範圍之影像。EDR及HDR影像亦可使用高精度(例如，16位元)浮點格式(諸如，由工業光學魔術公司(Industrial Light and Magic)開發的OpenEXR檔案格式)儲存及分佈。如本文中所使用，術語「後設資料」係關於作為編碼位元流之部分被傳輸且輔助一解碼器呈現一經解碼影像之任何輔助資訊。此後設資料可包含但不限於如本文中所描述之色彩空間或音域資訊、參考顯示參數及輔助信號參數。多數消費者桌上型顯示器當前支援200 cd/m² 或尼特(nit)至300 cd/m² 或尼特之照度。大多數消費者HDTV的範圍自300尼特至500尼特，其中新型號達到1000尼特(cd/m² )。此等習知顯示器因此相對於HDR或EDR為一低動態範圍(LDR)的典型，亦稱為一標準動態範圍(SDR)。當EDR內容之可用性由於擷取設備(例如，相機)及EDR顯示器(例如，來自杜比(Dolby)實驗室的PRM-4200專業基準監視器)兩者的發展而不斷增長，EDR內容可調色及顯示在支援更高動態範圍(例如，自1000尼特至5000尼特或更高)之EDR顯示器上。一般而言且無限制，本發明之方法係關於高於SDR之任何動態範圍。高動態範圍(HDR)內容創作現在變得非常普遍，因為此技術比更早期格式提供更逼真且栩栩如生的影像。然而，許多顯示系統(包含數億個消費者電視顯示器)不能再現HDR影像。此外，由於HDR顯示器之範圍廣(即，自1,000尼特至5,000尼特或更高)，在一HDR顯示器上最佳化的HDR內容可能不適合在另一HDR顯示器上直接播放。用於服務整個市場之一種方法係創作多個版本的新視訊內容；即，一個版本使用HDR影像，且另一版本使用標準動態範圍(SDR)影像。然而，這要求內容作者以多種格式創作他們的視訊內容，且可能要求消費者知道為他們的特定顯示器購買哪種格式。一種潛在更好的方法可能係創作一個版本的內容(為HDR形式)，且使用一影像資料變換系統(例如，作為一視訊轉換器功能性之部分)來將輸入HDR內容自動地降頻轉換(或升頻轉換)為適當的輸出SDR或HDR內容。正如本發明人在此所明白的，為改良現存顯示方案，開發了用於判定用於HDR影像之顯示映射之一色調曲線之改良技術。本段中描述之方法係可追求之方法，但不一定是先前已構想或追求之方法。因此，除非另有指示，否則不應假設本段中描述之方法之任一者僅僅由於它們被包含在本段中而被認為係先前技術。類似地，除非另有指示，否則關於一或多種方法識別之問題不應被假設為在任何先前技術中基於本段被認可。

相關申請案交叉參考本申請案主張皆在2017年2月15日申請之美國專利申請案第62/459,141號及歐洲專利申請案第17156284.6號以及在2017年3月1日申請之美國臨時專利申請案第62/465,298號之優先權利，該等申請案之各者以引用方式併入本文中。本文中描述了用於判定用於顯示高動態範圍(HDR)影像之映射之一色調曲線之方法。在以下描述中，出於解釋目的，闡述數種特定細節以提供對本發明之一透徹理解。然而，將明白可在沒有此等特定細節之情況下實踐本發明。在其他例項中，未詳盡地描述眾所周知的的結構及裝置以避免不必要地封閉、模糊或混淆本發明。概述本文中描述之例示性實施例係關於用於判定用於顯示高動態範圍(HDR)影像之映射之一色調曲線之方法。在一視訊系統中，在一實施例中，對於一輸入影像，一處理器接收第一資訊資料，其包括一第一動態範圍中之一輸入黑點位準(x1,SMin)、一輸入中間色調位準(x2,SMid)及一輸入白點位準(x3,SMax)。處理器亦在一第二動態範圍中存取一輸出影像之第二資訊資料，該第二資訊資料包括該第二動態範圍中之一第一輸出黑點位準(TminPQ)及一第一輸出白點位準(TmaxPQ)。該處理器基於該第一及該第二資訊資料來判定該第二動態範圍中之一輸出中間色調值。該處理器基於該第二資訊資料及該輸出中間色調值來計算該第二動態範圍中之一第二輸出黑點及一第二輸出白點。接著，該處理器基於該第一資訊資料、該第二資訊資料及該輸出中間色調值來計算一尾部斜率、一頭部斜率及一中間色調斜率。該處理器判定一轉移函數，該轉移函數用於將該第一動態範圍中之該輸入影像之像素值映射至該第二動態範圍中之該輸出影像之對應像素值，其中該轉移函數包括兩段，其中該第一段係基於該尾部斜率、該中間色調斜率、該輸入黑點位準、該輸入中間色調位準、該第二輸出黑點及該輸出中間色調值來判定，且該第二段係基於該中間色調斜率、該頭部斜率、該輸入中間色調位準、該輸入白點位準、該輸出中間色調值及第二輸出白點來判定。該處理器使用該經判定轉移函數將該輸入影像映射至該輸出影像。在一實施例中，該處理器基於該第一資訊資料、該第二資訊資料及該輸出中間色調值來計算該第二輸出黑點及該第二輸出白點。在一實施例中，該處理器基於該輸入黑點位準、該輸入中間色調位準、該第二輸出黑點及該輸出中間色調值來計算一尾部斜率。在一實施例中，該處理器基於該輸入白點位準、該輸入中間色調位準、該第二輸出白點及該輸出中間色調值來計算一頭部斜率。在一實施例中，該處理器基於該第一資訊資料、該第二輸出黑點、該第二輸出白點及該輸出中間色調值來計算一中間色調斜率。動態範圍轉換 HDR信號之視訊編碼圖1描繪了展示自視訊擷取至視訊內容顯示之各個階段之一習知視訊傳遞管線(100)之一例示性程序。使用影像產生方塊(105)擷取或產生一視訊圖框序列(102)。可(例如，由一數位相機)數位擷取或由一電腦(例如，使用電腦動畫)產生視訊圖框(102)以提供視訊資料(107)。替代地，可由一電影攝影機在膠片上擷取視訊圖框(102)。該膠片被轉換為一數位格式以提供視訊資料(107)。在一製作階段(110)中，編輯視訊資料(107)以提供一視訊製作流(112)。接著在方塊(115)處將製作流(112)之視訊資料提供給一處理器以用於後期製作編輯。方塊(115)後期製作編輯可包含根據視訊創作者的創意意圖調整或修改一影像之特定區域中之色彩或亮度以增強影像品質或達成影像之一特定外觀。這有時被稱為「色彩時序(color timing)」或「調色(color grading)」。可在方塊(115)執行其它編輯(例如，場景選擇及排序、影像剪裁、添加電腦產生的視覺特別效果等)以產生製作之一最終版本(117)以供發行。在後期製作編輯(115)期間，在一參考顯示器(125)上觀看視訊影像。在後期製作(115)之後，最終製作(117)之視訊資料可被傳遞至編碼方塊(120)以用於下游地傳遞至解碼及回放裝置，諸如電視機、視訊轉換器、電影院等。在一些實施例中，編碼方塊(120)可包含音訊及視訊編碼器，諸如由ATSC、DVB、DVD、Blu-Ray及其他傳遞格式所定義之編碼器，以產生經編碼位元流(122)。在一接收器中，解碼單元(130)對經編碼位元流(122)進行解碼，以產生表示信號(117)之一相同或嚴格近似之一解碼信號(132)。接收器可附接至一目標顯示器(140)，其可具有與參考顯示器(125)完全不同的特性。在該情況中，一顯示管理方塊(135)可用於藉由產生顯示映射信號(137)將經解碼信號(132)之動態範圍映射至目標顯示器(140)之特性。使用一Sigmoid映射進行影像變換在由A.Ballestad及A.Kostin發表、在本文中被稱為'480專利之美國專利8,593,480「Method and apparatus for image data transformation 」中(本專利以引用方式全部併入本文中)，發明人提出了一種使用一參數化S形函數之影像變換映射，該S形函數可使用三個錨點及一中間色調自由參數來唯一判定。圖2中描繪了此函數之一實例。如圖2中所描繪，映射函數(220)由三個錨點(205、210、215)定義：黑點(x1,y1)、中間色調點(x2,y2)及白點(x3,y3)。此變換具有以下性質： · 自x1至x3之值表示描述組成輸入影像之像素之可能值之範圍。此等值可為一特定色彩原色(R、G或B)之亮度位準，可為像素之總體照度位準(即，一YCbCr表示中之Y分量)。通常，此等值對應於由用於創作內容之顯示器(「主顯示器」(125))所支援之最暗(黑點)及最亮(白點)位準；然而，在一些實施例中，當參考顯示器之特性未知時，此等值可表示輸入影像中之最小值及最大值(例如，R、G或B、照度等中之最小值及最大值)，該等最大值及最小值可經由影像後設資料接收或在接收器中計算。 · 自y1至y3之值表示描述組成輸出影像(同樣，色彩原色亮度或總體照度位準)之像素之可能值之範圍。通常，此等值對應於由預期輸出顯示器(「目標顯示器」(140))所支援之最暗(黑點)及最亮(白點)位準。 · 具有值x1之任何輸入像素皆被約束為映射至具有值y1之一輸出像素，且具有值x3之任何輸入像素皆被約束為映射至具有值y3之一輸出像素。 · x2及y2之值表示自輸入至輸出之一特定映射，該映射用作影像之某個「中間範圍」(或中間色調)元素之一錨點。在x2及y2之特定選擇中允許有相當大的範圍，且'480專利教導了可如何選擇此等參數之許多替代方案。一旦選擇了這三個錨點，轉移函數(220)就可被描述為(1) 其中C₁ 、C₂ 及C₃ 係常數，x 標示一色彩通道或照度之輸入值，y 標示對應的輸出值，且n 係可用於調整中間色調對比度之一自由參數。如'480專利中所描述，C₁ 、C₂ 及C₃ 值可藉由求解下式來判定(2) 方程式(1)之色調曲線已成功應用於多種顯示映射應用；然而，正如發明人所明白，其亦具有多種潛在限制，包含： · 難以定義色調曲線參數使得在目標顯示器之一特定範圍記內存在一對一映射 · 難以判定參數(即，指數n )來控制對比度 · 中間錨點(x2,y2)之細微變化可能會產生非預期行為 · 不允許黑色錨點(205)下方及/或白色錨點(215)上方存在一線性映射圖3描繪了根據一實施例之一新的色調映射曲線之一實例。如圖3中所描繪，色調映射曲線(320)包括多達四段： · 對於低於(x1,y1) (x1亦可為負)之值，選用線段L1 · 樣條S1，其自(x1,y1)至(x2,y2) · 樣條S2，其自(x2,y2)至(x3,y3) · 對於大於(x3,y3) (x1亦可大於1)之值，選用線段L2 在一實施例中且無限制，使用一個三階(三次)賀米特多項式來判定段S1及S2。如稍後將要論述，當例如在逆色調映射期間計算色調曲線之逆時(即，當需要自一標準動態範圍影像產生一高動態範圍影像時)，使用線段L1及L2之映射可能係特別有用的。如在方程式(1)中，曲線(320)由三個錨點(305、310、315)控制：黑點(x1,y1)、中間色調值點(x2,y2)及白點(x3,y3)。此外，在每一端點處，樣條段之各者可進一步受到兩個斜率約束；因此完整曲線由三個錨點及三個斜率控制：(x1,y1)處之尾部斜率、(x2,y2)處之中間色調斜率及(x3,y3)處之頭部斜率。例如，考慮到在點(x1,y1)與點(x2,y2)之間判定之一樣條在(x1,y1)處具有斜率s1且在(x2,y2)處具有斜率s2，則對於一輸入x ，該三次賀米特樣條之轉移函數可被定義為：), (3a) 其中)。 (3b) 在一實施例中，為確保沒有過衝或欠衝(即，為確保曲線係單調的)，以下規則亦可應用於斜率s1及s2：其中標示一常數(例如，=3)。鑑於方程式(3)之賀米特樣條，在一實施例中且無限制，對於一視訊輸入，即，使用一感知量化器(PQ) (例如，根據SMPTE ST 2084：2014，「High Dynamic Range EOTF of Mastering Reference Displays」)編碼之一視訊輸入，可基於以下參數來定義完整曲線： · SMin=x1；標示源內容之最小照度。若沒有給定，則SMin可被設定為表示典型黑色之一值(例如，SMin=0.0151) · SMax=x3；標示源內容之最大照度。若沒有給定，則SMax可被設定為表示「高亮光」之一大值(例如，SMax=0.9026) · SMid=x2；標示源內容之平均(例如，算術、中值、幾何)照度。在一些實施例中，其可簡單地標示輸入圖片中之一「重要」照度特徵。在一些其他實施例中，其亦可標示一選定區域(即，一臉部)之平均值或中值。SMid可手動或自動定義，且其值可基於偏好進行偏移以在高亮光或陰影中保留某個外觀。若沒有給定，則可將SMid設定為一典型平均值(例如，SMid=0.36，表示膚色)。此等資料可使用影像或源後設資料來接收，其等可由一顯示管理單元(例如，135)來計算，或其等可基於關於主或參考顯示環境之已知假設。此外，假定目標顯示器已知以下資料(例如，藉由讀取顯示器的擴充顯示識別資料(EDID))來接收以下資料)： · TminPQ =目標顯示器之最小照度 · TmaxPQ =目標顯示器之最大照度其中如本文中使用之術語「PQ」標示此等值(通常以尼特給定)根據SMPTE ST 2084轉換為PQ值。為完全判定映射曲線，需要計算以下點及參數： TMin=y1； TMax=y3； TMid=y2； slopeMin=(x1,y1)處之斜率； slopeMid=(x2,y2)處之斜率；及 slopeMax=(x3,y3)處之斜率。圖4A描繪了根據一實施例之用於判定色調映射曲線之錨點及斜率之一例示性程序。鑑於輸入參數(405) SMin、SMid、SMax、TminPQ及TmaxPQ，步驟412計算y2 (TMid)。例如，在一實施例中，只要TMid在邊界點TminPQ及TmaxPQ以及一預定緩衝區內，中間色調錨點(SMid,TMid)可被選擇為在1對1映射線上，即，強制TMid=SMid。對於接近TminPQ及TmaxPQ之TMid值，TMid可被選擇為在一固定距離內(例如，在TMinPQ+c 與TmaxPQ-d 之間，其中c 及d 係固定值)或在計算為此等值之一百分比之一距離內。例如，TMid可能被強制永遠不會低於TminPQ+*TminPQ或高於TmaxPQ-b *TMaxPQ，其中及b係[0,1]中之常數，表示百分比值(例如，=b =5％=0.05)。鑑於TMid，步驟425計算剩餘未知參數(例如，y1、y2及三個斜率)。最後，步驟430計算兩個樣條段及兩個線段。在另一實施例中，可藉由嘗試保持輸入「尾部對比度」(即，黑色(SMin)與中間色調(SMid)之間之對比度)與輸入「頭部對比度「(即，中間色調(SMid)與高亮光(SMax)之間之對比度)之間之原始比進一步完善計算TMid。在圖4B中描繪了且亦在表1中以偽碼描述根據一實施例之此一程序之一實例。此程序之目標係： · 判定輸出中間色調錨點(SMid,TMid)儘可能接近對角線(1對1)映射。即，在理想情況下，TMid應儘可能接近SMid以保持輸入中間色調； · 若一1對1映射不可能，則判定TMid，使得「尾部對比度」及「頭部對比度」範圍之輸出值在對應輸入範圍之預定極限內。如本文中所使用，輸入「頭部對比度」係基於(SMax-SMid)之一函數，且輸入「尾部對比度」係基於(SMid-SMin)之一函數。 · 鑑於中間錨點(x2,y2)或(SMid,TMid)，判定三個斜率使得可特徵化整個色調曲線。表 1 ：用於判定色調曲線參數之例示性程序 在上面的步驟4中，為計算頭部及尾部偏移參數，將諸項乘以被標示為「offsetScalar」之一項，在一實施例中，該項可被表達為此函數目的係在最大可能偏移(例如，headroom*preservationHead或tailroom*preserveTail)與對應的頭部或尾部斜率之間提供一平滑過渡。方程式(5)中之s() 函數可為|2*midLoc-1|之任何合適的線性或非線性函數。例如，在另一實施例中：。(6) 在上面的步驟8中，slopeMid被計算為接近一1對1映射之對角線。相比之下，slopeMax被計算為與成比例地保持高亮光；即，(x2,y2)與(x3,y3)之間之斜率，而slopeMin被計算為與成比例地保持黑色，即，(x1,y1)與(x2,y2)之間之斜率)。指數h 及t 判定高亮光或灰階需要「墜毀」之速度。h 及t 之典型值包含1/2或4。在一實施例中，h =t 。鑑於三個錨點及三個斜率，可如下產生四段： if(＜x ) //S1曲線)， (7a) 其中)。 (7b) if(＜x ) // S2曲線)， (7c) 其中)。 (7d) if(x ) // L1段(7e) if(// L2段(7f) 返回至圖4B，鑑於輸入參數(405) (例如，SMin、SMid、SMax、TminPQ及TmaxPQ)，步驟(410)基於輸入參數來計算一第一目標中間色調值及相關聯之目標頭部空間及尾部空間值(例如，參見表1中之步驟2)。鑑於頭部及尾部對比度保存百分比(例如，約50％)、第一目標中間色調值及相關聯之目標頭部空間及尾部空間，步驟(415)計算頭部及尾部偏移(例如，參見表1中之步驟4)。步驟(420)將頭部及尾部偏移施加於輸入SMid值以計算目標TMid值(例如，參見表1中之步驟5)。接下來，步驟(425)基於輸入參數及TMid計算TMax及TMin(例如，參見表1中之步驟6)。在嘗試保持單調性的同時，步驟(425)亦計算兩個樣條之兩個末端斜率及中間斜率(例如，參見表1中之步驟8)。鑑於輸入參數TMid、TMin、TMax及三個斜率，接著可應用方程式(7)在步驟(430)中計算色調映射曲線。圖5描繪了所提出之色調曲線之兩個不同實例，將PQ編碼資料自一第一動態範圍映射至一第二較低動態範圍。請注意，相同曲線亦可用於一逆映射，即，用於將資料自一較低動態範圍轉譯回原始高動態範圍。在一實施例中，可如下計算逆映射： · 如早期描述，導出色調映射曲線，即，表達為y=f(x) · 產生一正向查找表，使用y_i =f (x_i )將輸入x_i 值映射為輸出y_i 值 · 產生一反向查找表，使用來自正向LUT之值(即，若，則=)將輸入低動態範圍值映射至輸出更高動態範圍值， · 藉由對現存值進行插值產生反向LUT之額外值。例如，若，則可藉由在與之間進行插值來產生對應輸出。圖6A描繪了展示根據一實施例之如何將輸入中間色調值(SMid)映射至輸出中間色調值(TMid)以(例如，使用表1中之步驟1至4)判定色調曲線映射函數之中間色調錨點。鑑於SMin=0.01，SMax=0.92，且TminPQ=0.1，曲線605描繪了當TmaxPQ=0.5時SMid如何映射至TMid，且曲線610描繪了當TmaxPQ=0.7時SMid如何映射至TMid。自圖6A可看出，在SMid值之一小範圍內觀察到函數605不係單調的，即，在漸近或漸遠期間可能產生非預期結果。為了解決此問題，在表1之步驟4中，反而可使用以下偽碼來計算頭部及尾部偏移： cutoff = a;//例如，a=0.5。 offsetHead=min(max(0,(midLoc-cutoff))*TDR,max(0,headroom*preservationHead+midLoc_1)*TDR)； offsetTail=min(max(0,(cutoff-midLoc))*TDR， max(0,tailroom*preserveTail-midLoc)*TDR)；其中cutoff 係一變數，其藉由指定頭部及尾部偏移將被剪切之目標動態範圍之百分比來優先維護高亮光與陰影。例如，一cutoff 值0.5給定高亮光及陰影相等的優先順序，而一cutoff 值0.7對高亮光比對陰影給定更高的優先順序。此方法在計算上更為簡單，因為其不需要計算餘弦函數或平方根函數，且如圖6B中所描繪，其保持單調性。鑑於SMin=0.01，SMax=0.92，且TminPQ=0.1，在圖6B中，曲線615描繪了當TmaxPQ=0.5時SMid如何映射至TMid，且曲線620描繪了當TmaxPQ=0.7時SMid如何映射至TMid。與方程式(1)相比，所提出之色調曲線展現出多個優點，包含： · 使用slopeMid參數，可定義目標顯示器之一特定範圍內之SMid值與TMid值之間之一對一映射以保持對比度； · 可經由slopeMid及contrastFactor變數顯式地控制影像對比度(參見表1，步驟8)。例如，在一實施例中，contrastFactor值之範圍可不限於在0.5與2.0之間，其中預設值為contrastFactor=1； · 藉由將整個曲線分成兩個樣條曲線，圍繞中間色調錨點(x2,y2)沒有更多非預期行為； · 使用SlopeMin及SlopMax可預定黑色錨點之前及白色錨點之後的映射曲線之行為； · 該曲線可映射負值輸入值(例如，。此一狀況可能由於雜訊或其他系統狀況(例如，空間濾波)而發生。通常將負值箝位為0；然而，此箝位可能最終會增加雜訊並降低整體品質。由於能夠映射負輸入值，可減少或消除此等基於箝位之偽影。 · 色調映射曲線可很容易地藉由x至y映射或一y至x映射之一簡單切換來求逆； · 沒有要求使用任何非整數指數或冪函數，因此計算更快且更高效，這係因為沒有使用非整數指數。關於最後一點，就一計算觀點來看，對於一非微不足道的對比度值(例如，及/或當n 不係整數時)判定方程式(2)中之函數參數需要使用六個冪函數(例如，對於y=pow(x,n) )。相比之下，表1中之計算從來不需要任何非整數冪函數(計算2或4之冪需要簡單的乘法)。總之，與方程式(1)相比，方程式(7)需要對每個輸入樣品進行幾次乘/除及加/減運算，但不需要冪函數。在一些實施例中，方程式(7)可使用查表來實施。更重要的是，由發明人執行之使用者研究似乎指示使用者更喜歡使用新的色調映射函數產生之影像之整體影像品質(320)。例示性電腦系統實施方案本發明之實施例可用一電腦系統、經組態在電子電路及組件中之系統，諸如一微控制器之一積體電路(IC)裝置、場可程式化閘陣列(FPGA)或另一可組態或可程式設計邏輯裝置( PLD)、一離散時間或數位信號處理器(DSP)、一特定應用IC (ASIC)及/或包含此等系統、裝置或組件之一或多者之設備來實施。電腦及/或IC可執行、控制或執行與針對具有高動態範圍之影像之影像變換有關之指令，諸如在本文中描述之指令。電腦及/或IC可計算與本文中描述之影像變換程序相關之各種參數或值之任一者。影像及視訊實施例可在硬體、軟體、韌體及其各種組合中來實施。本發明之某些實施方案包括執行使處理器執行本發明之一方法之軟體指令之電腦處理器。例如，如上文所描述，藉由在處理器可存取之一程式記憶體中執行軟體指令，一顯示器、一編碼器、一視訊轉換器、一轉碼器等中之一或多個處理器可實施與HDR影像之影像變換相關之方法。本發明亦可以一程式產品之形式提供。該程式產品可包括攜帶包括指令之電腦可讀信號集合之任何非暫時性媒體，該等指令在由一資料處理器執行時使資料處理器執行本發明之一方法。根據本發明之程式產品可為多種形式之任一者。程式產品可包括例如實體媒體，諸如包含軟碟之磁資料儲存媒體、硬碟驅動器，包含CD ROM、DVD之光資料儲存媒體、包含ROM、快閃記憶體RAM等之電子資料儲存媒體。程式產品上之電腦可讀信號可視情況被壓縮或加密。在上文提及一組件(例如，一軟體模組、處理器、總成、裝置、電路等)之情況下，除非另有指示，否則對該組件之引用(包含對一「裝置」之一引用)應被解譯為包含為該組件之等效物，諸如執行所描述組件之功能之任何組件(例如，功能上等效的組件)，包含在結構上不等效於執行本發明之經圖解說明例示性實施例中之功能之所揭示結構之組件。等效物、擴展、替代品及雜項因此描述了與HDR視訊至SDR視訊之有效影像變換之例示性實施例。在前述說明書中，已參考可隨著實施方案變動之許多特定細節描述本發明之實施例。因此，本發明之唯一及專有指示及申請人意圖作為本發明之唯一及專有指示係由此申請案發佈之一組申請專利範圍，其呈此等申請專利範圍發佈之特定形式(包含任何後續校正)。本文中為此等請求項中包含之術語明確闡述之任何定義將決定請求項中使用之此等術語之含義。因此，請求項中未明確敘述之限制、元件、性質、特徵、優點或屬性不應以任何方式限制該請求項之範疇。因此，本說明書及圖式應被視為一闡釋性含義而非一限制性含義。本發明之各個態樣可自以下列舉之例示性實施例(EEE)中明白： EEE 1. 一種用於使用處理器將一影像自一第一動態範圍映射至一第二動態範圍之方法，該方法包括：在該第一動態範圍中存取一輸入影像之第一資訊資料，包括該第一動態範圍中之一輸入黑點位準(x1,SMin)、一輸入中間色調位準(x2,SMid)及一輸入白點位準(x3,SMax)；在該第二動態範圍中存取一輸出影像之第二資訊資料，該第二資訊資料包括該第二動態範圍中之一第一輸出黑點位準(TminPQ)及一第一輸出白點位準(TmaxPQ)；基於該第一資訊資料及該第二資訊資料來判定該第二動態範圍中之一輸出中間色調值；基於該第二資訊資料及該輸出中間色調值來計算該第二動態範圍中之一第二輸出黑點及一第二輸出白點；基於該第一資訊資料、該第二資訊資料及該輸出中間色調值來計算一尾部斜率、一頭部斜率及一中間色調斜率；判定一轉移函數，該轉移函數用於將該第一動態範圍中之該輸入影像之像素值映射至該第二動態範圍中之該輸出影像之對應像素值，其中該轉移函數包括兩段，其中該第一段係基於該尾部斜率、該中間色調斜率、該輸入黑點、該輸入中間色調位準、該第二輸出黑點及該輸出中間色調值來判定，且該第二段係基於該中間色調斜率、該頭部斜率、該輸入中間色調位準、該輸入白點、該輸出中間色調值及第二輸出白點來判定；及使用該經判定轉移函數將該輸入影像映射至該輸出影像。 EEE2. 如EEE 1之方法，其中該第一動態範圍包括一高動態範圍，且該第二動態範圍包括一標準動態範圍。 EEE3. 如EEE 1或EEE 2之方法，其中該轉移函數進一步包括一第一線段，該第一線段用於低於該第一動態範圍中之該輸入黑點之輸入值，其中該線段具有等於該尾部斜率之一斜率。 EEE 4 如EEE 3之方法，其中該第一線段之轉移函數包括，其中x 標示一輸入像素值，y 標示一輸出像素值，slopeMin標示該尾部斜率，TMin標示該第二動態範圍中之該第二輸出黑點，且SMin標示該第一動態範圍中之該輸入黑點。 EEE5. 如EEE 1至4中任一項之方法，其中該轉移函數進一步包括一第二線段，該第二線段用於大於該第一動態範圍中之該輸入白點之輸入值，其中該線段具有等於該頭部斜率之一斜率。 EEE 6. 如EEE 5之方法，其中該第二線段之轉移函數包括，其中x 標示一輸入像素值，y 標示一輸出像素值，slopeMax標示該頭部斜率，TMax標示該第二動態範圍中之該第二輸出白點，且SMax標示該第一動態範圍中之該輸入白點。 EEE 7. 如EEE 1至6中任一項之方法，其中該第一段及/或該第二段係基於一個三階賀米特樣條多項式來判定。 EEE 8. 如EEE 7之方法，其中判定該第一段包括計算), 其中)，x 標示一輸入像素值，y 標示一輸出像素值，slopeMin標示該尾部斜率，slopeMid標示該中間色調斜率，TMin及TMid標示該第二輸出黑點及該輸出中間色調位準，且SMin及SMid標示該第一動態範圍中之該輸入黑點及該輸入中間色調位準。 EEE 9. 如EEE 7或EEE 8之方法，其中判定該第二段包括計算), (5c) 其中)，x 標示一輸入像素值，y 標示一輸出像素值，slopeMax標示該頭部斜率，slopeMid標示該中間色調斜率，TMid及TMax標示該第二動態範圍中之該輸出中間色調位準及該第二輸出白點，且SMid及SMax標示該第一動態範圍中之該輸入中間色調位準及該輸入白點。 EEE 10. 如EEE 1到9中任一項之方法，其中計算該輸出中間色調值包括計算：若SMidTminPQ+*TMinPQ 則TMid = TMinPQ+*TMinPQ；否則若SMid ＞ TmaxPQ-b *TmaxPQ 則TMid = TmaxPQ-b *TmaxPQ；否則TMid = SMid；其中TMid標示該輸出中間色調值，及b係[0,1]中之百分比值，SMid標示該輸入中間色調位準，且TminPQ及TmaxPQ包括該第二資訊資料中之值。 EEE 11. 如EEE 1到9中任一項之方法，其中計算該輸出中間色調值進一步包括：基於該第一資訊資料及該第一輸出黑點來判定該第二動態範圍中之一初步輸出中間色調值及該初步輸出中間色調值之第一及第二邊界值；基於該初步輸出中間色調值、該等第一及第二邊界值以及一或多個輸入對比度保存值來計算該第二動態範圍中之一頭部偏移及一尾部偏移；及基於該第一動態範圍中之該輸入中間色調位準以及該等頭部及尾部偏移來計算該第二動態範圍中之該輸出中間色調值。 EEE12. 如EEE 11之方法，其中判定該初步輸出中間色調值以及該第一輸出中間色調值之該等第一及第二邊界值包括計算 midLoc=(SMid-TminPQ)/TDR； headroom=(SMax-SMid)/TDR； tailroom=(SMid-SMin)/TDR；其中 TDR = TmaxPQ-TminPQ， midLoc標示該初步輸出中間色調值，tailroom及headroom標示該第一輸出中間色調值之該等第一及第二邊界值，SMin、SMid及SMax標示該第一資訊資料，且TminPQ標示該第一輸出黑點位準。 EEE 13. 如EEE 11或EEE 12之方法，其中至少一對比度保存值為近似50%。 EEE 14. 如EEE 11到13中任一項之方法，其中計算該輸出中間色調值(TMid)包括計算 TMid = SMid-offsetHead + offsetTail，其中SMid標示該第一動態範圍中之該輸入中間色調位準，且offsetHead及offsetTail標示該等頭部及尾部偏移。 EEE 15. 如EEE 14之方法，其中計算該第二動態範圍中之該第二輸出白點及該第二輸出黑點包括計算 TMax = min(TMid+SMax-SMid,TmaxPQ)， TMin = max(TMid-SMid+SMin,TminPQ，其中TMin標示該第二輸出黑點，TMax標示該第二輸出白點，SMin及SMax標示該第一動態範圍中之該輸入黑點及該輸入白點，TminPQ及TmaxPQ標示該第二動態範圍中之該第一輸出黑點及該第一輸出白點。 EEE 16. 如EEE 10或EEE 15之方法，其進一步包括將該尾部斜率之一最大值(maxMinSlope)及/或該頭部斜率之一最大值(maxMaxSlope)計算為 maxMinSlope = 3*(TMid-TMin)/(SMid-SMin)， maxMaxSlope=3*(TMax-TMid)/(SMax-SMid)。 EEE 17. 如EEE 16之方法，其中計算該尾部斜率(slopeMin)、該中間色調斜率(slopeMid)及該頭部斜率(slopeMax)進一步包括計算 slopeMin = min([maxMinSlope,(( TMid - TMin)/(SMid - SMin))² ])； slopeMax = min([maxMaxSlope,1,((TMax - TMid)/(SMax - SMid))⁴ ])； slopeMid=min([maxMinSlope,maxMaxSlope,contrastFactor*(1-SMid+TMid)])；其中contrastFactor標示一對比度參數。 EEE 18. 如EEE 1至17中任一項之方法，其進一步包括判定一反向查找表以將一影像自該第二動態範圍映射回到該第一動態範圍，該方法包括：基於該經判定轉移函數判定一正向查找表，該正向查找表將該第一動態範圍中之複數個x(i) 值映射至該第二動態範圍中之y(i) 值；及藉由設定以下項來產生該反向查找表，該反向查找表將該第二動態範圍中之複數個y'(k) 值映射至該第一動態範圍中之對應x'(k) 值：若y’ (k ) =y (i )，則x’ (k ) =x (i ) 否則若y (i ) ＜y’ (k ) ＜y (i +1)，則藉由將一值內插在x(i) 與x(i + 1) 之間來產生該對應輸出x'(k)。 EEE 19. 一種設備，其包括一處理器且經組態以執行如EEE 1至18中敘述之方法之任一者。 EEE 20. 一種上面儲存有電腦可執行指令之非暫時性電腦可讀儲存媒體，該電腦可執行指令用於以一或多個處理器執行如EEE 1至18中任一項之一方法。

100‧‧‧視訊傳遞管線

102‧‧‧視訊圖框序列

105‧‧‧視訊圖框序列

107‧‧‧視訊資料

110‧‧‧製作階段

112‧‧‧視訊製作流

115‧‧‧後期製作編輯

117‧‧‧最終製作

120‧‧‧編碼方塊

122‧‧‧經編碼位元流

125‧‧‧參考顯示器

130‧‧‧解碼單元

132‧‧‧解碼信號

135‧‧‧顯示管理方塊

137‧‧‧顯示映射信號

140‧‧‧目標顯示器

205‧‧‧錨點

210‧‧‧錨點

215‧‧‧錨點

220‧‧‧轉移函數

305‧‧‧錨點

310‧‧‧錨點

315‧‧‧錨點

320‧‧‧整體影像品質

405‧‧‧方塊

410‧‧‧方塊

412‧‧‧方塊

415‧‧‧方塊

420‧‧‧方塊

425‧‧‧方塊

430‧‧‧方塊

605‧‧‧曲線

610‧‧‧曲線

615‧‧‧曲線

620‧‧‧曲線

L1‧‧‧線段

L2‧‧‧線段

S1‧‧‧樣條/曲線

S2‧‧‧樣條/曲線

經由隨附圖式之圖中之實例而非經由其限制圖解說明本發明之一實施例，且其中相似元件符號指類似元件，且其中：圖1描繪了用於一視訊傳遞管線之一例示性程序；圖2描繪了根據先前技術之用於使用三個錨點將影像自一第一動態範圍映射至一第二動態範圍之一例示性映射函數；圖3描繪了根據本發明之一實施例之用於將影像自一第一動態範圍映射至一第二動態範圍之一例示性映射函數；圖4A及圖4B描繪了根據本發明之實施例之用於判定色調映射函數之例示性程序；包括(a)及(b)之圖5描繪了根據本發明之實施例判定之兩個例示性映射函數；及圖6A及圖6B描繪了展示根據本發明之實施例之如何將輸入中間色調值映射至輸出中間色調值以判定一色調曲線映射函數之中間色調錨點之例示性曲線圖。

Claims

一種用於使用一處理器將一影像自一第一動態範圍映射至一第二動態範圍之方法，該方法包括：在該第一動態範圍中存取一輸入影像之第一資訊資料，該第一資訊資料包括該第一動態範圍中之一輸入黑點位準(x1,SMin)、一輸入中間色調位準(x2,SMid)及一輸入白點位準(x3,SMax)；在該第二動態範圍中存取一輸出影像之第二資訊資料，該第二資訊資料包括該第二動態範圍中之一第一輸出黑點位準(TminPQ)及一第一輸出白點位準(TmaxPQ)；基於該第一資訊資料及該第二資訊資料來判定該第二動態範圍中之一輸出中間色調值；基於該第二資訊資料及該輸出中間色調值來計算該第二動態範圍中之一第二輸出黑點及一第二輸出白點；基於該第一資訊資料、該第二資訊資料及該輸出中間色調值來計算一尾部斜率、一頭部斜率及一中間色調斜率；判定一轉移函數，該轉移函數用於將該第一動態範圍中之該輸入影像之像素值映射至該第二動態範圍中之該輸出影像之對應像素值，其中該轉移函數包括兩段，其中該第一段係基於該尾部斜率、該中間色調斜率、該輸入黑點位準、該輸入中間色調位準、該第二輸出黑點及該輸出中間色調值來判定，且該第二段係基於該中間色調斜率、該頭部斜率、該輸入中間色調位準、該輸入白點位準、該輸出中間色調值及該第二輸出白點來判定；及使用該經判定轉移函數將該輸入影像映射至該輸出影像。
如請求項1之方法，其中計算該第二動態範圍中之該第二輸出黑點及該第二輸出白點係進一步基於該第一資訊資料。
如請求項1或2之方法，其中：計算該尾部斜率係基於該輸入黑點位準、該輸入中間色調位準、該第二輸出黑點及該輸出中間色調值；計算該頭部斜率係基於該輸入白點位準、該輸入中間色調位準、該第二輸出白點及該輸出中間色調值；且計算該中間色調斜率係基於該第一資訊資料、該第二輸出黑點、該第二輸出白點及該輸出中間色調值。
如請求項1或2之方法，其中該第一動態範圍包括一高動態範圍，且該第二動態範圍包括一標準動態範圍。
如請求項1或2之方法，其中該轉移函數進一步包括一第一線段，該第一線段用於低於該第一動態範圍中之該輸入黑點位準之輸入值，其中該線段具有等於該尾部斜率之一斜率，其中視情況用於該第一線段之該轉移函數包括，其中x標示一輸入像素值，y標示一輸出像素值，slopeMin標示該尾部斜率，TMin標示該第二動態範圍中之該第二輸出黑點，且SMin標示該第一動態範圍中之該輸入黑點位準。
如請求項1或2之方法，其中該轉移函數進一步包括一第二線段，該第二線段用於大於該第一動態範圍中之該輸入白點位準之輸入值，其中該線段具有等於該頭部斜率之一斜率，其中視情況用於該第二線段之該轉移函數包括，其中x標示一輸入像素值，y標示一輸出像素值，slopeMax標示該頭部斜率，TMax標示該第二動態範圍中之該第二輸出白點，且SMax標示該第一動態範圍中之該輸入白點位準。
如請求項1或2之方法，其中該第一段及/或該第二段係基於一個三階賀米特樣條多項式來判定。
如請求項7之方法，其中判定該第一段包括計算), 其中)，x標示一輸入像素值，y標示一輸出像素值，slopeMin標示該尾部斜率，slopeMid標示該中間色調斜率，TMin及TMid標示該第二輸出黑點及該輸出中間色調值，且SMin及SMid標示該第一動態範圍中之該輸入黑點位準及該輸入中間色調位準。
如請求項7之方法，其中判定該第二段包括計算), (5c) 其中)，x標示一輸入像素值，y標示一輸出像素值，slopeMax標示該頭部斜率，slopeMid標示該中間色調斜率，TMid及TMax標示該第二動態範圍中之該輸出中間色調值及該第二輸出白點，且SMid及SMax標示該第一動態範圍中之該輸入中間色調位準及該輸入白點位準。
如請求項1或2之方法，其中計算該輸出中間色調值包括計算：若SMidTminPQ+*TMinPQ 則TMid = TMinPQ+*TMinPQ；否則若SMid ＞ TmaxPQ-b*TmaxPQ 則TMid = TmaxPQ-b*TmaxPQ；否則TMid = SMid；其中TMid標示該輸出中間色調值，及b係[0,1]中之百分比值，SMid標示該輸入中間色調位準，且TminPQ及TmaxPQ包括該第二資訊資料中之值。
如請求項1或2之方法，其中計算該輸出中間色調值進一步包括：基於該第一資訊資料及該第一輸出黑點來判定該第二動態範圍中之一初步輸出中間色調值及該初步輸出中間色調值之第一及第二邊界值；基於該初步輸出中間色調值、該等第一及第二邊界值以及一或多個輸入對比度保持值來計算該第二動態範圍中之一頭部偏移及一尾部偏移；及基於該第一動態範圍中之該輸入中間色調位準以及該等頭部及尾部偏移來計算該第二動態範圍中之該輸出中間色調值。
如請求項11之方法，其中判定該初步輸出中間色調值以及該第一輸出中間色調值之該等第一及第二邊界值包括計算 midLoc = (SMid-TminPQ)/TDR； headroom = (SMax-SMid)/TDR； tailroom = (SMid-SMin)/TDR；其中 TDR = TmaxPQ-TminPQ， midLoc標示該初步輸出中間色調值，tailroom及headroom標示該第一輸出中間色調值之該等第一及第二邊界值，SMin、SMid及SMax標示該第一資訊資料，且TminPQ標示該第一輸出黑點位準。
如請求項11之方法，其中至少一對比度保持值為近似50%。
如請求項11之方法，其中計算該輸出中間色調值(TMid)包括計算 TMid = SMid-offsetHead + offsetTail，其中SMid標示該第一動態範圍中之該輸入中間色調位準，且offsetHead及offsetTail標示該等頭部及尾部偏移。
如請求項14之方法，其中計算該第二動態範圍中之該第二輸出白點及該第二輸出黑點包括計算 TMax = min(TMid+SMax-SMid,TmaxPQ)， TMin = max(TMid-SMid+SMin,TminPQ，其中TMin標示該第二輸出黑點，TMax標示該第二輸出白點，SMin及SMax標示該第一動態範圍中之該輸入黑點位準及該輸入白點位準，且TminPQ及TmaxPQ標示該第二動態範圍中之該第一輸出黑點及該第一輸出白點。
如請求項10之方法，其進一步包括將該尾部斜率之一最大值(maxMinSlope)及/或該頭部斜率之一最大值(maxMaxSlope)計算為 maxMinSlope = 3*(TMid-TMin)/(SMid-SMin)， maxMaxSlope = 3*(TMax-TMid)/(SMax-SMid)，其中視情況：計算該尾部斜率(slopeMin)、該中間色調斜率(slopeMid)及該頭部斜率(slopeMax)進一步包括計算 slopeMin = min([maxMinSlope,((TMid-TMin)/(SMid-SMin))²])； slopeMax=min([maxMaxSlope,1,((TMax-TMid)/(SMax-SMid))⁴])； slopeMid= min([maxMinSlope,maxMaxSlope,contrastFactor*(1-SMid+TMid)])；其中contrastFactor標示一對比度參數。
如請求項1或2之方法，其進一步包括判定一反向查找表以將一影像自該第二動態範圍映射回到該第一動態範圍，該方法包括：基於該經判定轉移函數判定一正向查找表，該正向查找表將該第一動態範圍中之複數個x(i)值映射至該第二動態範圍中之y(i)值；及藉由設定以下項來產生該反向查找表，該反向查找表將該第二動態範圍中之複數個y'(k)值映射至該第一動態範圍中之對應x'(k)值：若y’(k) =y(i)，則x’(k) =x(i) 否則若y(i) ＜y’(k) ＜y(i+1)，則藉由將一值內插在x(i)與x(i + 1)之間來產生該對應輸出x'(k)。
一種設備，其包括一處理器且經組態以執行如請求項1至17中任一項所述之方法。
一種上面儲存有電腦可執行指令之非暫時性電腦可讀儲存媒體，該電腦可執行指令用於以一或多個處理器來執行如請求項1至17中任一項之一方法。