TWI816114B - 映射曲線參數的獲取方法和視頻處理裝置、終端設備及電腦可讀存儲介質 - Google Patents

映射曲線參數的獲取方法和視頻處理裝置、終端設備及電腦可讀存儲介質 Download PDF

Info

Publication number
TWI816114B
TWI816114B TW110115421A TW110115421A TWI816114B TW I816114 B TWI816114 B TW I816114B TW 110115421 A TW110115421 A TW 110115421A TW 110115421 A TW110115421 A TW 110115421A TW I816114 B TWI816114 B TW I816114B
Authority
TW
Taiwan
Prior art keywords
mapping curve
parameter set
brightness
parameters
adjusted
Prior art date
Application number
TW110115421A
Other languages
English (en)
Other versions
TW202143705A (zh
Inventor
徐巍煒
余全合
陳虎
王弋川
Original Assignee
大陸商華為技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商華為技術有限公司 filed Critical 大陸商華為技術有限公司
Publication of TW202143705A publication Critical patent/TW202143705A/zh
Application granted granted Critical
Publication of TWI816114B publication Critical patent/TWI816114B/zh

Links

Classifications

    • G06T5/92
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • G06T5/90
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/202Gamma control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data

Abstract

本申請公開了映射曲線參數的獲取方法和裝置,該方法包括:獲取第一映射曲線參數集合和第一目標系統顯示最大亮度;獲取顯示亮度參數集合,顯示亮度參數集合包括顯示裝置的最大顯示亮度和/或最小顯示亮度;獲取調整係數集合,調整係數集合包括一個或多個調整係數,一個或多個調整係數和第一映射曲線參數集合中的一個或多個參數對應;根據顯示亮度參數集合、第一目標系統顯示最大亮度和調整係數集合對第一映射曲線參數集合中的一個或多個參數進行調整得到第二映射曲線參數集合,第二映射曲線參數集合包括一個或多個調整後的參數。實施本申請能夠針對不同亮度的顯示裝置提供更精確地色調調整,具有較大的靈活性。

Description

映射曲線參數的獲取方法和視頻處理裝置、終端設備及電腦可讀存儲介質
本發明涉及影像處理領域,尤其涉及一種映射曲線參數的獲取方法和裝置。
動態範圍(dynamic range)在很多領域用來表示某個變數的最大值和最小值的比率。在數位圖像中,動態範圍用於表示在圖像可顯示的範圍內最大灰度值和最小灰度值之間的比率。真實世界的同一場景下,其動態範圍通常在10-3坎德拉/平方米()到106之間,稱作高動態範圍(high dynamic range,HDR)。目前大部分的彩色數位圖像中,0~255就是圖像的動態範圍,稱作低動態範圍(low dynamic range,LDR)。
由於顯示裝置的照度範圍和真實世界的動態範圍存在差異,因此需要將真實世界的動態範圍映射至顯示裝置的照度範圍,稱作動態範圍的映射。動態範圍的映射可以應用在前端HDR信號和後端HDR的顯示裝置的適配上,例如,前端採集到4000的光照信號,而後端HDR的顯示裝置的HDR顯示能力為500,把4000的光照信號映射到500的顯示裝置上,是一種從高到低的色調映射(tone mapping,TM)過程。動態範圍的映射也可以應用在前端SDR信號和後端HDR的顯示裝置的適配上,例如,前端採集到100的光照信號,而後端HDR的顯示裝置的HDR顯示能力為2000,把100的光照信號映射到2000的顯示裝置上,是一種從低到高的TM過程。
目前動態範圍的映射方法可以分為靜態和動態兩種。靜態的映射方法是根據同一個視頻內容或者同一個硬碟內容,由單一的資料進行整體的TM過程,也就是針對各種場景,映射曲線通常是一樣的。這種方法的優點是圖像需要攜帶的資料較少,並且處理流程比較簡單;缺點是所有場景都使用同一映射曲線進行TM,這樣在有一些場景會導致資訊丟失,例如如果映射曲線重點保護的是亮區,那麼在一些極其暗的場景會丟掉一些細節,或者乾脆看不見,這樣會影響圖像的顯示效果。動態的映射方法是根據特定區域,針對每一個場景或者每一幀的內容進行映射曲線的動態調整,這種方法的優點是可以實現不同場景或者不同幀的差異化處理;缺點是需要在每一幀或者每一場景中攜帶相關的場景資訊,圖像需要攜帶的資料量較大。
本申請實施例提供一種映射曲線參數的獲取方法和裝置,可以針對不同亮度的顯示裝置提供更精確地色調調整,具有較大的靈活性。
第一方面,本申請實施例提供了一種映射曲線參數的獲取方法,包括:獲取第一映射曲線參數集合和第一目標系統顯示最大亮度,所述第一映射曲線參數集合和所述第一目標系統顯示最大亮度對應,所述第一映射曲線參數集合包括與映射曲線相關的一個或多個參數;獲取顯示亮度參數集合,所述顯示亮度參數集合包括顯示裝置的最大顯示亮度和/或最小顯示亮度;獲取調整係數集合,所述調整係數集合包括一個或多個調整係數,所述一個或多個調整係數和所述第一映射曲線參數集合中的所述一個或多個參數對應;根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合,所述第二映射曲線參數集合包括一個或多個調整後的參數。
本申請通過對於映射曲線相關的一個或多個參數進行調整,該調整過程結合了後端的顯示能力,可以針對不同亮度的顯示裝置提供更精確地色調調整,具有較大的靈活性,也可以在合理配置曲線參數的情況下達到很好的呈現效果。
在一種可能的實現方式中,所述根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合,包括:根據公式(1)計算調整後的第一參數,所述第一參數為所述第一映射曲線參數集合中的任意一個參數,所述調整後的第一參數屬於所述第二映射曲線參數集合:(1)
其中,表示所述調整後的第一參數,表示所述第一參數,表示所述第一參數對應的所述調整係數,或者,當時,a=1,當時,a=-1,表示所述最大顯示亮度,表示所述第一目標系統顯示最大亮度,表示調整強度控制參數,表示預設亮度值。
採用調整係數對與映射曲線相關的一個或多個參數進行調整,該調整過程結合了後端的顯示能力,可以針對不同亮度的顯示裝置提供更精確地色調調整,具有較大的靈活性,也可以在合理配置曲線參數的情況下達到很好的呈現效果。
在一種可能的實現方式中,所述根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合之前,還包括:獲取待顯示內容的最大亮度、最小亮度、平均值以及變化範圍中的一個或多個,根據所述最大顯示亮度、所述最小顯示亮度、所述最大亮度、所述最小亮度、所述平均值以及所述變化範圍中的一個或多個得到的第一參數的中間值,所述第一參數為所述第一映射曲線參數集合中的任意一個參數;所述根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合,包括:根據公式(2)計算調整後的第一參數,所述調整後的第一參數屬於所述第二映射曲線參數集合:(2)
其中,表示所述調整後的第一參數,表示所述第一參數,或者表示所述第一參數對應的所述調整係數,表示所述最大顯示亮度,表示所述第一目標系統顯示最大亮度,表示調整強度控制參數,表示預設亮度值,表示所述第一參數的中間值。
通過多個參數以加權的方式得到與映射曲線相關的一個或多個參數,該過程結合了後端的顯示能力,可以針對不同亮度的顯示裝置提供更精確地色調調整,具有較大的靈活性,也可以在合理配置曲線參數的情況下達到很好的呈現效果。
在一種可能的實現方式中,根據公式計算調整後的第一參數後,還包括:根據所述調整後的第一參數和所述第一映射曲線參數集合中除所述第一參數外的其他參數獲取第一映射曲線,若根據所述第一映射曲線進行色調映射後得到的待顯示內容亮度高於待顯示內容的原始亮度,則繼續對所述第一參數進行調整;或者,根據預設規則分析所述調整後的第一參數,若所述調整後的第一參數符合所述預設規則,則繼續對所述第一參數進行調整。
逐次微調與映射曲線相關的參數,可以提高映射曲線參數的準確性。
在一種可能的實現方式中,所述根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合,包括:當所述第一映射曲線參數集合中包括縮放因子時,根據公式(3)計算調整後的所述縮放因子:(3)
其中,表示所述調整後的所述縮放因子,表示所述第二映射曲線參數集合中的參數,表示待顯示內容在記憶體中最大亮度,表示與所述待顯示內容在記憶體中最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示所述最大顯示亮度。
在一種可能的實現方式中,所述根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合,包括:當所述第一映射曲線參數集合中包括縮放因子時,根據公式(4)計算調整後的所述縮放因子:(4)
其中,表示所述調整後的所述縮放因子,表示所述第二映射曲線參數集合中的參數,表示待顯示內容在記憶體中最大亮度,表示待顯示內容在記憶體中最小亮度,表示與所述待顯示內容在記憶體中最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示與所述待顯示內容在記憶體中最小亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示所述最大顯示亮度,表示所述最小顯示亮度。
在一種可能的實現方式中,所述根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合,包括:當所述第一映射曲線參數集合中包括縮放因子時,根據公式(5)計算調整後的所述縮放因子:(5)
其中,表示所述調整後的所述縮放因子,表示所述第二映射曲線參數集合中的參數,表示待顯示內容在記憶體中最大亮度,表示與所述待顯示內容在記憶體中最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示所述最大顯示亮度,表示所述最小顯示亮度。
在一種可能的實現方式中,所述根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合,包括:當所述第一映射曲線參數集合中包括縮放因子時,根據公式(6)計算調整後的所述縮放因子:(6)
其中,表示所述調整後的所述縮放因子,表示所述第二映射曲線參數集合中的參數,表示待顯示內容在記憶體中最大亮度,表示待顯示內容在記憶體中最小亮度,表示與所述待顯示內容在記憶體中最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示與所述待顯示內容在記憶體中最小亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示所述最大顯示亮度。
在一種可能的實現方式中,所述獲取第一映射曲線參數集合和第一目標系統顯示最大亮度,包括:從待顯示內容的動態元資料中獲取所述第一映射曲線參數集合和所述第一目標系統顯示最大亮度;或者,從所述動態元資料中獲取所述第一映射曲線參數集合,根據設定的對應關係獲取與所述第一映射曲線參數集合對應的所述第一目標系統顯示最大亮度。
在一種可能的實現方式中,所述獲取調整係數集合,包括:從待顯示內容的動態元資料中獲取所述調整係數集合;或者,根據預設值獲取所述調整係數集合。
在一種可能的實現方式中,所述獲取調整係數集合,包括:直接讀取一個或多個調整係數;或者,獲取調整模式,並獲取與所述調整模式對應的所述一個或多個調整係數。
在一種可能的實現方式中,所述獲取顯示亮度參數集合,包括:通過設備資訊獲取所述顯示亮度參數集合;或者,通過預設資訊獲取所述顯示亮度參數集合。
在一種可能的實現方式中,所述根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合之後,還包括:根據所述第二映射曲線參數集合中的所述一個或多個調整後的參數獲取映射曲線。
第二方面,本申請實施例提供了一種待顯示內容處理裝置,包括:獲取模組,用於獲取第一映射曲線參數集合和第一目標系統顯示最大亮度,所述第一映射曲線參數集合和所述第一目標系統顯示最大亮度對應,所述第一映射曲線參數集合包括與映射曲線相關的一個或多個參數;獲取顯示亮度參數集合,所述顯示亮度參數集合包括顯示裝置的最大顯示亮度和/或最小顯示亮度;獲取調整係數集合,所述調整係數集合包括一個或多個調整係數,所述一個或多個調整係數和所述第一映射曲線參數集合中的所述一個或多個參數對應;處理模組,用於根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合,所述第二映射曲線參數集合包括一個或多個調整後的參數。
在一種可能的實現方式中,所述處理模組,具體用於根據公式(1)計算調整後的第一參數,所述第一參數為所述第一映射曲線參數集合中的任意一個參數,所述調整後的第一參數屬於所述第二映射曲線參數集合:(1)
其中,表示所述調整後的第一參數,表示所述第一參數,表示所述第一參數對應的所述調整係數,或者,當時,a=1,當時,a=-1,表示所述最大顯示亮度,表示所述第一目標系統顯示最大亮度,表示調整強度控制參數,表示預設亮度值。
在一種可能的實現方式中,所述獲取模組,還用於獲取待顯示內容的最大亮度、最小亮度、平均值以及變化範圍中的一個或多個,根據所述最大顯示亮度、所述最小顯示亮度、所述最大亮度、所述最小亮度、所述平均值以及所述變化範圍中的一個或多個得到的第一參數的中間值,所述第一參數為所述第一映射曲線參數集合中的任意一個參數;所述處理模組,具體用於根據公式(2)計算調整後的第一參數,所述調整後的第一參數屬於所述第二映射曲線參數集合:(2)
其中,表示所述調整後的第一參數,表示所述第一參數,或者表示所述第一參數對應的所述調整係數,表示所述最大顯示亮度,表示所述第一目標系統顯示最大亮度,表示調整強度控制參數,表示預設亮度值,表示所述第一參數的中間值。
在一種可能的實現方式中,所述處理模組,還用於根據所述調整後的第一參數和所述第一映射曲線參數集合中除所述第一參數外的其他參數獲取第一映射曲線,若根據所述第一映射曲線進行色調映射後得到的待顯示內容亮度高於待顯示內容的原始亮度,則繼續對所述第一參數進行調整;或者,根據預設規則分析所述調整後的第一參數,若所述調整後的第一參數符合所述預設規則,則繼續對所述第一參數進行調整。
在一種可能的實現方式中,所述處理模組,具體用於當所述第一映射曲線參數集合中包括縮放因子時,根據公式(3)計算調整後的所述縮放因子:(3)
其中,表示所述調整後的所述縮放因子,表示所述第二映射曲線參數集合中的參數,表示待顯示內容在記憶體中最大亮度,表示與所述待顯示內容在記憶體中最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示所述最大顯示亮度。
在一種可能的實現方式中,所述處理模組,具體用於當所述第一映射曲線參數集合中包括縮放因子時,根據公式(4)計算調整後的所述縮放因子:(4)
其中,表示所述調整後的所述縮放因子,表示所述第二映射曲線參數集合中的參數,表示待顯示內容在記憶體中最大亮度,表示待顯示內容在記憶體中最小亮度,表示與所述待顯示內容在記憶體中最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示與所述待顯示內容在記憶體中最小亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示所述最大顯示亮度,表示所述最小顯示亮度。
在一種可能的實現方式中,所述處理模組,具體用於當所述第一映射曲線參數集合中包括縮放因子時,根據公式(5)計算調整後的所述縮放因子:(5)
其中,表示所述調整後的所述縮放因子,表示所述第二映射曲線參數集合中的參數,表示待顯示內容在記憶體中最大亮度,表示與所述待顯示內容在記憶體中最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示所述最大顯示亮度,表示所述最小顯示亮度。
在一種可能的實現方式中,所述處理模組,具體用於當所述第一映射曲線參數集合中包括縮放因子時,根據公式(6)計算調整後的所述縮放因子:(6)
其中,表示所述調整後的所述縮放因子,表示所述第二映射曲線參數集合中的參數,表示待顯示內容在記憶體中最大亮度,表示待顯示內容在記憶體中最小亮度,表示與所述待顯示內容在記憶體中最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示與所述待顯示內容在記憶體中最小亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示所述最大顯示亮度。
在一種可能的實現方式中,所述獲取模組,具體用於從待顯示內容的動態元資料中獲取所述第一映射曲線參數集合和所述第一目標系統顯示最大亮度;或者,從所述動態元資料中獲取所述第一映射曲線參數集合,根據設定的對應關係獲取與所述第一映射曲線參數集合對應的所述第一目標系統顯示最大亮度。
在一種可能的實現方式中,所述獲取模組,具體用於從待顯示內容的動態元資料中獲取所述調整係數集合;或者,根據預設值獲取所述調整係數集合。
在一種可能的實現方式中,所述獲取模組,具體用於直接讀取一個或多個調整係數;或者,獲取調整模式,並獲取與所述調整模式對應的所述一個或多個調整係數。
在一種可能的實現方式中,所述獲取模組,具體用於通過設備資訊獲取所述顯示亮度參數集合;或者,通過預設資訊獲取所述顯示亮度參數集合。
在一種可能的實現方式中,所述獲取模組,還用於根據所述第二映射曲線參數集合中的所述一個或多個調整後的參數獲取映射曲線。
第三方面,本申請實施例提供了一種終端設備,包括:一個或多個處理器;記憶體,用於存儲一個或多個程式;當所述一個或多個程式被所述一個或多個處理器執行,使得所述一個或多個處理器實現如上述第一方面中任一項所述的方法。
第四方面,本申請實施例提供一種電腦可讀存儲介質,所述電腦可讀存儲介質存儲了程式碼,其中,所述程式碼包括用於執行第一方面的任意一種方法的部分或全部步驟的指令。
第五方面,本申請實施例提供一種電腦程式產品,當所述電腦程式產品在電腦上運行時,使得所述電腦執行第一方面的任意一種方法的部分或全部步驟。
應當理解的是,本申請的第二至五方面與本申請的第一方面的技術方案一致,各方面及對應的可行實施方式所取得的有益效果相似,不再贅述。
下面結合本申請實施例中的附圖對本申請實施例進行描述。以下描述中,參考形成本公開一部分並以說明之方式示出本申請實施例的具體方面或可使用本申請實施例的具體方面的附圖。應理解,本申請實施例可在其它方面中使用,並可包括附圖中未描繪的結構或邏輯變化。因此,以下詳細描述不應以限制性的意義來理解,且本申請的範圍由所附權利要求書界定。例如,應理解,結合所描述方法的揭示內容可以同樣適用於用於執行所述方法的對應設備或系統,且反之亦然。例如,如果描述一個或多個具體方法步驟,則對應的設備可以包含如功能單元等一個或多個單元,來執行所描述的一個或多個方法步驟(例如,一個單元執行一個或多個步驟,或多個單元,其中每個都執行多個步驟中的一個或多個),即使附圖中未明確描述或說明這種一個或多個單元。另一方面,例如,如果基於如功能單元等一個或多個單元描述具體裝置,則對應的方法可以包含一個步驟來執行一個或多個單元的功能性(例如,一個步驟執行一個或多個單元的功能性,或多個步驟,其中每個執行多個單元中一個或多個單元的功能性),即使附圖中未明確描述或說明這種一個或多個步驟。進一步,應理解的是,除非另外明確提出,本文中所描述的各示例性實施例和/或方面的特徵可以相互組合。
本申請的實施方式部分使用的術語僅用於對本申請的具體實施例進行解釋,而非旨在限定本申請。下面先對本申請實施例可能涉及的一些概念進行簡單介紹。
一、動態範圍(dynamic range)
動態範圍在很多領域用來表示某個變數的最大值和最小值的比率。在數位圖像中,動態範圍用於表示在圖像可顯示的範圍內最大灰度值和最小灰度值之間的比率。
在自然界中,星空下的夜景亮度約為0.001,太陽本身亮度高達109,動態範圍可達到109/0.001=1012量級。但是在自然界的真實世界中,太陽的亮度和星光的亮度不會同時得到,因此對真實世界的同一場景來說,其動態範圍通常在10-3到106之間,稱作高動態範圍(high dynamic range,HDR)。目前大部分的彩色數位圖像中,紅色(R)、綠色(G)和藍色(B)三個通道的灰度分別使用一個位元組來存儲,亦即R、G和B三個通道的灰度範圍分別是0~255,該0~255就是圖像的動態範圍,稱作低動態範圍(low dynamic range,LDR)。
二、光電轉移函數(optical-electro transfer function,OETF)
數碼相機的成像過程實際上就是真實世界的高動態範圍到數位圖像的低動態範圍的映射。圖1示出了真實世界的成像過程中動態範圍映射的一個示例圖,如圖1所示,真實世界中除星光的亮度和太陽的亮度外,還包括月光的亮度為1,室內照明的亮度為100,室外多雲天氣時的亮度為500,室外晴天時的亮度為2000。真實世界中亮度範圍100到2000cd/m2和顯示裝置的存儲的方式所對應的亮度範圍1到200成映射關係。
由於顯示裝置的存儲方式並不能達到真實世界的高亮度,因此需要光電轉移函數(electro-optical transfer function,EOTF),將真實世界中的亮度表示為顯示裝置的存儲方式所對應的亮度。例如,真實世界中的亮度為10000,顯示裝置用10比特存儲亮度資訊,那麼該存儲方式下可存儲的最大值為1023,因此可以將10000表示為1023。
早期的顯示裝置是陰極射線顯像管(cathode ray tube,CRT)顯示器,其光電轉移函數就是伽馬(Gamma)函數。在ITU-R Recommendation BT.1886標準當中定義了該Gamma函數:
隨著顯示裝置的升級,顯示裝置的照度範圍不斷增加,現有的HDR顯示器的照度達到600,高端的HDR顯示器的照度能達到2000。因此需要改進的光電轉移函數以適應顯示裝置的升級,現階段常見的光電轉移函數有感知量化(perception quantization,PQ)光電轉移函數、混合對數伽馬(hybrid log-gamma,HLG)光電轉移函數和場景亮度保真(scene luminance fidelity,SLF)光電轉移函數三種。
(1)PQ光電轉移函數:不同于傳統的Gamma函數,根據人眼的在不同亮度下的對比度感知模型,提出了PQ光電轉移函數。PQ光電轉移函數表示圖像幀像素的線性信號值到PQ域非線性信號值的轉換關係,圖2示例性的示出了PQ光電轉移函數的一個曲線示意圖。PQ光電轉移函數可以表示為:
上述公式中對應於R、G和B的參數可以通過公式計算,其中,L表示圖像幀像素的線性信號值,其值歸一化為[0,1];L’表示PQ域非線性信號值,其取值範圍為[0,1];m1、m2、c1、c2和c3均為PQ光電轉移係數,
(2)HLG光電轉移函數:是在傳統的Gamma曲線的基礎上改進得到的,HLG光電轉移函數在低段應用傳統的Gamma曲線,在高段補充了log曲線。HLG光電轉移函數表示圖像幀像素的線性信號值到HLG域非線性信號值的轉換關係,圖3示例性的示出了HLG光電轉移函數的一個曲線示意圖。HLG光電轉移函數可以表示為:
其中,L表示圖像幀像素的線性信號值,其取值範圍為[0,12];L’表示HLG域非線性信號值,其取值範圍為[0,1];a、b和c均為HLG光電轉移係數,a=0.17883277,b=0.28466892,c=0.55991073。
(3)SLF光電轉移函數:在滿足人眼光學特性的前提下,根據HDR場景亮度分佈得到。SLF光電轉移函數表示圖像幀像素的線性信號值到SLF域非線性信號值的轉換關係,圖4示例性的示出了SLF光電轉移函數的一個曲線示意圖。SLF光電轉移函數可以表示為:
上述公式中對應於R、G和B的參數可以通過公式計算,其中,L表示圖像幀像素的線性信號值,其值歸一化為[0,1];L’表示PQ域非線性信號值,其取值範圍為[0,1];p、m、a和b均為SLF光電轉移係數,p=2.3,m=0.14,a=1.12762,b=-0.12762。
三、動態範圍的映射
動態範圍的映射可以應用在前端HDR信號和後端HDR的顯示裝置的適配上,例如,前端採集到4000的光照信號,而後端HDR的顯示裝置的HDR顯示能力為500,把4000的光照信號映射到500的顯示裝置上,是一種從高到低的色調映射(tone mapping,TM)過程。動態範圍的映射也可以應用在前端SDR信號和後端HDR的顯示裝置的適配上,例如,前端採集到100的光照信號,而後端HDR的顯示裝置的HDR顯示能力為2000,把100的光照信號映射到2000的顯示裝置上,是一種從低到高的TM過程。
目前動態範圍的映射方法可以分為靜態和動態兩種。靜態的映射方法是根據同一個視頻內容或者同一個硬碟內容,由單一的資料進行整體的TM過程,也就是針對各種場景,映射曲線通常是一樣的。這種方法的優點是視頻需要攜帶的資料較少,並且處理流程比較簡單;缺點是所有場景都使用同一映射曲線進行TM,這樣在有一些場景會導致資訊丟失,例如如果映射曲線重點保護的是亮區,那麼在一些極其暗的場景會丟掉一些細節,或者完全看不見,這樣會影響視頻的顯示效果。動態的映射方法是根據特定區域,針對每一個場景或者每一幀的內容進行映射曲線的動態調整,這種方法的優點是可以實現不同場景或者不同幀的差異化處理;缺點是需要在每一幀或者每一場景中攜帶相關的場景資訊,視頻需要攜帶的資料量較大。
四、TM技術
(1)基於sigmoidal曲線的TM過程
圖5示例性的示出了sigmoidal曲線的一個示意圖。
(2)基於貝澤爾曲線的TM過程
圖6示例性的示出了貝澤爾曲線的一個示意圖。
(3)基於人眼感知的S型曲線的TM過程
圖7示例性的示出了S型曲線的一個示意圖,S曲線對應的光電轉移函數可以表示為:
其中,L和L’分別為歸一化的電信號或者光信號,其取值範圍均為[0,1];a的取值範圍為[0,1];b的取值範圍為[0,1];p、n和m的取值範圍均為[0,N],N為大於0.1的有理數;k1、k2、k3均為有理數。
五、動態元資料
前端(視頻採集和/製作)會在發送給後端(視頻顯示)的動態元資料中攜帶與映射曲線相關的參數。
(1)sigmoidal曲線
在St2094-10提出的sigmoidal曲線相關的動態元資料定義中不單包含了視頻亮度的最大值(Maximum PQ-encoded maxRGB)、最小值(Minimum PQ-encoded maxRGB)、平均值(Average PQ-encoded maxRGB)等統計值,還包含了色調映射偏移(tone mapping offset)、色調映射增益(tone mapping gain)和色調映射伽馬(tone mapping gamma)等sigmoid曲線相關的參數,用於直接生成sigmoidal曲線。
但是上述參數的生成方式比較固定,動態元資料包含的參數無法給曲線生成提供更多的靈活性。
(2)貝澤爾曲線
在St2094-40提出的基於貝澤爾曲線相關的動態元資料定義中包含了長條圖資訊(Distribution MaxRGB),還包含了貝澤爾曲線相關的參數(bezier curve anchors),用於直接生成貝澤爾曲線。
另外,ST2094系列的標準中都包含了目標系統顯示最大(峰值)亮度(targeted_system_display_maximum_luminance,TSDAPL)。
但是上述參數在前端生成時對應於TSDAPL,而在後端不同的顯示裝置使用相同的曲線,無法達到最好的顯示效果。
(3)S型曲線
動態元資料中可以包含視頻亮度的最大值、最小值、平均值等統計值,也可以包含p、m、a、b、n、K1、K2、K3等S型曲線相關的參數。
下面描述本申請實施例所應用的系統架構。圖8示例性地給出了本申請實施例所應用的視頻處理系統的示意性框圖。如圖8所示,視頻處理系統分為前端和後端,其中,前端包括採集和/或製作視頻的模組,後端包括HDR顯示模組和/或SDR顯示模組。前端將採集到的視頻資料經預處理後傳輸給後端,同時還會攜帶視頻資料的動態元資料。後端根據視頻資料,結合對應的動態元資料對視頻中的圖像幀進行增強處理,得到顏色、亮度及對比度等俱佳的圖像,並顯示出來。
本申請中前端和後端可以是各自獨立的、不同的物理設備,例如,前端可以是攝像機、相機、圖像繪製機等具有視頻採集功能的設備,後端可以是手機、平板、機上盒、電視等具有視頻播放功能的設備。此時前端和後端之間可以建立無線連接或有線連接,其中無線連接可以採用包括例如長期演進(long term evolution,LTE)、第五代(5th generation,5G)移動通信以及未來的移動通信等技術。無線連接還可以包括無線保真(wireless-fidelity,WiFi)、藍牙、近場通信(Near Field Communication,NFC)等技術。有線連接可以包括乙太網連接、局域網連接等。對此不作具體限定。本申請還可以將前端的功能和後端的功能集成在同一個物理設備上,例如,具有視頻拍攝功能的手機、平板、機上盒、電視,圖像繪製機等。本申請還可以將前端的部分功能和後端的部分功能集成在同一個物理設備上。對此不作具體限定。
上述集成了前端的功能和後端的功能的設備可以部署在陸地上,包括室內或室外、手持或車載;也可以部署在水面上(如輪船等);還可以部署在空中(例如飛機、氣球和衛星上等)。終端設備可以是手機(mobile phone)、平板電腦(pad)、具備無線通訊功能的可穿戴設備(如智慧手錶)、具有定位功能的位置追蹤器、帶無線收發功能的電腦、虛擬實境(virtual reality,VR)設備、增強現實(augmented reality,AR)設備、工業控制(industrial control)中的無線設備、無人駕駛(self driving)中的無線設備、遠端醫療(remote medical)中的無線設備、智慧電網(smart grid)中的無線設備、運輸安全(transportation safety)中的無線設備、智慧城市(smart city)中的無線設備、智慧家庭(smart home)中的無線設備等,本申請對此不作限定。
圖9示出了終端設備900的一個示例性的結構示意圖。如圖9所示,終端設備900包括:應用處理器901、微控制器單元(microcontroller unit,MCU)902、記憶體903、數據機(modem)904、射頻(radio frequency,RF)模組905、無線保真(Wireless-Fidelity,簡稱Wi-Fi)模組906、藍牙模組907、感測器908、輸入/輸出(input/output,I/O)設備909、定位模組910等部件。這些部件可通過一根或多根通信匯流排或信號線進行通信。前述通信匯流排或信號線可以是本申請提供的CAN匯流排。本領域技術人員可以理解,終端設備900可以包括比圖示更多或更少的部件,或者組合某些部件,或者不同的部件佈置。
下面結合圖9對終端設備900的各個部件進行具體的介紹:
應用處理器901是終端設備900的控制中心,利用各種介面和匯流排連接終端設備900的各個部件。在一些實施例中,處理器901可包括一個或多個處理單元。
記憶體903中存儲有電腦程式,諸如圖9所示的作業系統911和應用程式912。應用處理器901被配置用於執行記憶體903中的電腦程式,從而實現該電腦程式定義的功能,例如應用處理器901執行作業系統911從而在終端設備900上實現作業系統的各種功能。記憶體903還存儲有除電腦程式之外的其他資料,諸如作業系統911和應用程式912運行過程中產生的資料。記憶體903為非易失性存儲介質,一般包括記憶體和外存。記憶體包括但不限於隨機存取記憶體(random access memory,RAM),唯讀記憶體(read-only memory,ROM),或快取記憶體(cache)等。外存包括但不限於快閃記憶體(flash memory)、硬碟、光碟、通用序列匯流排(universal serial bus,USB)盤等。電腦程式通常被存儲在外存上,處理器在執行電腦程式前會將該程式從外存載入到記憶體。
記憶體903可以是獨立的,通過匯流排與應用處理器901相連接;記憶體903也可以和應用處理器901集成到一個晶片子系統。
MCU 902是用於獲取並處理來自感測器908的資料的輔助處理器,MCU 902的處理能力和功耗小於應用處理器901,但具有“永久開啟(always on)”的特點,可以在應用處理器901處於休眠模式時持續收集以及處理感測器資料,以極低的功耗保障感測器的正常運行。在一個實施例中,MCU 902可以為sensor hub晶片。感測器908可以包括光感測器、運動感測器。具體地,光感測器可包括環境光感測器及接近感測器,其中,環境光感測器可根據環境光線的明暗來調節顯示器9091的亮度,接近感測器可在終端設備900移動到耳邊時,關閉顯示幕的電源。作為運動感測器的一種,加速計感測器可檢測各個方向上(一般為三軸)加速度的大小,靜止時可檢測出重力的大小及方向;感測器908還可以包括陀螺儀、氣壓計、濕度計、溫度計、紅外線感測器等其它感測器,在此不再贅述。MCU 902和感測器908可以集成到同一塊晶片上,也可以是分離的元件,通過匯流排連接。
modem 904以及射頻模組905構成了終端設備900通信子系統,用於實現無線通訊標準協議的主要功能。其中,modem 904用於編解碼、信號的調製解調、均衡等。射頻模組905用於無線信號的接收和發送,射頻模組905包括但不限於天線、至少一個放大器、耦合器、雙工器等。射頻模組905配合modem 904實現無線通訊功能。modem 904可以作為單獨的晶片,也可以與其他晶片或電路在一起形成系統級晶片或積體電路。這些晶片或積體電路可應用於所有實現無線通訊功能的終端設備,包括:手機、電腦、筆記本、平板、路由器、可穿戴設備、汽車、家電設備等。
終端設備900還可以使用Wi-Fi模組906,藍牙模組907等來進行無線通訊。Wi-Fi模組906用於為終端設備900提供遵循Wi-Fi相關標準協定的網路接入,終端設備900可以通過Wi-Fi模組906接入到Wi-Fi接入點,進而訪問互聯網。在其他一些實施例中,Wi-Fi模組906也可以作為Wi-Fi無線接入點,可以為其他終端設備提供Wi-Fi網路接入。藍牙模組907用於實現終端設備900與其他終端設備(例如手機、智慧手錶等)之間的短距離通信。本申請實施例中的Wi-Fi模組906可以是積體電路或Wi-Fi晶片等,藍牙模組907可以是積體電路或者藍牙晶片等。
定位模組910用於確定終端設備900的地理位置。可以理解的是,定位模組910具體可以是全球定位系統(global position system,GPS)或北斗衛星導航系統、俄羅斯GLONASS等定位系統的接收器。
Wi-Fi模組906,藍牙模組907和定位模組910分別可以是單獨的晶片或積體電路,也可以集成到一起。例如,在一個實施例中,Wi-Fi模組906,藍牙模組907和定位模組910可以集成到同一晶片上。在另一個實施例中,Wi-Fi模組906,藍牙模組907、定位模組910以及MCU 902也可以集成到同一晶片中。
輸入/輸出設備909包括但不限於:顯示器9091、觸控式螢幕9092,以及音訊電路9093等等。
其中,觸控式螢幕9092可採集終端設備900的用戶在其上或附近的觸摸事件(比如用戶使用手指、觸控筆等任何適合的物體在觸控式螢幕9092上或在觸控屏觸控式螢幕9092附近的操作),並將採集到的觸摸事件發送給其他器件(例如應用處理器901)。其中,用戶在觸控式螢幕9092附近的操作可以稱之為懸浮觸控;通過懸浮觸控,用戶可以在不直接接觸控式螢幕9092的情況下選擇、移動或拖動目的(例如圖示等)。此外,可以採用電阻式、電容式、紅外線以及表面聲波等多種類型來實現觸控式螢幕9092。
顯示器(也稱為顯示幕)9091用於顯示使用者輸入的資訊或展示給使用者的資訊。可以採用液晶顯示幕、有機發光二極體等形式來配置顯示器。觸控式螢幕9092可以覆蓋在顯示器9091之上,當觸控式螢幕9092檢測到觸摸事件後,傳送給應用處理器901以確定觸摸事件的類型,隨後應用處理器901可以根據觸摸事件的類型在顯示器9091上提供相應的視覺輸出。雖然在圖9中,觸控式螢幕9092與顯示器9091是作為兩個獨立的部件來實現終端設備900的輸入和輸出功能,但是在某些實施例中,可以將觸控式螢幕9092與顯示器9091集成而實現終端設備900的輸入和輸出功能。另外,觸控式螢幕9092和顯示器9091可以以全面板的形式配置在終端設備900的正面,以實現無邊框的結構。
音訊電路9093、揚聲器9094、麥克風9095可提供使用者與終端設備900之間的音訊介面。音訊電路9093可將接收到的音訊資料轉換後的電信號,傳輸到揚聲器9094,由揚聲器9094轉換為聲音信號輸出;另一方面,麥克風9095將收集的聲音信號轉換為電信號,由音訊電路9093接收後轉換為音訊資料,再通過modem 904和射頻模組905將音訊資料發送給比如另一終端設備,或者將音訊資料輸出至記憶體903以便進一步處理。
另外,終端設備900還可以具有指紋識別功能。例如,可以在終端設備900的背面(例如後置攝像頭的下方)配置指紋採集器件,或者在終端設備900的正面(例如觸控式螢幕9092的下方)配置指紋採集器件。又例如,可以在觸控式螢幕9092中配置指紋採集器件來實現指紋識別功能,即指紋採集器件可以與觸控式螢幕9092集成在一起來實現終端設備900的指紋識別功能。在這種情況下,該指紋採集器件配置在觸控式螢幕9092中,可以是觸控式螢幕9092的一部分,也可以以其他方式配置在觸控式螢幕9092中。本申請實施例中的指紋採集器件的主要部件是指紋感測器,該指紋感測器可以採用任何類型的感測技術,包括但不限於光學式、電容式、壓電式或超聲波傳感技術等。
進一步地,終端設備900搭載的作業系統911可以為iOS®、Android®、Microsoft®或者其它作業系統,本申請實施例對此不作任何限制。
以搭載Android®作業系統的終端設備900為例,終端設備900從邏輯上可劃分為硬體層、作業系統911,以及應用層。硬體層包括如上所述的應用處理器901、MCU 902、記憶體903、modem 904、Wi-Fi模組906、感測器908、定位模組910等硬體資源。應用層包括一個或多個應用程式,比如應用程式912,應用程式912可以為社交類應用、電子商務類應用、流覽器等任意類型的應用程式。作業系統911作為硬體層和應用層之間的軟體中介軟體,是管理和控制硬體與軟體資源的電腦程式。
在一個實施例中,作業系統911包括內核,硬體抽象層(hardware abstraction layer,HAL)、庫和運行時(libraries and runtime)以及框架(framework)。其中,內核用於提供底層系統元件和服務,例如:電源管理、記憶體管理、執行緒管理、硬體驅動程式等;硬體驅動程式包括Wi-Fi驅動、感測器驅動、定位模組驅動等。硬體抽象層是對內核驅動程式的封裝,向框架提供介面,遮罩低層的實現細節。硬體抽象層運行在使用者空間,而內核驅動程式運行在內核空間。
庫和運行時也叫做運行時庫,它為可執行程式在運行時提供所需要的庫檔和執行環境。在一個實施例中,庫與運行時包括安卓運行時(android runtime,ART),庫,以及場景包運行時。ART是能夠把應用程式的位元組碼轉換為機器碼的虛擬機器或虛擬機器實例。庫是為可執行程式在運行時提供支援的程式庫,包括瀏覽器引擎(比如webkit)、腳本執行引擎(比如JavaScript引擎)、圖形處理引擎等。場景包運行時是場景包的運行環境,主要包括頁面執行環境(page context)和腳本執行環境(script context),其中,頁面執行環境通過調用相應的庫解析html、css等格式的頁面代碼,腳本執行環境通過調用相應的功能庫解析執行JavaScript等指令碼語言實現的代碼或可執行檔。
框架用於為應用層中的應用程式提供各種基礎的公共元件和服務,比如視窗管理、位置管理等等。在一個實施例中,框架包括地理圍欄服務,策略服務,通知管理器等。
以上描述的作業系統911的各個元件的功能均可以由應用處理器901執行記憶體903中存儲的程式來實現。
所屬領域的技術人員可以理解終端設備900可包括比圖9所示的更少或更多的部件,圖9所示的該終端設備僅包括與本申請所公開的多個實現方式更加相關的部件。
下面詳細闡述本申請實施例的方案:
圖10為本申請映射曲線參數的獲取方法實施例的流程圖,如圖10所示,該過程1000可以應用於圖8所示的視頻處理系統,也可以應用於圖9所示的終端設備,其執行主體包括終端設備或者視頻處理系統中的後端。該過程1000描述為一系列的步驟或操作,應當理解的是,過程1000可以以各種循序執行和/或同時發生,不限於圖10所示的執行順序。本申請的映射曲線參數的獲取方法包括:
步驟1001、獲取第一映射曲線參數集合和第一目標系統顯示最大亮度。
本申請中,前端可以是上述圖8所示的視頻處理系統中的前端,後端可以是上述圖8所示的視頻處理系統中的後端,此時前端的資料可以通過無線網路或者有線網路傳輸至後端。前端和後端也可以集成於圖9所示的終端設備,此時前端的資料可以通過終端設備內部的傳輸路徑傳輸值後端,例如控制器區域網路(Controller Area Network,CAN)匯流排。後端收到資料後可以將其存儲在緩衝區中,以備後續處理時讀取。該緩衝區例如可以是待處理幀的RGB色域像素緩衝區和/或待處理幀的中繼資料緩衝區。
前端獲取到視頻後,可以對視頻進行預處理,例如包括採用光電轉移函數將真實世界中的亮度映射至與存儲方式匹配的亮度,利用已獲取的資訊對視頻進行亮度、色度、對比度等的調整,對視頻進行編碼生成碼流等,前端將處理後的資料發送給後端。
來自前端的資料可以包括視頻資料(也稱之為待顯示內容的資料)和動態元資料,其中,視頻資料可以是視頻中的圖像幀相關資料,例如像素資料;動態元資料可以包括視頻資料相關的資料和映射曲線相關的資料,視頻資料相關的資料例如可以包括視頻資料的格式和特徵,第一目標系統顯示最大亮度(targeted_system_display_maximum_luminance),視頻在記憶體中可存儲的最大亮度MaxSource、最小亮度MinSource、平均亮度AvgSource,可儲存的變化範圍等等,可儲存的變化範圍的原理類似於方差或者分佈置信區間,用於描述視訊訊號的亮度聚集範圍。映射曲線相關的資料例如可以包括收縮因子、偏移因子、彎曲形狀因子等與映射曲線相關的參數。第一映射曲線參數集合包括與映射曲線相關的資料中的一個或多個參數,例如,S型曲線相關的資料包括a、b、p、n、m、k1、k2和k3共八個參數,第一映射曲線參數集合中可以包括這所有的八個參數,也可以只包括這八個參數中的部分參數均為有理數。
可選的,上述視頻資料相關的資料也可以根據從視頻內容中直接提取,無需通過動態元資料傳輸。
第一映射曲線參數集合和第一目標系統顯示最大亮度對應,即第一映射曲線參數集合中的一個或多個參數是以第一目標系統顯示最大亮度為目標生成的,或者是和第一目標系統顯示最大亮度相關連的。前端可以在動態元資料中攜帶第一映射曲線參數集合和第一目標系統顯示最大亮度;也可以只在動態元資料中攜帶第一映射曲線參數集合,此時的第一映射曲線參數集合與預設的目標系統顯示最大亮度對應,前端和後端預先約定預設的目標系統顯示最大亮度,那麼前端只需要在動態元資料中攜帶上與之對應的第一映射曲線參數集合,後端收到該第一映射曲線參數集合後,預設可知第一目標系統顯示最大亮度。如果後端根據實際情況需要調整目標系統顯示峰值亮度,可以按照實際的亮度與預設的目標系統顯示峰值亮度的關係對第一映射曲線參數集合中的一個或多個參數進行調整得到新的、與實際的亮度對應的映射曲線參數集合。
需要說明的是,本申請不對上述視頻資料包含的內容和資料形式作具體限定。例如,從像素資料的色彩空間說,視頻資料的格式可以是YUV的,也可以是RGB的;從資料的位元寬說,視頻資料可以是8比特,10比特或者12比特等。也不對動態元資料包含的內容作具體限定。例如,映射曲線相關的資料可以是上述sigmoidal曲線涉及到的參數,也可以是上述貝澤爾曲線涉及到的參數,還可以是S型曲線涉及到的參數。
步驟1002、獲取顯示亮度參數集合。
本申請可以通過設備資訊獲取顯示亮度參數集合,該顯示亮度參數集合包括顯示裝置的最大顯示亮度(MaxDisplay)和/或最小顯示亮度(MinDisplay)。該設備資訊可以是設備出廠時即寫入的設備的參數,也可以是生產商提供的資訊,其表示設備自身具備的屬性和性能。
最大顯示亮度是指設備在顯示時可呈現出的最大的照度。最小顯示亮度是指設備在顯示時可呈現出的最小的照度,通常最小顯示亮度被設置為0或1。根據設備的顯示性能,最小顯示亮度也可以被設置為其他值,本申請對此不作具體限定。
步驟1003、獲取調整係數集合。
調整係數集合包括指示與映射曲線相關的一個或多個參數調整需要的資訊。
調整係數集合包括一個或多個調整係數,一個或多個調整係數和第一映射曲線參數集合中的一個或多個參數對應。如上所述,第一映射曲線參數集合包括了與映射曲線相關的一個或多個參數,調整係數集合中的一個調整係數可以與該第一映射曲線參數集合中的一個參數對應,即每一個與映射曲線相關的參數對應一個調整係數;此外,調整係數集合中的一個調整係數也可以與該第一映射曲線參數集合中的多個參數對應,即每一個調整係數對應多個與映射曲線相關的參數;調整係數集合中也可以不包括與第一映射曲線參數集合中的一個或者多個參數對應的調整係數,即第一映射曲線參數集合中的某一個或多個與映射曲線相關的參數在調整係數集合中沒有與之對應的調整係數,表示此時無需對該參數進行調整;第一映射曲線參數集合也可以包括與調整係數集合中的調整係數均不對應的參數,即某一個或多個調整係數在第一映射曲線參數集合中沒有與之對應的參數,表示此時前端沒有將該參數發送給後端,但需要對該參數進行調整,後端可以通過其他方法獲取該參數。
本申請中,設備可以從動態元資料中獲取調整係數集合。前端在發送碼流之前就設置了與映射曲線相關的一個或多個參數的調整方式,可以將其寫入動態元資料發送給後端;或者,設備根據預設值獲取調整係數集合。該預設值可以分別對應於與映射曲線相關的一個或多個參數,也可以是一個調整模式索引,設備基於該索引獲取與之對應的與映射曲線相關的一個或多個參數的調整係數。
步驟1004、根據顯示亮度參數集合、第一目標系統顯示最大亮度和調整係數集合對第一映射曲線參數集合中的一個或多個參數進行調整得到第二映射曲線參數集合。
第二映射曲線參數集合包括一個或多個調整後的參數,該一個或多個調整後的參數與第一映射曲線參數集合中的一個或多個參數對應,是後者經調整後得到的。需要說明的是,第二映射曲線參數集合中包括的參數和第一映射曲線參數集合中包括的參數可以一一對應,即第一映射曲線參數集合包含的每個參數經調整後加入第二映射曲線參數集合,此時可以適用於第一映射曲線參數集合包含了與映射曲線相關的所有參數;第二映射曲線參數集合中包括的參數也可以是第一映射曲線參數集合中沒有的參數,即第一映射曲線參數集合包含的每個參數經調整後加入第二映射曲線參數集合,還有部分參數是設備採用其他方法獲取的,然後對這部分參數進行調整或者不調整加入第二映射曲線參數集合,此時可以適用於第一映射曲線參數集合包含了與映射曲線相關的部分參數。此外,第二映射曲線參數集合中包括的資料也可是經過調整的第一映射曲線參數和未經過調整的第一映射曲線參數的集合。
以下以第一參數為例對本申請獲取第二映射曲線參數集合的方法進行說明,第一參數為第一映射曲線參數集合中的任意一個參數。
方法一、根據公式(1)計算調整後的第一參數:(1)
其中,表示調整後的第一參數,表示第一參數,表示第一參數對應的調整係數,或者,當時,a=1,當時,a=-1,表示最大顯示亮度,表示第一目標系統顯示最大亮度,表示調整強度控制參數,是大於0的有理數,例如可以是1、2等,表示預設亮度值,是大於0的有理數,例如可以是100、50等。通常可以設置M=1,N=100。M和N的作用均是用於控制與映射曲線相關的參數的變化速度。需要說明的是,為了適用于不同廠商的硬體、不同的內容場景等,可以將M和N中一個或者兩個作為參數通過動態元資料傳遞。以下方法亦是如此,不再贅述。
需要說明的是,本申請中的值可以是絕對亮度值,例如,100、1000的值也可以是歸一化的亮度值,其取值範圍為0-1;的值還可以是PQ域的亮度值,例如,0-10000。本申請中的值可以是絕對亮度值,例如,100、1000的值也可以是歸一化的亮度值,其取值範圍為0-1;的值還可以是PQ域的亮度值,例如,0-10000。本申請中M的值可以是絕對亮度值,例如,100、1000;M的值也可以是歸一化的亮度值,其取值範圍為0-1;M的值還可以是PQ域的亮度值,例如,0-10000。本申請對此不作具體限定。以下方法亦是如此,不再贅述。
針對第一映射曲線參數集合中的所有參數或部分參數可以採用上述公式(1)來對其進行調整,得到調整後的參數加入第二映射曲線參數集合。
方法二、根據公式(2)計算調整後的第一參數:(2)
其中,表示調整後的第一參數,表示第一參數,或者表示第一參數對應的調整係數,表示最大顯示亮度,表示第一目標系統顯示最大亮度,表示調整強度控制參數,是大於0的有理數,例如可以是1、2等,表示預設亮度值,是大於0的有理數,例如可以是100、50等,為根據最大顯示亮度、最小顯示亮度、可存儲的最大亮度、可存儲的最小亮度、可存儲的平均值以及可儲存的變化範圍等參數中的一個或多個得到的第一參數的中間值。
需要說明的是,還可以根據比上述最大顯示亮度、和/或最小顯示亮度、和/或可存儲的最大亮度、和/或可存儲的最小亮度、和/或可存儲的平均值、和/或可儲存的變化範圍更多或更少的參數得到,本申請對此不作具體限定。以下方法亦是如此,不再贅述。本申請關於的獲取可以參考相關技術中映射曲線的生成方法,本申請對此不作具體限定。
需要說明的是,該方法二中,設備可以根據視頻資料相關的資料,例如,視頻在記憶體中可存儲的最大亮度、和/或最小亮度、和/或平均亮度,和/或可儲存的變化範圍,設備的最大顯示亮度和最小顯示亮度,和/或其他與映射曲線不直接相關的參數,得到另外一組與映射曲線相關的參數集合,該參數集合中的參數和第一映射曲線參數集合中的參數一一對應,也可以有第一映射曲線參數集合中沒有的參數。這樣設備可以得到兩組與映射曲線相關的參數集合,其中一組來自前端,另一組是設備根據視頻資料的特徵計算得到的,再採用加權的方法對兩組參數集合進行融合得到最終參數集合,這樣通過調整二者的權重可以在視頻不同的位置採用更為靈活的亮度處理方法,得到更符合設備顯示性能的視頻。
另外,關於的計算方法還可以應用於與映射曲線相關、但第一映射曲線參數集合中沒有包括的參數,上述設備採用其他方法獲取參數的方式與此類似。
在一種可能的實現方式中,設備可以根據調整後的第一參數和第一映射曲線參數集合中除第一參數外的其他參數獲取第一映射曲線,若根據第一映射曲線進行色調映射後得到的視頻亮度高於視頻的原始亮度,則繼續對第一參數進行調整。這是為了保證映射曲線不存在高於x=y這條直線的部分。
在一種可能的實現方式中,根據預設規則分析調整後的第一參數,若調整後的第一參數符合預設規則,則繼續對第一參數進行調整。例如,,其中,為第一參數,為縮放因子,為設定的閾值,例如3.2363,此時將調整為上限值。也可以在預先設定的表(Ta,Tp)中查找與對應的Tp,若,則將調整為上限值。需要說明的是,如果查表無法找到相同的值,可以使用臨近值、臨近值的加權平均等方式確定查詢的值。上述兩個不等式表明根據當前的與映射曲線相關的參數集合得到的映射曲線,存在高於x=y這條直線的部分,因此需要對相應的參數進行降維處理。需要說明的是,除上述兩種方法外本申請還可以採用其他方法確保映射曲線不存在高於x=y這條直線的部分,對此不作具體限定。
在一種可能的實現方式中,當第一映射曲線參數集合中包括縮放因子時,根據公式(3)計算調整後的縮放因子:(3)
其中,表示調整後的縮放因子,表示第二映射曲線參數集合中的參數,MaxSource表示視頻在記憶體中可存儲的最大亮度,表示與視頻在記憶體中可存儲的最大亮度、以及第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,該函數包含為色調映射函數參數相關的部分,MaxDisplay表示最大顯示亮度。可存儲的值與記憶體的存儲方式相關,例如,若採用10bit的方式存儲,那麼該記憶體可存儲的最大值為210=1024,可存儲的最小值為0;若採用8bit的方式存儲,那麼該記憶體可存儲的最大值為28=256,可存儲的最小值為0。
如果在獲取映射曲線時涉及到縮放因子,設備可以根據已經獲取到的第二映射曲線參數集合中的一個或多個調整後的參數採用公式(3)計算縮放因子,這樣縮放因子是基於調整後的參數得到的,使得最終生成的映射曲線更符合視頻的特徵。縮放因子在計算映射曲線的公式中確定了對圖像幀像素的線性信號值的縮放程度,例如,公式中,a即為縮放因子。
在一種可能的實現方式中,當第一映射曲線參數集合中包括縮放因子時,根據公式(4)計算調整後的縮放因子:(4)
其中,表示調整後的縮放因子,表示第二映射曲線參數集合中的參數,MaxSource表示視頻在記憶體中可存儲的最大亮度,MinSource表示視頻在記憶體中可存儲的最小亮度,表示與視頻在記憶體中可存儲的最大亮度、以及第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示與視頻在記憶體中可存儲的最小亮度、以及第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,MaxDisplay表示最大顯示亮度,MinDisplay表示最小顯示亮度。
在一種可能的實現方式中,當第一映射曲線參數集合中包括縮放因子時,根據公式(5)計算調整後的縮放因子:(5)
其中,表示調整後的縮放因子,表示第二映射曲線參數集合中的參數,MaxSource表示視頻在記憶體中可存儲的最大亮度,表示與視頻在記憶體中可存儲的最大亮度、以及第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,MaxDisplay表示最大顯示亮度,MinDisplay表示最小顯示亮度。
在一種可能的實現方式中,當第一映射曲線參數集合中包括縮放因子時,根據公式(6)計算調整後的縮放因子:(6)
其中,表示調整後的縮放因子,表示第二映射曲線參數集合中的參數,MaxSource表示視頻在記憶體中可存儲的最大亮度,MinSource表示視頻在記憶體中可存儲的最小亮度,表示與視頻在記憶體中可存儲的最大亮度、以及第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示與視頻在記憶體中可存儲的最小亮度、以及第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,MaxDisplay表示最大顯示亮度。
在一種可能的實現方式中,當第一映射曲線參數集合中包括偏移因子時,根據以下方式確定調整後的偏移因子:,MinDisplay表示最小顯示亮度;或者,,G表示預設值,可以是0、1等有理數。
如果在獲取映射曲線時涉及到縮放因子,設備可以根據已經獲取到的第二映射曲線參數集合中的一個或多個調整後的參數採用上述任意一個公式計算縮放因子,這樣縮放因子是基於調整後的參數得到的,使得最終生成的映射曲線更符合視頻的特徵。
步驟1005、根據第二映射曲線參數集合中的一個或多個調整後的參數獲取映射曲線。
基於一個或多個調整後的參數可以獲得映射曲線的全部或者是分段的色調映射曲線的一部分,該曲線計算是可以獲得從歸一化的HDR/SDR視頻資料映射到歸一化的顯示資料之間的映射。再根據設備的最大顯示亮度、最小顯示亮度將得到的映射值反向歸一化到設備的實際顯示資料。
需要說明的是,上面的反向歸一化計算可以是非線性空間,也可以是歸一化0-1的線性空間。反向歸一化可以是0-10000,也可以是0.001-100000。本申請對於反向歸一化的範圍和過程不作具體限定。另外,獲取映射曲線不但包含色調映射(tone-mapping),在顯示之前可以對映射後的視頻進行進一步調整以調整其飽和度處理,或者/以及色域變換處理,或者/以及去噪處理,或者/以及銳化處理等等,本申請對此不作具體限定。
本申請通過對於映射曲線相關的一個或多個參數進行調整,該調整過程結合了後端的顯示能力,可以針對不同亮度的顯示裝置提供更精確地色調調整,具有較大的靈活性,也可以在合理配置曲線參數的情況下達到很好的呈現效果。
以下通過幾個具體的實施例對圖10所示方法實施例的方案作進一步說明。
實施例一
針對S型曲線,動態元資料中可以包含視頻在記憶體中可存儲的最大亮度、最小亮度、平均亮度等統計值,也可以包含p、m、a、b、n、K1、K2、K3等與S型曲線相關的參數。
一、獲取第一映射曲線參數集合和第一目標系統顯示最大亮度。
動態元資料包括視頻資料的格式或者特徵,第一映射曲線參數集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}、目標系統顯示最大亮度(targeted_system_display_maximum_luminance)MTPL、和/或視頻在記憶體中可存儲的最大亮度MaxSource、和/或最小亮度MinSource、和/或平均亮度AvgSource、和/或可儲存的變化範圍等等。
需要說明的是,本申請不對上述視頻資料包含的內容和資料形式作具體限定。例如,從像素資料的色彩空間說,視頻資料的格式可以是YUV的,也可以是RGB的;從資料的位元寬說,視頻資料可以是8比特,10比特或者12比特等。
二、獲取後端的顯示參數集合集合。
顯示參數集合可以包括後端的最大顯示亮度MaxDisplay、和/或最小顯示亮度MinDisplay、和/或目標系統顯示最大亮度(targeted_system_display_maximum_luminance)TTPL。可以根據設備的參數或者生產商的資訊獲取最大顯示亮度MaxDisplay,最小顯示亮度MinDisplay可以設置為0或者1或者0或者1對應的PQ值。根據設備的顯示性能,最小顯示亮度也可以被設置為其他值,本申請對此不作具體限定。
三、獲取調整係數集合。
對應於上述第一映射曲線參數集合Mb,調整係數集合MΔ可以是{ pΔ、mΔ、aΔ、bΔ、nΔ、K1Δ、K2Δ、K3Δ}的子集或者全集。通常調整係數集合可以通過中繼資料獲取,也可以預先設置。
四、根據本地的最大顯示亮度、第一目標系統顯示最大亮度和調整係數集合對第一映射曲線參數集合中的一個或多個參數進行調整得到第二映射曲線參數集合。
對第一映射曲線參數集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}中的一個或多個參數進行調整,獲得調整後的第二映射曲線參數集合Ma={pa、ma、aa、ba、na、K1a、K2a、K3a}。主要包含以下步驟:
A.遍歷第一映射曲線參數集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}中的參數Qb(Qb為Mb中的任意一個參數)。如果調整係數集合MΔ中存在對應的調整係數QΔ,則,否則,其中或者,當時,a=1,當時,a=-1,M為預設亮度值,為大於0的有理數,如100,50或者100對應的PQ值等等,N為調整強度控制參數,為1、2等大於0的有理數。
B.設置或者
C.設置
D.若根據當前的第二映射曲線參數集合獲得的映射曲線中存在高於x=y的直線的部分,則將pa限制到Tp。主要包含以下方法:
,則認為映射曲線中存在高於x=y的直線的部分判斷高於x=y,為預設值。。或者,
在預先設定的表(Ta,Tp)中查找與aa對應的Tp,若,則將調整為上限值。需要說明的是,如果查表無法找到相同的值,可以使用臨近值、臨近值的加權平均等方式確定查詢的值。
此時根據以下公式計算縮放因子aa:,或者,或者
其中,L=MaxSource,L1=MinSource。
關於aa的計算以下方法亦是如此,不再贅述。
五、根據第二映射曲線參數集合中的一個或多個調整後的參數獲取映射曲線。其中,所述的獲取映射曲線的過程實質上是通過上述的參數集合獲取歸一化的光點信號的過程。
根據第二映射曲線參數集合中的一個或多個調整後的參數得到第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,採用以下公式可以得到映射曲線:,或者,或者,或者
公式中的參數{p,m,a,b,n,K1,K2,K3}均來自第二映射曲線參數集合。L和L’均為歸一化的電信號或者光信號,L’是取值範圍為0.0~1.0的有理數,L是取值範圍為0.0~1.0的有理數;a的取值範圍在0.0~1.0之間;b的取值範圍在0.0~1.0之間;p、n和m的取值範圍在0.1~N之間;N為大於0.1的有理數;k1、k2、k3為有理數。關於L’的計算以下方法亦是如此,不再贅述。
需要說明的是,上述四個公式均可以用作獲取映射曲線,而區別在於第二映射曲線參數集合中與映射曲線相關、且調整後的一個或多個參數。通過公式獲得的映射曲線可以是全部的曲線也可以是分段映射曲線中的一段或一部分。
實施例二
針對S型曲線,動態元資料中可以包含視頻在記憶體中可存儲的最大亮度、最小亮度、平均亮度、可儲存的變化範圍等統計值,也可以包含p、m、a、b、n、K1、K2、K3等與S型曲線相關的參數。
一、獲取第一映射曲線參數集合和第一目標系統顯示最大亮度。
二、獲取後端的顯示參數集合。
三、獲取調整係數集合。
實施例二中的步驟一至三的技術原理與上述實施例一中的步驟一至三分別類似,此處不再贅述。
四、根據本地的最大顯示亮度、第一目標系統顯示最大亮度和調整係數集合對第一映射曲線參數集合中的一個或多個參數進行調整得到第二映射曲線參數集合。
對第一映射曲線參數集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}中的一個或多個參數進行調整,獲得調整後的第二映射曲線參數集合Ma={pa、ma、aa、ba、na、K1a、K2a、K3a}。主要包含以下步驟:
A.根據中繼資料中根據最大顯示亮度MaxDisplay、和/或最小顯示亮度MinDisplay、和/或可存儲的最大亮度MaxSource、和/或可存儲的最小亮度MinSource、和/或可存儲的平均值AvgSource、和/或可儲存的變化範圍、和/或其他與映射曲線不直接相關的參數等,得到另外一組與映射曲線相關的參數集合Mm={pm、mm、am、bm、nm、K1m、K2m、K3m},其中,Mm中一個或者多個參數即可作為上文中公式(2)的參數Pm。
B.遍歷第一映射曲線參數集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}中的參數Qb(Qb為Mb中的任意一個參數)。如果在參數集合Mm={pm、mm、am、bm、nm、K1m、K2m、K3m}中找到對應的參數Qm,則,否則,其中或者,M為預設亮度值,為大於0的有理數,如100,50或100等線性亮度值對應的PQ值等等,N為調整強度控制參數,為1、2等大於0的有理數。
C.設置或者
D.縮放因子aa的計算公式可以參照上述實施例一,此處不再贅述。
五、根據第二映射曲線參數集合中的一個或多個調整後的參數獲取映射曲線。
實施例二中的步驟五的技術原理與上述實施例一中的步驟五類似,此處不再贅述。
實施例三
針對S型曲線,動態元資料中可以包含視頻在記憶體中可存儲的最大亮度、最小亮度、平均亮度、可儲存的變化範圍等統計值,也可以包含p、m、a、b、n、K1、K2、K3等與S型曲線相關的參數。
一、獲取第一映射曲線參數集合和第一目標系統顯示最大亮度。
二、獲取後端的顯示參數集合。
三、獲取調整係數集合。
實施例三中的步驟一至三的技術原理與上述實施例一中的步驟一至三分別類似,此處不再贅述。
四、根據本地的最大顯示亮度、第一目標系統顯示最大亮度和調整係數集合對第一映射曲線參數集合中的一個或多個參數進行調整得到第二映射曲線參數集合。
對第一映射曲線參數集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}中的一個或多個參數進行調整,獲得調整後的第二映射曲線參數集合Ma={pa、ma、aa、ba、na、K1a、K2a、K3a}。主要包含以下步驟:
A.根據中繼資料中根據最大顯示亮度MaxDisplay、和/或最小顯示亮度MinDisplay、和/或可存儲的最大亮度MaxSource、和/或可存儲的最小亮度MinSource、和/或可存儲的平均值AvgSource、和/或可儲存的變化範圍、和/或其他與映射曲線不直接相關的參數等,得到另外一組與映射曲線相關的參數集合Mm={pm、mm、am、bm、nm、K1m、K2m、K3m},其中,Mm中一個或者多個參數即可作為上文中公式(2)的參數Pm。
B.遍歷第一映射曲線參數集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}中的參數Qb(Qb為Mb中的任意一個參數)。如果在參數集合Mm={pm、mm、am、bm、nm、K1m、K2m、K3m}中找到對應的參數Qm,則,否則,其中或者,M為預設亮度值,為大於0的有理數,如100,50或100,50對應的PQ值等等,N為調整強度控制參數,為1、2等大於0的有理數。
C.設置或者
D.設置或者
E.若根據當前的第二映射曲線參數集合獲得的映射曲線中存在高於x=y的直線的部分,則將pa限制到Tp。主要包含以下方法:
,則認為映射曲線中存在高於x=y的直線的部分判斷高於x=y,為預設值。。或者,
在預先設定的表(Ta,Tp)中查找與aa對應的Tp,若,則將調整為上限值。需要說明的是,如果查表無法找到相同的值,可以使用臨近值、臨近值的加權平均等方式確定查詢的值。
縮放因子aa的計算公式可以參照上述實施例一,此處不再贅述。
五、根據第二映射曲線參數集合中的一個或多個調整後的參數獲取映射曲線。
實施例三中的步驟五的技術原理與上述實施例一中的步驟五類似,此處不再贅述。
實施例四
針對S型曲線,動態元資料中可以包含視頻在記憶體中可存儲的最大亮度、最小亮度、平均亮度等統計值,也可以包含p、m、a、b、n、K1、K2、K3等與S型曲線相關的參數。
一、獲取第一映射曲線參數集合和第一目標系統顯示最大亮度。
二、獲取後端的顯示參數集合。
三、獲取調整係數集合。
實施例四中的步驟一至三的技術原理與上述實施例一中的步驟一至三分別類似,此處不再贅述。
四、根據本地的最大顯示亮度、第一目標系統顯示最大亮度和調整係數集合對第一映射曲線參數集合中的一個或多個參數進行調整得到第二映射曲線參數集合。
對第一映射曲線參數集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}中的一個或多個參數進行調整,獲得調整後的第二映射曲線參數集合Ma={pa、ma、aa、ba、na、K1a、K2a、K3a}。主要包含以下步驟:
A.遍歷第一映射曲線參數集合Mb={pb、mb、ab、bb、nb、K1b、K2b、K3b}中的參數Qb(Qb為Mb中的任意一個參數)。如果調整係數集合MΔ中存在對應的調整係數QΔ,則,否則,其中或者,當時,a=1,當時,a=-1,M為預設亮度值,為大於0的有理數,如100,50或者100對應的PQ值等等,N為調整強度控制參數,為1、2等大於0的有理數。
B.設置或者
C.縮放因子aa的計算公式可以參照上述實施例一,此處不再贅述。
五、根據第二映射曲線參數集合中的一個或多個調整後的參數獲取映射曲線。
實施例四中的步驟五的技術原理與上述實施例一中的步驟五類似,此處不再贅述。
實施例五
該實施例用於說明實施例一至四任意一個實施例在HDR基礎曲線(參數)獲取過程中的前置操作步驟,其具體包括:
一、從動態元資料(metadata)資訊中取得基礎曲線參數Stone_mapping。
根據metadata資訊中的色調映射標識tone_mapping_mode和基礎曲線標識base_flag,獲得m_p、m_a、m_m、m_n、m_b、K1、K2、K3,對於不存在的參數,設為未賦值N_A。
二、從metadata資訊中取得待處理幀的最大亮度校正值max_lum和待處理幀的最小亮度min_lum。
更新待處理幀的最大亮度校正值max_lum。
三、對於基礎曲線參數Stone_mapping中的未賦值參數進行更新得到Ptone_mapping。
A、若tone_mapping_mode為0,則調用以下的基礎曲線參數獲得過程更新參數;
其中,輸入為顯示裝置的顯示亮度範圍的最大顯示亮度MaxDisplay(PQ域的值),顯示裝置的顯示亮度範圍的最小顯示亮度MinDisplay(PQ域的值)以及metadata資訊;輸出為基礎曲線曲線參數Ptone_mapping,包含m_p、m_a、m_m、m_n、m_b、K1、K2、K3。
1、將m_m、m_n、K1、K2、K3分別設為預設值2.4、1、1、1、1,預設上述參數後曲線變成
2、將m_b設為MinDisplay。
3、根據metadata資訊中的average_maxrgb(avgL)計算m_p:
其中,是預設值,預設值分別為3.5、4.0、0.6、0.3,g0()為,默認為y=x。
4、根據最大亮度校正值max_lum更新m_p:
其中,是預設值,預設值分別為0.6、0.0、0.9、0.75。
5、根據m_p、m_m、m_n、m_b、K1、K2、K3得到H(L) 從而得到
其中,MaxSource表示待處理幀的最大亮度校正值max_lum(PQ域),MinSource表示待處理幀的最小亮度min_lum(PQ域)。
B,否則,若tone_mapping_mode為1:
如果目標系統顯示最大亮度targeted_system_display_maximum_luminance等於MaxDisplay,則將m_p、m_a、m_m、m_n、m_b、K1、K2、K3設為m_p_0、m_a_0、m_m_0、m_n_0、m_b、K1_0、K2_0、K3_0;否則,採用實施例一至四任意方案進行基礎曲線參數的調整。
需要說明的是,當進入上述分支B,即否則,若tone_mapping_mode為1時,判斷過程“如果目標系統顯示最大亮度targeted_system_display_maximum_luminance等於MaxDisplay,則將m_p、m_a、m_m、m_n、m_b、K1、K2、K3設為m_p_0、m_a_0、m_m_0、m_n_0、m_b、K1_0、K2_0、K3_0;”為可選步驟,可以通過直接採用實施例一至四任意方案進行基礎曲線參數的調整,其輸出結果一致。而採用該判斷過程“如果目標系統顯示最大亮度targeted_system_display_maximum_luminance等於MaxDisplay,則將m_p、m_a、m_m、m_n、m_b、K1、K2、K3設為m_p_0、m_a_0、m_m_0、m_n_0、m_b、K1_0、K2_0、K3_0;”,可以簡化在實際硬體實現過程中的複雜度和計算時間。
示例性的,實施例一的實現方式可以如下:
輸入為顯示裝置的顯示亮度範圍的最大顯示亮度MaxDisplay(PQ域的值),顯示裝置的顯示亮度範圍的最小顯示亮度MinDisplay(PQ域的值),待處理幀的RGB色域像素緩衝區f[Nframe][3]以及metadata資訊m_p_0、m_a_0、m_m_0、m_n_0、m_b、K1_0、K2_0、K3_0、targeted_system_display_maximum_luminance(MTPL)、base_param_Delta;輸出為基礎曲線曲線參數Ptone_mapping,包含m_p、m_a、m_m、m_n、m_b、K1、K2、K3。
1、將m_m、m_n、K1、K2、K3設為m_m_0、m_n_0、K1_0、K2_0、K3_0。
2、將m_b設為MinDisplay。
3、設置
4、設置,其中N預設值為1。若m_p大於Tm_p,則設置m_p=Tm_p,Tm_p預設值為Tpa/m_a,Tpa預設值為3.2363。
5、從而得到:
6、將L等於MaxSource代入下式得到m_a:
示例性的,實施例二的實現方式可以如下:
輸入為顯示裝置的顯示亮度範圍的最大顯示亮度MaxDisplay(PQ域的值),顯示裝置的顯示亮度範圍的最小顯示亮度MinDisplay(PQ域的值),中繼資料中average_maxrgb,待處理幀的RGB色域像素緩衝區f[Nframe][3]以及metadata資訊m_p_0、m_m_0、m_n_0、m_a_0、m_b_0、K1_0、K2_0、K3_0、targeted_system_display_maximum_luminance(MTPL)、base_param_Delta;輸出為基礎曲線曲線參數Ptone_mapping,包含m_p、m_m、m_n、m_a、m_b、K1、K2、K3。
1、生成基礎曲線參數P1tone_mapping,包含m_p_1、m_m_1、m_n_1、m_a_1、m_b_1、K1_1、K2_1、K3_1。
2、計算,其中N為大於0的數,默認使用1,w大於或等於0,且小於或等於1。
3、根據以下公式計算得到m_p、m_m、m_n、K1、K2、K3:
4、將m_b設為MinDisplay。
5、從而得到:
6、將L等於MaxSource代入下式得到m_a:
基於與上述方法相同的發明構思,本申請實施例還提供了一種視頻處理裝置,圖11是用於實現本申請實施例的一種視頻處理裝置1100的結構框圖,如圖11所示,該視頻處理裝置1100包括獲取模組1101和處理模組1102,其中:獲取模組1101,用於獲取第一映射曲線參數集合和第一目標系統顯示最大亮度,所述第一映射曲線參數集合和所述第一目標系統顯示最大亮度對應,所述第一映射曲線參數集合包括與映射曲線相關的一個或多個參數;獲取顯示亮度參數集合,所述顯示亮度參數集合包括顯示裝置的最大顯示亮度和/或最小顯示亮度;獲取調整係數集合,所述調整係數集合包括一個或多個調整係數,所述一個或多個調整係數和所述第一映射曲線參數集合中的所述一個或多個參數對應;處理模組1102,用於根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合,所述第二映射曲線參數集合包括一個或多個調整後的參數。
在一種可能的實現方式中,所述處理模組1102,具體用於根據公式(1)計算調整後的第一參數,所述第一參數為所述第一映射曲線參數集合中的任意一個參數:(1)
其中,表示所述調整後的第一參數,表示所述第一參數,表示所述第一參數對應的所述調整係數,或者,當時,a=1,當時,a=-1,表示所述最大顯示亮度,表示所述第一目標系統顯示最大亮度,表示調整強度控制參數,表示預設亮度值。
在一種可能的實現方式中,所述獲取模組1101,還用於獲取可存儲的最大亮度、可存儲的最小亮度、可存儲的平均值以及可儲存的變化範圍中的一個或多個,根據所述最大顯示亮度、所述最小顯示亮度、所述可存儲的最大亮度、所述可存儲的最小亮度、所述可存儲的平均值以及所述可儲存的變化範圍中的一個或多個得到的第一參數的中間值,所述第一參數為所述第一映射曲線參數集合中的任意一個參數;所述處理模組1102,具體用於根據公式(2)計算調整後的第一參數:(2)
其中,表示所述調整後的第一參數,表示所述第一參數,或者表示所述第一參數對應的所述調整係數,表示所述最大顯示亮度,表示所述第一目標系統顯示最大亮度,表示調整強度控制參數,表示預設亮度值,表示所述第一參數的中間值。
在一種可能的實現方式中,所述處理模組1102,還用於根據所述調整後的第一參數和所述第一映射曲線參數集合中除所述第一參數外的其他參數獲取第一映射曲線,若根據所述第一映射曲線進行色調映射後得到的視頻亮度高於視頻的原始亮度,則繼續對所述第一參數進行調整;或者,根據預設規則分析所述調整後的第一參數,若所述調整後的第一參數符合所述預設規則,則繼續對所述第一參數進行調整。
在一種可能的實現方式中,所述處理模組1102,具體用於當所述第一映射曲線參數集合中包括縮放因子時,根據公式(3)計算調整後的所述縮放因子:(3)
其中,表示所述調整後的所述縮放因子,表示所述第二映射曲線參數集合中的參數,表示視頻在記憶體中可存儲的最大亮度,表示與所述視頻在記憶體中可存儲的最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示所述最大顯示亮度。
在一種可能的實現方式中,所述處理模組1102,具體用於當所述第一映射曲線參數集合中包括縮放因子時,根據公式(4)計算調整後的所述縮放因子:(4)
其中,表示所述調整後的所述縮放因子,表示所述第二映射曲線參數集合中的參數,表示視頻在記憶體中可存儲的最大亮度,表示視頻在記憶體中可存儲的最小亮度,表示與所述視頻在記憶體中可存儲的最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示與所述視頻在記憶體中可存儲的最小亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示所述最大顯示亮度,表示所述最小顯示亮度。
在一種可能的實現方式中,所述處理模組1102,具體用於當所述第一映射曲線參數集合中包括縮放因子時,根據公式(5)計算調整後的所述縮放因子:(5)
其中,表示所述調整後的所述縮放因子,表示所述第二映射曲線參數集合中的參數,表示視頻在記憶體中可存儲的最大亮度,表示與所述視頻在記憶體中可存儲的最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示所述最大顯示亮度,表示所述最小顯示亮度。
在一種可能的實現方式中,所述處理模組1102,具體用於當所述第一映射曲線參數集合中包括縮放因子時,根據公式(6)計算調整後的所述縮放因子:(6)
其中,表示所述調整後的所述縮放因子,表示所述第二映射曲線參數集合中的參數,表示視頻在記憶體中可存儲的最大亮度,表示視頻在記憶體中可存儲的最小亮度,表示與所述視頻在記憶體中可存儲的最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示與所述視頻在記憶體中可存儲的最小亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,表示所述最大顯示亮度。
在一種可能的實現方式中,所述獲取模組1101,具體用於從視頻的動態元資料中獲取所述第一映射曲線參數集合和所述第一目標系統顯示最大亮度;或者,從所述動態元資料中獲取所述第一映射曲線參數集合,根據設定的對應關係獲取與所述第一映射曲線參數集合對應的所述第一目標系統顯示最大亮度。
在一種可能的實現方式中,所述獲取模組1101,具體用於從視頻的動態元資料中獲取所述調整係數集合;或者,根據預設值獲取所述調整係數集合。
在一種可能的實現方式中,所述獲取模組1101,具體用於直接讀取一個或多個調整係數;或者,獲取調整模式,並獲取與所述調整模式對應的所述一個或多個調整係數。
在一種可能的實現方式中,所述獲取模組1101,具體用於通過設備資訊獲取所述顯示亮度參數集合;或者,通過預設資訊獲取所述顯示亮度參數集合。
在一種可能的實現方式中,所述獲取模組1101,還用於根據所述第二映射曲線參數集合中的所述一個或多個調整後的參數獲取映射曲線。
還需要說明的是,獲取模組1101和處理模組1102的具體實現過程可參考圖10實施例的詳細描述,為了說明書的簡潔,這裡不再贅述。
本領域技術人員能夠領會,結合本文公開描述的各種說明性邏輯框、模組和演算法步驟所描述的功能可以硬體、軟體、固件或其任何組合來實施。如果以軟體來實施,那麼各種說明性邏輯框、模組、和步驟描述的功能可作為一或多個指令或代碼在電腦可讀媒體上存儲或傳輸,且由基於硬體的處理單元執行。電腦可讀媒體可包含電腦可讀存儲媒體,其對應於有形媒體,例如資料存儲媒體,或包括任何促進將電腦程式從一處傳送到另一處的媒體(例如,根據通信協定)的通信媒體。以此方式,電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀存儲媒體,或(2)通信媒體,例如信號或載波。資料存儲媒體可為可由一或多個電腦或一或多個處理器存取以檢索用於實施本申請中描述的技術的指令、代碼和/或資料結構的任何可用媒體。電腦程式產品可包含電腦可讀媒體。
作為實例而非限制,此類電腦可讀存儲媒體可包括RAM、ROM、EEPROM、CD-ROM或其它光碟存儲裝置、磁片存儲裝置或其它磁性存儲裝置、快閃記憶體或可用來存儲指令或資料結構的形式的所要程式碼並且可由電腦存取的任何其它媒體。並且,任何連接被恰當地稱作電腦可讀媒體。舉例來說,如果使用同軸纜線、光纖纜線、雙絞線、數位訂戶線(DSL)或例如紅外線、無線電和微波等無線技術從網站、伺服器或其它遠端源傳輸指令,那麼同軸纜線、光纖纜線、雙絞線、DSL或例如紅外線、無線電和微波等無線技術包含在媒體的定義中。但是,應理解,所述電腦可讀存儲媒體和資料存儲媒體並不包括連接、載波、信號或其它暫時媒體,而是實際上針對於非暫時性有形存儲媒體。如本文中所使用,磁片和光碟包含壓縮光碟(CD)、鐳射光碟、光學光碟、數位多功能光碟(DVD)和藍光光碟,其中磁片通常以磁性方式再現資料,而光碟利用鐳射以光學方式再現資料。以上各項的組合也應包含在電腦可讀媒體的範圍內。
可通過例如一或多個數位訊號處理器(DSP)、通用微處理器、專用積體電路(ASIC)、現場可程式設計邏輯陣列(FPGA)或其它等效集成或離散邏輯電路等一或多個處理器來執行指令。因此,如本文中所使用的術語“處理器”可指前述結構或適合於實施本文中所描述的技術的任一其它結構中的任一者。另外,在一些方面中,本文中所描述的各種說明性邏輯框、模組、和步驟所描述的功能可以提供於經配置以用於編碼和解碼的專用硬體和/或軟體模組內,或者併入在組合轉碼器中。而且,所述技術可完全實施於一或多個電路或邏輯元件中。
本申請的技術可在各種各樣的裝置或設備中實施,包含無線手持機、積體電路(IC)或一組IC(例如,晶片組)。本申請中描述各種元件、模組或單元是為了強調用於執行所揭示的技術的裝置的功能方面,但未必需要由不同硬體單元實現。實際上,如上文所描述,各種單元可結合合適的軟體和/或固件組合在編碼解碼器硬體單元中,或者通過交互操作硬體單元(包含如上文所描述的一或多個處理器)來提供。
在上述實施例中,對各個實施例的描述各有側重,某個實施例中沒有詳述的部分,可以參見其他實施例的相關描述。
以上所述,僅為本申請示例性的具體實施方式,但本申請的保護範圍並不局限於此,任何熟悉本技術領域的技術人員在本申請揭露的技術範圍內,可輕易想到的變化或替換,都應涵蓋在本申請的保護範圍之內。因此,本申請的保護範圍應該以權利要求的保護範圍為准。
900:終端設備 901:應用處理器(AP) 902:微控制器單元(MCU) 903:記憶體 904:數據機(modem) 905:射頻模組 906:Wi-Fi模組 907:藍牙模組 908:感測器 909:輸入/輸出(I/O)設備 910:定位模組 9191:顯示器 9092:觸控式螢幕 9093:音訊電路 9094:揚聲器 9095:麥克風 911:作業系統 912:應用程式 1000:過程 1001:獲取第一映射曲線參數集合和第一目標系統顯示最大(峰值)亮度的步驟 1002:獲取顯示亮度參數集合的步驟 1003:獲取調整係數集合的步驟 1004:根據顯示亮度參數集合、第一目標系統顯示最大(峰值)亮度和調整係數集合對第一映射曲線參數集合中的一個或多個參數進行調整得到第二映射曲線參數集合的步驟 1005:根據第二映射曲線參數集合中的一個或多個調整後的參數獲取映射曲線的步驟 1100:視頻處理裝置 1101:獲取模組 1102:處理模組
為了更清楚地說明本申請實施例或背景技術中的技術方案,下面將對本申請實施例或背景技術中所需要使用的附圖進行說明。 圖1示出了真實世界的成像過程中動態範圍映射的一個示例圖; 圖2示例性的示出了PQ光電轉移函數的一個曲線示意圖; 圖3示例性的示出了HLG光電轉移函數的一個曲線示意圖; 圖4示例性的示出了SLF光電轉移函數的一個曲線示意圖; 圖5示例性的示出了sigmoidal曲線的一個示意圖; 圖6示例性的示出了貝澤爾曲線的一個示意圖; 圖7示例性的示出了S型曲線的一個示意圖; 圖8示例性地給出了本申請實施例所應用的視頻處理系統的示意性框圖; 圖9示出了終端設備900的一個示例性的結構示意圖; 圖10為本申請映射曲線參數的獲取方法實施例的流程圖; 圖11是用於實現本申請實施例的一種視頻處理裝置1100的結構框圖。
1000:過程
1001:獲取第一映射曲線參數集合和第一目標系統顯示最大(峰值)亮度的步驟
1002:獲取顯示亮度參數集合的步驟
1003:獲取調整係數集合的步驟
1004:根據顯示亮度參數集合、第一目標系統顯示最大(峰值)亮度和調整係數集合對第一映射曲線參數集合中的一個或多個參數進行調整得到第二映射曲線參數集合的步驟
1005:根據第二映射曲線參數集合中的一個或多個調整後的參數獲取映射曲線的步驟

Claims (24)

  1. 一種映射曲線參數的獲取方法,其中,包括:獲取第一映射曲線參數集合和第一目標系統顯示最大亮度,所述第一映射曲線參數集合和所述第一目標系統顯示最大亮度對應,所述第一映射曲線參數集合包括與映射曲線相關的一個或多個參數;獲取顯示亮度參數集合,所述顯示亮度參數集合包括顯示裝置的最大顯示亮度和/或最小顯示亮度;獲取調整係數集合,所述調整係數集合包括一個或多個調整係數,所述一個或多個調整係數和所述第一映射曲線參數集合中的所述一個或多個參數對應;根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合,所述第二映射曲線參數集合包括一個或多個調整後的參數;其中,所述根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合,包括:根據公式(1)計算調整後的第一參數,所述第一參數為所述第一映射曲線參數集合中的任意一個參數,所述調整後的第一參數屬於所述第二映射曲線參數集合: P a =P b +k×P (1)其中,P a 表示所述調整後的第一參數,P b 表示所述第一參數,P 表示所述第一參數對應的所述調整係數,
    Figure 110115421-A0305-02-0074-1
    或者
    Figure 110115421-A0305-02-0074-2
    ,當MaxDisplay>M TPL 時,a=1,當MaxDisplay
    Figure 110115421-A0305-02-0074-18
    M TPL 時,a=-1,MaxDisplay表示所述最大顯示亮度,M TPL 表示所述第一目標系統顯示最大亮度,N表示調整強度控制參數,M表示預設亮度值;或者,其中,所述根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合之前,還包括:獲取待顯示內容的最大亮度、最小亮度、平均值以及變化範圍中的一個或多個,根據所述最大顯示亮度、所述最小顯示亮度、所述最大亮度、所述最小亮度、所述平均值以及所述變化範圍中的一個或多個得到的第一參數的中間值,所述第一參數為所述第一映射曲線參數集合中的任意一個參數;所述根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合,包括: 根據公式(2)計算調整後的第一參數,所述調整後的第一參數屬於所述第二映射曲線參數集合:P a =(1-wP b +w×P m (2)其中,P a 表示所述調整後的第一參數,P b 表示所述第一參數,
    Figure 110115421-A0305-02-0075-3
    或者
    Figure 110115421-A0305-02-0075-4
    P 表示所述第一參數對應的所述調整係數,MaxDisplay表示所述最大顯示亮度,M TPL 表示所述第一目標系統顯示最大亮度,N表示調整強度控制參數,M表示預設亮度值,P m 表示所述第一參數的中間值。
  2. 如請求項1所述的方法,其中,根據公式計算調整後的第一參數後,還包括:根據所述調整後的第一參數和所述第一映射曲線參數集合中除所述第一參數外的其他參數獲取第一映射曲線,若根據所述第一映射曲線進行色調映射後得到的待顯示內容亮度高於待顯示內容的原始亮度,則繼續對所述第一參數進行調整;或者,根據預設規則分析所述調整後的第一參數,若所述調整後的第一參數符合所述預設規則,則繼續對所述第一參數進行調整。
  3. 如請求項1或2所述的方法,其中,所述根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合,包括: 當所述第一映射曲線參數集合中包括縮放因子時,根據公式(3)計算調整後的所述縮放因子:
    Figure 110115421-A0305-02-0076-5
    其中,r a 表示所述調整後的所述縮放因子,P1 a ,P2 a ,...表示所述第二映射曲線參數集合中的參數,MaxSource表示待顯示內容在記憶體中最大亮度,f(MaxSource,P1 a ,P2 a ,...)表示與所述待顯示內容在記憶體中最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,MaxDisplay表示所述最大顯示亮度。
  4. 如請求項1或2所述的方法,其中,所述根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合,包括:當所述第一映射曲線參數集合中包括縮放因子時,根據公式(4)計算調整後的所述縮放因子:
    Figure 110115421-A0305-02-0076-6
    其中,r a 表示所述調整後的所述縮放因子,P1 a ,P2 a ,...表示所述第二映射曲線參數集合中的參數,MaxSource表示待顯示內容在記憶體中最大亮度,MinSource表示所述待顯示內容在記憶體中最小亮度,f(MaxSource,P1 a ,P2 a ,...)表示與所述待顯示內容在記憶體中最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的 參數相關的函數計算,f(MinSource,P1 a ,P2 a ,...)表示與所述待顯示內容在記憶體中最小亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,MaxDisplay表示所述最大顯示亮度,MinDisplay表示所述最小顯示亮度。
  5. 如請求項1或2所述的方法,其中,所述根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合,包括:當所述第一映射曲線參數集合中包括縮放因子時,根據公式(5)計算調整後的所述縮放因子:
    Figure 110115421-A0305-02-0077-7
    其中,r a 表示所述調整後的所述縮放因子,P1 a ,P2 a ,...表示所述第二映射曲線參數集合中的參數,MaxSource表示待顯示內容在記憶體中最大亮度,f(MaxSource,P1 a ,P2 a ,...)表示與所述待顯示內容在記憶體中最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,MaxDisplay表示所述最大顯示亮度,MinDisplay表示所述最小顯示亮度。
  6. 如請求項1或2所述的方法,其中,所述根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合,包括: 當所述第一映射曲線參數集合中包括縮放因子時,根據公式(6)計算調整後的所述縮放因子:
    Figure 110115421-A0305-02-0078-8
    其中,r a 表示所述調整後的所述縮放因子,P1 a ,P2 a ,...表示所述第二映射曲線參數集合中的參數,MaxSource表示待顯示內容在記憶體中最大亮度,MinSource表示待顯示內容在記憶體中最小亮度,f(MaxSource,P1 a ,P2 a ,...)表示與所述待顯示內容在記憶體中最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,f(MinSource,P1 a ,P2 a ,...)表示與所述待顯示內容在記憶體中最小亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,MaxDisplay表示所述最大顯示亮度。
  7. 如請求項1或2所述的方法,其中,所述獲取第一映射曲線參數集合和第一目標系統顯示最大亮度,包括:從待顯示內容的動態元資料中獲取所述第一映射曲線參數集合和所述第一目標系統顯示最大亮度;或者,從所述動態元資料中獲取所述第一映射曲線參數集合,根據設定的對應關係獲取與所述第一映射曲線參數集合對應的所述第一目標系統顯示最大亮度。
  8. 如請求項1或2所述的方法,其中,所述獲取調整係數集合,包括: 從待顯示內容的動態元資料中獲取所述調整係數集合;或者,根據預設值獲取所述調整係數集合。
  9. 如請求項8所述的方法,其中,所述獲取調整係數集合,包括:直接讀取一個或多個調整係數;或者,獲取調整模式,並獲取與所述調整模式對應的所述一個或多個調整係數。
  10. 如請求項1或2所述的方法,其中,所述獲取顯示亮度參數集合,包括:通過設備資訊獲取所述顯示亮度參數集合;或者,通過預設資訊獲取所述顯示亮度參數集合。
  11. 如請求項1或2所述的方法,其中,所述根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合之後,還包括:根據所述第二映射曲線參數集合中的所述一個或多個調整後的參數獲取映射曲線。
  12. 一種視頻處理裝置,其中,包括:獲取模組,用於獲取第一映射曲線參數集合和第一目標系統顯示最大亮度,所述第一映射曲線參數集合和所述第一目標系統顯示最大亮度對應,所述第一映射曲線參數集合包括與映射曲線相關的一個或多個參數;獲取顯示亮度參數集合,所述顯示亮度 參數集合包括顯示裝置的最大顯示亮度和/或最小顯示亮度;獲取調整係數集合,所述調整係數集合包括一個或多個調整係數,所述一個或多個調整係數和所述第一映射曲線參數集合中的所述一個或多個參數對應;處理模組,用於根據所述顯示亮度參數集合、所述第一目標系統顯示最大亮度和所述調整係數集合對所述第一映射曲線參數集合中的所述一個或多個參數進行調整得到第二映射曲線參數集合,所述第二映射曲線參數集合包括一個或多個調整後的參數;其中,所述處理模組,具體用於根據公式(1)計算調整後的第一參數,所述第一參數為所述第一映射曲線參數集合中的任意一個參數,所述調整後的第一參數屬於所述第二映射曲線參數集合:P a =P b -k×P (1)其中,P a 表示所述調整後的第一參數,P b 表示所述第一參數,P 表示所述第一參數對應的所述調整係數,
    Figure 110115421-A0305-02-0080-10
    或者
    Figure 110115421-A0305-02-0080-11
    ,當MaxDisplay>M TPL 時,a=1,當MaxDisplay
    Figure 110115421-A0305-02-0080-19
    M TPL 時,a=-1,MaxDisplay表示所述最大顯示亮度,M TPL 表示所述第一目標系統顯示最大亮度,N表示調整強度控制參數,M表示預設亮度值;或者, 其中,所述獲取模組,還用於獲取待顯示內容的最大亮度、最小亮度、平均值以及變化範圍中的一個或多個,根據所述最大顯示亮度、所述最小顯示亮度、所述最大亮度、所述最小亮度、所述平均值以及所述變化範圍中的一個或多個得到的第一參數的中間值,所述第一參數為所述第一映射曲線參數集合中的任意一個參數;所述處理模組,具體用於根據公式(2)計算調整後的第一參數,所述調整後的第一參數屬於所述第二映射曲線參數集合:P a =(1-wP b +w×P m (2)其中,P a 表示所述調整後的第一參數,P b 表示所述第一參數,
    Figure 110115421-A0305-02-0081-12
    或者
    Figure 110115421-A0305-02-0081-13
    P 表示所述第一參數對應的所述調整係數,MaxDisplay表示所述最大顯示亮度,M TPL 表示所述第一目標系統顯示最大亮度,N表示調整強度控制參數,M表示預設亮度值,P m 表示所述第一參數的中間值。
  13. 如請求項12所述的裝置,其中,所述處理模組,還用於根據所述調整後的第一參數和所述第一映射曲線參數集合中除所述第一參數外的其他參數獲取第一映射曲線,若根據所述第一映射曲線進行色調映射後得到的待顯示內容亮度高於待顯示內容的原始亮度,則繼續對所述第一參數進行調整;或者,根據預設規則分析所述調整後的第一參數,若所述調整後的第一參數符合所述預設規則,則繼續對所述第一參數進行調整。
  14. 如請求項12或13所述的裝置,其中,所述處理模組,具體用於當所述第一映射曲線參數集合中包括縮放因子時,根據公式(3)計算調整後的所述縮放因子:
    Figure 110115421-A0305-02-0082-14
    其中,r a 表示所述調整後的所述縮放因子,P1 a ,P2 a ,...表示所述第二映射曲線參數集合中的參數,MaxSource表示待顯示內容在記憶體中最大亮度,f(MaxSource,P1 a ,P2 a ,...)表示與所述待顯示內容在記憶體中最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,MaxDisplay表示所述最大顯示亮度。
  15. 如請求項12或13所述的裝置,其中,所述處理模組,具體用於當所述第一映射曲線參數集合中包括縮放因子時,根據公式(4)計算調整後的所述縮放因子:
    Figure 110115421-A0305-02-0082-15
    其中,r a 表示所述調整後的所述縮放因子,P1 a ,P2 a ,...表示所述第二映射曲線參數集合中的參數,MaxSource表示待顯示內容在記憶體中最大亮度,MinSource表示待顯示內容在記憶體中最小亮度,f(MaxSource,P1 a ,P2 a ,...)表示與所述待顯示內容在記憶體中最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,f(MinSource,P1 a ,P2 a ,...)表示與所述待顯示內容在記憶體中最小亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,MaxDisplay表示所述最大顯示 亮度,MinDisplay表示所述最小顯示亮度。
  16. 如請求項12或13所述的裝置,其中,所述處理模組,具體用於當所述第一映射曲線參數集合中包括縮放因子時,根據公式(5)計算調整後的所述縮放因子:
    Figure 110115421-A0305-02-0083-16
    其中,r a 表示所述調整後的所述縮放因子,P1 a ,P2 a ,...表示所述第二映射曲線參數集合中的參數,MaxSource表示待顯示內容在記憶體中最大亮度,f(MaxSource,P1 a ,P2 a ,...)表示與所述待顯示內容在記憶體中最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,MaxDisplay表示所述最大顯示亮度,MinDisplay表示所述最小顯示亮度。
  17. 如請求項12或13所述的裝置,其中,所述處理模組,具體用於當所述第一映射曲線參數集合中包括縮放因子時,根據公式(6)計算調整後的所述縮放因子:
    Figure 110115421-A0305-02-0083-17
    其中,r a 表示所述調整後的所述縮放因子,P1 a ,P2 a ,...表示所述第二映射曲線參數集合中的參數,MaxSource表示待顯示內容在記憶體中最大亮度,MinSource表示待顯示內容在記憶體中最小亮度,f(MaxSource,P1 a ,P2 a ,...)表示與所述待顯示內容在記憶體中最大亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,f(MinSource,P1 a ,P2 a ,...)表示與所述待顯示內容在 記憶體中最小亮度、以及所述第二映射曲線參數集合中的一個或多個調整後的參數相關的函數計算,MaxDisplay表示所述最大顯示亮度。
  18. 如請求項12或13所述的裝置,其中,所述獲取模組,具體用於從待顯示內容的動態元資料中獲取所述第一映射曲線參數集合和所述第一目標系統顯示最大亮度;或者,從所述動態元資料中獲取所述第一映射曲線參數集合,根據設定的對應關係獲取與所述第一映射曲線參數集合對應的所述第一目標系統顯示最大亮度。
  19. 如請求項12或13所述的裝置,其中,所述獲取模組,具體用於從待顯示內容的動態元資料中獲取所述調整係數集合;或者,根據預設值獲取所述調整係數集合。
  20. 如請求項19所述的裝置,其中,所述獲取模組,具體用於直接讀取一個或多個調整係數;或者,獲取調整模式,並獲取與所述調整模式對應的所述一個或多個調整係數。
  21. 如請求項12或13所述的裝置,其中,所述獲取模組,具體用於通過設備資訊獲取所述顯示亮度參數集合;或者,通過預設資訊獲取所述顯示亮度參數集合。
  22. 如請求項12或13所述的裝置,其中,所述獲取模組,還用於根據所述第二映射曲線參數集合中的所述一個或多個調整後的參數獲取映射曲線。
  23. 一種終端設備,其中,包括: 一個或多個處理器;記憶體,用於存儲一個或多個程式;當所述一個或多個程式被所述一個或多個處理器執行,使得所述一個或多個處理器實現如請求項1-11中任一項所述的方法。
  24. 一種電腦可讀存儲介質,其中,包括電腦程式,所述電腦程式在電腦上被執行時,使得所述電腦執行請求項1-11中任一項所述的方法。
TW110115421A 2020-04-30 2021-04-28 映射曲線參數的獲取方法和視頻處理裝置、終端設備及電腦可讀存儲介質 TWI816114B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010366684.2A CN113596428B (zh) 2020-04-30 2020-04-30 映射曲线参数的获取方法和装置
CN202010366684.2 2020-04-30

Publications (2)

Publication Number Publication Date
TW202143705A TW202143705A (zh) 2021-11-16
TWI816114B true TWI816114B (zh) 2023-09-21

Family

ID=78237651

Family Applications (2)

Application Number Title Priority Date Filing Date
TW112131018A TW202402048A (zh) 2020-04-30 2021-04-28 映射曲線參數的獲取方法和視頻處理裝置、終端設備、電腦可讀存儲介質及視頻處理系統
TW110115421A TWI816114B (zh) 2020-04-30 2021-04-28 映射曲線參數的獲取方法和視頻處理裝置、終端設備及電腦可讀存儲介質

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW112131018A TW202402048A (zh) 2020-04-30 2021-04-28 映射曲線參數的獲取方法和視頻處理裝置、終端設備、電腦可讀存儲介質及視頻處理系統

Country Status (7)

Country Link
US (1) US20230042923A1 (zh)
EP (1) EP4135305A4 (zh)
JP (1) JP2023523060A (zh)
KR (1) KR20230006521A (zh)
CN (2) CN115883810A (zh)
TW (2) TW202402048A (zh)
WO (1) WO2021218738A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115883810A (zh) * 2020-04-30 2023-03-31 华为技术有限公司 映射曲线参数的获取方法和装置
US11961206B2 (en) * 2021-09-09 2024-04-16 Samsung Electronics Co., Ltd. Image generation using non-linear scaling and tone-mapping based on cubic spline curves
CN116484269B (zh) * 2023-06-25 2023-09-01 深圳市彤兴电子有限公司 显示屏模组的参数处理方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201701648A (zh) * 2015-06-29 2017-01-01 瑞昱半導體股份有限公司 寬動態範圍影像方法
TW202005368A (zh) * 2017-07-13 2020-01-16 聯發科技股份有限公司 用於執行高動態範圍視訊的色調映射的方法及裝置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7492375B2 (en) * 2003-11-14 2009-02-17 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
ES2825699T3 (es) * 2014-12-11 2021-05-17 Koninklijke Philips Nv Optimización e imágenes de alto rango dinámico para pantallas particulares
GB2537822A (en) * 2015-04-21 2016-11-02 Sharp Kk Liquid crystal display device and a method of driving thereof
US10402952B2 (en) * 2017-06-02 2019-09-03 Apple Inc. Perceptual tone mapping of SDR images for an HDR display
EP3644618A4 (en) * 2017-06-21 2020-05-27 Panasonic Intellectual Property Management Co., Ltd. IMAGE DISPLAY SYSTEM AND IMAGE DISPLAY METHOD
JP7074461B2 (ja) * 2017-11-22 2022-05-24 インターデジタル ヴイシー ホールディングス, インコーポレイテッド ディスプレイ適合hdr画像を再構成する方法およびデバイス
CN108491121B (zh) * 2018-02-02 2020-05-15 普联技术有限公司 终端屏幕的背光亮度调节方法和系统
CN110867172B (zh) * 2019-11-19 2021-02-26 苹果公司 动态控制标准动态范围和高动态范围内容的电子设备
CN115883810A (zh) * 2020-04-30 2023-03-31 华为技术有限公司 映射曲线参数的获取方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201701648A (zh) * 2015-06-29 2017-01-01 瑞昱半導體股份有限公司 寬動態範圍影像方法
TW202005368A (zh) * 2017-07-13 2020-01-16 聯發科技股份有限公司 用於執行高動態範圍視訊的色調映射的方法及裝置

Also Published As

Publication number Publication date
KR20230006521A (ko) 2023-01-10
TW202402048A (zh) 2024-01-01
JP2023523060A (ja) 2023-06-01
EP4135305A4 (en) 2023-07-05
CN113596428B (zh) 2022-12-06
CN113596428A (zh) 2021-11-02
US20230042923A1 (en) 2023-02-09
WO2021218738A1 (zh) 2021-11-04
CN115883810A (zh) 2023-03-31
EP4135305A1 (en) 2023-02-15
TW202143705A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
TWI816114B (zh) 映射曲線參數的獲取方法和視頻處理裝置、終端設備及電腦可讀存儲介質
CN115473957B (zh) 一种图像处理方法和电子设备
WO2018219072A1 (en) Image blurring method, electronic device and computer readable storage medium
WO2024011976A1 (zh) 一种扩展图像动态范围的方法及电子设备
CN113837920A (zh) 一种图像渲染方法及电子设备
CN117274109B (zh) 图像处理方法、降噪模型训练方法及电子设备
CN111767016B (zh) 显示处理方法及装置
WO2022170866A1 (zh) 数据传输方法、装置及存储介质
CN114222072B (zh) 图像处理方法、装置、电子设备及存储介质
US11388348B2 (en) Systems and methods for dynamic range compression in multi-frame processing
CN112805745A (zh) 一种混合图层处理方法及装置
CN114827696B (zh) 一种跨设备的音视频数据同步播放的方法和电子设备
CN115691370A (zh) 显示控制方法及相关装置
CN114630152A (zh) 用于图像处理器的参数传输方法、装置及存储介质
CN114339607B (zh) 测距方法、装置及存储介质
CN114630153B (zh) 用于应用处理器的参数传输方法、装置及存储介质
WO2023284503A1 (zh) 全景图像的色调映射方法和装置
CN116761082B (zh) 图像处理方法及装置
CN115460343B (zh) 图像处理方法、设备及存储介质
CN117710786A (zh) 图像处理方法、图像处理模型的优化方法及相关设备
CN117130765B (zh) 计算资源的配置方法和电子设备
WO2024082713A1 (zh) 一种图像渲染的方法及装置
KR20150143232A (ko) 이미지 프로세싱 장치 및 그 방법
CN116704075A (zh) 图像处理方法、设备及存储介质
CN117726507A (zh) 图像处理方法及装置