TWI734978B - 用於執行高動態範圍視訊的色調映射的方法及裝置 - Google Patents

用於執行高動態範圍視訊的色調映射的方法及裝置 Download PDF

Info

Publication number
TWI734978B
TWI734978B TW108114937A TW108114937A TWI734978B TW I734978 B TWI734978 B TW I734978B TW 108114937 A TW108114937 A TW 108114937A TW 108114937 A TW108114937 A TW 108114937A TW I734978 B TWI734978 B TW I734978B
Authority
TW
Taiwan
Prior art keywords
video signal
tone mapping
brightness
dynamic range
linear rgb
Prior art date
Application number
TW108114937A
Other languages
English (en)
Other versions
TW202005368A (zh
Inventor
陳瀅如
李文甫
張德浩
黃泰翔
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202005368A publication Critical patent/TW202005368A/zh
Application granted granted Critical
Publication of TWI734978B publication Critical patent/TWI734978B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本發明提供了一種用於執行高動態範圍(HDR)視頻的色調映射的視訊控制器以及方法。該視訊控制器包括：一色彩空間轉換器，配置為接收一輸入高動態範圍視訊訊號以及在該HDR視訊訊號上執行YUV到RGB轉換來獲得具有一第一伽馬曲線的一第一RGB視訊訊號；一去伽馬單元，配置為在該第一RGB視訊訊號上應用一第二伽馬曲線來補償該第一伽馬曲線來獲得一線性RGB視訊訊號；一第一直方圖計算器，配置為計算該線性RGB視訊訊號的當前幀的一第一直方圖；以及一色調映射單元，配置為根據該線性RGB視訊訊號的先前幀的直方圖在該線性RGB視訊訊號的當前幀上應用色調映射曲線來生成一輸出線性RGB視訊訊號。

Description

用於執行高動態範圍視訊的色調映射的方法及裝置
本發明涉及視訊處理，更具體地，涉及用於執行高動態範圍(high-dynamic-range，HDR)視訊的色調映射(tone-mapping)的視訊控制器以及方法。
高動態範圍(HDR)是由許多標準組織(例如，藍光協會、ISO/IEC HEVC、ITU-R、SMPTE、CEA以及HDMI)以及私人企業(例如，杜比、飛利浦)所引入的一種新技術。如超高清(ultra-high-definition，UHD)藍光播放機以及UHD TV的裝置預期在不久的將來支援HDR技術。
播放HDR視訊的需求包括兩個主要的用例場景，如：1)在HDR顯示監視器或TV上播放HDR視訊；以及2)在傳統標準動態範圍(standard dynamic range，SDR)顯示監視器或TV上重放HDP視訊。第二種用例需要將HDR視訊轉換成SDR視訊。然而，傳統的HDR到SDR轉換技術可能使用靜態色調映射，例如使用ST 2086標準中定義的靜態元資料。雖然靜態色調映射在圖像中的黑暗區域可以具有更好的對比度(contrast)，其也使得圖像中明亮區域飽和。
當在HDR視訊中靜態元資料可用時，傳統的HDR到SDR轉換技術不能適應性逐幀改變色調映射曲線(即，視訊流中每一幀有不同的色調映射 曲線)，從而導致差的視訊品質。
因此，需要一種執行高動態視訊(HDR)的色調映射的視訊控制器以及方法來解決上述提到的問題。
在參考附圖的後續實施例中給出了本發明的細節描述。
在一示例性實施例中，提供了一種視訊控制器。該視訊控制器包括：一色彩空間轉換器，配置為接收一輸入高動態範圍視訊訊號以及在該輸入HDR視訊訊號上執行YUV到RGB轉換來獲得具有一第一伽馬曲線的一第一RGB視訊訊號；一去伽馬單元，配置為在該第一RGB視訊訊號上應用一第二伽馬曲線來補償該第一伽馬曲線來獲得一線性RGB視訊訊號；一第一直方圖計算器，配置為計算該線性RGB視訊訊號的當前幀的一第一直方圖；以及色調映射單元，配置為根據該線性RGB視訊訊號的先前幀的直方圖，在該線性RGB視訊訊號的當前幀上應用一色調映射曲線來生成一輸出線性RGB視訊訊號。
在另一個示例性實施例中，提供了一種用於執行高動態範圍(HDR)視訊的色調映射的方法。該方法包括後續步驟：接收一輸入高動態範圍視訊訊號；在該輸入HDR視訊訊號上執行YUV到RGB轉換來獲得具有一第一伽馬曲線的一第一RGB視訊訊號；在該第一RGB視訊訊號上應用一第二伽馬曲線來補償該第一伽馬曲線來獲得一第二RGB視訊訊號；計算該第二RGB視訊訊號的當前幀的一第一直方圖；以及根據該第二RGB視訊訊號的先前幀的直方圖，在該第二RGB視訊訊號的當前幀上應用一色調映射曲線來生成一輸出RGB視訊訊號。
本發明藉由適應性逐幀改變色調映射曲線，能夠獲得較好的視訊品質。
110、115:色彩空間轉換器
111:去伽馬單元
112:色域映射單元
113:色調映射單元
114:伽馬單元
116、118:直方圖計算器
117:局部對比度增強單元
1001:輸入HDR視訊訊號
1111:線性RGB視訊訊號
1131:輸出線性RGB視訊訊號
1141:第二RGB視訊訊號1141
1151:SDR視訊訊號
1161:已計算的直方圖
1171:輸出SDR視訊訊號
310~340:色調映射曲線
S410~S450:步驟
藉由閱讀後續的細節描述以及示例並參考附圖，可以更充分地理解本發明，其中：第1圖是根據本發明實施例的視訊控制器的框圖。
第2A以及2B圖是根據本發明實施例的動態色調映射的示例。
第3A以及3B圖是根據本發明實施例的適應性色調映射的曲線的圖示。
第3C圖是靜態色調映射的曲線；以及第4圖是用於執行高動態範圍視訊的色調映射的方法的流程圖。
後續的描述是實施本發明的最佳實施方式。所作之描述是為了說明本發明的一般原理以及不應對此作限制性理解。本發明的範圍由參考所附申請專利範圍最佳確定。
第1圖是根據本發明實施例的視訊控制器的框圖。如第1圖所示，視訊控制器100包括色彩空間轉換器110、去伽馬(de-gamma)單元111、色域映射單元112、色調映射單元113、伽馬單元114、色彩空間轉換器115、直方圖計算器116、局部對比度增強單元117以及直方圖計算器118。視訊控制器110經由如高清多媒體介面(HDMI)2.0A版或以上版本的多媒體傳輸介面可以電性地連接到顯示面板120，以及顯示面板120可以顯示來自視訊控制器100的輸出線性RGB視訊訊號或者從輸出線性RGB視訊訊號生成的輸出SDR視訊訊號。
色彩空間轉換器110配置為在輸入HDR視訊訊號(或視訊訊號)1001上執行色彩空間轉換(如，YUV到RGB轉換)來獲得第一RGB視訊訊號1101。輸入HDR視訊訊號1001可以是為線性RGB視訊訊號的HDR YUV訊號。 輸入HDR視訊訊號1001可以來自於具有或不具有顯示面板的電子裝置。例如，輸入HDR視訊訊號1001可以來自於配備有顯示面板的TV、智慧手機或平板PC。或者，輸入HDR視訊訊號1001可以來自於網路視訊流或者不具有顯示面板的如藍光播放機、機上盒或視訊遊戲控制器的電子裝置。具體地，在YUV到RGB轉換後，第一伽馬曲線將被應用在輸入HDR視訊訊號1001上，並且因此獲得RGB格式的非線性RGB視訊訊號(即，第一RGB視訊訊號)。在一些實施例中，輸入HDR視訊訊號1001可以來自遵守SMPTE(Society of Motion Picture & Television Engineers，電源電視工程師協會)ST 2084或ST 2086標準的視訊訊號。
去伽馬單元111配置為去伽馬第一RGB視訊訊號1101來獲得線性RGB視訊訊號1111。更具體地，去伽馬單元111應用第二伽馬曲線來補償包含在第一RGB視訊訊號1101中的第一伽馬曲線。因此，經伽馬補償的第一RGB視訊訊號(例如，線性RGB視訊訊號1111)可以具有線性特性。
色域映射單元112配置為將線性RGB視訊訊號1111的第一色域映射到第二色域。例如，用於超高清電視(UHDTV)的第一色域(例如，色彩空間)可以由ITU-R BT 2020標準定義，以及用於HDTV的第二色域可以由ITU-R BT 709標準定義，以及用於UHDTV的第一色域比用於HDTV的第二色域更寬。如果UHDTV視訊訊號將在HDTV顯示面板上播放，用於UHDTV的視訊訊號的較寬的色域(如，第一色域)應當被映射成用於HDTV的較小色域(如，第二色域)。在一些實施例中，可以省略色域映射單元112。
應當注意的是，來自於去伽馬單元111或色域映射單元112的線性RGB訊號1111是可以以坎德拉(candela)/平方米(cd/m2或“尼特(nit)”)為單元表示的絕對亮度訊號。
直方圖計算器116可以從去伽馬單元111或色域映射單元112接收線性RGB視訊訊號1111，以及每一幀地計算線性RGB視訊訊號的直方圖。 特別地，已計算的直方圖1161記錄先前幀(如，t=n-1)中每一像素的絕對亮度值，並且被提供給色調映射單元113。對於UHDTV視訊訊號，其需要大量的操作來計算具有4K解析度的視訊訊號的直方圖。因此，直方圖計算器116可以由專用邏輯電路而不是數位訊號處理器(DSP)實施。在一些實施例中，直方圖計算器116可以被認為是絕對亮度直方圖計算器。
色調映射單元113配置為根據先前幀(即，t=n-1)的已計算的直方圖1161，在具有第一動態範圍(即，高動態範圍)的線性RGB視訊訊號1111上執行色調映射來生成具有第二動態範圍(即，標準動態範圍(SDR)或低動態範圍(LDR))的輸出線性RGB視訊訊號1131，其中第一動態範圍比第二動態範圍更寬。更具體地，根據先前幀(即，t=n-1)的已計算的直方圖1161，色調映射單元113可以在HDR內容上應用色調映射曲線來將當前幀(即，t=n)的HDR內容轉換成SDR內容。如圖像或視訊的SDR內容可以具有基於有限的陰極射線管(cathode ray tube)設計的傳統伽馬曲線，其允許最大亮度100cd/m2。將在後續描述由色調映射單元113使用的色調映射演算法。
伽馬單元114配置為將第三伽馬曲線應用於來自色調映射單元113的輸出線性RGB視訊訊號1131來獲得第二RGB視訊訊號1141。例如，第三伽馬曲線可以被認為是為具有標準動態範圍的原始顯示面板設計的顯示面板伽馬曲線或已編碼的伽馬曲線。
色彩空間轉換器115配置為在第二RGB視訊訊號1141上執行色彩空間轉換(如，RGB到YUV轉換)來獲得SDR視訊訊號1151，其被進一步提供給局部對比度增強單元117以及直方圖計算器118。
直方圖計算器118配置為計算SDR視訊訊號1151的每一幀中不同區域的直方圖。由直方圖118計算的直方圖是基於SDR視訊訊號1151的每一幀中每一像素的亮度值(即，Y值)。在實施例中，直方圖計算器可以被認為是 相關亮度直方圖計算器。
局部對比度增強單元117配置為基於來自直方圖計算器118的已計算的直方圖增強SDR視訊訊號1151的不同區域的局部對比度來生成輸出SDR視訊訊號1171。例如，SDR視訊訊號1151中的每一幀可以被拆分成複數個區域，以及直方圖計算器118可以計算每一幀中每一區域的直方圖。基於每一幀中每一區域的已計算的直方圖，局部對比度增強單元117可以確定每一幀中的黑暗區域以及明亮區域。然後，局部對比度增強單元117可以在黑暗區域中應用更強的對比度增強以及明亮區域中用很少的對比度增強。因此，可以獲得明亮區域中更多的細節，並且可以改善黑暗區域中的對比度。
在一個實施例中，視訊控制器100的元件110~118可以由積體電路、片上系統或邏輯電路實施，但本發明不限於此。在可選的實施例中，除了直方圖計算器116以及118，視訊控制器100的大部分元件可以由諸如通用處理器、數位訊號處理器或視訊訊號處理器的處理器實施，但本發明不限於此。由於計算直方圖的大量操作，直方圖計算器116以及118優選由專用邏輯電路實施。
第2A圖以及第2B圖是根據本發明實施例的動態色調映射的示例。參考第2A圖，輸入HDR視訊訊號中的maxCLL(最大內容亮度等級)參數是4000 nit以及顯示面板具有用於靜態色調映射的500 nit的最大面板亮度。如果用於顯示當前幀的100%內容的第一亮度閾值T1是2000 nit，色調映射單元113可以設置稍小於第二亮度閾值T2的目標亮度閾值單元T，其中可以使用第二亮度閾值T2來顯示當前幀的預定百分比的內容。換言之，當最大面板亮度PL小於第二亮度閾值T2時，色調映射單元113可以決定在第二亮度閾值T2以及最大面板亮度PL之間的目標亮度閾值T。
在該實施例中，例如，預定百分比是95%，但本發明不限於此。 例如，目標亮度閾值T可以是第二亮度閾值T2與顯示面板的最大面板亮度PL的加權和。
參考第2B圖，輸入HDR視訊訊號中的maxCLL參數是4000 nit以及顯示面板具有用於靜態色調映射的500 nit的最大面板亮度PL。如果用於顯示當前幀的100%內容的第一亮度閾值T1是300 nit(即，小於500 nit的最大面板亮度PL)，色調映射單元113可以設置在第一亮度閾值T1與第二亮度閾值T2之間的目標亮度閾值T，其中使用該第二亮度閾值T2顯示當前幀的預定百分比的內容。換言之，當最大面板亮度PL大於第二亮度閾值T2時，色調映射單元113可以確定在第一亮度閾值T1與第二亮度閾值T2之間的目標亮度閾值T。
在該實施例中，例如，預定百分比是95%，但本發明不限於此。例如，目標閾值T可以是第一亮度閾值與第二亮度閾值的加權和。
需要注意的是，第2A圖與第2B圖是為了描述的目的，為了更好的色調映射結果，色調映射單元113可以設置各種轉折點以及在每兩個相鄰轉折點間色調映射曲線的不同斜率。此外，在第2A圖以及第2B圖的實施例中未考慮maxCLL參數。
第3A圖與第3B圖是根據本發明實施例的用於適應性色調映射的曲線的圖示。參考第2A圖以及第3A圖，在第2A圖定義的條件下，第3A圖中的曲線310可以被用於由色調映射單元113執行的色調映射。例如，當色調映射單元113的線性RGB視訊訊號的亮度小於第一亮度閾值T1(即，2000 nit)時，色調映射曲線310是近似線性的(即，第3A-3C圖中斜率不為0的斜直線部分)。當色調映射單元113的輸入線性RGB視訊訊號的亮度值大於或等於第一亮度閾值T1(即，2000 nit)時，輸出亮度被削減到500 nit(即，顯示面板的最大面板亮度PL)，削減過程對應於第3A-3C圖中斜率為0的水平直線的部分。因此，本發明中所指的線性對應的是圖中斜直線部分，而非水平直線部分，也即，色 調映射曲線近似線性指的是色調映射曲線是斜率不為0的曲線。
參考第2B圖以及第3B圖，在第2B圖定義的條件下，第3B圖中的色調映射曲線320可以被用於由色調映射單元113執行的色調映射。例如，當色調映射單元113的輸入線性RGB視訊訊號的亮度小於第一亮度閾值T1(即，300 nit)時，色調映射曲線320是近似線性的，以及當色調映射單元113的輸入線性RGB視訊訊號的亮度大於或等於第一亮度閾值T1(即，300 nit)時，輸入亮度被削減到500 nit(即，顯示面板的最大面板亮度PL)。
圖3C是用於靜態色調映射的曲線的圖示。如果使用了靜態色調映射，色調映射演算法可以基於顯示面板的最大面板亮度PL或輸入HDR視訊訊號的maxCLL參數。例如，如果色調映射演算法基於maxCLL參數，使用色調映射曲線330。然而，4000 nit的maxCLL參數可以指示整個視訊的最大亮度是4000 nit，以及幾乎視訊中每一幀所具有的最大亮度遠小於4000 nit的maxCLL。因此，如果增強了視訊中的黑色內容，視訊中許多明亮區域將會飽和。
如果色調映射演算法基於顯示面板的最大面板亮度PL，則使用色調映射曲線340。然而，當輸入線性RGB視訊訊號的亮度大於或等於顯示面板的最大面板亮度(即，500 nit)時，輸出亮度被削減到500 nit(即，顯示面板的最大面板亮度)。
因為兩個相鄰幀的特性或直方圖可能區別很大，色調映射單元113可以緩慢地調整色調映射曲線以阻止視訊閃爍(flickering)。例如，使用當前色調映射曲線(即，t=n)以及先前色調映射曲線(即，t=n-1)的加權色調映射曲線可以用作為下一幀(即，t=n+1)的色調映射曲線。
此外，在視訊訊號的任何兩個相鄰幀之間可能發生場景變化。因為來自直方圖計算器116的已計算直方圖延遲了一個幀，因此色調映射單元113可以檢測線性RGB視訊訊號的幀的場景變化，以及一旦檢測到場景變化，使用 具體的色調映射曲線來加快色調映射曲線的調整速度。
在一個實施例中，對於具有顯示面板的電子裝置，如電視、智慧型電話、平板PC，顯示面板的最大面板亮度可以被調整到較大值，以及較寬的色域可以用於更好的HDR再映射結果。或者，對於不具有顯示面板的電子裝置，例如藍光播放機或視訊遊戲控制器，可以提供如捲軸(scroll bar)之類的圖形化使用者介面(GUI)，以及經由該捲軸可以調整顯示面板的目標亮度以為了更好的HDR再映射結果。此外，顯示面板的預設色域(例如，BT 709)可以被設置為較寬色域，如BT 2020、數字影院宣導聯盟(Digital Cinema Initiatives，DCI)P3或其他色域，但本發明不限於此。
第4圖是用於執行高動態範圍視訊(HDR)的色調映射的方法的流程圖。
在步驟S410中，接收輸入高動態範圍(HDR)視訊訊號。例如，輸入HDR視訊訊號可以遵守具有靜態元資料的定義的SMPTE ST 2086標準。
在步驟S420中，在該輸入HDR視訊訊號上執行YUV到RGB轉換來獲得具有第一伽馬曲線的第一RGB視訊訊號。例如，用於將YUV分量轉換成RGB分量的轉換矩陣可以包括第一伽馬曲線的資訊。
在步驟S430中，將第二伽馬曲線應用於該第一RGB視訊訊號來補償該第一伽馬曲線來獲得線性RGB視訊訊號。為了在後續步驟執行色調映射，需要線性RGB視訊訊號，以及該第二伽馬曲線可以被認為是該第一伽馬曲線的反曲線(inverse curve)。因此，可以在步驟S430中補償該第一伽馬曲線。
在步驟S440中，計算該線性RGB視訊訊號的每一幀的第一直方圖。例如，直方圖計算器116可以重複地計算該線性RGB視訊訊號的每一幀的直方圖，以及該第一直方圖是基於該線性RGB視訊訊號的當前幀中像素的絕對亮度值(即，沒有伽馬)。
在步驟S450中，根據該線性RGB視訊訊號的先前幀的該第一直方圖，在該線性RGB視訊訊號的當前幀上應用色調映射曲線來生成輸出線性RGB視訊訊號。例如，該輸出線性RGB視訊訊號可以是SDR視訊訊號。
該方法，或其某些方面或部分可以採取呈現於有形媒體(如軟碟、CD-ROM、硬碟驅動器或任何其他機器可讀(如，電腦可讀)存儲媒體)或電腦程式產品中的程式碼的形式，而不受其外部形狀或形式的限制，其中，當程式碼由如電腦的機器載入並執行時，機器從而成為用於執行該方法的裝置。該方法還可以程式碼的形式呈現，程式碼藉由諸如電線或纜線的一些傳輸媒介、或藉由光纖、或經由任何其他傳輸形式來傳輸，其中，當程式碼被接收並且由如電腦的機器載入並執行時，該機器成為用於實施所公開方法的裝置。當在通用處理器上實施時，程式碼與處理器組合來提供操作類似於專用邏輯電路的獨特裝置。
綜上所述，提供了一種用於在HDR視訊上執行色調映射的視訊控制器以及方法。該視訊控制器以及方法能夠應用不同的色調映射曲線用於線性域(即，不具有伽馬)中輸入HDR視訊訊號的每一幀與輸入HDR視訊訊號的靜態元資料來獲得SDR視訊訊號。此外，可以經由局部對比度增強來增強SDR視訊訊號中的各自區域的對比度，以及因此實現輸出SDR視訊訊號的更好的視訊品質。
此處所描述的系統與/或進程的各種元件可以在軟體、固件與/或硬體與/或其任何組合中實施。例如，此處所描述的系統與/或進程的各種元件可以至少部分地由諸如可以在智慧型電話之類的計算系統中找到的晶片上計算系統(SOC)的硬體提供。本領域習知技術者將意識到此處描述的系統還可以包括未在對應的圖示中描述的額外的元件。
如此處描述任何實施方式中所使用的，術語“單元”可以指“元 件”或“邏輯單元”，如下文所描述的這些術語。因此，術語“單元”可以指配置為提供此處所描述的功能的軟體邏輯、固件邏輯與/或硬體邏輯的任何組合。例如，本領域普通技術人員將能理解，由硬體與/或固件執行的操作可以可替換地經由軟體元件實施，其可以實施為套裝軟體、編碼與/或指令集，以及還能理解邏輯單元還可以利用一部分軟體實施其功能。
此外，可以回應於由一或複數個電腦程式產品提供的指令來進行此處所描述的進程的任何一或複數個塊。這種程式產品可以包括提供指令的訊號承載介質，該指令在由諸如處理器執行時可以提供此處所描述的功能。電腦程式產品可以以任何形式的電腦可讀媒介提供。因此，例如回應於由電腦可讀媒介傳到給處理器的指令，包括一或複數個處理器核心的處理器可以執行一或複數個操作。
雖然本發明已經以示例以及以優先實施例的方式進行描述，能夠理解，本發明不限於所公開的實施例。反之，其旨在覆蓋各種修正以及類似佈置(如對本領域技術人員顯而易見的)。因此，所附申請專利範圍的範圍應當給予最寬的解釋，以便包括所有這樣的修改以及類似的佈置。
S410~S450‧‧‧步驟

Claims (18)

  1. 一種視訊控制器，用於執行高動態範圍視訊的色調映射，包括：一色彩空間轉換器，配置為接收一輸入高動態範圍視訊訊號以及對該輸入高動態範圍視訊訊號執行YUV到RGB轉換來獲得具有一第一伽馬曲線的一第一RGB視訊訊號；一去伽馬單元，配置為對該第一RGB視訊訊號應用一第二伽馬曲線來補償該第一伽馬曲線來獲得一線性RGB視訊訊號；一第一直方圖計算器，配置為計算該線性RGB視訊訊號的一當前幀的一第一直方圖；以及一色調映射單元，配置為根據該線性RGB視訊訊號的一先前幀的該第一直方圖，在該線性RGB視訊訊號的一當前幀上應用一色調映射曲線來生成一輸出線性RGB視訊訊號；以及該色調映射單元藉由使用該線性RGB視訊訊號的先前幀的色調映射曲線與當前幀的色調映射曲線的來計算一加權色調映射曲線，以及該色調映射單元將該加權色調映射曲線用作該線性RGB視訊訊號的下一幀的色調映射曲線。
  2. 如申請專利範圍第1項所述之視訊控制器，進一步包括：一色域映射單元，配置為將該線性RGB視訊訊號的一第一色域映射成一第二色域，其中該第一色域比該第二色域更寬。
  3. 如申請專利範圍第1項所述之視訊控制器，該視訊控制器電性連接到具有一最大面板亮度的一顯示面板，以及該色調映射單元進一步確定用於顯示該線性RGB視訊訊號的當前幀的100%內容的一第一亮度閾值，以及用於顯示該線性RGB視訊訊號的當前幀的預定百分比內容的一第二亮度閾值。
  4. 如申請專利範圍第3項所述之視訊控制器，當該最大面板亮度小 於該第二亮度閾值時，該色調映射單元確定在該第二亮度閾值以及該最大面板亮度之間的一目標亮度閾值，其中當該線性RGB視訊訊號的當前幀的亮度值小於該目標亮度閾值時，該色調映射曲線是斜率不為0的線性曲線。
  5. 如申請專利範圍第3項所述之視訊控制器，當該最大面板亮度大於該第一亮度閾值時，該色調映射單元確定在該第一亮度閾值與該第二亮度閾值之間的一目標亮度閾值，其中當該線性RGB視訊訊號的當前幀的亮度值小於該目標亮度閾值時，該色度映射曲線是斜率不為0的線性曲線。
  6. 如申請專利範圍第3項所述之視訊控制器，當該線性RGB視訊訊號的當前幀的亮度值大於或等於該第一亮度閾值時，該輸出視訊訊號的輸出亮度值被削減到該最大面板亮度。
  7. 如申請專利範圍第1項所述之視訊控制器，該色度映射單元進一步檢測該線性RGB視訊訊號內的一場景變化，以及一旦在該線性RGB視訊訊號的先前幀與當前幀之間檢測到該場景變化，確定用於該線性RGB視訊訊號的當前幀的一特定色調映射曲線。
  8. 如申請專利範圍第1項所述之視訊控制器，進一步包括：一伽馬單元，配置為將一第三伽馬曲線應用於該輸出線性RGB視訊訊號來生成一第二RGB視訊訊號；一第二色彩空間轉換器，配置為在該第二RGB視訊訊號上執行RGB到YUV轉換來獲得一標準動態範圍視訊訊號；第二直方圖計算器，配置為計算該標準動態範圍視訊訊號的當前幀中複數個區域的一第二直方圖；以及一局部對比度增強單元，配置為基於該標準動態範圍視訊訊號的先前幀的複數個區域的該第二直方圖，增強該標準動態範圍視訊訊號的每一幀中複數個區域的對比度值來生成一輸出標準動態範圍視訊訊號。
  9. 如申請專利範圍第8項所述之視訊控制器，該局部對比度增強單元在該標準動態範圍視訊訊號的當前幀的黑暗區域應用較強的對比度增強，以及在該標準動態範圍視訊訊號的當前幀的明亮區域應用較弱的對比度增強。
  10. 一種用於執行高動態範圍視訊的色調映射的方法，包括：接收一輸入高動態範圍視訊訊號；在該輸入高動態範圍視訊訊號上執行YUV到RGB轉換來獲得具有一第一伽馬曲線的一第一RGB視訊訊號；在該第一RGB視訊訊號上應用一第二伽馬曲線來補償該第一伽馬曲線來獲得一線性RGB視訊訊號；計算該線性RGB視訊訊號的當前幀的一第一直方圖；以及根據該線性RGB視訊訊號的先前幀的該第一直方圖，在該線性RGB視訊訊號的當前幀上應用一色調映射曲線來生成一輸出線性RGB視訊訊號；以及藉由使用該線性RGB視訊訊號的先前幀的色調映射曲線以及當前幀的色調映射曲線來計算一加權色調映射曲線，並將該加色調映射曲線用作該線性RGB視訊訊號的下一幀的色調映射曲線。
  11. 如申請專利範圍第10項所述之用於執行高動態範圍視訊的色調映射的方法，進一步包括：將該線性RGB視訊訊號的一第一色域映射成一第二色域，其中該第一色域比該第二色域更寬。
  12. 如申請專利範圍第10項所述之用於執行高動態範圍視訊的色調映射的方法，利用顯示面板的最大面板亮度顯示視訊訊號，進一步包括：確定用於顯示該線性RGB視訊訊號的當前幀100%內容的一第一亮度閾值，以及用於顯示該線性RGB視訊訊號的當前幀的預定百分比內容的一第二亮度閾值。
  13. 如申請專利範圍第12項所述之用於執行高動態範圍視訊的色調映射的方法，進一步包括：當該最大面板亮度小於該第二亮度閾值時，確定在該第二亮度閾值以及該最大面板亮度之間的一目標亮度閾值，其中當該線性RGB視訊訊號的當前幀的亮度值小於該目標亮度閾值時，該色調映射曲線是斜率不為0的線性曲線。
  14. 如申請專利範圍第12項所述之用於執行高動態範圍視訊的色調映射的方法，進一步包括：當該最大面板亮度大於該第一亮度閾值時，確定在該第一亮度閾值與該第二亮度閾值之間的一目標亮度閾值，其中當該線性RGB視訊訊號的當前幀的亮度值小於該目標亮度閾值時，該色調映射曲線是斜率不為0的線性曲線。
  15. 如申請專利範圍第12項所述之用於執行高動態範圍視訊的色調映射的方法，當該線性RGB視訊訊號的當前幀的亮度值大於或等於該第一亮度閾值時，該輸出線性RGB視訊訊號的輸出亮度值被削減到該最大面板亮度。
  16. 如申請專利範圍第10項所述之用於執行高動態範圍視訊的色調映射的方法，進一步包括：檢測該線性RGB視訊訊號內的一場景變化；以及一旦在該線性RGB視訊訊號的先前幀與當前幀之間檢測到該場景變化，確定用於該線性RGB視訊訊號的當前幀的特定色調映射曲線。
  17. 如申請專利範圍第10項所述之用於執行高動態範圍視訊的色調映射的方法，進一步包括：將一第三伽馬曲線應用於該輸出線性RGB視訊訊號來生成一第二RGB視訊訊號；在該第二RGB視訊訊號上執行RGB到YUV轉換來獲得一標準動態範圍視訊訊號； 計算該標準動態範圍視訊訊號的當前幀中複數個區域的一第二直方圖；以及基於該標準動態範圍視訊訊號的先前幀的複數個區域的一第二直方圖，增強該標準動態範圍視訊的當前幀的該等區域的對比度值。
  18. 如申請專利範圍第17項所述之用於執行高動態範圍視訊的色調映射的方法，進一步包括：在該標準動態範圍視訊訊號的當前幀的黑暗區域中應用較強的對比度增強；以及在該標準動態範圍視訊訊號的當前幀的明亮區域中應用較弱的對比度增強。
TW108114937A 2017-07-13 2019-04-29 用於執行高動態範圍視訊的色調映射的方法及裝置 TWI734978B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762531909P 2017-07-13 2017-07-13
US15/991,711 2018-05-29
US15/991,711 US10755392B2 (en) 2017-07-13 2018-05-29 High-dynamic-range video tone mapping

Publications (2)

Publication Number Publication Date
TW202005368A TW202005368A (zh) 2020-01-16
TWI734978B true TWI734978B (zh) 2021-08-01

Family

ID=64999126

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108114937A TWI734978B (zh) 2017-07-13 2019-04-29 用於執行高動態範圍視訊的色調映射的方法及裝置

Country Status (3)

Country Link
US (1) US10755392B2 (zh)
CN (1) CN110545413B (zh)
TW (1) TWI734978B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017203942A1 (ja) * 2016-05-25 2017-11-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2018204568A1 (en) 2017-05-05 2018-11-08 Eli Lilly And Company Closed loop control of physiological glucose
JP7071084B2 (ja) * 2017-10-10 2022-05-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
WO2019125932A1 (en) 2017-12-21 2019-06-27 Eli Lilly And Company Closed loop control of physiological glucose
US10609424B2 (en) * 2018-03-09 2020-03-31 Dolby Laboratories Licensing Corporation Single-layer progressive coding for supporting multi-capability HDR composition
WO2019246381A1 (en) 2018-06-22 2019-12-26 Eli Lilly And Company Insulin and pramlintide delivery systems, methods, and devices
US10957024B2 (en) * 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
KR102661824B1 (ko) * 2019-03-26 2024-04-26 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
KR102666909B1 (ko) * 2019-06-19 2024-05-20 삼성전자주식회사 디스플레이장치 및 그 제어방법
US11790498B1 (en) * 2019-09-10 2023-10-17 Apple Inc. Augmented reality local tone mapping for light-transmissive display panel systems and methods
CN112686809A (zh) * 2019-10-18 2021-04-20 华为技术有限公司 处理高动态范围图像的方法和装置
US20220392422A1 (en) * 2019-10-25 2022-12-08 Sony Group Corporation Information processing system, information processing method, and program
CN111294575B (zh) * 2020-01-19 2022-06-28 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN113596428B (zh) * 2020-04-30 2022-12-06 华为技术有限公司 映射曲线参数的获取方法和装置
CN115361510A (zh) * 2020-05-08 2022-11-18 华为技术有限公司 一种高动态范围hdr视频的处理方法、编码设备和解码设备
CN112261442B (zh) * 2020-10-19 2022-11-11 上海网达软件股份有限公司 一种用于视频hdr与sdr实时转码的方法及系统
CN113099201B (zh) * 2021-03-30 2022-12-02 北京奇艺世纪科技有限公司 视频信号处理方法、装置及电子设备
CN113079362B (zh) * 2021-03-30 2023-03-24 北京奇艺世纪科技有限公司 视频信号处理方法、装置及电子设备
CN113489930B (zh) * 2021-06-10 2024-03-19 中央广播电视总台 一种视频信号处理方法、装置及存储介质
WO2023070582A1 (en) * 2021-10-29 2023-05-04 Huawei Technologies Co.,Ltd. A device and method for noise-adaptive high dynamic range image processing
US11734806B2 (en) 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping
CN114466147B (zh) * 2021-12-23 2024-03-15 阿里巴巴（中国）有限公司 一种视频亮度的调整方法、装置、电子设备以及存储介质
US12118962B2 (en) * 2022-09-06 2024-10-15 Apple Inc. Systems and methods for processing pre-multiplied alpha content
CN117176931A (zh) * 2022-09-15 2023-12-05 深圳Tcl新技术有限公司 显示控制方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107431808A (zh) * 2014-10-07 2017-12-01 马西米利亚诺·阿戈斯蒂内利 改进的视频和图像编码过程
TW201814684A (zh) * 2016-09-22 2018-04-16 三星顯示器有限公司 顯示裝置

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
JP4549881B2 (ja) * 2004-03-18 2010-09-22 シャープ株式会社 色信号変換装置、表示ユニット、色信号変換プログラム、色信号変換プログラムを記録したコンピュータ読み取り可能な記録媒体
KR101166827B1 (ko) * 2005-05-10 2012-07-19 엘지디스플레이 주식회사 액정 표시장치의 구동장치 및 구동방법
KR101147100B1 (ko) * 2005-06-20 2012-05-17 엘지디스플레이 주식회사 액정 표시장치의 구동장치 및 구동방법
JP2007065182A (ja) * 2005-08-30 2007-03-15 Sanyo Electric Co Ltd 表示装置
KR100782826B1 (ko) * 2005-12-10 2007-12-06 삼성전자주식회사 영상 획득 장치 및 방법과 그 방법을 수행하는 프로그램이기록된 기록매체
JP5190731B2 (ja) * 2007-10-23 2013-04-24 Ｎｌｔテクノロジー株式会社 画像表示装置、該画像表示装置に用いられる画像表示方法、及び液晶表示装置
KR100970883B1 (ko) * 2008-10-08 2010-07-20 한국과학기술원 영역 특성을 고려한 영상 보정 장치 및 그 방법
JP2010154132A (ja) * 2008-12-24 2010-07-08 Toshiba Corp ガンマ補正回路およびガンマ補正方法
JP5223742B2 (ja) * 2009-03-16 2013-06-26 富士通セミコンダクター株式会社 エッジ強調画像処理装置
US9230312B2 (en) * 2010-01-27 2016-01-05 Adobe Systems Incorporated Methods and apparatus for performing tone mapping on high dynamic range images
JP4955082B2 (ja) * 2010-02-10 2012-06-20 シャープ株式会社 画像処理装置、画像形成装置、および画像処理方法
KR101787788B1 (ko) * 2010-02-19 2017-10-18 톰슨 라이센싱 높은 동적 범위 비디오 톤 맵핑을 위한 파라미터 보간
US9055227B2 (en) * 2010-03-17 2015-06-09 Texas Instruments Incorporated Scene adaptive brightness/contrast enhancement
JP2011203814A (ja) * 2010-03-24 2011-10-13 Sony Corp 画像処理装置および方法、プログラム
GB2500835B (en) * 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
KR101440773B1 (ko) * 2010-12-13 2014-09-18 엘지디스플레이 주식회사 유기 발광 표시 장치의 구동 장치 및 그의 구동 방법
TWI624182B (zh) * 2011-04-15 2018-05-11 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
KR101492682B1 (ko) * 2011-09-23 2015-02-13 엘지디스플레이 주식회사 유기전계발광표시장치와 이의 구동방법
CN102970549B (zh) * 2012-09-20 2015-03-18 华为技术有限公司 图像处理方法及装置
US9407814B2 (en) * 2012-12-21 2016-08-02 Nvidia Corporation Approach for camera control
GB2520406B (en) * 2013-10-17 2015-11-04 Imagination Tech Ltd Tone mapping
EP3072288B1 (en) * 2013-11-22 2019-06-12 Dolby Laboratories Licensing Corporation Methods and systems for inverse tone mapping
JP6317577B2 (ja) * 2013-12-04 2018-04-25 キヤノン株式会社 映像信号処理装置及びその制御方法
JP6360321B2 (ja) * 2014-02-10 2018-07-18 シナプティクス・ジャパン合同会社 表示装置、表示パネルドライバ、画像処理装置及び画像処理方法
JP6379794B2 (ja) * 2014-07-24 2018-08-29 株式会社リコー 画像処理装置、画像処理方法および画像処理システム
US10277783B2 (en) * 2014-11-14 2019-04-30 Samsung Electronics Co., Ltd. Method and device for image display based on metadata, and recording medium therefor
CN104601971B (zh) * 2014-12-31 2019-06-14 小米科技有限责任公司 色彩调整方法及装置
US20160286241A1 (en) * 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US20160307540A1 (en) * 2015-04-20 2016-10-20 Apple Inc. Linear scaling in a display pipeline
KR101974137B1 (ko) * 2015-05-11 2019-08-23 삼성전자주식회사 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법
US10136074B2 (en) * 2015-06-02 2018-11-20 Samsung Electronics Co., Ltd. Distribution-point-based adaptive tone mapping
US11176646B2 (en) * 2015-06-25 2021-11-16 Samsung Electronics Co., Ltd. HDR tone mapping methods with scene adaptive parameterized tone map function
KR102177725B1 (ko) * 2015-06-29 2020-11-12 엘지디스플레이 주식회사 피크휘도제어부를 포함하는 유기발광다이오드 표시장치 및 그 구동방법
CN108702496B (zh) * 2015-09-02 2021-09-14 佛吉亚艾里斯泰克股份有限公司 用于实时色调映射的系统和方法
GB2544333B (en) * 2015-11-13 2018-02-21 Advanced Risc Mach Ltd Display controller
US9984446B2 (en) * 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
EP3220349A1 (en) * 2016-03-16 2017-09-20 Thomson Licensing Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping
JP6650821B2 (ja) * 2016-04-25 2020-02-19 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
ITUA20163652A1 (it) * 2016-05-20 2017-11-20 Trellis Europe S R L Metodo per la codifica e decodifica di immagini hdr
WO2017203942A1 (ja) * 2016-05-25 2017-11-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20170353704A1 (en) * 2016-06-01 2017-12-07 Apple Inc. Environment-Aware Supervised HDR Tone Mapping
CN109416830A (zh) * 2016-07-08 2019-03-01 深圳市大疆创新科技有限公司 用于图像处理的系统和方法
JP6703788B2 (ja) * 2016-07-11 2020-06-03 キヤノン株式会社 画像処理装置および画像処理方法
US10074162B2 (en) * 2016-08-11 2018-09-11 Intel Corporation Brightness control for spatially adaptive tone mapping of high dynamic range (HDR) images
KR102490304B1 (ko) * 2016-08-12 2023-01-20 삼성전자주식회사 디스플레이장치와 기록매체
WO2018110051A1 (ja) * 2016-12-14 2018-06-21 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP7143838B2 (ja) * 2017-02-28 2022-09-29 ソニーグループ株式会社 画像処理装置及び画像処理方法
CN107403422B (zh) * 2017-08-04 2020-03-27 上海兆芯集成电路有限公司 用以增强图像对比度的方法及其系统
GB2566050B (en) * 2017-08-31 2021-08-25 Imagination Tech Ltd Luminance-normalised colour spaces
JP2020036162A (ja) * 2018-08-29 2020-03-05 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107431808A (zh) * 2014-10-07 2017-12-01 马西米利亚诺·阿戈斯蒂内利 改进的视频和图像编码过程
TW201814684A (zh) * 2016-09-22 2018-04-16 三星顯示器有限公司 顯示裝置

Also Published As

Publication number Publication date
CN110545413A (zh) 2019-12-06
US10755392B2 (en) 2020-08-25
CN110545413B (zh) 2021-07-23
TW202005368A (zh) 2020-01-16
US20190019277A1 (en) 2019-01-17

Similar Documents

Publication Publication Date Title
TWI734978B (zh) 用於執行高動態範圍視訊的色調映射的方法及裝置
JP7065376B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
US10891722B2 (en) Display method and display device
US10462407B2 (en) Display method and display device
JP6583740B2 (ja) 表示方法および表示装置
JP2017037652A (ja) Ｈｄｒ−ｈｄｒ逆トーンマッピングのための方法、システム、および装置
US11122245B2 (en) Display apparatus, method for controlling the same and image providing apparatus
WO2017203942A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US10332481B2 (en) Adaptive display management using 3D look-up table interpolation
US20200035198A1 (en) Adjusting device, adjusting method, and program
WO2016181584A1 (ja) 表示方法および表示装置
WO2018062022A1 (ja) 調整装置、調整方法およびプログラム
JP2018509835A (ja) 適応的カラーグレード補間方法及びデバイス
US8068691B2 (en) Sparkle processing
US11094286B2 (en) Image processing apparatus and image processing method
WO2019044171A1 (ja) 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体
WO2016189774A1 (ja) 表示方法および表示装置
JP2020195137A (ja) 表示方法および表示装置