TW201719577A - 針對高動態範圍信號的信號重塑形 - Google Patents
針對高動態範圍信號的信號重塑形 Download PDFInfo
- Publication number
- TW201719577A TW201719577A TW105124794A TW105124794A TW201719577A TW 201719577 A TW201719577 A TW 201719577A TW 105124794 A TW105124794 A TW 105124794A TW 105124794 A TW105124794 A TW 105124794A TW 201719577 A TW201719577 A TW 201719577A
- Authority
- TW
- Taiwan
- Prior art keywords
- color space
- color
- hue
- image
- saturation
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims description 74
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 13
- 238000007634 remodeling Methods 0.000 claims description 12
- 239000000463 material Substances 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 57
- 230000000007 visual effect Effects 0.000 description 13
- 238000004519 manufacturing process Methods 0.000 description 12
- 238000007726 management method Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000004301 light adaptation Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
- G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/06—Colour space transformation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
在改善當解碼在可能不與舊有的色彩空間相容的寬色域(WCG)空間中加碼的高動態範圍影像時的回溯相容性的方法中,在影像資料庫中影像之色相及/或飽和值係針對舊有的色彩空間(比如,YCbCr-伽瑪)和優選的WCG色彩空間(比如,IPT-PQ)兩者來計算。基於成本函數,計算重塑的色彩空間,使得在舊有的色彩空間中的色相值與在優選的色彩空間中旋轉的色相值之間的距離被最小化。HDR影像係在重塑的色彩空間中加碼。舊有的裝置仍能假定他們在舊有的色彩空間中加碼而解碼標準的動態範圍影像,同時更新的裝置能使用色彩重塑資訊來在優選的色彩空間中於全動態範圍上解碼HDR影像。
Description
本案從美國臨時案第62/302,073號(申請於2016年3月1日)、第62/300,012號(申請於2016年2月25日)、第62/278,362號(申請於2016年1月13日)、第62/202,980號(申請於2015年8月10日)以及第62/200,797號(申請於2015年8月4日)請求優先權,其各者係藉由以其整體之引用而併入於此。
本發明一般係關於影像。更特別的是,本發明之實施例係關於將具有高動態範圍的影像進行信號重塑用以改善回溯相容性(backwards compatibility)。
如於此所使用的,術語「動態範圍」(DR;dynamic range)可關於用以例如從最黑暗的暗色(黑色)到最明亮的白色(亦即,高亮度(highlight))察覺在影像上之強度(例如,光亮度(luminance)、亮度(luma
))之範圍的人類視覺系統(HVS;human visual system)之能力。在此含義上,DR係關於「對照場景(scene-referred)」的強度。DR亦可關於顯示裝置用以足夠地或近似地呈現特定寬廣度(breadth)的強度範圍。在此含義中,DR係關於「對照顯示(display-referred)」的強度。除非特定的含義被明白地規範以在於此的發明說明中的任一點處具有特別的義意(particular significance),否則其應被推定該術語可以任一含義(例如,可交換地)來使用。
如於此使用的,術語高動態範圍(HDR;high dynamic range)係關於DR寬廣度,其張拓(span)了人類視覺系統(HVS)之量值(magnitude)的約14~15階。在實行上,人類可在其上同時地察覺在強度範圍上廣闊的寬廣度之DR,相對於HDR可有所縮短。如於此使用的,術語增強的動態範圍(EDR;enhanced dynamic range)或視覺動態範圍(VDR;visual dynamic range)可獨自地或交換地關於在場景或影像內藉由人類視覺系統(HVS;human visual system)為可察覺的DR,其包括眼移動,允許跨實景或影像的一些光適應改變。如於此所使用的,EDR可關於張拓了量值之5到6階的DR。因此,在關於也許實景提及的HDR上有點較窄的同時,然而EDR代表寬的DR寬廣度且亦可被稱為HDR。
在實行上,影像包含一或多個色彩成分(例如,亮度Y及色度Cb及Cr),其中各個色彩成分係由每
像素n位元之精度來代表(例如,n=8)。使用線性光亮度譯碥,在n 8的影像(例如,彩色24位元JPEG影像)被認為是標準動態範圍之影像,同時在n>8的影像可被認為是增強的動態範圍之影像。EDR及HDR影像亦可使用高精度(例如,16位元)浮點格式來儲存及發行,像是由光影魔幻公司(Industrial Light and Magic)所發展的OpenEXR檔案格式。
給定一視訊串流,關於其加碼(coding)參數的資訊係典型地嵌入於位元流中作為後設資料(metadata)。如於此所使用的,術語「後設資料」係關於任何的輔助資訊,其被傳送為部分的加碼位元流且協助解碼器呈現解碼的影像。這類後設資料可包括但不限於色彩空間或色域(gamut)資訊、參考顯示參數以及輔助信號參數,如於此所描述的該些者。
大多數消費性桌上型電腦(consumer desktop)顯示器目前支援200到300cd/m2或尼特(nit)的光亮度。大多數消費性HDTV範圍從300到500尼特,隨著新的型號到達1000尼特(cd/m2)。因此,與HDR或EDR相比,這類傳統顯示器代表較低動態範圍(LDR;lower dynamic range),亦稱為標準動態範圍(SDR)。當由於在捕捉設備(例如,攝像機)和HDR顯示器(例如,來自杜比實驗室的PRM-4200專業參考監視器)兩者的發展而HDR內容之可用性(availability)成長時,HDR內容可在支援較高動態範圍(例如,從1000尼特至5000尼特
或以上)的HDR顯示器上調色(color grade)及顯示。一般而言,在沒有限制下,本揭露之方法關於比SDR更高的任何動態範圍。於此如由發明人所理解的,用於高動態範圍影像之加碼的改善技術是所欲的。
在此章節中說明的方法為可以進行的方法,但不必然是先前已思及或進行的方法。因此,除非另外指示,不應假定在此章節中說明的任何方法僅由於他們包含在此章節中而合格成為先前技術。照樣地,對照一或多個方法所識別的問題不應假定基於此章節而已在任何先前技術中承認,除非另外指示。
100‧‧‧視訊遞送管線
105‧‧‧影像產生方塊
110‧‧‧製作階段
115‧‧‧後製編輯
120‧‧‧加碼方塊
125‧‧‧參考顯示器
130‧‧‧解碼單元
135‧‧‧顯示管理方塊
140‧‧‧目標顯示器
305‧‧‧向前色彩重塑方塊
310‧‧‧編碼器
315‧‧‧編碼器
320‧‧‧向後色彩重塑
500A‧‧‧編碼器
500B‧‧‧編碼器
515‧‧‧反色彩旋轉及標度方塊
520‧‧‧色彩格式轉換方框
本發明之實施例在附隨的圖式之圖中係藉由範例的方式而闡述,而非藉由限制的方式,且在其中相似的參考號碼參照到相似的元件,且其中:圖1描繪用於視訊遞送管線的範例程序;圖2描繪用於用於色彩轉換至IPT-PQ色彩空間的範例程序;圖3描繪用於信號重塑及加碼的範例程序;圖4描繪依據本發明之實施例用於ST 2084 IPT與BT 1866 IPT之間光亮度重塑的範例色調映射曲線;圖5描繪依據本發明之實施例用於使用色彩空間重塑回溯相容加碼及編碼的範例系統;
圖6描繪依據本發明之實施例用於產生色彩旋轉及標度矩陣的範例程序流程;圖7A及圖7B描繪依據本發明之實施例的色相及飽和重塑函數;圖8描繪依據本發明之實施例IPT-PQ與YCbCr-伽瑪色彩空間之間色相及飽和重塑之範例;以及圖9描繪依據本發明之實施例EETF函數之範例。
於此說明高動態範圍(HDR)影像之信號重塑及編碼。在下列說明中,為了解釋的目的,提出眾多的特定細節以為了提供本發明之徹底的理解。然而,將為顯而易見的是,本發明可不以這些特定細節來實行。在其它實例中,周知的結構及裝置未以全面的細節來說明,以為了避免不必要的封閉、模糊或混淆本發明。
於此說明的範例實施例係關於重塑及加碼高動態範圍影像。在用以改善回溯相容編碼的方法中,於編碼器中,處理器存取影像資料庫並且計算在第一色彩空間中於資料庫中之影像的第一色相(hue)值;計算在第二色彩空間中於資料庫中之影像的第二色相
值;基於最小化色相成本函數計算色相旋轉角度,其中該色相成本函數係基於該第一色相值及旋轉的第二色相值之差分測量;以及基於該色相旋轉角度產生色彩旋轉矩陣。
在實施例中,第一色彩空間為基於伽瑪的(gamma-based)YCbCr色彩空間且第二色彩空間為基於PQ的IPT色彩空間。
在實施例中,色彩旋轉矩陣係使用以基於優選的色彩空間來產生重塑的色彩空間。影像系使用重塑的色彩空間來加碼,並且關於色彩旋轉矩陣的資訊係從編碼器發訊至解碼器。
在實施例中,在解碼器中,於用以重建在重塑的色彩空間中加碼的輸入影像的方法中,該解碼器:在重塑的色彩空間中接收加碼的輸入影像,其中該重塑的色彩空間係藉由將優選的色彩空間之色度(chroma)成分旋轉至舊有的色彩空間之約一或多個參數;存取從編碼器傳送至解碼器的後設資料,其中該後設資料係與該加碼的輸入影像關聯且包含:旗標,指示色彩旋轉和標度矩陣(scaling matrix)之存在與否;以及當該旗標指示色彩旋轉和標度矩陣之存在時用於該色彩旋轉和標度矩陣的複數個系數;解碼該加碼的輸入影像,用以在塑形的色彩空間中產
生解碼的影像;以及基於在該重塑的色彩空間和該色彩旋轉及標度矩陣中的該解碼的影像在該優選的色彩空間中產生解碼的影像。
在另一實施例中,在編碼器中,處理器:在優選的色彩空間中接收輸入影像;存取色相旋轉函數,其中針對在該優選的色彩空間中於該輸入影像中的像素之色相值,該色相旋轉函數產生旋轉的色相輸出值,其依據色相成本準則在舊有的色彩空間中匹配色相值;基於該輸入影像和該色相旋轉函數產生重塑的影像;以及編碼該重塑的影像,用以產生經加碼重塑的影像。
在另一實施例中,在解碼器中,處理器:存取在重塑的色彩空間中編碼的輸入影像;存取與該輸入影像關聯的後設資料,其中該後設資料包含與使用以將該輸入影像從優選的色彩空間轉化至該重塑的色彩空間的色相旋轉函數關聯的資料,其中對於在該優選的色彩空間中在該輸入影像中的像素之色相值,該色相旋轉函數產生旋轉的色相輸出值,其依據色相成本準測在舊有的色彩空間中匹配色相值;以及基於該輸入影像及與該色相旋轉函數關聯的該資料在該優選的色彩空間中產生輸出影像。
圖1描繪繪示從視訊捕捉到視訊內容顯示的各種級(stage)之傳統的視訊遞送管線(100)之範例呈序。一連串的視訊框(102)係使用影像產生方塊(105)來捕捉或產生。視訊框(102)可被數位地捕捉(例如,由數位攝相機)或由電腦產生(例如,使用電腦動畫(computer animation)),用以提供視訊資料(107)。或者,視訊框(102)可藉由軟片照相機(film camera)在捕捉於軟片上。軟片係轉換至數位格式,用以提供視訊資料(107)。在製作階段(110),編輯視訊資料(107)以提供視訊製作串流(112)。
接著提供製作串流(112)之視訊資料給在方塊(115)的處理器以用於後製編輯(post-production editing)。後製編輯(115)可包括在影像之特定地區中調整或修改色彩或亮度,用以依據視訊創造者的創造性意向(creative intent)增強影像品質或達成用於影像的特定外觀。這有時稱為「色彩時序(color timing)」或「調色(color grading)」。其它編輯(例如,景象選擇及排序、影像剪裁、添加電腦產生的視覺特別效果等)可在方塊(115)進行,用以產出用於發行的製作之最終版本(117)。在後製編輯(115)期間,視訊影像在參考顯示器(125)上觀看。
在後製(115)之後,最終製作(117)之視訊資料可遞送至編碼方塊(120)以用於下游地遞送至解碼及回放裝置,像是電視機、機上盒(set-top box)、電
影院等。在一些實施例中,加碼方塊(120)可包括音訊及視訊編碼器,像是由ATSC、DVB、DVD、Blu-Ray及其它遞送格式所界定的該些者,用以產生加碼的位元流(122)。在接收器中,加碼的位元流(122)係由解碼單元(130)所解碼,用以產生代表信號(117)之同樣或密切的近似的解碼信號(132)。接收器可附接至目標顯示器(140),其可具有與參考顯示器(125)完全不同的特性。在此情形中,顯示管理方塊(135)可使用以藉由產生顯示映射信號(137)將解碼的信號(132)之動態範圍映射至目標顯示器(140)之特性。
在優選的實施例中,在不具限制之下,部分的處理管線,例如加碼(120)、解碼(130)及顯示管理(135)可在將被稱為IPT-PQ色彩空間之者中進行。用於顯示管理應用的IPT-PQ色彩空間之範例使用能在R.Atkins等人的WIPO公開案WO 2014/130343「Display Management for High Dynamic Range Video」中找到,其係藉由以整體之引用而併入。如於第六屆色彩成像會議中在F.Ebner and M.D.Fairchild的「Development and testing of a color space(ipt)with improved hue uniformity」之中說明的IPT色彩空間:色彩科學、系統及應用、IS&T、斯科茨代爾(Scottsdale)、亞歷桑納,1998年11月,第8~13頁(用以被稱為Ebner論文)(其
藉由以整體之引用而併入於此)係為在人類視覺系統中的視錐(cone)之間的色彩差異的模型。在此含義中,如同YCbCr或CIE-Lab色彩空間;然而,在一些科學研究中已顯示比該些色彩空間更佳的模仿人類視覺處理。如同CIE-Lab,IPT為對某參考光亮度的歸一化(normalized)空間。在實施例中,歸一化係基於目標顯示器之最大光亮度(例如,5,000尼特)。
於此所使用的術語「PQ」係指感知量化(perceptual quantization)。人類視覺系統反應於以非常非線性的方式增加亮度等級(light level)。人類看見刺激物的能力係由該刺激物之光亮度、該刺激物之尺寸、組成該刺激物的空間頻率(spatial frequency)以及眼睛已在吾人正觀看該刺激物之特定時刻適應於該刺激物所影響。在優選的實施例中,感知量化器函數(perceptual quantizer function)將線性輸入灰度等級(gray level)映射至在人類視覺系統中較佳匹配對比敏感性臨界的輸出灰度等級。PQ映射函數之範例係說明在由J.S.Miller等人的美國專利第9,077,994號(被稱為‘994專利),其係藉由以其整體之引用而併入於此,其部分已由公開於2014年8月16日名稱為「High Dynamic Range Electro-optical Transfer Function of Mastering Reference Displays」的SMPTE ST 2084:2014說明書所採用,其係藉由以其整體之引用而併入於此,其中對於每一個光亮度等級(亦即,刺激等級)給定一固定刺激尺寸(fixed stimulus size),
在該光亮度等級的最小可見的對比節距(contrast step)係依據最敏感適應等級和最敏感空間頻率(依據HVS模型)來選定。相較於傳統伽瑪曲線(其代表物理陰極射線管(CRT;cathode ray tube)裝置且巧合地可具有對人類視覺系統響應來說具有非常粗略的相似性),如由‘994專利所特定的PQ曲線使用相對簡單的功能/函數模型(functional model)仿效人類視覺系統之真實視覺響應。
圖2更詳細地描繪依據實施例用於色彩轉換至IPT-PQ色彩空間的範例程序(200)。如在圖2中所描繪的,給定在第一色彩空間(例如,RGB)上的輸入信號(202),在感知校正的IPT色彩空間(IPT-PQ)中的色彩空間變換(color space transformation)可包含下列步驟:
a)可選步驟(210)可將輸入信號(202)之像素值(例如,0到4095)歸一化成具有0與1之間的動態範圍的像素值。
b)若輸入信號(202)為伽瑪加碼的或PQ加碼的(例如,per BT.1866或SMPTE ST 2084),則可選步驟(215)可使用信號的電光轉移函數(EOTF;electro-optical transfer function)(如由信號後設資料所提供)用以反轉或取消從加碼值到光亮度的來源顯示的轉換。舉例而言,若輸入信號為伽瑪加碼的,則接著此步驟應用反伽瑪函數(inverse gamma function)。若輸入信號為依據SMPTE ST 2084作PQ編碼的,則接著此步驟應用反PQ
函數(inverse PQ function)。在實行上,歸一化步驟(210)和反非線性編碼(215)可使用預計算1-D查找表(LUT;Look-up table)來進行以產生線性信號217。
c)在步驟(220)中,線性信號217係從其原始色彩空間(例如,RGB、XYZ等)轉換至LMS色彩空間。舉例而言,若原始信號在RGB中,則接著此步驟可包含兩個步驟:RGB至XYZ色彩變換和XYZ至LMS色彩變換。在實施例中,在無限制下,XYZ至LMS變換可給定為
在另一實施例中,如在2014年9月26日申請名稱為「Encoding and decoding perceptually-quantized video content」的美國專利臨時申請案第62/056,093號(亦於2015年9月24日申請為PCT/US2015/051964)中所描述的(其係藉由以其整體之引用而併入於此),在IPT-PQ色彩空間中總體加碼效率可進一步增加,若吾人能併入串擾矩陣(cross-talk matrix)
作為部分的XYZ至LMS變換的話。舉例而言,對於c=0.02,將串擾矩陣與在等式(1a)中的3 x 3矩陣相乘,得出:
同樣地,在另一實施例中,對於c=0.04,將串擾矩陣與原始XYZ至LMS矩陣(例如,等式(1a))相乘,得出:
d)依據Ebner的論文,傳統LMS至IPT色彩空間轉換包含將第一非線性冪次函數(first a non-linear power function)應用至LMS資料而接著應用線性變換矩陣。在吾人能將資料從LMS變換至IPT且接著將PQ函數應用於IPT-PQ域(IPT-PQ domain)中的同時,在優選的實施例中,在步驟(225)中,用於LMS至IPT之非線性編碼的傳統冪次函數係以L、M及S成分之各者的PQ非線性編碼來取代。
e)使用LMS至IPT線性變換(例如,如在Ebner論文後所界定的),步驟(230)完成信號222至IPT-PQ色彩空間之轉換。舉例來說,在實施例中,L’M’S’至IPT-PQ變換可由下列式子給定
在另一實施例中,實驗已顯示可能為優選的是,可不取決於S’成分而得到I’成分,因此等式(2a)可變為:
大多數現存的視訊壓縮標準,像是MPEG-1、MPEG-2、AVC、HEVC等,已針對在YCbCr色彩空間中伽瑪加碼的影像被測式、評估及最佳化;然而,實驗結果已顯示IPT-PQ色彩空間可提供用於具有每色彩成分每像素10或更多位元的高動態範圍影像之較佳的表示格式。在較佳適合於HDR和寬色域信號(例如,IPT-PQ)的色彩空間中之信號編碼可帶來較佳總體圖片品質;然而,舊有的解碼器(例如,機上盒(set-top box)及類似者)可能不能夠作適當的解碼和色彩轉換。為了改善回溯相容性,如發明人所理解的是,需要新的信號重塑技術,使得即使未認知到新的色彩空間的裝置能產生合理的圖片。
圖3描繪依據實施例用於信號重塑和加碼的範例程序。如在圖3中所描繪的,給定輸入(302),如所需要的,向前色彩重塑方塊(305)應用色彩變換及/或重塑函數在優選的色彩空間(例如,IPT-PQ-r)中產生信號(307)。重塑相關的後設資料(309)亦可被產生且傳達至隨後加碼管線之方塊,像是編碼器(310)、解碼器(315)和向後色彩重塑(320)。
在接收加碼的信號(315)之後,解碼器將應用解碼(315)(像是HEVC解碼)以產生解碼的信號(317)。認知到優選的HDR-WCG加碼色彩空間(例如,IPT-PQ-r)的解碼器將應用適當的向後或逆重塑(320)以在適當的色彩空間(比如,IPT-PQ)產生信號
(322)。接著,可將信號(322)變換至YCbCr或RGB以用於額外的後處理(post-processing)、儲存或顯示。
未認知到優選的HDR-WCG加碼空間之舊有的編碼器可將HDR-WCG看作舊有的色彩空間(例如,伽瑪加碼的YCbCr);然而,由於向前色彩重塑(305)的緣故,儘管沒有向後重塑或其它色彩變換應用到解碼器之輸出(317)的事實,輸出(317)仍可具有合理的圖片品質。
在沒有一般性損失(loss of generality)下考量IPT-PQ色彩空間。在實施例中,產生線性重塑矩陣(例如,3 x 3矩陣)用以感知地在具有於YCbCr-伽瑪信號空間中的膚色調的IPT-PQ信號中匹配膚色調。這類色彩變換在IPT色彩空間中沒有在大多數影像處理應用之表現的效果,還是藉由舊有的裝置大大地改善了色彩重製。替代或除了膚色調以外,亦可產生類似的變換矩陣以匹配其它重要的色彩,像是葉子、天空等。在實施例中,可如下列來計算重塑矩陣:a)載入膚色調色彩之資料庫,例如反射頻譜,並且將他們轉換至裝置獨立色彩空間,像是XYZ;b)將膚色調之資料庫從XYZ轉換至舊有色彩空間格式(例如,YCbCr、Rec.709)。此步驟可例如包括下列子步驟:
b.1)將資料庫轉換至RGB(Rec.709);b.2)將伽瑪應用至RGB值(例如,per BT.1886),用以產生伽瑪加碼的R’G’B’信號;b.3)將R’G’B’信號轉換至YCbCr-伽瑪的值(例如,per Rec.709);b.4)計算YCbCr-伽瑪的信號之色相(例如,)值;b.5)計算YCbCr-伽瑪的信號之飽和值(例如,);c)以優選的色彩格式(例如,IPT-PQ)在資料庫中計算膚色調值。此步驟可包括下列子步驟:c.1)將XYZ轉換至LMS;c.2)藉由應用PQ(例如,per ST 2084)將LMS轉換至L’M’S’以及轉換至I’P’T’;c.3)計算色相值(例如,);c.4)計算飽和值();d)計算用以旋轉IPT值的旋轉矩陣,使得在旋轉的或重塑的IPT-PQ(例如,IPT-PQ-r)中的膚色調與在YCbCr-伽瑪中的膚色調對準/一致。在實施例中,此步驟係藉由將關於在兩個色彩空間中的樣本之色相及飽和值的成本函數最佳化而計算。舉例來說,在實施例中,成本函數可代表在舊有色彩空間(例如,YCbCr)與經旋轉優選的HDR色彩空間(例如,IPT-PQ)之間的均方根誤差(MSE;mean square error)。舉例而言,使得
表示色相相關的成本函數,其中Hue IPT-PQ-r 表示重塑的色彩(亦即,IPT-PQ-r)之色相且能界定為
其中所有反正切函數(inverse tan function)係計算於(-π,π)之中。
在實施例中,吾人可應用本領域中任何已知的最佳化技術來找到角度「a」之值,以表示為a’,用以依據給定的準則最小化成本函數。舉例而言,吾人可應用MATLAB函數fminunc(fun,x0),具有fun=Cost H 和x0=0.1。給定a’,旋轉矩陣R可界定為
如一範例,基於樣本資料庫,在實施例中,對於a’=71.74度
給定R和原始L’M’S’至I’P’T’矩陣LMS2IPTmat(例如,請見等式(2)),轉換至重塑的IPT-PQ-r色彩空間可使用新的LMS2IPTmat-r矩陣,其界定為LMS2IPTmat-r=R T *LMS2IPTmat=((LMS2IPTmat T*R))T, (7)
其中AT表示矩陣A之轉置(transpose)。
在實施例中,除了將用於膚色調的色相一致,吾人亦可將飽和一致。此可包括下列步驟:
a)將R應用至原始IPT-PQ資料,用以產生色彩旋轉色度(chroma)值P R 和T R 資料
b)界定飽和成本函數,例如在原始與目標色彩空間之飽和值之間的MSE:
其中,
以及c)使b’表示最佳化Cost S 的b值。接著,吾人能應用標度向量(scaling vector)
到色度旋轉矩陣,用以形成單一色彩旋轉及標度3 x 3矩陣
在一些實施例中,色相成本及飽和成本函數(例如,等式(3)和(8))可結合成單一色相/飽和成本函數且可同時地解出a’和b’兩者。舉例而言,從等式(11),在實施例中,對於
等式(4)能被修改為
並且吾人能解等式(3)而求出最佳a’和最佳bi’(i=1至4)標度因子。
舉例來說,在一實施例中,對於a’=65度和b1’=1.4、b2’=1.0、b3’=1.4、及b4’=1.0,等式(12)產出:
提出的旋轉矩陣R可改善色彩重製;然而,由於在非線性EOTF編碼函數(例如,ST 2084對BT 1866)仍可感知解碼的影像(317)具有低對比。在實施例中,可藉由應用1-D色調映射曲線至光亮度通道(例如,I’)來改善對比。此步驟可包括下列子步驟:
a)應用色調映射曲線(例如,S形),用以將原始內容從原始HDR最大亮度(例如,4,000尼特)映射至SDR目標亮度(例如,100尼特)。這類S形函數之範例可在由A.Ballestad和A.Kostin的美國專利第8,593,480號「Method and Apparatus for Image Data Transformation
」中找到,其係藉由以其整體之引用而併入於此。替代的重塑函數之範例亦揭示於WIPO第WO 2014/160705號公開案「Encoding perceptually-quantized video content in multi-layer VDR coding」中,其係藉由以其整體之引用而併入於此。讓I' T =f(I')表示色調映射函數f()之輸出,接著b)將I' T 線性化(例如,應用反PQ或伽瑪函數)以產生線性I T 資料;以及c)應用舊有的EOTF編碼(例如,BT.1866)對線性化的I T 信號編碼,以產生伽瑪加碼的光亮度信號,用以被編碼器壓縮和傳送。
這類在ST 2084(PQ)與BT 1866之間映射的範例繪示於圖4中。曲線具有較高的中間調對比、較低的黑色及較明亮的(具有較小對比的)高亮度。此將色調標度(tone scale)緊密地與標準SDR調準,使得當輸入被舊有裝置解碼時,影像仍為可觀看的。在圖4中,在沒有一般性損失下,輸入及輸出值係歸一化成(0,1)。
重塑資料可作為後設資料從編碼器發訊至管線之其餘者。可在各種時間點(time instance)決定重塑參數,像是在每訊框(frame)基礎上、在每景象(scene)基礎上或在每序列(sequence)基礎上,用以產出用於給定視訊序列之最佳可能表現。
雖然本發明說明聚焦於IPT-PQ色彩空間,這些技術可平等地應用至其它色彩空間和色彩格式。舉例來說,可應用類似的技術改善跨不同YCbCr之版本的回溯
相容性,例如Rec.709 YCbCr和Rec.2020 YCbCr。因此,在實施例中,當使用舊有的Rec.709解碼器解碼時,可使用於此說明的信號重塑技術調整Rec.2020位元流來提供較佳的色相和飽和輸出。
圖6描繪依據實施例用於產生色彩旋轉和標度矩陣的範例程序流程。給定影像資料庫(605),步驟(610)計算用於在第一(舊有的)色彩空間(例如,YCbCr-伽瑪)中之資料庫中的影像的色度和飽和值。步驟(615)計算用於在第二(優選的)色彩空間(例如,IPT-PQ)中之資料庫中的影像的色相。
給定色相相關的成本函數(例如,等式(3)),步驟(620)依據最小成本準則(像是均方根誤差(MSE))解出最佳旋轉角度a’,其最小化在舊有的色彩空間中計算的色相和在經旋轉優選的色彩空間中計算的色相之間的距離。在步驟(625)中,使用a’之值來產生色彩旋轉矩陣。
亦可計算可選的飽和度盤(saturation scaler)。給定飽和成本函數(例如,等式8),步驟(630)可選地依據最小化成本準則來解出最佳度盤b’,像是在第一色彩空間中信號之飽和與在色彩旋轉優選的色彩空間(640,645)中標度的信號之飽和之間的MSE。
最後,在步驟(635)中,結合旋轉角度和度盤來產生色彩旋轉和標度矩陣(例如,等式(11))。
在編碼器中,編碼器將會把色彩旋轉和標度
矩陣應用至在優選的色彩空間中的輸入資料,用以在重塑的色彩空間中產生資料。資料將被編碼且與關於色彩旋轉和標度矩陣的資訊一起傳送至解碼器。
在解碼器中,舊有的解碼器將解碼假定其在舊有的色彩空間中加碼的資料。儘管使用錯誤的色彩空間資訊,影像仍將在足夠的品質下而為可觀看的,即使在較低的動態範圍中。較新的、完全致能的解碼器可利用關於色彩旋轉和標度矩陣之接收的後設資料資訊來解碼在優選的色彩空間中的影像資料,因此將資料之全高動態範圍提供給觀看者。
如較早所討論的,在一實施例中,旋轉(R)矩陣和標度因子(S)可由在(230)中的L’M’S’至I’P’T’轉換矩陣所吸收。色調重塑曲線可為部分的向前色彩重塑(305)。在兩者的情形中,適應的重塑資訊(亦即,矩陣和色調映射曲線)可使用申請於2015年7月16日的美國臨時申請案第62/193,390號,亦於2016年4月19日以第PCT/US2016/02861號申請的PCT申請案(其藉由以其整體之引用而併入於此)中所提出語法由編碼器傳送到解碼器。
在另一實施例中,如圖5中所描繪,新的色彩旋轉及標度方塊(510)可加入於編碼器(500A)中。此方塊可在色彩變換(200)(例如,RGB至IPT-PQ)之
後但優選地在向前重塑(305)之前加入。在解碼器(500B)中,相應的反色彩旋轉及標度方塊(515)可在向後重塑方框(320)之後加入。如在圖5中所描繪,可選的色彩格式轉換方框(例如,4:4:4至4:2:0(505)或4:2:0至4:4:4(520))可當需要時加入於編碼及/或解碼管線。
就語法而言,由於光亮度通道(例如,Y或I)典型地不加以改變,吾人可規定3 x 3旋轉矩陣或僅2 x 2矩陣。表1提供SEI傳訊之範例,用以傳達色彩旋轉及標度矩陣;然而,發訊並不限於在SEI訊息中,其能插入於任何高等級的語法中,像是SPS、PPS等。
colour_rotation_scale_matrix_present_flag等於1表示對於在0到1之範圍內的c及i,包括上下限,語法元素colour_rotation_scale_coeffs[c][i]是存在的。colour_rotation_scale_matrix_present_flag等於0表示對於在0到1之範圍內的c及i,包含的語法元素colour_rotation_scale_coeffs[c][i]是不存在的。
colour_rotation_scale_coeffs[c][i]規定2 x 2色彩旋轉及標度矩陣系數之值。colour_rotation_scale_coeffs
[c][i]之值應在-2^15到2^15-1之範圍中,包括上下限。當colour_rotation_scale_coeffs[c][i]未存在時,使用內定/預設的色彩旋轉及標度矩陣的矩陣。
在實施例中,編碼器及解碼器兩者係認知到色彩旋轉及標度矩陣(例如,透過新的色彩空間之互定義(mutual definition)),因此其可能不會需要將色彩旋轉矩陣從編碼器發訊至解碼器。在另一實施例中,色彩旋轉及標度矩陣能以VUI(視訊可用性資訊)連同IPT-PQ來參考。
在一些實施例中,在多個色相上應用重塑可能是有益的。此將增加重塑的色彩空間之正確性,用以匹配舊有的色彩,但會在解碼器處有額外的計算之耗費。例如,考量對於N個色相最佳化重塑的問題(例如,膚色調、天空色、綠色等)。在實施例中,吾人可重複較早討論的程序,用以將一組最佳角度和飽和識別為色相之函數。舉例來說,使用用於各種色相的資料庫影像,吾人可產生一組最佳(旋轉角度、飽和標度(saturation scale))值,例如{(a 1 ,b 1 ),(a 2 ,b 2 ),...,(a N ,b N )}。或者更一般而言,讓相素為p a(p)=f H (h(p)),b(p)=f S (h(p)), (14)
表示最佳色度(色相)旋轉及飽和標度值,其中h(p)
表示用於像素p的色相之測量。舉例來說,對於IPT-PQ色彩空間,f H 和f S 函數可在色相h(p)及飽和s(p)函數上來計算:
函數f H (h(p))及f S (h(p))可以本領域之各種已知的方式來代表及儲存,例如,像查找表或分段線性(piece-wise linear)或非線性多項式,並且能作為後設資料從編碼器發訊到解碼器。
給定f H (h(p))和f S (h(p)),編碼器對各個像素應用下列重塑函數:h'(p)=h(p)+a(p),s'(p)=s(p)*b(p), (16)
用以產生適當的重塑信號。例如,對於IPT-PQ色彩空間,用於像素p的重塑的P’和T’色彩成分能使用下列式子導出P' r (p)=s'(p)cos(h'(p)),T' r (p)=s'(p)sin(h'(p)). (17)
在解碼器中,程序被反轉。例如,從等式(14)及(16)中,給定f H (h(p))和f S (h(p)),解碼器產生h(p)=h'(p)-a(p),s(p)=s'(p)/b(p). (18)
注意,為了避免在解碼器中的除法,在一些實施例中,解碼器可將f S (h(p))之倒數(inverse)(例如,
1/b(p)值)發訊至解碼器。為了在IPT-PQ空間中輸入資料,原始資料被產生為P(p)=s(p)cos(h(p)),T(p)=s(p)sin(h(p)). (19)
從等式(17)中,應用逆重塑以在優選的色彩空間中回復資料需要三角函數運算(trigonometric operation)。在一些實施例中,三角函數運算可使用查找表來進行。如一範例,從等式(18),等式(19)可重寫為P(p)=s(p)cos(h'(p)-a(p)),T(p)=s(p)sin(h'(p)-a(p)). (20)
這些運算可進一步使用用於餘弦及正弦函數之合適的查找表來簡化。
圖7A描繪當舊有的色彩空間為YCbCr-伽瑪時用以將色相從重塑的IPT-PQ-r(其對舊有的裝置顯現為YCbCr)反向回至IPT-PQ的範例向後重塑函數。圖7B描繪用以調整飽和之相應的向後重塑函數。圖8描繪如何可調整優選的色彩空間IPT-PQ(820)來匹配舊有的YCbCr色彩空間(810)之特性。射線(830)描繪旋轉及標度。
在另一實施例中,代替在色相之餘弦或正弦函數上計算P和T值的是,吾人可以基於某個其它色相之函數(例如,f(tan -1(h(p))))產生的查找表來建構較簡單的解碼器。舉例來說,給定重塑的像素值成分P' r (p)和T' r (p),在實施例中,解碼器可如下列式子回復原始的像素
值:
其中v()和w()表示已被產生的色相相關函數,使得在重塑色彩空間中的影像匹配在舊有的色彩空間中之一組色相及飽和。如同之前,v()和w()函數能已使用後設資料從編碼器傳達至解碼器或者他們能為部分之建立的加碼協定或者由編碼器和解碼器兩者已知的標的。
ICTCP(亦稱為ICtCp(或IPT))係為提出之新的色彩空間,其特別設計用於處理高動態範圍和寬色域(WCG)信號。如同ITP-PQ,I(強度)表示PQ-編碼的信號之亮度,C T(Tritan軸)對應至藍-黃色知覺(perception),以及C P(Protan軸)對應至紅-綠色彩知覺。除了IPT-PQ之討論的特徵以外,在ICTCP中:
‧如較早所說明的,旋轉色度以將膚色調更接近地對準YCbCr
‧對較佳的均勻度及用於WCG影像的線性而最佳化XYZ至LMS矩陣
‧最佳化L’M’S’至ICtCp矩陣以改善相對HDR及WCG影像的等亮度(isoluminance)及穩定性
如於此所使用的,術語「等亮度」指的是光亮度(比如ICtCp的I或者Y’Cb’Cr’的Y’)有多對應光亮度Y之測量。間接地,其測量色彩空間有多將亮度與色度分離。由發明人所進行的實驗指出ICtCp之I比Y’Cb’Cr’之Y’更加接近亮度。
從建置的觀點來看,使用ICTCP色彩空間需要如使用傳統伽碼加碼的YCbCr相同的硬體及信號流動。舉例來說,在攝像機管線中考慮使用伽碼-校正的YCbCr(Y’Cb’Cr’)。從XYZ開始,程序需要下列步驟:a)使用3 x 3矩陣從XYZ轉換至RGB BT.2020 b)將反EOTF(或OETF)應用至步驟a)之輸出;以及c)將3 x 3矩陣應用至步驟b)之輸出
如圖2所描述,使用ICTCP色彩需要下列步驟:
a)在步驟(220)中,在優選的實施例中,使用下列3 x 3矩陣從XYZ轉換至LMS:
其對應至將等式(1a)之XYZ到LMS 3 x 3矩陣與具有c=0.04的串擾矩陣(亦請見等式(1c))結合。
b)在步驟(225)中,如較早所說明的,藉由應用PQ非線性將信號(222)轉換至L’M’S’
c)在步驟(230)中,使用3 x 3矩陣從L’M’S’轉
換至ICTCP,其在優選的實施例中可被界定為:
等式(23)對應至用原始等式(2b)之L’M’S’至I’P’T’矩陣乘等式(12b)之旋轉矩陣。
在另一實施例中,步驟a)至c)亦能如下列般表述:
其中
以及I=0.5L'+0.5M',C T =(6,610L'-13,613M'+7,003S')/4096,C P =(17,933L'-17,390M'-543S')/4096, (24)
其中,RGBBT.2020表示在BT.2020中的RGB值之三態(triplet),表示依據SMPTE ST 2084反轉EOTF。在一些實施例中,函數可由另一個非線性量化函數代替,像是混合對數-伽瑪(HLG;Hybrid Log-Gamma)函數。對於完整的參考,適當的等式亦整理在表2中,其中下標D指的是顯示光。
從ICTCP回至原始色彩空間的轉換遵循類似的方式,並且在實施例中,其可包括下列步驟:
a)使用等式(23)之反轉或者下列式子從ICTCP轉換至L’M’S’
b)使用信號之EOTF函數(例如,如在ST 2084中所界定的)將L’M’S’信號轉換至LMS;以及
c)使用等式(22)之反轉從LMS轉換至XYZ,例如:
在實施例中,相應的L’M’S’至RGB及ICTCP至L’M’S’矩陣係由下列式子給定:
高動態範圍內容可在具有比用以撐控內容的參考顯示更低的動態範圍的顯示器上觀看。為了在具有較低動態範圍的顯示器上觀看HDR,應進行顯示映射。此能在顯示器中採用EETF(電-電轉移函數)之形式,其在針對顯示器應用EOTF之前被典型地應用。此函數提供足尖部和肩部用以雅致地複印出高亮度和陰影,其提供在保存藝術意向和維持細節之間的平衡。圖9為自全0~10,000尼特動態範圍至能夠為0.1~1,000尼特的目標顯示的範例EETF映射。EETF可導入PQ信號;此繪圖繪示映射之效應,亦即,他們闡述預計的光如何改變成實際顯示的光。
下面為建置此色調映射以用於各種黑及白光亮度準位的數學步驟。EETF可在非線性域中被個別地應用至在IC T C P 或Y’C’ B C’ R 任一者中的亮度通道或是應用至RGB通道。
色調映射曲線之中央區域係界定為自來源到目標之一至一映射。額外的足尖及肩部複印係使用賀米特樣條(Hermite spline)來計算,用以降低動態範圍至目標顯示器之能力。
用於樣條之轉折點(足尖開始(TS;Toe Start)和肩部開始(SS;Shoulder Start))係首先界定。有著在複印開始時的點。讓minLum和maxLum表示目標顯示器之最小和最大光亮度值,接著:SS=1.5*maxLum-0.5
TS=1.5*minLum
給定E1(在歸一化的PQ碼字中之來源輸入信號),輸出E2係計算如下。
對於0 E 1 TS
X 1=0
Y 1=minLum
X 2,Y 2=TS
E
2
=P(E
1
,X
1
,Y
1
,X
2
,Y
2
)
對於TS<E 1<SS
E
2
=E
1
對於SS E 1 1
X 1,Y 1=SS
X 2=1
Y 2=maxLum
E
2
=P(E
1
,X
1
,Y
1
,X
2
,Y
2
)
賀米特樣條等式:
B=(A,X 1,X 2)
P(B,Y 1,Y 2)=(2T(B)3-3T(B)2+1)Y 1+(T(B)3-2T(B)2+T(B))(X 2-X 1)+(-2T(B)3+3T(B)2)Y 2
在另一實施例中:
步驟1:
E 2=E 1 for E 1<SS
E 2=P(E 1) for SS E 1 1
步驟2:
E 3=E 2+TS*(1-E 2)4 for 0 E 2 1
賀米特樣條等式
P(B)=(2T(B)3-3T(B)2+1)SS+(T(B)3-2T(B)2+T(B))(1-SS)+(-2T(B)3+3T(B)2)maxLum,
其中
得出的EETF曲線能被應用至IC T C P 強度I通道或是Y’C’ B C’ R .之亮度Y通道。這裡有一些值得注意的選擇:
1)IC T C P 之I-透過EETF處理IC T C P 之強度(I)通道
I 2=EETF(I 1)
‧更正確地調整灰階(grayscale)
‧沒有色彩位移
‧將需要在飽和中的改變並且應使用下列等式而被應用至CT及CP通道:
2)Y’C’ B C’ R 之Y’-透過EETF處理Y’C’ B C’ R 之亮度Y’通道
Y' 2=EETF(Y' 1)
‧更正確地調整灰階
‧有限的色彩位移
‧將需要在飽和中的改變且應使用下列等式而被應用至C’B和C’R:
關於本發明之額外的實施例係包括在本申請案之附錄中。
本發明之實施例可以電腦系統、在電子電路及組件中組態的系統、像是微控制器的積體電路(IC;integrated circuit)、場可編程閘陣列(FPGA;field programmable gate array)或另一個可組態或可編程邏輯裝置(PLD;programmable logic device)、離散時間或數位信號處理器(DSP;digital signal processor)、特定應用IC(ASIC;application specific IC)及/或包括一或多
個這類系統、裝置或組件的設備來建置。電腦及/或IC可進行、控制或執行關於對具有增強的動態範圍之影像進行信號重塑及加碼的指令,像是於此說明之該些者。電腦及/或IC可計算關於於此說明的信號重塑及加碼程序的眾多參數或值之任一者。影像及視訊的實施例可以硬體、軟體、韌體及其各種的組合來建置。
本發明之某些建置包含電腦處理器,其執行引起處理器進行本發明之方法的軟體指令。舉例而言,在顯示器、編碼器、機上盒、轉碼器或類似者可藉由執行在對處理器是可存取的程式記憶體中的軟體指令來建置如上面所討論關於HDR影像之信號重塑及加碼。本發明亦可以程式產品的形式來提供。程式產品可包含載有包含指令之成組的電腦可讀信號的非暫態媒體,其當由資料處理器執行時,引起資料處理器執行本發明之方法。依據本發明之程式產品可於種類繁多的形式中。舉例來說,程式產品可包含實體媒體,諸如包括軟式磁碟片(floppy diskette)的磁性資料儲存、硬碟驅動、包括CD ROM、DVD的光學資料儲存媒體、包括ROM、快閃RAM的電子資料儲存媒體或類似者。在程式產品上的電腦可讀信號可能選擇地被壓縮或加密。
在組件(例如,軟體模組、處理器、裝配件、裝置、電路等)參照於上時,除非另外指示,參考該組件(包括參考「手段」)應被解譯為包括該組件之均等,進行描述的組件之功能(例如,功能均等)的任何組
件,包括非結構地均等於進行在本發明之闡述的範例實施例中進行功能之揭示的結構。
因此說明關於有效率的HDR影像之信號重塑及加碼的範例實施例。在前述說明書中,本發明之實施例已參考可隨建置改變的眾多特定細節來說明。因此,什麼是本發明且什麼是由發明人打算要成為本發明的唯一及排它的指標係為自本案發行之成組的申請專利範圍,其係以所述申請專利範圍發行所用的特定形式,包括任何隨後的修正。任何於此專門提出針對包含在所述申請專利範圍中的術語之任何定義應支配如在申請專利範圍中使用的這類術語之義意。因此,沒有未專門記載在請求項中的限制、元件、性質、特徵、益處或屬性應以任何方式限制所述請求項之範圍。據此,說明書及圖式係要當作闡述的而非限制性的含義來看。
100‧‧‧視訊遞送管線
102‧‧‧視訊框
105‧‧‧影像產生方塊
107‧‧‧視訊資料
110‧‧‧製作階段
112‧‧‧製作串流
115‧‧‧後製編輯
117‧‧‧最終製作
120‧‧‧加碼方塊
122‧‧‧位元流
125‧‧‧參考顯示器
130‧‧‧解碼單元
132‧‧‧解碼信號
135‧‧‧顯示管理方塊
137‧‧‧顯示映射信號
140‧‧‧目標顯示器
Claims (24)
- 一種改善回溯可相容之解碼的方法,該方法包含:以處理器存取影像資料庫(605);計算(610)在該資料庫中於第一色彩空間中該影像之第一色相值;計算(615)在該資料庫中於第二色彩空間中該影像之第二色相值;基於最小化色相成本函數來計算(620)色相旋轉角度,其中該色相成本函數係基於該第一色相值與經旋轉的第二色相值之差測量;以及基於該色相旋轉角度產生(625)色彩旋轉矩陣。
- 如申請專利範圍第1項的方法,更包含:計算(610)在該資料庫中於該第一色彩空間中該影像之第一飽和值;將在該資料庫中的該影像變換成該第二色彩空間,用以產生變換的影像;將該色彩旋轉矩陣應用(640)至該變換的影像,用以產生色彩旋轉的影像;計算(645)該色彩旋轉的影像之第二飽和值;基於最小化飽和成本函數來計算(630)飽和度盤,其中該飽和成本函數係基於該第一飽和值與標度的第二色相值之差測量;以及基於該飽和度盤產生標度向量。
- 如申請專利範圍第2項的方法,更包含結合該色彩旋轉矩陣與該標度向量,用以產生重塑色彩矩陣。
- 如申請專利範圍第1項的方法,其中該第一色彩空間包含伽瑪加碼的YCbCr色彩空間並且該第二色彩空間包含PQ加碼的IPT色彩空間。
- 如申請專利範圍第1項的方法,其中該第一色彩空間包含Rec.709 YCbCr色彩空間,並且該第一色彩空間包含Rec.2020 YCbCr色彩空間。
- 如申請專利範圍第1項的方法,其中該色彩旋轉矩陣包含
- 如申請專利範圍第2項的方法,其中該標度向量包含
- 如申請專利範圍第1項的方法,其中該第一色彩空間為Rec.709 YCbCr色彩空間,該第二色彩空間為ST 2084 IPT色彩空間(IPT-PQ)並且該色彩旋轉矩陣包含
- 如申請專利範圍第3項的方法,其中該重塑矩陣 包含:
- 如申請專利範圍第1項的方法,更包含:在該第二色彩空間(232)中接收輸入影像;將該色彩旋轉矩陣應用(510)到該輸入影像,用以產生色彩旋轉的影像;以及使用編碼器編碼(310)該色彩旋轉的影像,用以產生經加碼的影像。
- 如申請專利範圍第2項的方法,更包含:接收在該第二色彩空間中的輸入影像(232);將該重塑矩陣應用(510)到該輸入影像,用以產生重塑的影像;以及使用編碼器編碼(310)該重塑的影像,用以產生經加碼的影像。
- 如申請專利範圍第10或11項的方法,更包含:在該編碼步驟之前將色調映射函數(305)應用到該重塑的影像之光亮度值。
- 如申請專利範圍第11項的方法,更包含:基於該重塑矩陣將資訊作為後設資料發訊到解碼器。
- 如申請專利範圍第11項的方法,其中該後設資料包含: 指示色彩旋轉及標度矩陣之存在與否的旗標;以及當該旗標指示該色彩旋轉及標度矩陣的存在時,基於該色彩旋轉及標度矩陣的複數個係數。
- 如申請專利範圍第3項的方法,其中該第二色彩空間包含IPT色彩空間,並且在色彩轉換器中,預設LMS至IPT轉換矩陣係由該預設LMS至IPT轉換矩陣與該色彩重塑矩陣之乘積取代。
- 一種在解碼器中重建在重塑的色彩空間中加碼的輸入影像的方法,該方法包含:在重塑的色彩空間中接收經加碼的輸入影像(312),其中該重塑的色彩空間係藉由將優選的色彩空間之色度成分旋轉至舊有的色彩空間之近似的一或多個參數而產生;存取從編碼器傳送到該解碼器的後設資料(309);其中該後設資料係與該加碼的輸入影像關聯且包含:指示色彩旋轉及標度矩陣之存在與否的旗標;以及用於當該旗標指示該色彩旋轉及標度矩陣的存在時之該色彩旋轉及標度矩陣之複數個係數;解碼(315)該經加碼的輸入影像,用以在該重塑的色彩空間中產生解碼的影像;以及基於在該重塑的色彩空間中該解碼的影像和該色彩旋轉及標度矩陣而在該優選的色彩空間中產生解碼的影像。
- 如申請專利範圍第16項的方法,其中該舊有的 色彩空間之該一或多個參數包含色彩色相或飽和之測量。
- 如申請專利範圍第16項的方法,其中該舊有的色彩空間包含伽瑪加碼的YCbCr色彩空間,並且該優選的色彩空間包含PQ加碼的IPT色彩空間。
- 一種改善回溯可相容之解碼的方法,該方法包含:在優選的色彩空間中接收輸入影像;存取色相旋轉函數,其中對於在該優選的色彩空間中在該輸入影像中像素之色相值,該色相旋轉函數產生旋轉的色相輸出值,其依據色相成本準測匹配在舊有色彩空間中的色相值;基於該輸入影像和該色相旋轉函數產生重塑的影像;以及編碼該重塑的影像,用以產生經加碼之重塑的影像。
- 如申請專利範圍第19項的方法,更包含:存取飽和標度函數,其中對於在該優選的色彩空間中在該輸入影像中像素之該色相值,該飽和標度函數以依據飽和成本準則匹配在該舊有的色彩空間中色相飽和值之經標度的飽和來產生色相值;以及基於該輸入影像產生該重塑的影像、該色相旋轉函數及該飽和標度函數。
- 一種在解碼器中重建在重塑的色彩空間中加碼的輸入影像的方法,該方法包含:存取在重塑的色彩空間中編碼的輸入影像; 存取與該輸入影像關聯的後設資料,其中該後設資料包含與使用以將該輸入影像從優選的色彩空間轉化到該重塑的色彩空間的色相旋轉函數關聯的資料,其中對於在該優選的色彩空間中在該輸入影像中的像素之色相值,該色相旋轉函數產生依據色相成本準則匹配在舊有的色彩空間中色相值之旋轉的色相輸出值;以及基於該輸入影像和與該色相旋轉函數關聯的該資料在該優選的色彩空間中產生輸出影像。
- 如申請專利範圍第21項的方法,其中該後設資料更包含與使用以將該輸入影像從該優選的色彩空間轉化至該重塑的色彩空間的飽和標度函數關聯的資料,其中對於在該優選的色彩空間中在該輸入影像中像素之色相值,該飽和標度函數以依據飽和成本準測匹配在該舊有的色彩空間中的色相飽和值之經標度的飽和來產生色相值;以及基於該輸入影像和與該色相旋轉函數及該飽和標度函數關聯的該資料在該優選的色彩空間中產生該輸出影像。
- 一種包含處理器且組態以進行記載在申請專利範圍第1~22項中的方法之任一項的設備。
- 一種非暫態電腦可讀儲存媒體,具有儲存於其上的電腦可執行指令,以用於以一或多個處理器來執行依據申請專利範圍第1~22項中之任一項的方法。
Applications Claiming Priority (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562200797P | 2015-08-04 | 2015-08-04 | |
US62/200,797 | 2015-08-04 | ||
US201562202980P | 2015-08-10 | 2015-08-10 | |
US62/202,980 | 2015-08-10 | ||
US201662278362P | 2016-01-13 | 2016-01-13 | |
US62/278,362 | 2016-01-13 | ||
US201662300012P | 2016-02-25 | 2016-02-25 | |
US62/300,012 | 2016-02-25 | ||
US201662302073P | 2016-03-01 | 2016-03-01 | |
US62/302,073 | 2016-03-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201719577A true TW201719577A (zh) | 2017-06-01 |
TWI684166B TWI684166B (zh) | 2020-02-01 |
Family
ID=56802666
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110122989A TWI756146B (zh) | 2015-08-04 | 2016-08-04 | 用於在高動態範圍信號中色彩轉換的方法、設備及非暫態電腦可讀儲存媒體 |
TW108131544A TWI735036B (zh) | 2015-08-04 | 2016-08-04 | 用於在高動態範圍信號中色彩轉換的方法、設備及非暫態電腦可讀儲存媒體 |
TW105124794A TWI684166B (zh) | 2015-08-04 | 2016-08-04 | 針對高動態範圍信號的信號重塑形 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110122989A TWI756146B (zh) | 2015-08-04 | 2016-08-04 | 用於在高動態範圍信號中色彩轉換的方法、設備及非暫態電腦可讀儲存媒體 |
TW108131544A TWI735036B (zh) | 2015-08-04 | 2016-08-04 | 用於在高動態範圍信號中色彩轉換的方法、設備及非暫態電腦可讀儲存媒體 |
Country Status (10)
Country | Link |
---|---|
US (12) | US10432977B2 (zh) |
EP (3) | EP4210041A1 (zh) |
JP (2) | JP6320440B2 (zh) |
KR (3) | KR102188460B1 (zh) |
CN (2) | CN110267046B (zh) |
BR (2) | BR112018001465B1 (zh) |
CA (2) | CA2994282C (zh) |
RU (3) | RU2693687C1 (zh) |
TW (3) | TWI756146B (zh) |
WO (1) | WO2017024042A2 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI650998B (zh) * | 2017-12-15 | 2019-02-11 | 晨星半導體股份有限公司 | 應用在機上盒的格式轉換電路及相關的方法 |
TWI729377B (zh) * | 2018-04-09 | 2021-06-01 | 美商杜拜研究特許公司 | 用於將影像自第一動態範圍映射至第二動態範圍之方法 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3338243B1 (en) | 2015-09-23 | 2022-04-20 | ARRIS Enterprises LLC | High dynamic range adaptation operations at a video decoder |
CN106937121B (zh) * | 2015-12-31 | 2021-12-10 | 中兴通讯股份有限公司 | 图像解码和编码方法、解码和编码装置、解码器及编码器 |
EP3367659A1 (en) * | 2017-02-28 | 2018-08-29 | Thomson Licensing | Hue changing color gamut mapping |
EP3566203B1 (en) | 2017-03-20 | 2021-06-16 | Dolby Laboratories Licensing Corporation | Perceptually preserving scene-referred contrasts and chromaticities |
CN110770787B (zh) | 2017-06-16 | 2023-04-07 | 杜比实验室特许公司 | 高效端到端单层逆向显示管理编码 |
US10769817B2 (en) * | 2017-08-07 | 2020-09-08 | Samsung Display Co., Ltd. | Measures for image testing |
US10917583B2 (en) | 2018-04-27 | 2021-02-09 | Apple Inc. | Standard and high dynamic range display systems and methods for high dynamic range displays |
GB2588004B (en) | 2018-06-05 | 2023-03-01 | Beijing Bytedance Network Tech Co Ltd | Interaction between IBC and affine |
CN108882028B (zh) | 2018-07-05 | 2019-06-14 | 华为技术有限公司 | 视频信号的处理方法及装置 |
KR20200050111A (ko) * | 2018-11-01 | 2020-05-11 | 세종대학교산학협력단 | 칼라 좌표축 변환을 이용한 영상 부호화/복호화 방법 및 장치 |
CN109685859B (zh) * | 2018-12-24 | 2021-06-08 | 哈尔滨工业大学(深圳) | 基于3d查找表的三维颜色自动调整方法 |
WO2020180043A1 (ko) * | 2019-03-01 | 2020-09-10 | 엘지전자 주식회사 | Lmcs에 기반한 영상 코딩 방법 및 그 장치 |
US11924431B2 (en) | 2019-03-01 | 2024-03-05 | Lg Electronics Inc. | LMCS-based image coding method and device therefor |
CN113678450B (zh) * | 2019-03-12 | 2024-09-13 | 弗劳恩霍夫应用研究促进协会 | 用于图像和视频编码的选择性分量间变换(ict) |
CN110189687B (zh) * | 2019-06-04 | 2020-10-09 | 深圳市摩西尔电子有限公司 | 一种对led模组图像进行图像变换的方法和装置 |
CN115052137B (zh) | 2019-10-18 | 2023-09-26 | 华为技术有限公司 | 一种饱和度调整的方法及装置 |
JP7434554B2 (ja) * | 2019-12-06 | 2024-02-20 | ドルビー ラボラトリーズ ライセンシング コーポレイション | カスケード予測 |
EP4128762B1 (en) * | 2020-04-03 | 2024-03-20 | Dolby Laboratories Licensing Corporation | Blind local reshaping in hdr imaging |
WO2021212072A1 (en) * | 2020-04-17 | 2021-10-21 | Dolby Laboratories Licensing Corporation | Chromatic ambient light correction |
EP4140129A1 (en) * | 2020-04-21 | 2023-03-01 | Dolby Laboratories Licensing Corporation | Reshaping functions for hdr imaging with continuity and reversibility constraints |
US20230164366A1 (en) * | 2020-04-22 | 2023-05-25 | Dolby Laboratories Licensing Corporation | Iterative optimization of reshaping functions in single-layer hdr image codec |
US11412174B2 (en) * | 2020-09-22 | 2022-08-09 | Microsoft Technology Licensing, Llc | Efficient electro-optical transfer function (EOTF) curve for standard dynamic range (SDR) content |
US20230370646A1 (en) | 2020-10-02 | 2023-11-16 | Dolby Laboratories Licensing Corporation | Adaptive local reshaping for sdr-to-hdr up-conversion |
EP4229869A1 (en) * | 2020-10-14 | 2023-08-23 | Dolby Laboratories Licensing Corporation | Color transformation for hdr video with a coding-efficiency constraint |
WO2022256205A1 (en) * | 2021-06-01 | 2022-12-08 | Dolby Laboratories Licensing Corporation | Rotation-enabled high dynamic range video encoding |
JP7543577B2 (ja) | 2021-06-08 | 2024-09-02 | ドルビー ラボラトリーズ ライセンシング コーポレイション | チェーンドリシェーピング関数の最適化 |
Family Cites Families (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5141557B2 (zh) | 1972-09-04 | 1976-11-10 | ||
JPS5141557Y2 (zh) | 1973-06-05 | 1976-10-08 | ||
JPS5141557U (zh) | 1974-09-24 | 1976-03-27 | ||
DE69315285T2 (de) * | 1992-09-02 | 1998-05-28 | Matsushita Electric Ind Co Ltd | Vorrichtung zum Verarbeiten eines Bildsignals |
JP3414800B2 (ja) * | 1992-09-02 | 2003-06-09 | 松下電器産業株式会社 | 画像信号処理装置 |
DE4306797C1 (de) * | 1993-03-04 | 1994-05-05 | Schneider Rundfunkwerke Ag | Fernsehprojektionssystem |
JPH11313219A (ja) * | 1998-01-20 | 1999-11-09 | Fujitsu Ltd | カラーデータ変換方法 |
US6335983B1 (en) * | 1998-09-28 | 2002-01-01 | Eastman Kodak Company | Representing an extended color gamut digital image in a limited color gamut color space |
US6766263B1 (en) * | 2000-04-26 | 2004-07-20 | Microsoft Corporation | Method of color capture calibration for digital capture devices |
JP4197858B2 (ja) * | 2001-08-27 | 2008-12-17 | 富士通株式会社 | 画像処理プログラム |
JP2004040448A (ja) | 2002-07-03 | 2004-02-05 | Panasonic Communications Co Ltd | 画像処理方法及び画像処理装置 |
US7142723B2 (en) * | 2003-07-18 | 2006-11-28 | Microsoft Corporation | System and process for generating high dynamic range images from multiple exposures of a moving scene |
JP4617644B2 (ja) | 2003-07-18 | 2011-01-26 | ソニー株式会社 | 符号化装置及び方法 |
JP2005079834A (ja) | 2003-08-29 | 2005-03-24 | Pentax Corp | 色変換マトリクス算出方法および画像信号処理装置 |
JP2005184601A (ja) | 2003-12-22 | 2005-07-07 | Fuji Xerox Co Ltd | 画像処理装置、画像処理方法および画像処理プログラム |
RU2402811C2 (ru) * | 2004-07-29 | 2010-10-27 | Майкрософт Корпорейшн | Обработка изображений с помощью линейных параметров светоустановки и других усовершенствований обработки изображений |
US20060244983A1 (en) * | 2005-04-29 | 2006-11-02 | Huanzhao Zeng | Fast color mapping using primary adjustment with gamut adaptation |
JP2007259124A (ja) * | 2006-03-23 | 2007-10-04 | Konica Minolta Business Technologies Inc | 色変換テーブルの作成方法、情報作成装置、記録媒体及び画像処理装置 |
US20070285434A1 (en) * | 2006-06-12 | 2007-12-13 | Hung-Shih Lin | Hue adjustor and method for adjusting hues for specific colors in an image |
TW200808072A (en) * | 2006-07-17 | 2008-02-01 | Marketech Int Corp | Hue adjusting device |
JP4974607B2 (ja) * | 2006-08-09 | 2012-07-11 | 株式会社ナナオ | 表示装置および表示システム並びにrgb信号処理方法 |
EP2076053B1 (en) | 2006-10-23 | 2012-01-25 | Nikon Corporation | Image processing method, image processing program, image processing device, and camera |
UA26453U (en) | 2007-04-18 | 2007-09-25 | Zoia Rudolfivna Ulberh | Method for treating inflammations and functional impairments of locomotor and hepatobiliary systems |
KR101166388B1 (ko) * | 2007-08-28 | 2012-07-23 | 삼성전자주식회사 | 색 변환장치 및 그 제어방법 |
CN101521001B (zh) | 2008-02-26 | 2011-04-27 | 瑞昱半导体股份有限公司 | 显示装置的色彩校正方法及装置 |
US20090220151A1 (en) * | 2008-02-29 | 2009-09-03 | Himax Technologies Limited | Device for adjusting image color difference value and adjusting method thereof |
US20090285434A1 (en) | 2008-05-13 | 2009-11-19 | Jason Martin Williams | Earhook and earbud headset |
US8477247B2 (en) * | 2008-09-30 | 2013-07-02 | Intel Corporation | Joint enhancement of lightness, color and contrast of images and video |
WO2010083493A1 (en) * | 2009-01-19 | 2010-07-22 | Dolby Laboratories Licensing Corporation | Image processing and displaying methods for devices that implement color appearance models |
JP5430218B2 (ja) * | 2009-05-07 | 2014-02-26 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
CN101909215B (zh) * | 2009-06-05 | 2012-04-18 | 华映视讯(吴江)有限公司 | 色彩转换方法以及其相对应的色彩显示方法 |
KR101295881B1 (ko) * | 2009-07-10 | 2013-08-12 | 엘지디스플레이 주식회사 | 선호색 보정방법과 이를 이용한 표시장치 |
US9300938B2 (en) * | 2010-07-22 | 2016-03-29 | Dolby Laboratories Licensing Corporation | Systems, apparatus and methods for mapping between video ranges of image data and display |
JP5663284B2 (ja) * | 2010-12-06 | 2015-02-04 | 東芝テック株式会社 | アンテナ切替システム |
JP5648496B2 (ja) * | 2011-01-26 | 2015-01-07 | 村田機械株式会社 | 原稿読取装置 |
TWI538474B (zh) | 2011-03-15 | 2016-06-11 | 杜比實驗室特許公司 | 影像資料轉換的方法與設備 |
WO2012142285A2 (en) * | 2011-04-12 | 2012-10-18 | Dolby Laboratories Licensing Corporation | Quality assessment for images that have extended dynamic ranges or wide color gamuts |
US8731287B2 (en) | 2011-04-14 | 2014-05-20 | Dolby Laboratories Licensing Corporation | Image prediction based on primary color grading model |
DK3079055T3 (da) | 2011-12-06 | 2019-06-03 | Dolby Laboratories Licensing Corp | Indretning og fremgangsmåde til at forbedre den perceptuelle luminans ikke-lineæritetsbaserede billeddataudveksling på tværs af forskellige displayegenskaber |
JP5791643B2 (ja) * | 2013-01-29 | 2015-10-07 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置および画像形成装置 |
WO2014130343A2 (en) * | 2013-02-21 | 2014-08-28 | Dolby Laboratories Licensing Corporation | Display management for high dynamic range video |
JP5989934B2 (ja) | 2013-03-26 | 2016-09-07 | ドルビー ラボラトリーズ ライセンシング コーポレイション | マルチレイヤvdr符号化における知覚量子化ビデオコンテンツのエンコーディング |
JP6251489B2 (ja) * | 2013-03-28 | 2017-12-20 | 株式会社 資生堂 | 画像解析装置、画像解析方法、及び画像解析プログラム |
US9584811B2 (en) * | 2013-06-17 | 2017-02-28 | Dolby Laboratories Licensing Corporation | Adaptive reshaping for layered coding of enhanced dynamic range signals |
JP6282357B2 (ja) | 2014-01-06 | 2018-02-21 | エルジー エレクトロニクス インコーポレイティド | カラーガマットリサンプリングに基づく放送信号送受信方法及び装置 |
TW201531089A (zh) * | 2014-01-10 | 2015-08-01 | Thomson Licensing | 將影像資料編碼之方法及裝置,以及將影像資料解碼之方法及裝置 |
US9277196B2 (en) * | 2014-02-19 | 2016-03-01 | DDD IP Ventures, Ltd. | Systems and methods for backward compatible high dynamic range/wide color gamut video coding and rendering |
US10194035B2 (en) * | 2014-04-29 | 2019-01-29 | Hewlett-Packard Development Company, L.P. | Imager calibration via modeled responses to importance-weighted color sample data |
EP2961168A1 (en) * | 2014-06-27 | 2015-12-30 | Thomson Licensing | Method and apparatus for predicting image samples for encoding or decoding |
EP3198556B1 (en) | 2014-09-26 | 2018-05-16 | Dolby Laboratories Licensing Corp. | Encoding and decoding perceptually-quantized video content |
US9736335B2 (en) * | 2015-04-15 | 2017-08-15 | Apple Inc. | Techniques for advanced chroma processing |
WO2016172091A1 (en) | 2015-04-22 | 2016-10-27 | Dolby Laboratories Licensing Corporation | Signal reshaping and coding in the ipt-pq color space |
EP3298787B1 (en) * | 2015-05-21 | 2021-03-24 | Telefonaktiebolaget LM Ericsson (publ) | Pixel pre-processing and encoding |
US10841597B2 (en) * | 2015-06-05 | 2020-11-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Encoding a pixel of an input video sequence |
EP3110124A1 (en) * | 2015-06-25 | 2016-12-28 | Thomson Licensing | Hue changing color gamut mapping |
US10560695B2 (en) * | 2015-06-26 | 2020-02-11 | Telefonaktiebolaget Lm Ericsson (Publ) | Encoding and decoding of pictures in a video |
GB2539917B (en) * | 2015-06-30 | 2021-04-07 | British Broadcasting Corp | Method and apparatus for conversion of HDR signals |
EP3320675A4 (en) * | 2015-07-10 | 2019-03-06 | Telefonaktiebolaget LM Ericsson (publ) | PIXEL PREPARATION AND CODING |
US10116938B2 (en) * | 2015-07-22 | 2018-10-30 | Arris Enterprises Llc | System for coding high dynamic range and wide color gamut sequences |
WO2017019818A1 (en) * | 2015-07-28 | 2017-02-02 | Vid Scale, Inc. | High dynamic range video coding architectures with multiple operating modes |
EP3341918B1 (en) * | 2015-08-24 | 2023-10-11 | InterDigital Madison Patent Holdings, SAS | Coding and decoding method and corresponding devices |
EP3354032A1 (en) * | 2015-09-21 | 2018-08-01 | VID SCALE, Inc. | Inverse reshaping for high dynamic range video coding |
EP3338243B1 (en) * | 2015-09-23 | 2022-04-20 | ARRIS Enterprises LLC | High dynamic range adaptation operations at a video decoder |
US10715816B2 (en) * | 2015-11-11 | 2020-07-14 | Apple Inc. | Adaptive chroma downsampling and color space conversion techniques |
PT3394850T (pt) * | 2015-12-21 | 2020-08-14 | Koninklijke Philips Nv | Otimização de imagens de alta gama dinâmica para monitores específicos |
US20190068939A1 (en) * | 2016-01-22 | 2019-02-28 | Electronics And Telecommunications Research Institute | Image signal conversion method and apparatus for reducing image quality deterioration |
US10397586B2 (en) * | 2016-03-30 | 2019-08-27 | Dolby Laboratories Licensing Corporation | Chroma reshaping |
US10542296B2 (en) * | 2016-05-10 | 2020-01-21 | Dolby Laboratories Licensing Corporation | Chroma reshaping of HDR video signals |
EP3340165A1 (en) * | 2016-12-20 | 2018-06-27 | Thomson Licensing | Method of color gamut mapping input colors of an input ldr content into output colors forming an output hdr content |
CN110383802B (zh) * | 2017-03-03 | 2021-05-25 | 杜比实验室特许公司 | 利用逼近函数的彩色图像修改方法 |
WO2018175337A1 (en) * | 2017-03-20 | 2018-09-27 | Dolby Laboratories Licensing Corporation | Perceptually preserving scene-referred contrasts and chromaticities |
GB2561395A (en) * | 2017-04-13 | 2018-10-17 | Sony Corp | Colour conversion |
-
2016
- 2016-03-17 JP JP2016054344A patent/JP6320440B2/ja active Active
- 2016-08-03 BR BR112018001465-6A patent/BR112018001465B1/pt active IP Right Grant
- 2016-08-03 EP EP23158881.5A patent/EP4210041A1/en not_active Withdrawn
- 2016-08-03 KR KR1020207022148A patent/KR102188460B1/ko active IP Right Grant
- 2016-08-03 EP EP23158888.0A patent/EP4207178A1/en not_active Withdrawn
- 2016-08-03 EP EP16757757.6A patent/EP3332550B1/en active Active
- 2016-08-03 CN CN201910669133.0A patent/CN110267046B/zh active Active
- 2016-08-03 KR KR1020187003386A patent/KR20180026517A/ko not_active Application Discontinuation
- 2016-08-03 CA CA2994282A patent/CA2994282C/en active Active
- 2016-08-03 RU RU2018104936A patent/RU2693687C1/ru active
- 2016-08-03 BR BR122022023327-9A patent/BR122022023327B1/pt active IP Right Grant
- 2016-08-03 US US15/749,231 patent/US10432977B2/en active Active
- 2016-08-03 WO PCT/US2016/045362 patent/WO2017024042A2/en active Application Filing
- 2016-08-03 KR KR1020197020423A patent/KR102141193B1/ko active IP Right Grant
- 2016-08-03 JP JP2018503569A patent/JP6531218B2/ja active Active
- 2016-08-03 RU RU2019118419A patent/RU2736103C2/ru active
- 2016-08-03 CA CA3086441A patent/CA3086441C/en active Active
- 2016-08-03 CN CN201680045443.XA patent/CN107925770B/zh active Active
- 2016-08-04 TW TW110122989A patent/TWI756146B/zh active
- 2016-08-04 TW TW108131544A patent/TWI735036B/zh active
- 2016-08-04 TW TW105124794A patent/TWI684166B/zh active
-
2019
- 2019-08-06 US US16/532,924 patent/US11025961B2/en active Active
-
2020
- 2020-10-14 RU RU2020133656A patent/RU2762384C1/ru active
-
2021
- 2021-04-20 US US17/234,816 patent/US11570480B2/en active Active
- 2021-04-20 US US17/234,815 patent/US11582490B2/en active Active
-
2022
- 2022-11-22 US US17/992,603 patent/US11785263B2/en active Active
- 2022-11-22 US US17/992,616 patent/US11979615B1/en active Active
-
2023
- 2023-06-27 US US18/215,129 patent/US11924477B2/en active Active
- 2023-10-31 US US18/385,724 patent/US11910025B1/en active Active
-
2024
- 2024-01-05 US US18/405,874 patent/US12028555B2/en active Active
- 2024-03-26 US US18/616,959 patent/US12041275B1/en active Active
- 2024-04-09 US US18/630,786 patent/US12120357B2/en active Active
- 2024-05-30 US US18/678,794 patent/US12120358B2/en active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI650998B (zh) * | 2017-12-15 | 2019-02-11 | 晨星半導體股份有限公司 | 應用在機上盒的格式轉換電路及相關的方法 |
US10506199B2 (en) | 2017-12-15 | 2019-12-10 | Mediatek Inc. | Format conversion circuit applied to set-top box and associated method |
TWI729377B (zh) * | 2018-04-09 | 2021-06-01 | 美商杜拜研究特許公司 | 用於將影像自第一動態範圍映射至第二動態範圍之方法 |
US11361506B2 (en) | 2018-04-09 | 2022-06-14 | Dolby Laboratories Licensing Corporation | HDR image representations using neural network mappings |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI684166B (zh) | 針對高動態範圍信號的信號重塑形 | |
JP2017169134A (ja) | ハイダイナミックレンジ信号のための信号再構成 |