TWI580275B - 高動態範圍影像的編碼、解碼及表示 - Google Patents

高動態範圍影像的編碼、解碼及表示 Download PDF

Info

Publication number
TWI580275B
TWI580275B TW104139426A TW104139426A TWI580275B TW I580275 B TWI580275 B TW I580275B TW 104139426 A TW104139426 A TW 104139426A TW 104139426 A TW104139426 A TW 104139426A TW I580275 B TWI580275 B TW I580275B
Authority
TW
Taiwan
Prior art keywords
image
hdr
value
color
quantized
Prior art date
Application number
TW104139426A
Other languages
English (en)
Other versions
TW201624999A (zh
Inventor
賈文輝
亞吉特 尼南
阿卡地 田
葛高里 華德
王加凡
Original Assignee
杜比實驗室特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杜比實驗室特許公司 filed Critical 杜比實驗室特許公司
Publication of TW201624999A publication Critical patent/TW201624999A/zh
Application granted granted Critical
Publication of TWI580275B publication Critical patent/TWI580275B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H04N1/411—Bandwidth or redundancy reduction for the transmission or storage or reproduction of two-tone pictures, e.g. black and white pictures
    • H04N1/413—Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information
    • H04N1/417—Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information using predictive or differential encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • H04N1/6063—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced
    • H04N1/6066—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced dependent on the gamut of the image to be reproduced
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)

Description

高動態範圍影像的編碼、解碼及表示
本發明一般關於影像處理，尤其是關於高動態範圍影像的編碼、解碼及表示。
由受讓人或其他人發展的顯示器技術能夠再生具有高動態範圍(HDR)的影像。這類的顯示器能比傳統顯示器再生更忠實地呈現實境場景的影像。
為了支援回溯相容性以及新式HDR顯示技術，HDR影像可由具有包含灰階亮度比之額外元資料的色調映射影像表示。一方面，色調映射影像可用來呈現正常動態範圍影像(例如，在傳統顯示器上)。另一方面，額外的元資料可與色調映射影像一起使用以產生、恢復、或呈現HDR影像(例如，藉由HDR顯示器)。
然而，色調映射影像可能包含一或更多由各種原因造成的色彩變更，這些原因與竄改影像的使用者或用來產生色調映射影像的特定色調映射運算子有關。例如，使用者可改變關於影像中一些或所有像素的色調資訊，以產生看 起來更精美的影像。另外，色調映射運算子可在各種色彩通道中進行不同的黑或白剪取，並可能例如在影像之相對曝光不足或過度曝光區中引起色彩變更。在現有技術下，當下游解碼器試圖從色調映射影像和伴隨之灰階亮度比來重建HDR影像時，這些在色調映射影像中的色彩變更是很難或不可能消除的。
本節中所述之方法是可進行之方法，而不必是先前已構想或進行的方法。因此，除非有其他指示，否則不應只因為包含在本節中就假設本節中所述之任何方法係稱作習知技術。同樣地，除非有其他指示，否則有關一或更多方法的議題不應假設基於本節而已承認在任何習知技術中。
102‧‧‧HDR RGB影像
104‧‧‧負亮度檢查
105‧‧‧白平衡運算子
106‧‧‧色調映射運算子
108‧‧‧TM影像
112‧‧‧逆向伽馬
144‧‧‧YCbCr容器
602‧‧‧攝影機感測器色彩空間
604‧‧‧係數
608‧‧‧色彩轉換矩陣
202‧‧‧HDR影像資料
204‧‧‧分析器
206‧‧‧基本影像
208‧‧‧應用段
210‧‧‧比影像
212‧‧‧CbCr殘餘值
214‧‧‧去量化處理方塊
218‧‧‧去量化處理方塊
216‧‧‧反向對數處理方塊
220‧‧‧色彩空間轉換處理方塊
232‧‧‧再飽和方塊
224‧‧‧伽馬解碼
228‧‧‧總和處理方塊
230‧‧‧RGB影像
232‧‧‧白平衡
400‧‧‧電腦系統
402‧‧‧匯流排
404‧‧‧處理器
406‧‧‧主記憶體
408‧‧‧唯讀記憶體
410‧‧‧儲存裝置
412‧‧‧顯示器
414‧‧‧輸入裝置
416‧‧‧游標控制
418‧‧‧通訊介面
420‧‧‧網路連結
422‧‧‧區域網路
424‧‧‧主機電腦
426‧‧‧網路服務提供者
428‧‧‧網際網路
430‧‧‧伺服器
本發明係經由，但不限定，附圖中的實例來說明，其中同樣的參考數字係指類似元件，其中：第1圖顯示依照本發明之一些可能實施例之示範HDR影像編碼器；第2圖顯示依照本發明之一些可能實施例之示範HDR影像解碼器；第3A和3B圖顯示依照本發明之可能實施例之示範程序流程；及第4圖顯示根據本發明之可能實施例之可實作如本文所述之電腦或計算裝置的示範硬體平台。
第5圖顯示從黑到白的梯度改變在典型攝影機中的不 同色彩感測器之飽和特性。
第6A和6B圖顯示本系統之實施例，其將影像資料從攝影機感測器色彩空間轉換成進行事後白平衡(White Balance)的監視色彩空間。
第7圖係為白平衡校正技術的一實施例。
【發明內容及實施方式】
本文說明關於影像處理技術的示範可能實施例。在接下來的敘述中，為了說明之目的，會提出許多具體細節以提供本發明之全盤理解。然而，本發明顯然無須這些具體細節仍可實行。在其他實例中，並未非常詳細地說明熟知的結構和裝置，以避免不必要地封閉、混淆、模糊本發明。
本文根據下列大綱來說明示範實施例：
1.一般概要
2.HDR影像編碼器
3.白平衡校正
4.HDR影像解碼器
5.示範程序流程
6.實作機制-硬體概要
7.等效、延伸、變化及雜項
1.一般概要
本概要呈現本發明之可能實施例之一些態樣的基本敘 述。應注意到本概要不是可能實施例之態樣的廣泛或徹底的摘要。此外，應注意到本概要並不打算理解為識別可能實施例之任何特定重要態樣或元件，亦不是描述可能實施例(一般來說，尤其是本發明)之任何範疇。本概要只以扼要和簡化形式呈現一些關於示範可能實施例的概念，且應理解成只是對下列之示範可能實施例之更詳細說明之概念上的序幕。
為了在各種影像成像裝置上顯示影像，色調映射運算子(TMO)將輸入HDR影像處理成色調映射(TM)基本影像。與輸入影像相比，TM基本影像可包含色彩變更(例如，色調變更、色彩剪取、藝術外表等)。在一些技術下，TM基本影像係連同亮度比一起提供給下游影像解碼器，以重建相當於輸入HDR影像的HDR影像。然而，下游影像解碼器無法依靠TM基本影像和灰階亮度比來消除所重建之HDR影像中的色彩變更。所以，色彩變更會顯著地留在所重建之HDR影像中。
對照下，在本文所述之技術下的HDR影像編碼器基於輸入HDR影像和TM基本影像，不只產生亮度比而且產生色彩殘餘值。亮度比和色彩殘餘值可全部稱為HDR重建資料。隨意地及/或附加地，亮度比會被轉換成對數域以支援較廣範圍的亮度值。隨意地及/或附加地，生成的對數亮度比和色彩殘餘值係被量化的。隨意地及/或附加地，經量化的對數比和色彩殘餘值係儲存在一殘餘影像中。經量化的對數比和色彩殘餘值，或在一些實施例中的 殘餘影像，會與TM基本影像一起提供給下游影像解碼器。隨意地及/或附加地，與量化對數比及色彩殘餘值有關的參數(例如範圍限定等)亦會與TM基本影像一起提供。
本文TMO可自由地以低(黑)或高(白)亮度級在色彩通道中對個別像素進行色彩剪取。又，如本文所述之TMO並不必維持每個像素上的色調。在本文所述之技術下，使用者會基於影像內容(例如，人像、室內影像、戶外場景、夜景、日落等)或應用(例如，在電影、海報、婚禮照、雜誌中使用)來自由選擇TMO。色彩剪取或修改可蓄意地並大量地用來產生影像的藝術外表。本文之HDR影像編碼器和解碼器支援由不同類型的編輯軟體和產生寬範圍之可能色彩變更的相機製造器所實作出的TMO。在本文所述之技術下，HDR編碼器提供色彩殘餘值給HDR解碼器。HDR解碼器依次利用色彩殘餘值來防止(或最小化)色彩變更出現在重建的HDR影像中。
在本文所述之技術下，位元流及/或影像檔案可用來儲存並提供TM基本影像及其各自的HDR重建資料給下游影像觀看器或解碼器，以解碼及/或成像。在本文所述之技術下的影像格式支援由不同類型的編輯軟體和相機製造器所實作出的TMO。本文所述之影像格式的實例可包括，但不限於，標準JPEG影像格式(例如包括JPEG-HDR)等。在一示範實施例中，JPEG-HDR影像格式係用來支援連同亮度比和色彩殘餘值一起儲存的TM基本影 像。附加地及/或隨意地，儲存在影像檔案中的TM基本影像和殘餘影像之一或兩者會被壓縮。本文所述之壓縮可使用JPEG標準或不同方式來進行。
在不支援本文所述之技術下的HDR影像處理之影像解碼器和觀看器僅打開影像檔案中的TM基本影像。另一方面，本文所述之技術下的HDR影像解碼器係配置以將影像檔案讀/分析成TM基本影像及其對應亮度比和色彩殘餘值，並再儲存/重建HDR影像。本文所述之重建HDR影像沒有在原本輸入HDR影像缺少但會因TMO而引進TM基本影像中的色彩變更。
在一些可能實施例中，本文所述之機制形成部分的影像編碼器，包括(但不限於)手持裝置、遊戲機、電影院系統、家庭娛樂系統、電視、膝上型電腦、筆記型電腦、蜂巢式無線電話、電子書閱讀器、銷售終端點、桌上型電腦、電腦工作站、電腦資訊站台、和各種其他種類的終端和處理單元。
那些本領域之熟知技藝者將容易理解較佳實施例之各種修改和本文所述之一般原理及特徵。因此，揭露並不預期受限於所示之實施例，而是符合與本文所述之原理及特徵一致的最廣範疇。
2.HDR影像編碼器
第1圖顯示依照本發明之一些可能實施例之示範HDR影像編碼器。在一些可能實施例中，HDR影像編碼 器係由一或更多計算裝置實作，並裝配實施影像處理技術的軟體及/和硬體元件，用來以標準基礎或專用影像格式的HDR重建資料將輸入HDR影像編碼成TM影像。
HDR影像編碼器包含配置以接收輸入HDR影像的軟體及/或硬體元件。本文使用到的部分，「輸入HDR影像」是指任何可能包含浮點或定點高動態範圍影像資料的HDR影像。輸入HDR影像可以在任何支援高動態範圍色域的色彩空間中。在一示範實施例中，輸入HDR影像係為在RGB色彩空間中的RGB影像(例如，如第1圖所示之輸入HDR RGB 102)。在一實例中，在輸入HDR影像中的每個像素對在色彩空間中所定義之所有通道(例如，RGB色彩空間中的紅、綠、和藍色通道)包含浮點像素值。在另一實例中，在輸入HDR影像中的每個像素對在色彩空間中所定義之所有通道包含定點像素值(例如，用於RGB色彩空間中的紅、綠、和藍色通道的16位元或更高/更低數量位元的定點像素值)。每個像素可隨意地及/或替代地包含用於色彩空間中一或更多通道的降取樣像素值。
在一示範實施例中，HDR影像編碼器包含配置以進行一些前端處理步驟的軟體及/或硬體元件。隨意地及/或替代地，前端處理步驟包括，但不限於，對輸入HDR影像執行零或更多的健康檢查等。例如，輸入HDR影像可能或可能不包含意味負亮度值的像素值，其例如係由上游步驟或由編碼或傳輸時所引起的區域資料毀損所引起的。 為了防止基礎亮度值變成負數而造成在後續色調映射運算上的問題，輸入HDR影像中的基礎亮度值會以健康檢查來檢查(負亮度檢查104)。若像素的基礎亮度值不是正的，則對於像素之所有色彩通道的像素值可設成零。
在不直接對色彩空間中的像素提供亮度值之可能實施例中，像素之亮度值(間接地)可從色彩空間中的像素之像素值得到。在一示範實施例中，像素之在RGB色彩空間中的像素值R、G、B可用來計算像素的亮度值Y，如下：Y=0.30078125 * R+0.59765625 * G+0.1015625 * B 公式(1)
在提供輸入HDR影像(可或可不經過前端處理)給色調映射運算子(TMO 106)之前，輸入HDR影像資料會通過白平衡運算子(105)。如將於以下更詳細之討論，希望在HDR影像中校正及/或調整白平衡能作為部分的HDR編碼而且在色調映射運算之前。
在一示範實施例中，TMO 106包含軟體及/或硬體元件，配置以基於輸入HDR影像(可經過前端處理)產生可成像在各種顯示裝置上的色調映射(TM)影像。在本文所述之技術下，TMO 106被視為HDR影像編碼器中的黑盒子。TMO 106或使用TMO 106以竄改輸入HDR影像的使用者可自由地在來自TMO 106之輸出TM影像之一些或所有部分中引進一或更多影響色調或色度特性的色彩變更。在本文所述之技術下，具有由TMO 106或使用者自由產生之色彩變更的TM影像可連同可用來重新產生/ 成像HDR影像的HDR重建資料(在本文所述之技術下產生)一起提供作為基本影像給下游裝置。HDR重建資料提供足夠資訊給接收下游裝置，以重新產生沒有由TMO 106所產生之色彩變更的HDR影像。
隨意地及/或替代地，HDR影像編碼器包含配置以對TMO 106之輸出(TM影像(R`G`B` 108))進行黑色修改的軟體及/或硬體元件(Black Mod 110)。HDR影像編碼器或這裡的Black Mod 110定位TM影像(R`G`B` 108)中的零像素值。在一實例中，若色彩通道的像素值是零，則給定像素值為如1、2、10的小值、或另一較大或較小值。在另一實例中，若像素之亮度值是零，則給定一或更多色彩通道的像素值為如1、2、10的小值、或其他較大或較小值。小像素值(例如10以下)可不產生感知上的視差。
TM影像(R`G`B` 108)可以或可以不是8位元伽馬校正影像。僅為了說明之目的，TMO 106所輸出的色調映射影像(R`G`B` 108)已在TMO 106中進行伽馬校正。隨意地及/或替代地，HDR影像編碼器包含軟體及/或硬體元件(逆向伽馬112)，配置以若TMO 106的輸出參數或傳回值指出已在TMO 106中進行伽馬校正，則將色調映射影像(R`G`B` 108)轉成線性域的中間色調映射影像(RGBt)。用於伽馬校正及/或用於伽馬轉換的伽馬曲線可有關如sRGB或AdobeRGB的標準色彩空間，其可由使用一或更多輸出參數或傳回值的TMO 106來指出。在一 示範實施例中，RGBt可用來進一步得到如本文所述之亮度比和殘餘值。
在一示範實施例中，輸入HDR影像(RGBh)中的亮度值(Yh)和RGBt中的亮度值(Yt)可經由計算得到。在一些可能實施例中，Yh、Yt、和Yh與Yt之間的亮度比(r)可基於下列在個別像素上計算出：
這裡的Yh包含複數個各對應於輸入HDR影像中不同像素的亮度值，Yt包含複數個各對應於色調映射影像中不同像素的亮度值，且r包含複數個亮度比，各被定義成Yh中的亮度值與Yt中的對應亮度值之間的比例。在一些可能實施例中，Yh、Yt、和r可以相同維度的矩陣來表示。本文所述之矩陣中的位置，如由列索引和行索引所指，可指出影像(例如，輸入HDR影像、色調映射影像、或由r形成之亮度比影像)中的一像素。若來自Yh和Yt的亮度值以及來自r的亮度比之位置共享陣列中相同的列索引和相同的行索引，則來自Yh和Yt的亮度值以及來自r的亮度比會互相符合。在一替代實施例中，如第1圖所示之用來基於Yh和Yt計算之除法運算(Div 116)會進行如同對數域中的減法。
在本文所述之技術下，亮度比係使用包含由TMO 106或使用者進行之色彩變更操作之結果的色調映射影像 (RGBt)來計算出。當如公式(2)所計算之亮度比乘以色調映射影像時，便產生亮度值符合輸入HDR影像之亮度值的影像。
若由TMO 106維持色彩平衡且若TMO 106或使用者沒有以色調映射影像來進行色彩剪取，則藉由以亮度比r竄改色調映射影像所產生的合併影像會逐色地配合輸入HDR影像。
另一方面，若色調映射影像包含色彩變更/失真，例如當色調映射影像中的TMO 106改變輸入HDR影像中的色彩平衡時，或若色彩剪取發生在白平衡105或TMO 106中，則藉由以亮度比r竄改色調映射影像所產生的合併影像不會逐色地配合輸入HDR影像。在本文所述之技術下，在合併影像和輸入HDR影像之間計算出除了亮度通道之色彩通道中的差異，以產生包括在HDR重建資料中的殘餘值。在本文所述之技術下所產生的HDR重建資料提供額外的色彩資訊，其係在白平衡105或TMO 106中或由使用者所進行之操作中遺失了。當如HDR影像解碼器或HDR成像裝置之下游裝置接收具有色彩變更/失真的TM影像及HDR重建資料，TM影像中的色彩變更/失真便以HDR重建資料來補償。
本文使用到的部分，剪取是指一種變更/修改色彩通道中之界外像素值的色彩變更類型，使得生成的像素值會在所表現之範圍內。可以對任何色彩通道發生剪取(例如在RGB色彩空間中之R、G、及B像素，HDR影像中之 某些部份也可在TM影像中剪取)。剪取的數量可或可不隨著色彩通道改變(例如，對綠色有較多剪取、對藍色有較少剪取等)。
使用亮度比r，可再映射輸入HDR影像以產生不改變色彩平衡的中間再映射影像(RGBht)。可以除法運算(Div 118)來計算出RGBht，如下：
如上所述，若由TMO 106維持色彩平衡且若沒有色彩剪取，則再映射影像(RGBht)將會與色調映射影像(RGBt)相同。否則，這兩個影像中就會有差異。兩影像之間的差異就是色調映射影像空間(例如，包含所有可能色調映射影像的空間)中的殘餘值。在一示範實施例中，殘餘值(RGBe)係在線性域中以減法(Sub 132)計算出的，如下：RGB e =RGB ht -RGB t 公式(4)
殘餘值(RGBe)可轉成YCbCr色彩空間(藉由如第1圖所示之CSC 134方塊)。在本文技術下，色調映射影像(RGBt)和再映射影像(RGBht)具有相同的亮度值。這兩個影像之間的亮度殘餘值皆為零。YCbCr色彩空間中的殘餘值(RGBe)只包含色度資訊(Diff CbCr 154)，其必須被儲存。從RGBe轉到Diff CbCr可給定如下：
這裡MCSC及其反向MCSC -1可以是定義如下的3X3矩陣：
在本文所述之技術下，用來計算輸入HDR影像和色調映射影像中的亮度值之轉換係數正好與公式(5)和(6)之MCSC中的係數相同。在這些技術下，RGBe中的亮度殘餘值(Ye)皆為零，如下所示：
如公式(2)所算出之線性域中亮度比r具有寬範圍，因為比例含有輸入影像的HDR資訊。在一示範實施例中，為了有效量化之目的，如下方公式(8)所示，首先將亮度比r轉成對數域(例如，藉由第1圖之log方塊130)。對數域中的最大和最小亮度比值可用來決定分別以Irmax和Irmin作為上限和下限的對數範圍(例如，藉由第1圖之Min Max方塊)。接著可基於對數範圍將對數亮度比量化(例如，均勻地或根據特定曲線)(例如，藉由 第1圖之Quant 8b 136方塊)成8位元值Log Yt(或公式(8)中的H)。在一實例中，自然對數係以對數域來使用。在其他實例中，具有除了自然對數之基底外之基底的對數係以對數域來使用。
在一示範YCbCr色彩空間中，Diff CbCr中的Cb和Cr殘餘值(表示成公式(9)和(10)中的U和V)可以類似的方式分別被量化成8位元值(CbCr 158)，如下：
在一示範實施例中，量化之後，HDR重建資料包含三組二維資料H、U、和V(第1圖中的Log Yt和CbCr 158)。HDR重建資料中的三組資料可存放/儲存在單一YCbCr容器144(例如YUV影像)中，其包含亮度比值(在示範YUV色彩空間之亮度通道中)和殘餘值(在示範YUV色彩空間之色度差通道中)，猶如形成一(例如YUV)影像。最後，可得到兩個影像。一個是RGB色彩 空間中的色調映射影像，而另一個是YUV色彩空間中的HUV影像。在黑色修改(Black Mod 110)及/或以非必要的去飽和(例如150)之後，色調映射影像可能是TMO 106的輸出(R`G`B` 108)。色調映射和HUV影像皆可包含8位元資料，且可例如使用JPEG標準壓縮方式來壓縮。HDR重建資料可與單一影像檔案中的色調映射影像一起輸出在一應用段(APP SEG 146)中。單一影像檔案可以是基於標準基礎或專有影像檔案格式(例如JPEG-HDR)。應用段可以是影像檔案格式(如由JPEG標準所定義)中的標記欄位(例如，APP11標記)。在一實例中，在JPEG壓縮之後，TM影像便構成基本影像(RGB TM Base 148)，且HUV影像附屬於如輸出HDR(例如156)影像檔案中的APP11標記之應用段(APP SEG 146)中的TM基本影像。
如本文所述之技術可用來處理浮點和定點HDR影像兩者(例如，16位元線性影像、14位元伽馬校正影像等)。
在一示範實施例中，TM基本影像和HUV影像係儲存為在JPEG-HDR技術下的標準JPEG格式，其在商業上可從加州舊金山的杜比實驗室獲得。TM基本影像係儲存成熵編碼資料段。具有參數之HUV影像和輔助資料係儲存在於JPEG-HDR下之如APP11應用段之應用段中，其加上一適當的ID字串(例如「DD」)。
HUV中之全部量化值之最小和最大值可儲存在類型I 段中。這些最小和最大值包括對數域中的最大和最小亮度比、Cb殘餘值的最大和最小值、及Cr殘餘值的最大和最小值。隨意地及/或替代地，指定基本影像色彩空間(例如，sRGB、AdobeRGB)和殘餘模式(例如，僅亮度比)的其他資訊會包括在類型I段中。若殘餘模式僅是亮度比，則在之後的解碼時可忽略Cb和Cr相關參數和資料。
在一示範實施例中，HUV影像係儲存在類型II段中，且若HUV影像之資料大小超過某大小(例如，64k位元組)，可分成多個在區段之標頭中具有索引資訊的類型II段。
3.白平衡校正
使用者往往以數位相機擷取影像，並希望成像出從所擷取影像中得到的HDR影像。若擷取影像之攝影機的Camera RAW格式是已知的，則有可能產生具有高色度真實性的HDR影像。然而，由於至少兩個原因，事後白平衡可能很難使用標準JPEG正確地進行：(1)不知道從成像之色彩空間回到感測器色彩的精確映射，及(2)對不同色彩通道施用不平均的剪取。若不知道如何取得線性關於原本感測器值的色彩空間，白平衡校正就無法做得好。
然而，若Camera RAW格式是已知的，則之後(即，在攝影機擷取影像之後)有可能利用Camera RAW格式來調整曝光及白平衡。儘管標準JPEG影像能具有提高至某 程度的亮度，仍不可能恢復失去的亮度，且白平衡不可能增加整體影像亮度或使亮度變成某程度的彩度。然而，本系統之一實施例提供調整JPEG-HDR影像的曝光及白平衡之能力，且可具有超過標準JPEG及(在許多例子中)camera RAW影像編碼的優點。
如JPEG或24位元TIFF之標準影像編碼實際上在相當於「白色」之(255,255,255)之每通道中具有最大可表示值。只要正確設定攝影機的曝光和白平衡，再生影像將能令人滿意地正常觀看並印刷。然而，若影像稍微過度曝光，或者使用者或相機之韌體不適當地設定白平衡，則將很難在後置處理期間校正影像。一旦將最初值夾至255，則用來恢復原本色彩的資訊便很容易失去。
雖然對Camera RAW沒有廣用標準，但大部分這類格式在每像素上包含足夠的資訊以能適度地調整曝光和白平衡。藉由記錄原本感測器A/D輸出值，有可能知道幾乎與當相機拍攝影像時一樣的值。尤其是，有可能告知何時每個感測器會飽和，這使得能夠調整在所擷取之範圍內的曝光和白平衡。
事實上，若Camera RAW檔案是可用的，則基於兩個原因是有幫助的：(1)Camera RAW在「白色」之後的每個通道中具有少量額外的淨空高度，及(2)Camera RAW精確地告訴我們何時各通道會剪取，如此能注意不會大於輸出映射中的最大值。如此，典型地，事後白點校正會在Camera RAW中運作，因為(1)線性感測器色彩 空間和範圍是已知的，且(2)並未失去資訊以定位。任何在擷取時可用之成像白點可從Camera RAW資料得到。
事實上，若在Camera RAW中進行白平衡，則當重複韌體中的相機所執行之步驟時(可能在獨立軟體中執行)，產生的影像會是原始影像。然而，有限制可恢復多少亮度的資訊。例如，在一些例子中，若其中一個通道在此期間已達其最大值，則RAW轉換器可剪取其餘兩個以確保中性結果。
即使我們知道如何得到線性值，主要對錯誤白點的定位色彩仍會產生事後校正的問題，因為已對感測器資料的全部範圍做出妥協。上述事後處理在某種程度上可褪去新的亮度或提高影像亮度來結束，以去飽和色彩並失去別處細節。
第5圖顯示此情況。第5圖表現黑到白梯度之擷取影像資料中的假設數位相機之效能的圖。根據第5圖的圖，所擷取之數位影像在綠色通道中飽和於一第一白亮度值(數位值4095)，並接著紅色通道飽和於較高的白亮度值。不過，藍色通道採用高更多的白亮度值以達飽和。若不知道不同色彩通道飽和的情況，便特別難處理適當白平衡的校正。
JPEG-HDR的延伸
JPEG-HDR會產生作為JPEG標準的延伸，以能夠儲存高動態範圍影像。透過JPEG-HDR之現有格式，JPEG- HDR有效具有兩個影響白平衡校正的影像通道，即，基本層(色調映射)JPEG影像和可用來恢復校準線性色彩空間的殘餘層，如此提供許多Camera RAW的優點。額外的動態範圍事實上使系統能夠在基本層成像之後校正色彩值。然而，在所擷取範圍不包含場景值的全部範圍之情況下，這甚至在HDR的例子是很頻繁的，可能不希望加入額外資訊。
在一實施例中，系統可為所擷取之HDR儲存在每個RGB色彩通道中的上感測器範圍。這可能採用2或3白平衡縮放因數的型式及產生在標稱(例如0-1)範圍中的有效線性感測器值之矩陣(例如3x3)。「有效線性感測器值」可解釋成會在單一曝光(可從多重曝光合併進HDR擷取)中擷取之假設感測器的全部範圍。這些有效線性感測器值可用來產生上述假設感測器的感測器色彩空間值。「白平衡縮放因數」(或「白平衡係數」)可用來告知系統關於在轉換期間的原本白平衡設定，即，用來得到目前輸出的資訊。
在另一實施例中，可改變JPEG-HDR以使恢復之HDR影像的亮度能夠擴大超過平常的對大值至非白色值，這裡一或更多有效感測器值已達其上限。因為這些像素在色調映射基本層可成像為白色，所以可利用如本文更加所述之新的CbCr色彩殘餘通道。
當應用需要從JPEG-HDR檔案重組HDR影像時，可接著進行白色定位。這可藉由將HDR影像轉換回到「有 效線性感測器值」並施用(經校正)白平衡係數來完成。在一實施例中，這些係數可被正規化，使得三個通道係數之最小者剛好是1。這可在定位步驟之前，其中任何感測器*係數值>1被夾至1。最後，每個像素上經修改之有效感測器值可使用所供應之感測器矩陣之反向來轉回成目標色彩空間。
在又一實施例中，最佳化可查看是否HDR像素值夠大到接近定位。若像素在所擷取之色域邊界，則不必定位且兩色轉換及白調整可合併成一個轉換。在原本白平衡是不變之情形下，這將會是單位矩陣。由於大部分像素可在所擷取之色域內，因此可減少此方法所需之計算。若希望再成像色調映射基本層，則接著可使用經校正且定位而產生之HDR作為用來重新計算色調映射影像的來源。
為了顯示一些上述討論，第6A圖顯示以此方式從攝影機感測器色彩空間到監視色彩空間的一組可能的映射操作。攝影機感測器色彩空間602傳送影像資料給色彩通道係數604。為了保證白點，可在這些值輸入到色彩轉換矩陣608以在目標監視器上成像之前使用定位到最小值606。第6B圖表示一組可能映射的不同實施例。如同可看到的部分，若所擷取之影像是HDR格式，則可越過(610)606中的定位，且可將值直接送進色彩轉換矩陣608。透過第6A及/或6B圖之任一實施例，轉換矩陣608之輸出可沿著HDR路徑從第1圖之白平衡運算子105輸出至Div 118及Yh方塊。
在一實施例中，攝影機能猜測(也許以或不以使用者輸入)關於擷取影像之周圍照明的條件，以影響例如鎢白平衡或日光白平衡。這可考慮到色彩通道係數的適當設定。替代地，若在攝影機設定中沒有上述資訊，則令使用者基於事後作出適當猜測，或在影像中選擇中性(灰色參考)表面可能就夠了。
4.HDR影像解碼器
第2圖顯示依照本發明之一些可能實施例之示範HDR影像解碼器。在一示範實施例中，HDR影像解碼器係以一或更多計算裝置來實作，並裝配軟體及/或硬體元件，其實施影像處理技術來解碼包含色調映射基本RGB影像和HDR重建資料的HDR影像資料(以第2圖之HDR202表示)。在一示範實施例中，HDR重建資料係指亮度比值、Cb和Cr殘餘值、及關於上述資料的參數和輔助資料。在一示範實施例中，待被HDR影像解碼器解碼的影像資料是在為影像格式(例如，JPEG-HDR)之影像檔案中。
HDR影像解碼器可包含分析器(例如204)，配置以接收HDR影像資料202(例如，為加強格式之JPEG-HDR影像檔案以儲存除了亮度比也儲存Cb和Cr殘餘值)，並將HDR影像資料202分析成色調映射基本RGB影像(以第2圖之基本影像206表示)及一或更多儲存HDR重建資料的應用段(APP SEG 208)。在一示範實施例中，分 析器204係為標準JPEG解碼器。
在一示範實施例中，HDR影像解碼器包含軟體及/或硬體元件，配置以將一或更多應用段(APP SEG 208)分析成亮度比影像(Ratio Image 210)及量化的Cb和Cr殘餘值(CbCr Residual 212)。亮度比影像(Ratio Image 210)包含量化的對數亮度比。
在一示範實施例中，HDR影像解碼器包含去量化處理方塊(De-quant 214)，配置以將量化的對數亮度比去量化成對數亮度比。HDR影像解碼器包含反向對數處理方塊(exp 216)，配置以將對數亮度比轉成非對數域的亮度比。
在一示範實施例中，HDR影像解碼器包含去量化處理方塊(De-quant 218)，配置以將量化的Cb和Cr殘餘值去量化成Cb和Cr殘餘值。HDR影像解碼器包含色彩空間轉換處理方塊(CSC 220)，配置以將Cb和Cr殘餘值轉成線性域的RGB殘餘值。
在一示範實施例中，HDR影像解碼器包含再飽和方塊(232)，配置以若編碼器去飽和色調映射基本影像(選用地及/或附加地)，則進行去飽和的逆向程序。在一示範實施例中，HDR影像解碼器包含伽馬解碼處理方塊(Gamma Decoding 224)，配置以若伽馬編碼色調映射基本影像(Base Image 206)(隨意地及/或附加地)，則對色調映射基本影像(Base Image 206)進行伽馬解碼。例如，應用段之類型I段中的參數可指出色調映射基本影 像是伽馬編碼RGB影像(sRGB影像)。
伽馬解碼處理區塊(伽馬解碼224)的輸出係以個別像素基礎下與來自比例影像的亮度比相乘，以在Mul處理方塊226中得到中間HDR影像，而RGB殘餘值在個別像素基礎下與來自比例影像的相同亮度比相乘，以在Mul處理方塊222(可與226相同)中得到RGB殘餘影像。中間HDR影像和RGB殘餘影像可在個別像素基礎下藉由總和處理方塊(Add 228)加總，以得到HDR RGB影像(RGB 230)，其可能是第1圖中的輸入HDR RGB影像之係原版本。
在一替代實施例中，首先加總TM基本影像中的像素值和RGB殘餘值。接著將總和結果乘以亮度值以得到HDR RGB影像。
在另一實施例中，可執行白平衡232以影響事後白平衡校正。第7圖描述用來處理HDR影像資料並將資料調整到適當白平衡的一種可能實施例。在702中，系統輸入具有任何有效之感測器色彩空間資料和白平衡係數的JPEG-HDR影像資料。在704中，系統詢問(例如使用者或者內嵌於影像元資料中)是否目前影像假設有一新的白點。若是，則計算新的白平衡係數。否則，使用舊的白平衡係數，並在708中將影像資料轉換回到感測器色彩空間。對於每個色彩通道，目前(舊的或所計算出新的)白平衡係數會施用於影像資料。若有需要，則在712中定值影像值至色彩通道值最大值中的最小值(即minmax)。 在714中，將影像資料轉成監視色彩空間。之後，在716中輸出影像資料作為回復HDR RGB輸出。
在一實施例中，編碼器中的第1圖和第6A及/或6B圖之白平衡操作以及解碼器中的第2和7圖之白平衡操作可實作成配對操作，使得編碼器之白平衡操作運作會影響解碼器之適當白平衡校正。亦應知道第7圖之處理僅包含本節中所述之一些特徵，且可加入許多其他特徵及/或細節。
5.示範程序流程
第3A圖顯示根據本發明之可能實施例之示範程序流程。在一些可能實施例中，如HDR影像編碼器(例如，如第1圖所示)之一或更多計算裝置或元件可進行此程序流程。HDR影像編碼器可藉由在如JPEG影像編碼器之標準基礎影像編碼器中加入一或更多新的處理方塊及/或修改一或更多現有處理方塊來實施。在方塊302中，HDR影像編碼器接收高動態範圍(HDR)影像。在一示範實施例中，HDR影像是定點影像或浮點影像之其中一種。在一示範實施例中，HDR影像係編碼成JPEG、JPEG-2000、MPEG、AVI、TIFF、BMP、GIFF、或其他影像格式之其一者。
在方塊304中，HDR影像編碼器亦接收基於HDR影像產生的色調映射(TM)影像。TM影像包含一或更多無法以亮度比影像從TM影像恢復的色彩變更。在一示範實 施例中，TM影像中的一或更多色彩變更之至少一者係由剪取(例如，在R、G、或B像素值中)或者一或更多像素上的色彩變更之至少一者所造成。
在方塊306中，藉由在個別像素基礎下，HDR影像編碼器將HDR影像之亮度值除以TM影像之亮度值，在個別像素基礎下計算亮度比值。
在方塊308中，HDR影像編碼器施用亮度比值給HDR影像，以產生一再映射影像。
在一示範實施例中，HDR影像編碼器將再映射影像及TM影像之至少一者從一個色彩空間轉換至不同色彩空間。
在方塊310中，HDR影像編碼器基於再映射影像及TM影像，決定在色彩空間之色彩通道中的殘餘值。若原本色彩改變了，則至少一殘餘值是非零的。在一示範實施例中，色彩空間是YCbCr色彩空間；色彩空間的色彩通道包含Cb色彩通道和Cr色彩通道。色彩空間之色彩通道中的殘餘值係計算為在色彩通道中如從再映射影像得到的第一像素值與在色彩通道中如從TM影像得到的第二像素值之間的差異。
在方塊312中，HDR影像編碼器輸出具有HDR重建資料之TM影像的版本。HDR重建資料係從亮度比值和色彩通道殘餘值得到。
在一示範實施例中，HDR重建資料包含一具有從色彩空間之色彩通道中的亮度比值和殘餘值得到之量化值的 殘餘影像。HDR重建資料可更包含指明量化值之範圍的參數。
在一示範實施例中，HDR重建資料係儲存在具有TM影像之一影像檔案的一應用段中，其中TM影像係作為影像檔案中的一基本影像。在一示範實施例中，影像檔案係為JPEG-HDR格式。
在一示範實施例中，例如在色調映射運算子(TMO)或使用者竄改HDR影像之前，HDR影像編碼器可對HDR影像執行一或更多的健康檢查。在一示範實施例中，HDR影像編碼器以小於一臨界值的值來代替TM影像中的零、一、或更多的色彩通道零值。在各種可能實施例中，此臨界值可以是1、2、3、...、10、11等。
在一示範實施例中，在產生TM影像之程序中可進行以任何TMO的任何色調映射運算及/或在TM影像中的任意數量像素的任何色彩變更。
在一示範實施例中，HDR影像編碼器對HDR影像、TM影像、或再映射影像之至少一者應用一色彩空間轉換。
在一示範實施例中，TM影像與再映射影像之間的亮度殘餘值皆為零。例如，在具有亮度通道(例如Y)及兩色彩通道(例如Cb及Cr)的色彩空間(例如YUV)中，TM影像與再映射影像(例如，在色彩空間中，先前或在色彩空間轉換之後)之間的亮度值差異可皆為零。
第3B圖顯示根據本發明之可能實施例之示範程序流 程。在一些可能實施例中，如HDR影像解碼器(例如，如第2圖所示)之一或更多計算裝置或元件可進行此程序流程。HDR影像解碼器可藉由在如JPEG影像解碼器之標準基礎影像解碼器中加入一或更多新的處理方塊及/或修改一或更多現有處理方塊來實施。在方塊322中，HDR影像解碼器分析一包含色調映射(TM)影像及HDR重建資料的影像檔案。在一示範實施例中，TM基本影像包含以任何色調映射運算子的任何色調映射運算之結果及/或任何數量像素的任何色彩變更。在一示範實施例中，HDR重建資料包含在一色彩空間(YUV)之色彩通道(Cb和Cr通道)中的量化亮度比值(例如Y通道)及量化殘餘值。TM基本影像包含一或更多無法以亮度比影像從TM基本影像恢復的色彩變更。在一示範實施例中，影像檔案係編碼成JPEG、JPEG-2000、MPEG、AVI、TIFF、BMP、GIFF、或其他影像格式之其一者。在一示範實施例中，影像檔案係以一標準基礎影像解碼器(例如，JPEG解碼器)分析。
在方塊324中，HDR影像解碼器取得與在色彩空間之色彩通道中的量化亮度比值及量化殘餘值有關的量化參數。
在方塊326中，HDR影像解碼器基於至少部分的量化參數，將量化亮度比值及量化殘餘值轉換成色彩空間之色彩通道中的亮度比值及殘餘值。在一示範實施例中，量化亮度比值及量化殘餘值係儲存在一殘餘影像中。在一示 範實施例中，使用一共同程序來去量化並解壓縮殘餘影像及TM基本影像。
在方塊328中，HDR影像解碼器使用TM基本影像和色彩空間之色彩通道中的亮度比值及殘餘值，來重建HDR影像。HDR影像係為定點影像或浮點影像。
在一示範實施例中，HDR影像解碼器例如對TM基本影像、殘餘影像、HDR影像或中間影像之至少一者執行色彩空間轉換、伽馬編碼、伽馬解碼、降取樣、或升取樣的動作。
6.實作機制-硬體概要
根據一實施例，本文所述之技術係藉由一或更多專用計算裝置來實施。專用計算裝置可以是硬接線的以執行技術，或可包括如一或更多專用積體電路(ASIC)或現場可編程閘陣列(FPGA)的數位電子裝置，其不斷地被編程以執行技術，或可包括一或更多通用硬體處理器，其被編程以依據韌體、記憶體、其他儲存器、或組合中的程式指令來執行技術。上述專用計算裝置亦可把訂製硬接線的邏輯、ASIC、或FPGA與訂製程式結合以實現技術。專用計算裝置可以是桌上型電腦系統、可攜式電腦系統、手持式裝置、網路裝置或任何其他合併硬接線及/或程式邏輯的裝置以實現技術。
例如，第4圖係為顯示可實作本發明之實施例之電腦系統400的方塊圖。電腦系統400包括用來傳遞資訊的匯 流排402或其他通訊機制、及耦接於匯流排402的硬體處理器404，用來處理資訊。硬體處理器404可例如是通用微處理器。
電腦系統400亦包括如隨機存取記憶體(RAM)或其他動態儲存裝置的主記憶體406，耦接於匯流排402以儲存資訊及待由處理器404執行的指令。主記憶體406亦可用來儲存在執行待由處理器404執行之指令期間的暫時變數或其他中間資訊。當上述指令儲存在可由處理器404存取之非暫態儲存媒體中時，可使電腦系統400成為客製化的專用機器以執行指令中所指定的運作。
電腦系統400更包括耦接匯流排402的唯讀記憶體(ROM)408或其他靜態儲存裝置，用來為處理器404儲存靜態資訊和指令。如磁碟或光碟的儲存裝置410係設置並耦接至匯流排402，用來儲存資訊和指令。
電腦系統400可經由匯流排402耦接至如液晶顯示器的顯示器412，用來顯示資訊給電腦使用者。包括文數和其他鍵的輸入裝置414係耦接至匯流排402，用來傳遞資訊和命令選擇給處理器404。另一類型的使用者輸入裝置係為如滑鼠、軌跡球、或游標方向鍵的游標控制416，用來傳遞方向資訊和命令選擇給處理器404，並用來控制顯示器412上的游標移動。此輸入裝置通常在兩軸上具有兩個自由維度，第一軸(例如x)和第二軸(例如y)，使裝置能夠指定平面上的位置。
電腦系統400可使用客製化的硬接線邏輯、一或更多 ASIC或FPGA、與電腦系統結合之韌體及/或程式邏輯來實施本文所述之技術，以使或編程電腦系統400成為專用機器。根據一實施例，電腦系統400因應處理器404執行一或更多包含在主記憶體406中的指令串來執行本文之技術。上述指令可從如儲存裝置410之另一儲存媒體讀進主記憶體406。執行包含在主記憶體406中的指令串使處理器404進行本文所述之程序步驟。在另一實施例中，可使用硬接線電路來代替或結合軟體指令。
如本文所使用之名詞「儲存媒體」係指任何非暫態媒體，其儲存了使機器能以特定方式來運作的資料及/或指令。上述儲存媒體可包含非揮發性媒體及/或揮發性媒體。非揮發性媒體包括例如光碟或磁碟，如儲存裝置410。揮發性媒體包括動態記憶體，如主記憶體406。儲存媒體的常見形式包括例如軟碟、軟性磁碟、硬碟、固態驅動機、磁帶、或任何其他磁性資料儲存媒體、CD-ROM、任何其他光學資料儲存媒體、任何具有洞之圖案的實體媒體、RAM、PROM、及EPROM、FLASH-EPROM、NVRAM、任何其他記憶體晶片或卡匣。
儲存媒體與傳輸媒體不同，但可與傳輸媒體合併使用。傳輸媒體負責傳送儲存媒體間的資料。例如，傳輸媒體包括同軸電纜、銅線及光纖，包括包含匯流排402的線路。傳輸媒體亦能採用聲音或光波的形式，如在無線電波及紅外線資料傳輸期間所產生者。
各種形式的媒體可專注地運送一或更多指令串至處理 器404以執行。例如，指令最初可攜帶在磁碟或遠端電腦的固態驅動機上。遠端電腦可將指令載入其動態記憶體並使用數據機在電話線上傳送指令。電腦系統400本地端上的數據機能接收電話線上的資料並使用紅外線傳送器來將資料轉成紅外線信號。紅外線偵測器能接收紅外線信號上所運送的資料，且適當的電路能將資料放到匯流排402上。匯流排402運送資料到主記憶體406，處理器404能從主記憶體406取得並執行指令。主記憶體406所接收之指令可隨意地在處理器404執行之前或之後儲存在儲存裝置410上。
電腦系統400亦包括一耦接匯流排402的通訊介面418。通訊介面418提供兩路資料傳輸，其耦接至連接區域網路422的網路連結420。例如，通訊介面418可以是整合服務數位網路(ISDN)卡、纜線數據機、衛星數據機、或數據機，以提供資料通訊連線至對應類型的電話線。作為另一實例，通訊介面418可以是一區域網路(LAN)卡以提供資料通訊連線至相容的LAN。亦可實作無線連結。在任何上述實作中，通訊介面418傳送並接收電子、電磁或光學信號，其攜帶表示各種類型資訊的數位資料流。
網路連結420通常透過一或更多網路提供資料通訊至其他資料裝置。例如，網路連結420可透過區域網路422提供連線至主機電腦424或由網路服務提供者(ISP)426操作的資料設備。ISP 426透過目前通常稱為「網際網 路」428的全球封包資料通訊網路來依次提供資料通訊服務。區域網路422和網際網路428兩者皆使用攜帶數位資料流的電子、電磁或光學信號。通過各種網路的信號以及在網路連結420上並通過通訊介面418(運送數位資料給電腦系統400並攜帶來自電腦系統400的數位資料)的信號係為傳輸媒體的實例形式。
電腦系統400能透過網路、網路連結420和通訊介面418傳送信息並接收資料(包括程式碼)。在網際網路實例中，伺服器430可能透過網際網路428、ISP 426、區域網路422和通訊介面418傳送應用程式所需的程式碼。
處理器404可在收到程式碼時就執行所接收的程式碼，及/或將程式碼儲存在儲存裝置410或其他非揮發性儲存器中以便之後執行。
7.等效、延伸、變化及雜項
在先前說明書中，已參考許多具體細節(可根據實作來改變)來說明本發明之可能實施例。因此，本發明之唯一指標且為將成為發明人之申請人所期望的是從本申請書發佈的申請專利範圍組，其中上述申請專利範圍為指定形式，包括任何後續修正。本文所提出之對包含在上述申請專利範圍之術語的任何明確定義會影響如申請專利範圍所使用之上述術語的意思。因此，並未侷限，在申請專利範圍中未明確敘述之元件、性質、特徵、優點或屬性至少應限制上述申請專利範圍的範疇。藉此，本申請書和圖示應 視為說明用的而非限定意思。
為了說明之目的，已說明在一些可能實施例中，HDR重建資料包含量化亮度比和量化Cb和Cr殘餘值。在一些可能實施例中，HDR重建資料可包含非量化亮度比及/或Cb和Cr殘餘值，其可例如是浮點或定點值。例如，影像檔案中的一或更多應用段可儲存這些非量化值。在本文之技術下的HDR影像解碼器可分析影像檔案並取得非量化值。這些非量化值可用來結合從影像檔案取得之色調映射基本影像以重建HDR影像。
為了說明之目的，已說明在一些可能實施例中，可能的前端處理可包括降取樣。在一些可能實施例中，本文之前端處理可能不進行降取樣，以維持影像細節及/或由本文之技術所處理之HDR影像的色彩清晰度。例如，HUV殘餘影像的影像編碼可採用避免降取樣的方式由JPEG影像編碼器來進行。
為了說明之目的，已說明在一些可能實施例中，JPEG影像檔案格式及/或JPEG編碼解碼器可使用於HDR影像編碼器及/或解碼器中。為了本發明之目的，除了JPEG編碼解碼器的影像編碼解碼器可使用於HDR影像編碼器及/或解碼器中。
為了說明之目的，已說明在一些可能實施例中，輸入HDR影像和色調映射基本影像是RGB影像。為了本發明之目的，可使用其他類型的影像來儲存本文之HDR影像及色調映射基本影像。例如，可使用YUV色彩空間(代 替RGB色彩空間)中的輸入HDR影像。在本文所述之技術下，可實作在HDR影像編碼或解碼之程序中的零、一、或更多色彩空間轉換。
為了說明之目的，已說明在一些可能實施例中，YCbCr色彩空間中的HUV(或YUV)檔案可用來儲存亮度比和除了亮度比的殘餘值。為了本發明之目的，可使用其他類型的色彩空間和其他類型的影像檔案來儲存相當於亮度比和殘餘值的資訊。例如，亮度比和殘餘值可轉成除了YCbCr色彩空間的不同色彩空間。同樣地，可使用除了YUV檔案的影像檔案來儲存從亮度比和殘餘值轉換的值。在一些可能實施例中，在本文所述之技術下，可使用可逆轉換來進行色彩空間轉換或像素值轉換。
在一些可能實施例中，包含具有亮度比及Cb和Cr殘餘值之色調映射基本影像的影像檔案之檔案大小類似於另一包含具有亮度比但沒有Cb和Cr殘餘值之色調映射基本影像的影像檔案之檔案大小。在一特定實施例中，具有Cb和Cr殘餘值的影像平均只比沒有Cb和Cr殘餘值之相對影像大10%。
僅為了說明之目的，色調映射影像係由TMO產生。為了本發明之目的，可同時使用多於一個TMO來產生如本文所述之色調映射影像。
已舉出本發明之一或更多實施例之詳細說明，其與附圖一起讀並顯示本發明之原理。知道本發明敘述與上述實施例有關，但本發明並不侷限任何實施例。本發明之範疇 僅受限於申請專利範圍，且本發明包含許多變化、修改及等效。本說明書中已提出許多具體細節以提供本發明之徹底了解。為了實例而提出這些細節，且本發明可根據申請專利範圍來實作，而無需一些或全部這些具體細節。為了清楚之目的，並未詳細說明關於本發明之技術領域中已知的技術材料，如此不會不必要地模糊本發明。
102‧‧‧HDR RGB影像
104‧‧‧負亮度檢查
105‧‧‧白平衡運算子
106‧‧‧色調映射運算子
108‧‧‧TM影像
112‧‧‧逆向伽馬
144‧‧‧YCbCr容器
110‧‧‧Black Mod
116‧‧‧除法運算
118‧‧‧除法運算
130‧‧‧log
132‧‧‧減法
134‧‧‧CSC
136‧‧‧Quant 8b
138‧‧‧最大值中之最小值
154‧‧‧Diff CbCr
150‧‧‧非必要的去飽和
140‧‧‧最大值中之最小值
142‧‧‧Quant 8b
158‧‧‧CbCr
146‧‧‧應用段
156‧‧‧輸出HDR
148‧‧‧RGB TM Base

Claims (16)

  1. 一種表示高動態範圍影像之方法，包含：接收一高動態範圍(HDR)影像；基於該HDR影像，產生色調映射(TM)影像；產生亮度比影像，該亮度比影像包含將該HDR影像之亮度值除以該TM影像之亮度值所產生之亮度比值；施用該亮度比值至該HDR影像，以建立一再映射影像；基於該再映射影像及該TM影像，決定色彩空間之色彩通道中的殘餘值；基於該亮度比影像，產生對數比影像；以及產生編碼HDR影像，該編碼HDR影像包含該TM影像與HDR重建資料，該HDR重建資料係從該對數比影像及該色彩通道中的該殘餘值得到。
  2. 如申請專利範圍第1項所述之方法，其中產生該HDR重建資料更包含以第一量化器量化該對數比影像，以產生量化對數比影像值。
  3. 如申請專利範圍第2項所述之方法，其中量化該對數比影像更包含根據該對數比影像的最小像素值與該對數比影像的最大像素值，產生量化參數。
  4. 如申請專利範圍第2項所述之方法，其中產生該HDR重建資料更包含以第二量化器量化該色彩通道中的該殘餘值，以產生在該色彩通道中的量化殘餘值。
  5. 如申請專利範圍第4項所述之方法，其中該HDR 重建資料包含具有由該量化對數比影像值與該色彩通道中的該量化殘餘值得到的影像值的殘留影像。
  6. 如申請專利範圍第1項所述之方法，其中該HDR重建資料係儲存在一影像檔案的一應用段中，其中該TM影像係作為該影像檔案中的一基本影像。
  7. 如申請專利範圍第6項所述之方法，其中該影像檔案係為JPEG-HDR格式。
  8. 如申請專利範圍第6項所述之方法，其中該TM影像係儲存於該影像檔案中作為JPEG影像。
  9. 如申請專利範圍第1項所述之方法，更包含應用彩色空間轉換至HDR影像、該TM影像或該再映射影像的至少之一者。
  10. 如申請專利範圍第1項所述之方法，其中該HDR影像為定點影像或浮點影像之一者。
  11. 如申請專利範圍第1項所述之方法，其中該HDR影像係編碼成JPEG、JPEG-2000、MPEG、AVI、TIFF、BMP、GIFF、或其他影像格式之其中一者。
  12. 一種表示高動態範圍影像之方法，包含：分析包含色調映射(TM)基本影像及高動態範圍(HDR)重建資料的影像檔案，該HDR重建資料包含量化對數比亮度值與在色彩空間之色彩通道中的量化殘餘值；計算關於該量化對數比亮度值與該色彩空間的所述色彩通道中的該量化殘餘值的量化參數； 至少部份根據所述量化參數，將所述量化對數比亮度值與所述量化殘餘值轉換為對數比亮度值與在該色彩空間之所述色彩通道中的殘餘值；及使用所述TM基本影像、所述比亮度值與在該色彩空間的所述色彩通道中的所述殘餘值，來重建一HDR影像。
  13. 如申請專利範圍第12項所述之方法，其中該影像檔案係以一標準基礎影像解碼器分析。
  14. 如申請專利範圍第12項所述之方法，其中所述量化對數比亮度值與所述量化殘餘值係儲存在一殘餘影像中，且其中所述殘餘影像與所述TM基本影像係使用一共同程序加以去量化與解壓縮。
  15. 如申請專利範圍第12項所述之方法，其中該TM基本影像包含以任何色調映射運算子的任何色調映射運算及/或任何數量像素的任何色彩變更之結果。
  16. 如申請專利範圍第12項所述之方法，其中該TM基本影像包含JPEG-編碼影像。
TW104139426A 2011-04-15 2012-04-13 高動態範圍影像的編碼、解碼及表示 TWI580275B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161476174P 2011-04-15 2011-04-15
US201161552868P 2011-10-28 2011-10-28

Publications (2)

Publication Number Publication Date
TW201624999A TW201624999A (zh) 2016-07-01
TWI580275B true TWI580275B (zh) 2017-04-21

Family

ID=47010032

Family Applications (5)

Application Number Title Priority Date Filing Date
TW104108766A TWI521973B (zh) 2011-04-15 2012-04-13 高動態範圍影像的編碼、解碼及表示
TW101113197A TWI513327B (zh) 2011-04-15 2012-04-13 高動態範圍影像的編碼、解碼及表示
TW104139426A TWI580275B (zh) 2011-04-15 2012-04-13 高動態範圍影像的編碼、解碼及表示
TW107106010A TWI690211B (zh) 2011-04-15 2012-04-13 高動態範圍影像的解碼方法、其處理器非暫態可讀取媒體及電腦程式產品
TW106101713A TWI624182B (zh) 2011-04-15 2012-04-13 高動態範圍影像的編碼、解碼及表示

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW104108766A TWI521973B (zh) 2011-04-15 2012-04-13 高動態範圍影像的編碼、解碼及表示
TW101113197A TWI513327B (zh) 2011-04-15 2012-04-13 高動態範圍影像的編碼、解碼及表示

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW107106010A TWI690211B (zh) 2011-04-15 2012-04-13 高動態範圍影像的解碼方法、其處理器非暫態可讀取媒體及電腦程式產品
TW106101713A TWI624182B (zh) 2011-04-15 2012-04-13 高動態範圍影像的編碼、解碼及表示

Country Status (13)

Country Link
US (1) US8248486B1 (zh)
EP (3) EP3166298B1 (zh)
JP (5) JP5661218B2 (zh)
KR (9) KR101825347B1 (zh)
CN (2) CN103888743B (zh)
BR (1) BR112013026191B1 (zh)
CA (2) CA3000434C (zh)
ES (1) ES2686980T3 (zh)
HK (1) HK1188354A1 (zh)
IL (3) IL228761A (zh)
RU (2) RU2640717C1 (zh)
TW (5) TWI521973B (zh)
WO (1) WO2012142589A2 (zh)

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5383360B2 (ja) * 2009-07-15 2014-01-08 キヤノン株式会社 画像処理装置およびその制御方法
TWI521973B (zh) 2011-04-15 2016-02-11 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
US8891863B2 (en) * 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
KR101845231B1 (ko) * 2011-06-14 2018-04-04 삼성전자주식회사 영상 처리 장치 및 방법
TWI523500B (zh) * 2012-06-29 2016-02-21 私立淡江大學 影像的動態範圍壓縮方法與影像處理裝置
US9489706B2 (en) * 2012-07-02 2016-11-08 Qualcomm Technologies, Inc. Device and algorithm for capturing high dynamic range (HDR) video
CN105787909B (zh) 2012-08-08 2018-07-20 杜比实验室特许公司 用于高动态范围图像的图像处理
EP2959672B1 (en) * 2013-02-21 2019-12-04 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
TWI684364B (zh) 2013-06-21 2020-02-01 日商新力股份有限公司 送訊裝置、高動態範圍影像資料送訊方法、收訊裝置、高動態範圍影像資料收訊方法及程式
TWI676389B (zh) 2013-07-15 2019-11-01 美商內數位Ｖｃ專利控股股份有限公司 至少一種色彩轉換之編碼方法和編碼器、解碼器、顯示裝置、編碼視訊訊號、電腦程式製品及處理器可讀式媒體
PL3022902T3 (pl) 2013-07-16 2020-06-29 Koninklijke Philips N.V. Sposób i urządzenie do tworzenia funkcji eotf dla uniwersalnego odwzorowywania kodu dla obrazu hdr
US9264683B2 (en) 2013-09-03 2016-02-16 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
TWI646828B (zh) * 2013-09-03 2019-01-01 日商新力股份有限公司 解碼裝置及解碼方法、以及編碼裝置及編碼方法
US9036908B2 (en) * 2013-09-30 2015-05-19 Apple Inc. Backwards compatible extended image format
RU2653249C2 (ru) * 2014-01-07 2018-05-07 Долби Лэборетериз Лайсенсинг Корпорейшн Способы кодирования, декодирования и представления изображений высокого динамического диапазона
CN103747225B (zh) * 2014-01-23 2015-11-18 福州大学 基于颜色空间转换的高动态范围图像双屏显示方法
WO2015130797A1 (en) 2014-02-25 2015-09-03 Apple Inc. Adaptive transfer function for video encoding and decoding
PT3324629T (pt) 2014-05-28 2019-10-08 Koninklijke Philips Nv Métodos e aparelhos para codificação de imagens hdr e métodos e aparelhos para utilização de tais imagens codificadas
US20150350641A1 (en) * 2014-05-29 2015-12-03 Apple Inc. Dynamic range adaptive video coding system
CN106134172B (zh) * 2014-06-10 2019-10-01 松下知识产权经营株式会社 显示系统、显示方法及显示装置
EP2958330A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for decoding a HDR picture from a bitstream representing a LDR picture and an illumination picture
WO2015193116A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for decoding a hdr picture from a bitstream representing a ldr picture and an illumination picture
WO2015193117A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for decoding a hdr picture from a bitstream representing a ldr picture and an illumination picture
EP2958328A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture
EP3174280A1 (en) * 2014-06-23 2017-05-31 Panasonic Intellectual Property Management Co., Ltd. Conversion method and conversion apparatus
EP2961168A1 (en) * 2014-06-27 2015-12-30 Thomson Licensing Method and apparatus for predicting image samples for encoding or decoding
EP3178231A1 (en) 2014-08-08 2017-06-14 Koninklijke Philips N.V. Methods and apparatuses for encoding hdr images
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
JP6331882B2 (ja) 2014-08-28 2018-05-30 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9609362B2 (en) 2014-10-06 2017-03-28 Telefonaktiebolaget Lm Ericsson (Publ) Coding and deriving quantization parameters
JP6617142B2 (ja) * 2014-10-07 2019-12-11 トレリス・ユーロプ・ソチエタ・ア・レスポンサビリタ・リミタータＴＲＥＬＬＩＳ ＥＵＲＯＰＥ ＳｒＬ 改善されたビデオおよび画像符号化プロセス
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
EP3219108A1 (en) * 2014-11-10 2017-09-20 Koninklijke Philips N.V. Method for encoding, video processor, method for decoding, video decoder
US9860504B2 (en) 2015-01-09 2018-01-02 Vixs Systems, Inc. Color gamut mapper for dynamic range conversion and methods for use therewith
US9589313B2 (en) * 2015-01-09 2017-03-07 Vixs Systems, Inc. Dynamic range converter with pipelined architecture and methods for use therewith
US9654755B2 (en) * 2015-01-09 2017-05-16 Vixs Systems, Inc. Dynamic range converter with logarithmic conversion and methods for use therewith
EP3051821A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (HDR) videos
KR102529013B1 (ko) 2015-01-30 2023-05-08 인터디지털 브이씨 홀딩스 인코포레이티드 컬러 픽처를 인코딩 및 디코딩하는 방법 및 장치
WO2016140954A1 (en) * 2015-03-02 2016-09-09 Dolby Laboratories Licensing Corporation Content-adaptive perceptual quantizer for high dynamic range images
CN104835131B (zh) * 2015-04-20 2018-05-15 中国科学技术大学先进技术研究院 一种基于ic实现hdr图像生成及色调映射的方法和系统
JP6663214B2 (ja) * 2015-05-26 2020-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示方法および表示装置
WO2016189774A1 (ja) * 2015-05-26 2016-12-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 表示方法および表示装置
BR112017025604A2 (pt) * 2015-06-05 2018-08-07 Telefonaktiebolaget Lm Ericsson (Publ) pré-processamento e codificação de pixel
EP3113495A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Methods and devices for encoding and decoding a hdr color picture
EP3113496A1 (en) 2015-06-30 2017-01-04 Thomson Licensing Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions
EP3119088A1 (en) * 2015-07-16 2017-01-18 Thomson Licensing Method and device for encoding an image, method and device for decoding an image
WO2017046408A1 (en) * 2015-09-18 2017-03-23 Thomson Licensing Determination of a co-located luminance sample of a color component sample, for hdr coding/decoding
US10244249B2 (en) * 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10200690B2 (en) * 2015-09-22 2019-02-05 Qualcomm Incorporated Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
US10080005B2 (en) * 2015-11-09 2018-09-18 Netflix, Inc. High dynamic range color conversion correction
EP3182691B1 (en) * 2015-12-17 2018-10-31 Thomson Licensing Method of encoding raw color coordinates provided by a camera representing colors of a scene having two different illuminations
US10148972B2 (en) * 2016-01-08 2018-12-04 Futurewei Technologies, Inc. JPEG image to compressed GPU texture transcoder
EP3427478B1 (en) * 2016-03-07 2023-08-23 Koninklijke Philips N.V. Encoding and decoding hdr videos
GB2549696A (en) * 2016-04-13 2017-11-01 Sony Corp Image processing method and apparatus, integrated circuitry and recording medium
EP3453175B1 (en) * 2016-05-04 2022-03-02 InterDigital VC Holdings, Inc. Method and apparatus for encoding/decoding a high dynamic range picture into a coded bistream
ITUA20163652A1 (it) * 2016-05-20 2017-11-20 Trellis Europe S R L Metodo per la codifica e decodifica di immagini hdr
CN107767838B (zh) 2016-08-16 2020-06-02 北京小米移动软件有限公司 色域映射方法及装置
GB2554669B (en) * 2016-09-30 2022-04-06 Apical Ltd Image processing
US10244244B2 (en) * 2016-10-26 2019-03-26 Dolby Laboratories Licensing Corporation Screen-adaptive decoding of high dynamic range video
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
GB2557997B (en) * 2016-12-21 2019-05-01 Apical Ltd Encoding and Decoding of image data
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
PL3559901T3 (pl) * 2017-02-15 2020-11-16 Dolby Laboratories Licensing Corporation Odwzorowywanie krzywej tonalnej dla obrazów o wysokim zakresie dynamiki
EP3367658A1 (en) * 2017-02-24 2018-08-29 Thomson Licensing Method and device for reconstructing an hdr image
EP3373585A1 (en) 2017-03-09 2018-09-12 Thomson Licensing Method for inverse tone mapping of an image with visual effects
JP6866224B2 (ja) * 2017-05-09 2021-04-28 キヤノン株式会社 画像符号化装置、画像復号装置、画像符号化方法及びプログラム
KR102344334B1 (ko) 2017-06-27 2021-12-29 삼성전자주식회사 영상을 처리하기 위한 방법 및 디스플레이 장치
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping
EP3714603A1 (en) * 2017-11-24 2020-09-30 InterDigital VC Holdings, Inc. Method and apparatus for colour correction during hdr to sdr conversion
TWI644264B (zh) * 2017-12-22 2018-12-11 晶睿通訊股份有限公司 影像辨識方法及其影像辨識裝置
CN110674622B (zh) * 2018-07-03 2022-12-20 百度在线网络技术（北京）有限公司 可视化图表生成方法、系统、存储介质及电子设备
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
CN109919841B (zh) * 2019-01-24 2022-12-27 重庆邮电大学 一种用于高动态范围图像联合上采样的导向图的合成方法
CN112673637A (zh) 2019-03-12 2021-04-16 株式会社 Xris 用于对图像信号进行编码/解码的方法及其装置
CN110232669A (zh) * 2019-06-19 2019-09-13 湖北工业大学 一种高动态范围图像的色调映射方法及系统
KR20210009255A (ko) 2019-07-16 2021-01-26 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 시스템
WO2021091820A1 (en) * 2019-11-05 2021-05-14 Google Llc Highlight recovery for image processing pipeline
CN114640834B (zh) * 2020-12-15 2024-03-19 华为技术有限公司 一种图像处理的方法以及相关装置
CN113271449B (zh) * 2021-07-21 2021-09-28 北京小鸟科技股份有限公司 多种hdr视频的转换系统、方法、设备
US20230169689A1 (en) * 2021-11-30 2023-06-01 Texas Instruments Incorporated Suppression of clipping artifacts from color conversion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6301393B1 (en) * 2000-01-21 2001-10-09 Eastman Kodak Company Using a residual image formed from a clipped limited color gamut digital image to represent an extended color gamut digital image
WO2005104035A1 (en) * 2004-04-23 2005-11-03 Brightside Technologies Inc. Encoding, decoding and representing high dynamic range images
US20090175338A1 (en) * 2008-01-04 2009-07-09 Segall Christopher A Methods and Systems for Inter-Layer Image Prediction Parameter Determination
TW201033994A (en) * 2008-12-10 2010-09-16 Nvidia Corp Method and system for color enhancement with color volume adjustment and variable shift along luminance axis

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4649568A (en) 1984-10-22 1987-03-10 Polaroid Corporation Reconstitution of images
JP2663189B2 (ja) 1990-01-29 1997-10-15 富士写真フイルム株式会社 画像のダイナミックレンジ圧縮処理方法
US5414527A (en) 1991-08-14 1995-05-09 Fuji Xerox Co., Ltd. Image encoding apparatus sensitive to tone variations
JP3222577B2 (ja) 1992-09-16 2001-10-29 古河電気工業株式会社 熱交換器用アルミニウム合金フィン材
US5742892A (en) 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
US5621660A (en) 1995-04-18 1997-04-15 Sun Microsystems, Inc. Software-based encoder for a software-implemented end-to-end scalable video delivery system
US6335983B1 (en) 1998-09-28 2002-01-01 Eastman Kodak Company Representing an extended color gamut digital image in a limited color gamut color space
US6285784B1 (en) 1998-09-28 2001-09-04 Eastman Kodak Company Method of applying manipulations to an extended color gamut digital image
US6282311B1 (en) 1998-09-28 2001-08-28 Eastman Kodak Company Using a residual image to represent an extended color gamut digital image
US6282312B1 (en) 1998-09-28 2001-08-28 Eastman Kodak Company System using one or more residual image(s) to represent an extended color gamut digital image
US6282313B1 (en) 1998-09-28 2001-08-28 Eastman Kodak Company Using a set of residual images to represent an extended color gamut digital image
US6748106B1 (en) 2000-03-28 2004-06-08 Eastman Kodak Company Method for representing an extended color gamut digital image on a hard-copy output medium
US6738427B2 (en) 2000-09-15 2004-05-18 International Business Machines Corporation System and method of processing MPEG streams for timecode packet insertion
JP3833177B2 (ja) 2000-11-30 2006-10-11 キヤノン株式会社 画像処理装置、画象処理方法、記憶媒体及びプログラム
US6606418B2 (en) 2001-01-16 2003-08-12 International Business Machines Corporation Enhanced compression of documents
JP3966117B2 (ja) 2001-09-06 2007-08-29 富士ゼロックス株式会社 画像処理装置、画像符号化装置および画像印刷装置ならびにそれらの方法
JP2004029639A (ja) 2002-06-28 2004-01-29 Canon Inc ビット数削減方法
US7260265B2 (en) * 2002-10-04 2007-08-21 International Business Machines Corporation Enhancing compression while transcoding JPEG images
EP2242231A1 (en) * 2003-11-12 2010-10-20 Qualcomm Incorporated High data rate interface with improved link control
US7492375B2 (en) * 2003-11-14 2009-02-17 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
JP2006019847A (ja) * 2004-06-30 2006-01-19 Fuji Photo Film Co Ltd 画像処理装置および方法並びにプログラム
KR100657268B1 (ko) 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
JP2006157453A (ja) * 2004-11-29 2006-06-15 Sony Corp 画像処理装置、画像処理方法及び撮像装置
KR101356548B1 (ko) * 2006-01-23 2014-01-28 막스-플랑크-게젤샤프트 츄어 푀르더룽 데어 비쎈샤프텐 에.파우. 하이 다이나믹 레인지 코덱들
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
EP1871113A1 (en) 2006-06-20 2007-12-26 THOMSON Licensing Method and apparatus for encoding video enhancement layer with multiresolution color scalability
KR101196975B1 (ko) 2006-07-17 2012-11-02 톰슨 라이센싱 비디오 색 인핸스먼트 데이터를 인코딩하기 위한 방법 및 장치, 그리고 비디오 색 인핸스먼트 데이터를 디코딩하기 위한 방법 및 장치
EP2070327B1 (en) 2006-09-30 2019-03-13 InterDigital VC Holdings, Inc. Method and device for encoding and decoding color enhancement layer for video
CA2570090C (en) * 2006-12-06 2014-08-19 Brightside Technologies Inc. Representing and reconstructing high dynamic range images
US8237865B2 (en) 2006-12-18 2012-08-07 Emanuele Salvucci Multi-compatible low and high dynamic range and high bit-depth texture and video encoding system
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
TW200845723A (en) 2007-04-23 2008-11-16 Thomson Licensing Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal
US7961983B2 (en) * 2007-07-18 2011-06-14 Microsoft Corporation Generating gigapixel images
US7940311B2 (en) * 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
JP4544308B2 (ja) * 2008-01-11 2010-09-15 ソニー株式会社 画像処理装置、撮像装置、方法およびプログラム
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
JP2009224971A (ja) * 2008-03-14 2009-10-01 Omron Corp 画像処理装置
JP5395500B2 (ja) * 2008-07-22 2014-01-22 キヤノン株式会社 測定装置および画像形成装置
KR101007101B1 (ko) * 2009-01-07 2011-01-10 한양대학교 산학협력단 적응형 톤 매핑 장치 및 방법, 그리고 이를 이용한 영상 처리 시스템
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
US8290295B2 (en) * 2009-03-03 2012-10-16 Microsoft Corporation Multi-modal tone-mapping of images
RU2504011C2 (ru) * 2009-03-13 2014-01-10 Долби Лабораторис Лайсэнзин Корпорейшн Многоуровневое сжатие видеоизображения с расширенным динамическим диапазоном, визуальным динамическим диапазоном и широкой цветовой гаммой
CN101626454B (zh) * 2009-04-10 2011-01-05 黄宝华 一种增强视频可视性的方法
US8525900B2 (en) * 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8766999B2 (en) * 2010-05-20 2014-07-01 Aptina Imaging Corporation Systems and methods for local tone mapping of high dynamic range images
US20130107956A1 (en) * 2010-07-06 2013-05-02 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
TWI521973B (zh) 2011-04-15 2016-02-11 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
US8891863B2 (en) 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6301393B1 (en) * 2000-01-21 2001-10-09 Eastman Kodak Company Using a residual image formed from a clipped limited color gamut digital image to represent an extended color gamut digital image
WO2005104035A1 (en) * 2004-04-23 2005-11-03 Brightside Technologies Inc. Encoding, decoding and representing high dynamic range images
US20090175338A1 (en) * 2008-01-04 2009-07-09 Segall Christopher A Methods and Systems for Inter-Layer Image Prediction Parameter Determination
TW201033994A (en) * 2008-12-10 2010-09-16 Nvidia Corp Method and system for color enhancement with color volume adjustment and variable shift along luminance axis

Also Published As

Publication number Publication date
CN103503429A (zh) 2014-01-08
CN103503429B (zh) 2014-11-19
KR101825347B1 (ko) 2018-02-05
IL238138B (en) 2018-05-31
RU2589857C2 (ru) 2016-07-10
BR112013026191B1 (pt) 2022-07-12
TWI690211B (zh) 2020-04-01
KR20150056874A (ko) 2015-05-27
CA3000434A1 (en) 2012-10-18
WO2012142589A2 (en) 2012-10-18
EP3166298B1 (en) 2018-07-18
TW201624999A (zh) 2016-07-01
JP2015084546A (ja) 2015-04-30
EP3376749B1 (en) 2021-09-15
KR101751226B1 (ko) 2017-06-27
US8248486B1 (en) 2012-08-21
IL228761A (en) 2016-08-31
RU2013150934A (ru) 2015-05-20
KR101552479B1 (ko) 2015-09-11
WO2012142589A3 (en) 2013-01-10
CN103888743B (zh) 2016-05-25
JP2015062291A (ja) 2015-04-02
JP2014510988A (ja) 2014-05-01
TW201820861A (zh) 2018-06-01
HK1188354A1 (zh) 2014-04-25
JP6058183B2 (ja) 2017-01-11
KR102128233B1 (ko) 2020-06-30
TWI513327B (zh) 2015-12-11
JP2016129396A (ja) 2016-07-14
JP5762615B2 (ja) 2015-08-12
IL228761A0 (en) 2013-12-31
CA2830678A1 (en) 2012-10-18
TW201526658A (zh) 2015-07-01
RU2640717C1 (ru) 2018-01-11
KR20160072274A (ko) 2016-06-22
ES2686980T3 (es) 2018-10-23
EP3376749A1 (en) 2018-09-19
KR20190009412A (ko) 2019-01-28
CA3000434C (en) 2020-12-15
TW201720143A (zh) 2017-06-01
KR20190114026A (ko) 2019-10-08
TWI521973B (zh) 2016-02-11
CA2830678C (en) 2018-05-22
KR101632596B1 (ko) 2016-06-22
EP2697962B1 (en) 2016-12-21
JP2017050028A (ja) 2017-03-09
KR101695633B1 (ko) 2017-01-13
BR112013026191A2 (pt) 2020-11-03
JP6469631B2 (ja) 2019-02-13
KR20150098245A (ko) 2015-08-27
CN103888743A (zh) 2014-06-25
KR20140140655A (ko) 2014-12-09
KR20150085100A (ko) 2015-07-22
KR101684334B1 (ko) 2016-12-08
JP5661218B2 (ja) 2015-01-28
TWI624182B (zh) 2018-05-11
EP2697962A4 (en) 2014-11-19
KR102029670B1 (ko) 2019-10-08
KR20180014233A (ko) 2018-02-07
JP5893708B2 (ja) 2016-03-23
TW201304558A (zh) 2013-01-16
KR101939135B1 (ko) 2019-01-17
EP3166298A1 (en) 2017-05-10
EP2697962A2 (en) 2014-02-19
IL259069B (en) 2019-03-31
KR20130141676A (ko) 2013-12-26

Similar Documents

Publication Publication Date Title
TWI580275B (zh) 高動態範圍影像的編碼、解碼及表示
RU2762384C1 (ru) Переформирование сигналов для сигналов широкого динамического диапазона
JP7049437B2 (ja) ハイダイナミックレンジ画像を符号化、復号化および表現するための手法
US8508617B2 (en) Encoding, decoding, and representing high dynamic range images