TW201531089A - 將影像資料編碼之方法及裝置,以及將影像資料解碼之方法及裝置 - Google Patents
將影像資料編碼之方法及裝置,以及將影像資料解碼之方法及裝置 Download PDFInfo
- Publication number
- TW201531089A TW201531089A TW104100462A TW104100462A TW201531089A TW 201531089 A TW201531089 A TW 201531089A TW 104100462 A TW104100462 A TW 104100462A TW 104100462 A TW104100462 A TW 104100462A TW 201531089 A TW201531089 A TW 201531089A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- segment
- encoding
- dynamic range
- bit rate
- Prior art date
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本發明係一種將一高動態範圍影像之至少一部分編碼之方法及裝置,該影像係定義於一知覺空間中,具有一亮度分量及一色差度量,該方法包括以下步驟:使用一低動態範圍(LDR)影像可適用之編碼過程,藉由應用一含有至少一編碼參數之編碼參數集,將該至少一部分影像之一片段編碼;將該編碼片段重建於該高動態範圍知覺空間中;評估一位元率失真成本以用於該高動態範圍知覺空間中之編碼片段;及基於評估之位元率失真成本,調整該編碼參數集以用於該片段之編碼過程。而且,本發明提供一種對應之解碼裝置及方法。
Description
本發明係關於影像資料的編碼方法及裝置,及影像資料的解碼方法及裝置,尤其(但非限定)本發明相關高動態範圍(HDR)應用的視訊資料編碼及解碼。
一成像裝置在一場景中捕捉到的光變化可大有不同,例如,和直射陽光照亮的物件相比,位在場景陰影中的物件會顯得極暗。傳統低動態範圍(LDR)影像所提供的有限動態範圍及色域未提供足夠範圍,用於此類場景內亮度及色彩變化的準確再製。通常,LDR影像中表示影像的像素亮度或顏色的分量值係以有限位元數(通常8、10或12位元)表示,此類表示法所提供的有限亮度範圍不能使小的訊號變化有效再製,尤其在亮及暗的亮度範圍中。
和傳統LDR影像相比,高動態範圍成像(亦稱為HDR或HDRI)使一場景的亮及暗區之間能有較大亮度動態範圍。為要橫跨整個範圍提供高訊號準確度,在高動態範圍成像中係藉由將訊號表示法延伸到較寬動態範圍來達成此目的。在HDR影像中,像素的分量值通常以較大位元數表示(例如從16位元到64位元),包含浮點格式(例如32位元或16位元用於各分量,稱為浮點或半浮點),最通用格式係開放EXR半浮點格式(每RGB分量16位元,即每像素48位元),或以具有長表示法的整數表示,通常至少16位元。此類範圍對應到人類視覺系統的天然靈敏度,依此,HDR影像較準確地表示真實場景中發現的寬亮度範圍,藉此提供場景的較真實表示。
然而,因提供較大值範圍,因此HDR影像消耗大量儲存空間及頻寬,使HDR影像及視訊的儲存及傳輸不確定,因此,為要將資
料壓縮成較小、較可管理的資料大小,需要有效的編碼技術。找出合適編碼/解碼技術以有效壓縮HDR資料同時保留準確渲染的亮度動態範圍,已證明具挑戰性。
將一HDR影像編碼的典型措施係縮小該影像的動態範圍,為要藉由LDR影像編碼用的傳統編碼方案將該影像編碼。
例如,在此類技術中,將一色調映射運算子應用到輸入HDR影像,接著,藉由傳統8-10位元深度編碼方案如用於視訊的JPEG/JPEG200或MPEG-2,H.264/AVC標準(Karsten Suhring,H.264/AVC參考軟體,http://iphome.hhi.de/suehring/tml/download/,I.E.Richardson的著書,名稱為«H.264及MPEG-4視訊壓縮標準»,由J.Wiley & Sons出版公司於2003年9月出版)將色調映射過的影像進行編碼。接著將一反色調映射運算子應用到解碼影像,並在輸入影像與解碼且反色調映射過的影像之間計算一殘餘,最後,藉由一第二傳統8-10位元深度編碼器方案將該殘餘進行編碼。
此第一措施的主要缺點係使用二編碼方案及輸入影像的動態範圍限制到傳統編碼方案的動態範圍的兩倍(16-20位元)。根據另一措施,將一輸入HDR影像反轉,為要取得該等影像像素在一色彩空間的視覺無損表示及其高位元深度延伸,在該色彩空間中數個值屬於一動態範圍,其適用於傳統8-10位元,或延伸的12,14或16位元深度編碼方案如HEVC(B.Bross,W.J.Han,G.J.Sullivan,J.R.Ohm,T.Wiegand於2012年10月所擬JCTVC-K1003,”高效率視訊編碼(HEVC)正文規格草案9”)。因用於傳輸應用,取得的壓縮比係太低,因此即若傳統編解碼器能操作高像素(位元)深度,通常難以將整個影像依統一方式在此位元深度進行編碼。
使用LDR影像可適用編碼技術的其他措施在解碼影像中造成假影,為改善上述缺點,因此提出本發明。
根據本發明的第一方面,提供一種將一高動態範圍影像的至少一部分編碼的方法及裝置,該影像係定義在知覺空間中,具有一亮度分量及一色差度量,該方法包括以下步驟:- 使用一低動態範圍(LDR)影像可適用的編碼過程,及應用至少一編碼參
數在該編碼過程中,將該至少一部分影像的一片段編碼;- 將該編碼片段在該高動態範圍知覺空間中重建;- 評估一位元率失真成本以用於該高動態範圍知覺空間中的編碼片段;及- 基於評估的位元率失真成本,調整該編碼參數集以用於該片段的編碼過程。
一影像片段可指一影像區塊,一區塊例如可係一預測單位(PU)、一編碼單位(CU)或一變換單位(TU)。
在一實施例中,至少一編碼參數定義該影像分割成待編碼片段,各片段具有一對應HDR知覺空間。
在一實施例中,該至少一編碼參數包括一編碼四元樹參數。
在一實施例中,該方法包括,基於該片段的對應影像樣本的亮度值,得到一公用代表亮度分量值以用於該片段。
在一實施例中,評估位元率失真成本包括評估該公用代表分量值編碼相關聯的位元率。
在一實施例中,該編碼過程係一HEVC(高效率視訊編碼)型編碼過程,及該至少一部分影像的片段對應到一編碼單位、一預測單位或一變換單位。
在一實施例中,該方法包括,在該片段編碼前,基於該公用代表亮度分量值,將該影像片段表現在一局部知覺空間中。
在一實施例中,該方法包括得到一局部LDR域中的一局部殘餘亮度分量以用於該片段,該局部殘餘亮度分量對應到原影像的對應亮度分量與該片段的公用代表亮度值之間的差分。
在一實施例中,該方法包括得到該局部知覺空間中的至少一對應影像部分以用於該片段,該至少一影像部分對應到該片段的局部殘餘亮度分量或色彩分量,係根據該片段的公用代表亮度值加以正規化。
在一實施例中,評估該位元率失真成本包括評估該至少一部分影像編碼相關聯的位元率。
在一實施例中,評估該位元率失真成本包括評估該局部殘
餘亮度分量編碼相關聯的位元率。
在一實施例中,評估該位元率失真成本包括評估該高動態範圍知覺空間中的編碼片段重建相關聯的失真。
在一實施例中,基於以下表式,評估位元率失真成本D HDR 以用於一編碼參數集p:D HDR (CU,p)+λ(R LDR (CU,p)+R(L lf ,p))其中:˙R LDR (Cu,p)係與殘餘影像部分編碼相關聯的位元率;R(L lf ,p)係與公用代表亮度分量值編碼相關聯的位元率;D HDR (CU,p)係與高動態範圍知覺空間中的編碼片段重建相關聯失真相關聯的失真;λ係一拉格朗日(Lagrange)參數。
在一實施例中,該方法包含在該局部知覺空間中重建的殘餘影像部分樣本及原紋理樣本與該影像的對應樣本之間,執行虛擬無損精化。
根據本發明的第二方面,提供一種編碼裝置,用以將一高動態範圍影像的至少一部分編碼,該影像係定義在一知覺空間中,具有一亮度分量及一色差度量,該裝置包括:一編碼器(ENC1,ENC2,ENC3),使用一低動態範圍(LDR)影像可適用的編碼過程,藉由應用至少一編碼參數在該編碼過程中,用以將該至少一部分影像的一片段編碼;一重建模組(REC),用以將該編碼片段在該高動態範圍知覺空間中重建;一位元率失真模組(RATE-DIST),用以判定一位元率失真成本以用於該高動態範圍知覺空間中的編碼片段;及一編碼器管理模組(ENCODER CONTROL),基於評估的位元率失真成本,用以調整該至少一編碼參數以用於該片段的編碼過程。
一影像片段可指一影像區塊,一區塊例如可係一預測單位(PU)、一編碼單位(CU)或一變換單位(TU)。
在一實施例中,該至少一編碼參數定義該影像分割成待編
碼片段,各片段具有一對應HDR知覺空間。
在一實施例中,該至少一編碼參數包括一編碼四元樹參數。
在一實施例中,該編碼裝置包含一得到模組,基於該片段的對應影像樣本的亮度值,用以得到一公用代表亮度分量值以用於該片段。
在一實施例中,該位元率失真模組係配置用以評估該公用代表分量值編碼相關聯的位元率。
在一實施例中,該編碼裝置係配置用以實施一HEVC型編碼過程,及該至少一部分影像的片段對應到一編碼單位、一預測單位或一變換單位。
在一實施例中,該編碼裝置包括一表現模組,在該片段編碼前,基於公用代表亮度分量值,用以將該影像片段表現在一局部知覺空間中。
在一實施例中,該編碼裝置包括一得到模組,用以得到一局部LDR域中的一局部殘餘亮度分量以用於該片段,該局部殘餘亮度分量對應到原影像的對應亮度分量與該片段的公用代表亮度值之間的差分。
在一實施例中,該編碼裝置包括一得到模組,用以得到該局部知覺空間中的至少一影像部分以用於該片段,該至少一影像部分對應到該片段的局部殘餘亮度分量或色彩分量,係根據該片段的公用代表亮度值加以正規化。
在一實施例中,該位元率失真模組係配置用以評估該殘餘影像部分編碼相關聯的位元率。
在一實施例中,該位元率失真模組係配置用以評估該高動態範圍知覺空間中的編碼片段重建相關聯的失真。
在一實施例中,基於以下表式,評估位元率失真成本D HDR 以用於一編碼參數集p:D HDR (CU,p)+λ(R LDR (CU,p)+R(L lf ,p))其中:
˙R LDR (Cu,p)係與殘餘影像部分編碼相關聯的位元率;R(L lf ,p)係與公用代表亮度分量值編碼相關聯的位元率;D HDR (CU,p)係與該高動態範圍知覺空間中的編碼片段重建相關聯失真相關聯的失真;λ係一拉格朗日(Lagrange)參數。
在一實施例中,該編碼裝置包括一執行模組,用以在該局部知覺空間中重建的殘餘影像部分樣本及原紋理樣本與該影像的對應樣本之間,執行虛擬無損精化。
根據本發明的第三方面,提供一種解碼方法,用以將一高動態範圍影像的至少一部分的位元流表示解碼,該影像係定義在一知覺空間中,具有一亮度分量及一色差度量,該方法包括以下步驟:存取至少一編碼參數的編碼資料表示;及使用一低動態範圍(LDR)影像可適用的解碼過程,藉由應用該至少一編碼參數對應的至少一解碼參數,將該至少一部分影像的一片段解碼;其中在該片段由LDR影像可適用的編碼過程編碼及該片段在該高動態範圍知覺空間中重建後,基於評估用於該片段的一位元率失真成本,判定該至少一編碼參數。
一影像片段可指一影像區塊,一區塊例如可係一預測單位(PU)、一編碼單位(CU)或一變換單位(TU)。
在一實施例中,該至少一解碼參數定義該影像分割成待解碼片段,各片段具有一對應HDR知覺空間。
在一實施例中,該至少一解碼參數包括一解碼四元樹參數。
根據本發明的第四方面,提供一種解碼裝置,用以將一高動態範圍影像的至少一部分的位元流表示解碼,該影像係定義在一知覺空間中,具有一亮度分量及一色差度量,該裝置包括:一存取介面,用以存取該影像編碼所使用的至少一編碼參數的編碼資料表示;及一解碼器,使用一低動態範圍(LDR)影像可適用的解碼過程,藉由應用該至少一編碼參數對應的至少一解碼參數,用以將該至少一部分影像的一片
段解碼;其中在該片段由LDR影像可適用的編碼過程編碼及該片段在高動態範圍知覺空間中重建後,基於評估用於該片段的一位元率失真成本,判定該至少一編碼參數。
一影像片段可指一影像區塊,一區塊例如可係一預測單位(PU)、一編碼單位(CU)或一變換單位(TU)。
在一實施例中,該至少一解碼參數定義該影像分割成待解碼片段,各片段具有一對應HDR知覺空間。
在一實施例中,該至少一解碼參數包括一解碼四元樹參數。
根據本發明的第五方面,提供一種高動態範圍影像的至少一部分的位元流表示,該影像係定義在一知覺空間中,具有一亮度分量及一色差度量,該位元流尚包括一訊號,攜有一編碼參數集的資料表示,其中在該片段由LDR影像可適用的編碼過程編碼及該片段在該高動態範圍知覺空間中重建後,基於評估用於該片段的一位元率失真成本,判定至少一編碼參數。
第三、第四及第五方面的至少一編碼參數係根據本發明的第一及第二方面中的任一實施例所判定。
本發明的又一方面提供一種將一高動態範圍影像的至少一部分編碼的方法,該影像係定義在一高動態範圍知覺空間中,具有一亮度分量及一色差度量,該方法包括以下步驟:使用一低動態範圍(LDR)影像可適用的編碼過程及應用至少一編碼參數在該編碼過程中,將該部分影像的一片段編碼;及基於一位元率失真成本,調整該至少一編碼參數以用於該片段的編碼過程,其中該編碼片段在該高動態範圍知覺空間中重建後,在該編碼片段上評估位元率失真成本。
本發明的另一方面提供一種編碼裝置,用以將一高動態範圍影像的至少一部分編碼,該影像係定義在一高動態範圍知覺空間中,具有一亮度分量及一色差度量,該裝置包括一或多個處理器,配置用以:使用一低動態範圍(LDR)影像可適用的編碼過程,及在該編碼過程中應用至少一編碼參數,將該至少一部分影像的一片段編碼;
將該編碼片段在該高動態範圍知覺空間中重建;評估一位元率失真成本以用於該高動態範圍知覺空間中的編碼片段;及基於評估的位元率失真成本,調整該至少一編碼參數以用於該片段的編碼過程。
根據本發明的另一方面,提供一種解碼裝置,用以將一高動態範圍影像的至少一部分的位元流表示解碼,該影像係定義在一知覺空間中,具有一亮度分量及一色差度量,該裝置包括一或多個處理器,配置用以:存取該影像編碼所使用的至少一編碼參數的編碼資料表示;使用一低動態範圍(LDR)影像可適用的解碼過程,藉由應用該至少一編碼參數分別對應的至少一解碼參數,將該至少一部分影像的一片段解碼;其中在該片段由LDR影像可適用的編碼過程編碼及該片段在該高動態範圍知覺空間中重建後,基於評估用於該片段的一位元率失真成本,在先前判定該至少一編碼參數。
本發明的實施例提供高動態範圍影像資料的編碼及解碼方法以用於廣大應用範圍,提供視覺經驗的提升。
根據本發明的方法中的至少數個部分可由電腦實施,因此,本發明可採取形式有完全硬體實施例,完全軟體實施例(包含韌體、常駐軟體、微碼等),或結合軟體及硬體方面的實施例,其在本文中通稱為一”電路”、”模組”或”系統”。此外,本發明可採取一電腦程式產品的形式,其具體化在任何有形表達媒體中,該媒體有電腦可用程式碼具體化在其中。
由於本發明可在軟體中實施,本發明可具體化為電腦可讀碼,用以提供到任何合適載體媒介上的可程式裝置,一有形載體媒介可包括一儲存媒體如軟磁碟、CD-ROM(唯讀記憶光碟)、硬碟驅動器、磁帶裝置或一固態記憶裝置及類似物。一暫態載體媒介可包含一訊號如電訊號、電子訊號、光學訊號、聲音訊號、磁訊號或電磁訊號如微波或紅外線(RE)訊號。
37‧‧‧顯示器
501‧‧‧低空間頻率亮度分量得到步驟
502‧‧‧編碼過殘餘紋理資料解碼版本得到步驟
505‧‧‧關聯步驟
506‧‧‧臨界值判定步驟
510‧‧‧反知覺變換步驟
520‧‧‧解碼步驟
530‧‧‧參數解碼步驟
600‧‧‧編碼裝置
610,710‧‧‧I/O介面
620,720‧‧‧記憶體
625,725‧‧‧記憶體控制器
640,740‧‧‧處理電路結構(CPU)
700‧‧‧解碼裝置
A,B‧‧‧遠程裝置
BI‧‧‧影像區塊
CU‧‧‧編碼單位
C1,C2,C(i)‧‧‧色彩分量
DEC1,DEC2,DEC3‧‧‧解碼器
DEC-PAR‧‧‧參數解碼器模組
ENC1,ENC2,ENC3‧‧‧編碼器
ENCODER CONTROL,ENC-CTRL‧‧‧編碼器控制模組
E 0 ,△E 0‧‧‧知覺臨界值
△E‧‧‧臨界值
I‧‧‧影像
IC‧‧‧影像轉換模組
INT‧‧‧介面模組
‧‧‧解碼影像
IIC‧‧‧反知覺變換模組
Ip‧‧‧高動態範圍影像
J‧‧‧位元率失真成本
L‧‧‧亮度分量
LF‧‧‧亮度處理模組
L lf ‧‧‧低空間頻率亮度分量
‧‧‧量化過的低空間頻率亮度分量
‧‧‧低空間頻率亮度分量解碼版本
L r ‧‧‧殘餘亮度分量
LPT‧‧‧局部知覺變換單元
NET‧‧‧通訊網路
O/S‧‧‧作業系統模組
p‧‧‧編碼參數集
P‧‧‧資料
PART1,PART2‧‧‧分割模組
PT‧‧‧臨界值判定模組
PU‧‧‧預測單位
Q‧‧‧量化單元
Q-1‧‧‧反量化單元
RATE-DIST‧‧‧位元率失真模組
REC‧‧‧重建模組
S101‧‧‧知覺空間變換步驟
S102,S202‧‧‧編碼步驟
S103,S203‧‧‧公用代表亮度分量得到步驟
S104,S109‧‧‧量化步驟
S105,S205‧‧‧局部知覺空間變換步驟
S106,S116‧‧‧分解步驟
S107,S207‧‧‧判定步驟
S108‧‧‧變換步驟
S110,S111‧‧‧熵編碼步驟
S112‧‧‧反量化步驟
S114‧‧‧反變換步驟
S118,S224‧‧‧重建步驟
S120,S220‧‧‧評估步驟
S122,S222‧‧‧調整步驟
S218‧‧‧精化步驟
T‧‧‧變換單元
T-1‧‧‧反變換單元
TU‧‧‧變換單位
Yn‧‧‧標稱照明亮度
Y_n‧‧‧最大環境亮度值
以下將參考附圖僅藉由範例以描述本發明的實施例,圖
中:圖1係根據本發明的第一實施例以方塊圖顯示一編碼過程;圖2係根據HEVC視訊壓縮標準以示意圖描繪一編碼單位分解成預測單位及變換單位的範例;圖3係根據本發明的一實施例以方塊圖顯示一編碼過程;圖4係根據本發明的又一實施例以方塊圖顯示一編碼過程;圖5係根據本發明的一或多個實施例以方塊圖顯示一解碼過程;圖6A係根據本發明的一或多個實施例以方塊圖顯示一編碼裝置;圖6B係根據本發明的一或多個實施例以方塊圖顯示一解碼裝置;及圖7係以方塊圖顯示一資料通訊系統範例,其中可實施本發明的一或多個實施例。
圖1係根據本發明的第一實施例以示意方塊圖描繪一種將一影像I的至少一部分編碼的方法步驟,圖1方法的編碼步驟通常係基於LDR型影像可適用的HEVC壓縮標準,但應明白本發明的實施例可應用到LDR型影像可適用的其他編碼標準如H.264/AVC、MPEG2或MPEG4。
該方法以HDR影像資料的獲取開始,HDR影像資料可表示一影像視訊序列、一影像或一部分影像。為簡化以下說明,獲取的影像資料對應到一HDR影像,該HDR影像資料係直接從一成像裝置如視訊攝影機獲取,從儲存有該影像資料位在本埠或遠端的一記憶體裝置獲取,或經由一無線或有線傳輸線加以接收。
本文使用"HDR影像"一詞指任何HDR影像,其包括浮點(浮動或半浮動)、定點或長整數表示格式(通常由大於16的位元數表示)的高動態範圍資料。輸入HDR影像係可定義在任何色彩空間或知覺空間中,例如在本發明實施例中,輸入HDR影像係定義在一RGB色彩空間中,在另一實施例中,輸入HDR影像係可定義在另一色彩空間如YUV或任一知覺空間中。
通常,該過程的編碼步驟係執行在一影像(包含該影像的像素亮度的資料表示)上,此類影像資料包含一亮度分量L及潛在地包含
至少一色彩分量C(i),其中i係一索引,識別該影像的一色彩分量。該影像的該等分量定義一色彩空間,通常係一3D空間,例如該影像可係定義在一色彩知覺空間,包括有一亮度分量L及潛在地包括有二色彩分量C1及C2。
然而,應明白本發明未侷限於具有色彩分量的HDR影像,例如,該HDR影像可係一知覺空間中的灰階影像,具有一亮度分量但無任何色彩分量。
一知覺空間係定義為一色彩空間,其係由含有一亮度分量的複數個分量所組成,及具有一色差度量d((L,C1,C2),(L',C1',C2')),其值係該知覺空間中二點的視知覺之間的個別差異表示(較佳成正比)。例如該色彩空間具有一亮度分量L及二色彩分量C1及C2。
就數學而言,如此定義色差度量d((L,C1,C2),(L',C1',C2')),以便存在一知覺臨界值△E 0(亦稱為JND,恰可分辨差異),低於該臨界值,人類眼睛無法察覺到該知覺空間的二顏色之間的視覺差異,即d((L,C1,C2),(L',C1',C2'))<△E 0, (1)
知覺臨界值△E 0係與該知覺空間的二點(L,C1,C2)及(L',C1',C2')無關,因此,將一影像(其分量屬於一知覺空間)編碼以使公式(1)的度量保持低於界限△E 0,確保該影像的顯示解碼版本係視覺上無損。
當獲取的影像I包括數個分量屬於一非知覺空間如(R,G,B)時,在步驟S101由一影像轉換模組IC將一知覺變換應用到影像資料I,為要得到一HDR影像Ip,具有一亮度分量L及潛在地具有二色彩分量C1及C2,定義一知覺空間。所執行的知覺變換取決於顯示的照明條件及取決於初始色彩空間。例如,假定初始色彩空間係一(R,G,B)色彩空間,首先將影像I變換成熟知的線性空間(X,Y,Z)。此步驟包括(只要適當),藉由應用一反伽瑪校正以執行該資料的線性化,及接著將線性RGB空間資料變換成具有一3×3變換矩陣的XYZ空間。為此步驟,使用該影像視覺環境特徵化的資料,例如使用3D向量的值(X n ,Y n ,Z n )定義該顯示在(X,Y,Z)空間中的參考照明條件。
作為一範例,在選擇知覺空間LabCIE1976的情況中,一
知覺變換係定義如下:L *=116f(Y/Y n )-16
a *=500(f(X/X n )-f(Y/Y n ))
b *=200(f(Y/Y n )-f(Z/Z n ))其中f係一伽瑪(gamma)校正函數,例如由以下公式提供:若r>(6/29)3則f(r)=r 1/3
否則
當滿足以下定義在知覺空間LabCIE1976上的色差度量時,在參考照明條件(X n ,Y n ,Z n )中人類可區分二顏色:d((L * ,a * ,b *),(L * ',a * ',b * '))2=(△L *)2+(△a *)2+(△b *)2<(△E 0)2 △L *係該二顏色(L * ,a * ,b *)與(L * ',a * ',b * ')的亮度分量之間的差異,及△a *(△b *分別)係此二顏色的色彩分量之間的差異,通常△E 0具有一值介於1與2之間。
在一些情況中,可將空間(X,Y,Z)中的影像反變換用以得到初始空間(在本範例中,(R,G,B)空間)中解碼影像的估算。對應的反知覺變換由以下公式提供:
根據另一範例,當選擇知覺空間Lu * v *時,一知覺變換可定義如下:u *=13L(u'-u' 白)及v *=13L(v'-v' 白)其中定義以下式子:
及
以下歐基里德(Euclidean)度量可定義在知覺空間Lu * v *上:d((L * ,u * ,v *),(L * ',u * ',v * '))2=(△L)2+(△u *)2+(△v *)2△L *係二顏色(L * ,u * ,v *)及(L * ',u * ',v * ')的亮度分量之間的差異,及△u *(△v *分別)係此二顏色的色彩分量之間的差異。
用於知覺空間Luv的對應反知覺變換係提供如下:
應明白,本發明未侷限於知覺空間LabCIE1976,卻可延伸到任何類型的知覺空間如LabCIE1994、LabCIE2000,其係相同Lab空間但具有不同度量用以測量知覺距離,或例如延伸到其他任一歐基里德知覺空間。
其他範例係LMS空間及IPT空間,條件是該度量定義在此等知覺空間上,使該度量較佳與該知覺差異成正比;結果,存在一同質最大知覺臨界值△E 0,低於該臨界值,人類無法察覺到該知覺空間的二顏色之間的視覺差異。
在步驟S102中,由一分割模組PART1將該影像在空間上分解成一系列空間單位或片段,根據影像編碼中的HEVC視訊壓縮技術的一空間編碼結構範例係繪示在圖2中。按照一HEVC型編碼器,最大空間單位係稱為一編碼樹單位(CTU),根據一分解組態(由編碼參數表示,常稱為四元樹),將各空間單位分解成進一步元素。四元樹的各葉片係稱為一編碼單位(CU),及進一步分割成一或多個子元素,稱為預測單位(PU)及變換單位(TU)。
在圖1範例的步驟S102中,根據編碼器控制模組ENCODER CONTROL所管理的編碼參數,將一編碼單位分割成一或多個片段或區塊BI,其在本範例中對應到用於預測式編碼的預測單位(PU)。
雖然在本發明範例中,步驟S102的輸出區塊BI係一PU,但應明白本發明應用HEVC型技術的其他實施例中,步驟S102的輸出可
係一CU或一TU,在其他實施例中,區塊BI將指該待編碼影像的一合適空間區域。
在本範例中,各預測單位或區塊BI對應到該影像與個別(框內或框間)預測參數的一方形或矩形空間區域:ENCODER CONTROL模組管理將目前一影像中的一已知編碼單位或一編碼單位的子元素編碼所使用的策略,為要如此管理,該模組將候選編碼參數指定給目前編碼單位或編碼單位子元素。此等編碼參數可包含以下一或多個編碼參數:˙以編碼四元樹、預測單位及變換單位特定表現的編碼樹單位組織;˙指定給該編碼樹的編碼單位的編碼模式(INTRA或INTER);˙用於所考慮編碼樹中各框內編碼單位的框內預測模式(DC(直流)、平面或角度方向);˙INTER預測參數(若為INTER編碼單位):運動向量、參考圖像索引等。
在本發明如本文所述實施例中,計算與具有候選編碼參數的一目前編碼單位的編碼相關聯的位元率失真成本,ENCODER CONTROL(編碼器控制)模組並根據算出的位元率失真成本來調適該等編碼參數中的至少一者。
藉由使一位元率失真成本減至最小來執行編碼參數的選擇以用於一編碼單位,表示如下:
其中p表示候選編碼參數集以用於一已知編碼單位,及λ表示拉格朗日(Lagrange)參數,及D(p)及R(p)分別表示與具有候選編碼參數集p的目前編碼單位的編碼相關聯的失真及位元率。
在本發明的實施例中,失真D(p)一詞表示在待編碼影像的初始HDR知覺空間中所得到的編碼錯誤,通常此涉及在計算與編碼參數p相關聯的失真D(p)前,將待處理的一CU或CU子元素重建到原(L * ,a * ,b *)空間中,以下將加以說明。由於考量到編碼單位或子元素係在其原HDR空間中,此一措施有助於減少解碼影像中出現假影。
在步驟S103中,各預測單位或區塊對一亮度分量值作出
貢獻,該亮度分量值稱為一低空間頻率亮度分量L lf ,表示組成該預測單位或區塊的該等樣本(一樣本可包括一或多個像素)的平均亮度值。此步驟係由一亮度處理模組LF來執行,計算一低空間頻率亮度分量基本上涉及將原影像的亮度分量縮減取樣。應明白本發明未侷限於任何用以計算各預測單位或區塊的低空間頻率版本的特定實施例,及可使用影像Ip的亮度分量的任何低通濾波或縮減取樣。在步驟S104中,由一量化單元Q將低空間頻率亮度分量加以量化,用以提供一量化過的低空間頻率亮度分量。在步驟S110中,由一熵編碼器ENC1在量化過的低空間頻率亮度分量上執行熵編碼以用於輸出視訊位元流。該低空間頻率亮度分量的編碼在本文中可稱為第一層編碼或亮度層。
基於量化過的低空間頻率亮度分量的個別值,在步驟S105中,由一局部知覺變換單元LPT將該預測單位或區塊的亮度分量及色彩分量的值變換到一局部知覺空間中,對應到步驟S101的知覺空間變換。本範例中的此知覺空間係知覺空間L*a*b*,量化過的低空間頻率亮度分量係作為顯示的參考照明條件。該區塊的此局部知覺空間L*a*b*的亮度分量及色彩分量係表示為( , , )。實際上,變換到該局部知覺空間取決於量化過的低空間頻率亮度分量及在該局部知覺空間的編碼過程中作為目標的最大錯誤臨界值△E。
變換成局部知覺空間( , , )包含以下步驟,首先透過以下亮度殘餘計算,將亮度訊號變換成所謂的局部LDR表示:
其中L r 表示算出的殘餘亮度分量,L表示原影像中的對應亮度分量,及表示量化過的低空間頻率亮度分量。
此步驟在本文中可稱為LDR局部化步驟。
接著,殘餘亮度分量L r 係如下表示在一局部知覺空間中,假定在L*a*b*知覺空間模式中的一標稱照明亮度Yn,由一因子YE造成照明條件中的變化將該等知覺空間分量變換如下:(Xn,Yn,Zn) → (YEXn,YEYn,YEZn)對應到以下式子在知覺臨界值E0的一變化△E 0:
△E0 → △E0.YE (1/3)
因此,臨界值E0係根據後處理中的最大照明變化乘法因子以調適用於該編碼,量化過的低空間頻率亮度分量的局部光度的有關資訊採取YE=Ylf/Yn,其中Ylf與之間的關係提供如下:
由於該知覺空間係基於與各預測單位相關聯的低空間頻率亮度分量,因此依此將該知覺空間局部化。
在對應到LabCIE76知覺空間的實施例中,實際上該知覺空間的局部化採取以下形式:
相對於色彩分量a*及b*,不需要任何LDR局部化,該知覺空間的局部化涉及以下變換:
在步驟S106中,由進一步CU分割步驟將各預測單位分解成一或多個變換單位(TU),例如在一框內編碼單位的情況中,由先前已編碼及重建的鄰近TU中空間地預測出該編碼單位的各變換單位。在步驟S107中判定與目前一TU相關聯的殘餘紋理,接著該殘餘紋理係在步驟S108中由變換單元T進行變換,及在步驟S109中由量化單元Q進行量化為由熵編碼器ENC2在步驟S111中進行熵編碼。該等變換單位所運用的編碼參數可由ENCODER CONTROL模組基於本發明實施例的位元率失真計算來加以判定。紋理殘餘的編碼在本文中可稱為第二層編碼。
各預測單位中待編碼殘餘紋理資料因此係表示在一局部知覺空間( , , )中,若以局部知覺空間為基礎來計算一位元率失真成本,用以選擇待編碼HDR影像的CTU的四元樹表示,則可能引起不一致。例如,假設在一已知四元樹位準用於一已知CU,編碼器的分割單元必須在二類型預測單位2N×2N與N×N之間作出選擇,對應位元率失真
成本之間的比較將如下:
即:
在右項中,可看出在用於不同色彩空間中的PU表示所算出的失真上執行一加法,此可導致不一致。
為提出此一問題,在本發明的實施例中,並非在局部LDR知覺空間中,反而是在原HDR知覺空間中考量與該影像的一空間實體相關聯的位元率失真成本。依此,由於對應到該影像的不同影像區塊的位元率失真成本係已在相同知覺空間中計算,因此係可比較的,因此在該HDR空間中重建該編碼單位的步驟可包含在圖1實施例的編碼過程中。一編碼單位在該HDR空間中的重建係實施如下。
重建編碼單位的各TU係藉由執行步驟S112中的反量化,步驟S114中的反變換,及步驟S116中的預測添加,接著在步驟S118中,得到在原HDR空間中重建的TU。
用於步驟S118重建HDR空間中的殘餘TU,在本發明的一特定實施例中,用於該HDR空間的局部色彩空間係Lab 76,該等公式分別對應到該HDR空間中TU的解碼像素的重建以用於亮度分量L及色度分量a,b:
1.
2.
3.
4.
5.
6.
其中:˙LDR定標表示一整數常數,在LDR編碼層的輸入用以固定已知像素的動態範圍;˙ , , 表示與含有該樣本的PU相關聯的局部Lab空間中重建的亮度及色度樣本;˙ , , 表示在待壓縮的原影像Ip的HDR知覺空間中重建的樣本;˙表示在反量化後的重建版本中與該PU相關聯的低空間頻率亮度分量。
根據本發明的一或多個實施例,以下提出位元率失真成本計算過程,用以利用一編碼參數集p將一編碼單位編碼,在圖1的實施例中,在步驟S120由位元率失真模組RATE-DIST執行位元率失真成本過程。
藉由位元率失真成本重設成0將該過程初始化:J←0。
已在步驟S110中將低空間頻率分量L lf (PU)熵編碼後,在步驟S120中判定一關聯位元率R(L lf )以用於熵編碼過的低空間頻率分量L lf (PU),接著根據以下式子更新位元率失真成本J:J ← J+λ.R(L lf ),其中λ表示拉格朗日(Lagrange)參數。
在步驟S120中判定一關聯位元率R(TU,p)以用於步驟S111的熵編碼過的殘餘紋理。
接著計算一失真如下,以用於原HDR知覺空間中的重建TU:,其中對應到原HDR影像中的TU樣本及對應到HDR知覺空間中的重建TU樣本,接著將該CU的位元率失真成本J更新如下:J ← J+D HDR (TU,p)+λ.R(TU,p)
與一CU利用一編碼參數p編碼相關聯的位元率失真成本可寫成公式如下:D HDR (CU,p)+λ(R LDR (CU,p)+R(L lf ,p))其中:
R LDR (Cu,p)係該LDR層中所考量CU的編碼成本,R(L lf ,p)係低頻率亮度分量的編碼成本,該低頻率亮度分量係與屬於所考量CU的該等PU相關聯。
在步驟S122中,編碼器控制模組ENCODER CONTROL係基於步驟S122中計算的位元率失真成本,調適LDR編碼過程的編碼參數用於HDR知覺空間中的已編碼TU。
圖3係以示意方塊圖描繪一編碼過程範例,其中併入圖1的編碼步驟,以下描述額外的模組,單元130表示一記憶體,其中儲存該視訊的訊框以用於訊框間編碼過程,包含有移動估算(步驟S131)、移動補償(步驟S132)。在步驟S133中執行已重建TU上的框內預測。
如圖3所示,ENCODER CONTROL模組”係負責在步驟S123中決定用以將目前一影像中的一已知編碼單位編碼的策略。
圖4係再根據本發明的一實施例以示意方塊圖描繪一種將至少一部分影像編碼的方法的步驟,參閱圖4,步驟S201至S214係類似於圖1的對應步驟S101至S114。圖4實施例的過程不同於圖1者在於包含一精化步驟,通常稱為準無損,其中係在待處理PU的局部知覺空間中重建的紋理資料上執行精化。該編碼由於涉及低空間頻率分量L lf 的熵編碼、殘餘紋理資料的熵編碼及L ∞範數熵編碼,因此可稱為三層編碼。基於原紋理資料與所考量局部知覺空間中重建的紋理資料之間的L ∞範數,該編碼過程中的額外精化步驟確保一失真(步驟S216至S224),在步驟S221中,編碼模組ENC3執行用於此編碼層的編碼。
在存在層L ∞的情況中,編碼器可根據二不同操作模式來操作,在第一操作模式中,只尋求L ∞範數中的重建品質,在此一情況中,根據以下公式將影像資料以確保L ∞範數中品質的最小位元率進行編碼:
其中表示L ∞範數中的目標失真(品質位準),及R L∞構成在殘餘層L ∞中將目前CU編碼所使用的位元數。在此操作模式中,殘餘層L ∞自動將該失真校正到所考慮的局部知覺空間內,可介於原像素資料與重建區塊之間。減低該層集編碼的編碼率及因此提升壓縮效率。
在該三層編碼的第二操作模式中,在LDR層中的重建品質與該三層的總位元率之間尋求妥協,位元率失真成本係寫成公式如下:
其中對應到一CU在LDR層中解碼及在原影像的HDR空間中重建的品質,由於LDR層的編碼器在L2範數中操作,因此此品質係在L2範數中計算。此外,R L∞對應到精化層L ∞的位元率以用於目前CU。
後者操作模式的優點係重建一良好品質的中間LDR層。
在所述各實施例中,原HDR影像的一已編碼位元流表示係傳送到一目的地接收裝置,配備有一解碼裝置,可將影像資料編碼所使用的適應編碼參數的有關資訊傳送到該解碼裝置,使該HDR影像的位元流表示能加以解碼並重建原HDR影像。可將該等適應編碼參數的資訊表示在傳送前先進行編碼。例如,在圖1及圖4的實施例中,該等適應編碼參數的資料表示係由編碼器控制模組提供並由編碼器ENC2編碼在該位元流中。在此等範例中,該等參數因此係編碼在對應到第二層(LDR層)的位元流中。
圖5係根據本發明的一實施例以示意方塊圖描繪一解碼裝置所實施的解碼過程範例,用以將表示一影像I的位元流解碼。在該解碼過程中,解碼器DEC1、DEC2及DEC3係配置用以將分別已由編碼器ENC1、ENC2及ENC3編碼的資料進行解碼。
在該範例中,位元流F表示一HDR影像I,其包括有一亮度分量及潛在地包括至少一色彩分量,實際上影像I的該(等)分量屬於上述的一知覺色彩空間。
在步驟501中,藉由解碼器DEC1,藉由將位元流F至少部分地解碼,得到影像I的亮度分量的一低空間頻率版本解碼版本。
在步驟502中,藉由解碼器DEC2,藉由位元流F的至少部分解碼,得到編碼殘餘紋理資料的一解碼版本。
在步驟505中,使殘餘紋理資料的解碼版本與影像亮度分量的低空間頻率版本的解碼版本互相關聯以得到一解碼影像。
在本發明的一些實施例中,其中根據三層編碼過程如圖4的過程已將影像資料編碼,提供三層解碼,其中由解碼器單元DEC3執行解碼。
表示該等適應編碼參數的資料P係由解碼裝置接收,及在步驟503中由一參數解碼器模組DEC-PAR進行解碼。編碼參數資料P係在具有影像資料I的位元流中傳送,接著將運用編碼參數的有關資訊提供到解碼器DEC1、DEC2及DEC3,以便根據該編碼器的編碼器控制模組ENCODER CONTROL所判定的編碼參數,將已編碼影像資料以解碼參數進行解碼。
解碼器DEC2的解碼精確度取決於一知覺臨界值△E,其定義該知覺空間中所定義度量的上限,其確保該影像的一顯示解碼版本中的視覺損失控制。該解碼精確度因此係該知覺臨界值的函數,其局部地變更。
如上述,根據一實施例,判定知覺臨界值△E係根據顯示的參考照明條件(與用於編碼者相同)及影像I的亮度分量的低空間頻率版本解碼版本。
根據一實施例,一殘餘影像的各分量已藉由知覺臨界值△E進行正規化,該殘餘影像以一恆定精確度進行解碼,及微分影像的解碼版本的各分量係借助該知覺臨界值△E進行再正規化,其中
根據一實施例,該再正規化係藉由一值的除法,該值係知覺臨界值△E的函數。
編碼器ENC1、ENC2及/或ENC3(及解碼器DEC1、DEC2及/或DEC3)未侷限於一特定編碼器(解碼器),當需要一熵編碼器(解碼器)時,一熵編碼器如霍夫曼(Huffmann)編碼器、算術編碼器或上下文適應性編碼器像h264/AVC或HEVC中使用的Cabac係有利的。
編碼器ENC2(及解碼器DEC2)未侷限於一特定編碼器,其例如可係具損失的一影像/視訊編碼器像JPEG、JPEG2000、MPEG2、h264/AVC或HEVC。
編碼器ENC3(及解碼器DEC3)未侷限於一特定無損或準
無損編碼器,其例如可係一影像編碼器像JPEG無損、h264/AVC無損、交織式編碼器,或適應性DPCM(差值脈衝編碼調變)類的編碼器。
根據一變化,在步驟510中,一模組IIC係配置成將一反知覺變換應用到解碼影像(步驟505的輸出),例如將解碼影像的估算變換到熟知空間(X,Y,Z)。
當選擇知覺空間LabCIE1976時,由以下公式提供反知覺變換:
當選擇知覺空間Luv時,由以下公式提供反知覺變換:
潛在地,將空間(X,Y,Z)中的影像進行反變換,用以取得解碼影像在初始空間如(R,G,B)空間中的估算。
在圖1及圖3至7中,該等模組係功能單元,其可或不可對應到可區別的實體單元,例如,複數個此類模組可關聯在唯一組件或電路中,或對應到軟體功能性。此外,一模組可潛在地由分開的實體所組成。
適合本發明實施例的裝置可單獨由硬體來實現,或單獨由軟體來實現,或由硬體與軟體的組合來實現。就硬體而言,例如可使用專屬硬體如ASIC或FPGA或VLSI,分別是(«應用特定積體電路»、«現場可程式閘陣列»、«極大型積體電路»,或藉由使用一裝置中內嵌或由硬體及軟體組件混合的數個積體電子組件。
圖6A係根據本發明的一實施例以示意方塊圖描繪一編碼裝置。
編碼裝置600包括一I/O介面610用以接收及傳送資料、記憶體620、一記憶體控制器625,及處理電路640,包括有一或多個處
理單元(CPU)用以處理從I/O介面610所接收的資料。一CPU可包括一數位訊號處理器(DSP),記憶體可包含唯讀記憶體(ROM)及隨機存取記憶體(RAM)。
一或多個處理單元640執行記憶體620中所儲存各種軟體程式及/或指令集,用以執行各種用於編碼裝置600的功能及用以處理資料,各種組件係經由一資料滙流排鏈接,根據本發明實施例的方法的演算法係儲存為記憶體620的ROM中的軟體組件。一CPU將記憶體的RAM中的程式上傳及執行對應的指令。
儲存在記憶體620中的軟體組件包含一編碼器模組(或指令集)ENC,用以使用一低動態範圍(LDR)影像可適用的編碼過程,及應用至少一編碼參數在該編碼過程中,將該至少一部分影像的一片段編碼;一重建模組REC(或指令集),用以將該編碼片段重建在該高動態範圍知覺空間中;一位元率失真模組RATE-DIST(或指令集),用以判定一位元率失真成本以用於高動態範圍知覺空間中的編碼片段;及一編碼器管理模組(ENC-CTRL)(或指令集),用以基於評估的位元率失真成本,調整該至少一編碼參數以用於該片段的編碼過程。
可包含其他模組如一作業系統模組O/S用以控制一般系統任務(如電源管理、記憶體管理),及用以促進編碼裝置600的各種硬體與軟體組件之間的通訊,及一介面模組INT用以控制及管理經由I/O介面610與其他裝置的通訊。
在進一步實施例中,該編碼裝置尚可包括一參考照明模組,用以得到顯示的參考照明條件如顯示照明的最大環境亮度值Y_n。
又根據一特殊實施例,該編碼裝置可包括一顯示器,及參考照明模組用以得到顯示的參考照明條件,該模組係配置用以從顯示器特性或從顯示器周圍由該模組捕捉到的照明條件,判定出顯示的此類參考照明條件。例如,用以得到顯示照明的最大環境亮度值Y_n的模組係附在該顯示器上的一感測器,及其測量環境照明條件,可使用光二極體或類似物用於此目的。
圖6B係根據本發明的一實施例以示意方塊圖描繪一解碼裝置。
解碼裝置700包括一I/O介面710用以接收及傳送資料、記憶體720、一記憶體控制器725,及處理電路740,包括有一或多個處理單元(CPU)用以處理I/O介面710所接收的資料。一CPU可包括一數位訊號處理器(DSP),記憶體可包含唯讀記憶體(ROM)及隨機存取記憶體(RAM)。
一或多個處理單元740執行記憶體720中所儲存的各種軟體程式及/或指令集,用以執行用於解碼裝置700的各種功能及用以處理資料,各種組件係經由一資料匯流排鏈接。根據本發明實施例的方法的演算法係儲存為記憶體720的ROM中的軟體組件,一CPU將記憶體的RAM中的程式上傳並執行對應的指令。
記憶體720中所儲存的軟體組件包含一解碼器模組(或指令集)DEC,用以使用一低動態範圍(LDR)影像可適用的解碼過程,及應用至少一解碼參數在該解碼過程中,將至少一部分影像的一片段解碼。
可包含其他模組如一作業系統模組O/S用以控制一般系統任務(如電源管理、記憶體管理),及用以促進編碼裝置600的各種硬體與軟體組件之間的通訊,及一介面模組INT用以控制及管理經由I/O介面與其他裝置的通訊。
圖7係一通訊系統範例,其中可實施本發明的實施例。該通訊系統包含二遠程裝置A及B經由一通訊網路NET通訊,通訊網路NET可係一無線網路、有線網路,或無線與有線通訊鏈接的組合。
裝置A包括一編碼器,配置用以根據本發明的任一實施例實施一HDR影像的編碼方法,及裝置B包括一解碼器,配置用以實施如相關圖5所述一HDR影像的位元流表示的解碼方法。裝置B亦可包括一顯示器37用以顯示解碼的HDR影像。
又在本發明的一些實施例中,裝置A及B係配置成存取到顯示參考照明條件的相關資訊如顯示照明的最大環境亮度值Y_n。
例如,裝置A與B儲存相同顯示參考照明條件如顯示照明的最大環境亮度值Y_n。
或者,裝置B係配置用以得到顯示的參考照明條件如顯示照明的最大環境亮度值Y_n,並將其傳送到裝置A。裝置A則配置用以接
收所傳送來的顯示參考照明條件如顯示照明的最大亮度值Y_n。
相反地,裝置A係配置成例如從一儲存記憶體得到顯示參考照明條件如顯示照明的最大環境亮度值Y_n,並將其傳送到裝置B,裝置B則配置用以接收此一傳送來的顯示參考照明條件如顯示照明的最大環境亮度值Y_n。
本發明在本文所述實施例例如可實現在一方法或過程、一裝置、一軟體程式、一資料流或一訊號中,即使只在單一實作形式的相關情況中討論(例如只討論作為一方法),所討論特徵的實現亦可實現在其他形式(例如,一裝置或程式)。一裝置例如可實現在適當硬體、軟體及韌體中。該等方法可實現在一裝置如一處理器中,處理器一詞指處理裝置,通常例如包含一電腦、一微處理器、一積體電路,或一可程式邏輯元件。處理器亦可包含通訊裝置如電腦、數位板、手機、可攜式/個人數位助理器(“PDA”),及促進終端用戶之間資訊通訊的其他裝置。
本發明參閱到”一個實施例”或”一實施例”或”一實施方式”,以及其另外的變化,是指配合該實施例所說明的一特殊特點、結構、特性等係包含在本發明的至少一實施例中。因此,在本說明書的不同地方出現"在一實施例中"或"在一實施方式中"或"在一個實施方式中",以及其他任何變化,不必全參閱到相同實施例。
此外,本發明說明或申請專利範圍可參照到”判定”各種資訊件,判定資訊例如可包含以下各項中的一或多者:評估資訊、計算資訊、預測資訊或從記憶體檢索出資訊。
此外,本發明說明或申請專利範圍可參照”接收”各種資訊件,接收係如同”存取”希望作為一廣義詞,接收資訊例如可包含存取資訊或(例如從記憶體中)檢索資訊中的一或多者。此外,”接收”通常係涉及操作期間以一方式或另一方式如儲存資訊、處理資訊、傳送資訊、移動資訊、複製資訊、拭除資訊、計算資訊、判定資訊、預測資訊或評估資訊。
雖然已在本文中參考特定實施例說明本發明,但應了解本發明未侷限於該等特定實施例,及熟諳此藝者將明白數個修改,其包含在本發明的範圍內。
例如,雖然在上述範例中,已說明基於HEVC編碼過程的
編碼過程,但應明白本發明未侷限於任何特定編碼過程,LDR影像編碼可適用的其他編碼過程可應用在本發明的相關情況中。例如,該編碼過程及互補的解碼過程係可基於其他編碼/解碼方法,涉及一些編碼策略最佳化步驟如MPEG2、MPEG4、AVC、H.263及類似者。
一旦參考上述繪示實施例,精通此藝者將自行建議許多進一步的修改及變化,僅藉由範例提供該等實施例,並非意欲限制本發明的範疇,其係單單由後附申請專利範圍來判定,尤其來自不同實施例的不同特徵只要適當係可互換。
BI‧‧‧影像區塊
ENC1,ENC2‧‧‧編碼器
△E‧‧‧臨界值
I‧‧‧影像
IC‧‧‧影像轉換模組
Ip‧‧‧高動態範圍影像
LF‧‧‧亮度處理模組
L lf ‧‧‧低空間頻率亮度分量
‧‧‧量化過的低空間頻率亮度分量
‧‧‧低空間頻率亮度分量解碼版本
LPT‧‧‧局部知覺變換單元
PART1,PART2‧‧‧分割模組
Q‧‧‧量化單元
Q-1‧‧‧反量化單元
RATE-DIST‧‧‧位元率失真模組
S101‧‧‧知覺空間變換步驟
S102,S107,S106,S116‧‧‧編碼步驟
S110,S111‧‧‧熵編碼步驟
S103‧‧‧公用代表亮度分量得到步驟
S104,S109‧‧‧量化步驟
S105‧‧‧局部知覺空間變換步驟
S108‧‧‧變換步驟
S112‧‧‧反量化步驟
S114‧‧‧反變換步驟
S118‧‧‧重建步驟
S120‧‧‧評估步驟
S122‧‧‧調整步驟
T‧‧‧變換單元
T-1‧‧‧反變換單元
Claims (18)
- 一種將一高動態範圍影像之至少一部分編碼之方法,該影像係定義於一高動態範圍知覺空間中,具有一亮度分量及一色差度量,該方法包括以下步驟:- 使用一低動態範圍(LDR)影像可適用之編碼過程,及應用至少一編碼參數於該編碼過程中,將該部分影像之一片段編碼(S102;S202,S107;S207,S116;S216);- 重建(S118,S224)該編碼片段於高動態範圍知覺空間中;- 評估(S120;S220)一位元率失真成本以用於該高動態範圍知覺空間中之編碼片段;及- 基於評估之位元率失真成本,調整(S122;S222)該至少一編碼參數以用於該片段之編碼過程。
- 如申請專利範圍第1項之方法,其中該至少一編碼參數界定該影像分割成該影像待編碼片段,各待編碼片段具有一對應HDR知覺空間。
- 如申請專利範圍第2項之方法,其中該至少一編碼參數包括一編碼四元樹參數。
- 如前述申請專利範圍中任一項之方法,又包括基於該片段之對應影像樣本之亮度值,得到(S103,S203)一公用代表亮度分量值以用於該片段。
- 如申請專利範圍第4項之方法,其中評估該位元率失真成本(S120)包括評估該公用代表分量值相關聯之位元率。
- 如前述申請專利範圍中任一項之方法,其中該編碼過程係一根據HEVC壓縮技術之編碼過程,及該至少一部分影像之片段對應至一編碼單位、一預測單位或一變換單位。
- 如申請專利範圍第2至6項中任一項之方法,又包括在該片段編碼前,基於該公用代表亮度分量值,將該影像片段表現於一局部知覺空間中(S105;S205)。
- 如申請專利範圍第7項之方法,包括得到一局部LDR域中之一局部殘餘亮度分量以用於該片段,該局部殘餘亮度分量對應至原影像之對應 亮度分量與該片段之公用代表亮度值間之差分。
- 如申請專利範圍第8項之方法,又包括得到該局部知覺空間中之至少一對應影像部分以用於該片段,該至少一影像部分對應至該片段之局部殘餘亮度分量或色彩分量,係根據該片段之公用代表亮度值加以正規化。
- 如申請專利範圍第9項之方法,其中評估該位元率失真成本(S120;S220)包括評估該至少一影像部分編碼相關聯之位元率。
- 如前述申請專利範圍中任一項之方法,其中評估該位元率失真成本(S120;S220)包括評估該編碼片段於高動態範圍知覺空間中之重建相關聯之失真。
- 如前述申請專利範圍中任一項之方法,其中基於以下表式,評估位元率失真成本D HDR 以用於一編碼參數集p:D HDR (CU,p)+λ(R LDR (CU,p)+R(L lf ,p))其中:˙R LDR (Cu,p)係與一殘餘影像部分編碼相關聯之位元率;R(L lf ,p)係與該公用代表亮度分量值編碼相關聯之位元率;D HDR (CU,p)係與該編碼片段於高動態範圍知覺空間中重建相關聯失真相關聯之失真;及λ係一拉格朗日(Lagrange)參數。
- 如前述申請專利範圍中任一項之方法,又包括執行該局部知覺空間中重建之殘餘影像部分樣本及原紋理樣本與該影像之對應樣本間之精化(S218)。
- 一種編碼裝置,用以將一高動態範圍影像之至少一部分編碼,該影像係界定於一高動態範圍知覺空間中,具有一亮度分量及一色差度量,該裝置包括:- 一編碼器(ENC;ENC1,ENC2,ENC3),用以使用一低動態範圍(LDR)影像可適用之編碼過程,及應用至少一編碼參數於該編碼過程中,將該部分影像之一片段編碼;- 一重建模組(REC),用以重建該編碼片段於該高動態範圍知覺空間中; - 一位元率失真模組(RATE-DIST),用以判定一位元率失真成本以用於該高動態範圍知覺空間中之編碼片段;及- 一編碼器管理模組(ENCODER CONTROL;ENC-CTRL),基於評估之位元率失真成本,用以調整該至少一編碼參數以用於該片段之編碼過程。
- 一種解碼方法,用以將一高動態範圍影像之至少一部分之位元流表示解碼,該影像係定義於一知覺空間中,具有一亮度分量及一色差度量,該方法包括以下步驟:存取該影像編碼所使用之至少一編碼參數之編碼資料表示,使用一低動態範圍(LDR)影像可適用之解碼過程,藉由應用該至少一編碼參數分別對應之至少一解碼參數,將該至少一部分影像之一片段解碼;其中在該片段藉由一LDR影像可適用之編碼過程編碼及該片段在高動態範圍知覺空間中重建後,基於一評估用於該片段之位元率失真成本,在先前判定該編碼參數。
- 一種解碼裝置,用以將一高動態範圍影像之至少一部分之位元流表示解碼,該影像係定義於一知覺空間中,具有一亮度分量及一色差度量,該裝置包括:一介面(I/O;530),用以存取該影像編碼所使用之至少一編碼參數之編碼資料表示;一解碼器(DEC;501,502;520),用以使用一低動態範圍(LDR)影像可適用之解碼過程,藉由應用該至少一編碼參數分別對應之至少一解碼參數,將該至少一部分影像之一片段解碼;其中在該片段藉由一LDR影像可適用之編碼過程編碼及該片段在高動態範圍知覺空間中重建後,基於一評估用於該片段之位元率失真成本,在先前判定該至少一編碼參數。
- 一種資料流,包括:一高動態範圍影像之至少一部分位元流表示,該影像界定於一知覺空間中,具有一亮度分量及一色差度量,及至少一編碼參數之編碼資料表示用以將該影像編碼,其中在一編碼片段已藉由一LDR影像可適用之編碼過程編碼及重建於該高動態範圍知覺空間 中,基於一評估用於該影像編碼片段之位元率失真成本,在先前判定該至少一編碼參數。
- 一種用於可程式裝置之電腦程式產品,該電腦程式產品包括一序列指令,當該可程式裝置載入及執行該等指令時,以實施如申請專利範圍第1至13或15項中任一項之方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14030504 | 2014-01-10 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201531089A true TW201531089A (zh) | 2015-08-01 |
Family
ID=54342915
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW104100462A TW201531089A (zh) | 2014-01-10 | 2015-01-08 | 將影像資料編碼之方法及裝置,以及將影像資料解碼之方法及裝置 |
TW104100461A TW201532427A (zh) | 2014-01-10 | 2015-01-08 | 用戶終端機配置成接收多段分割之多媒體內容以取得網路資訊之方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW104100461A TW201532427A (zh) | 2014-01-10 | 2015-01-08 | 用戶終端機配置成接收多段分割之多媒體內容以取得網路資訊之方法 |
Country Status (1)
Country | Link |
---|---|
TW (2) | TW201531089A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI756146B (zh) * | 2015-08-04 | 2022-02-21 | 美商杜比實驗室特許公司 | 用於在高動態範圍信號中色彩轉換的方法、設備及非暫態電腦可讀儲存媒體 |
-
2015
- 2015-01-08 TW TW104100462A patent/TW201531089A/zh unknown
- 2015-01-08 TW TW104100461A patent/TW201532427A/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI756146B (zh) * | 2015-08-04 | 2022-02-21 | 美商杜比實驗室特許公司 | 用於在高動態範圍信號中色彩轉換的方法、設備及非暫態電腦可讀儲存媒體 |
Also Published As
Publication number | Publication date |
---|---|
TW201532427A (zh) | 2015-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6568078B2 (ja) | 画像データを符号化するための方法および装置ならびに画像データを復号するための方法および装置 | |
KR101261526B1 (ko) | 영상의 부호화 방법 및 장치, 복호화 방법 및 장치 | |
US20170171565A1 (en) | Method and apparatus for predicting image samples for encoding or decoding | |
CN105230023A (zh) | 色彩空间、色彩采样率和/或比特深度的自适应切换 | |
KR20160102414A (ko) | 높은 동적 범위 이미지를 인코딩 및/또는 비트스트림을 디코딩하기 위한 방법 및 장치 | |
TW201540052A (zh) | 將高動態範圍影像編碼成位元流及/或將表示高動態範圍影像之位元流解碼之方法及裝置 | |
TW201531089A (zh) | 將影像資料編碼之方法及裝置,以及將影像資料解碼之方法及裝置 | |
TWI668990B (zh) | 將高動態範圍影像編碼之方法及裝置 | |
EP3026912A1 (en) | Method and device for encoding and decoding a HDR picture and a LDR picture using illumination information | |
Le Pendu et al. | Template based inter-layer prediction for high dynamic range scalable compression | |
CA3039701A1 (en) | Systems, methods, and apparatuses for processing video | |
KR20160135670A (ko) | 픽처 블록을 인코딩/디코딩하기 위한 방법 | |
EP2887665A1 (en) | Method and device for encoding a high-dynamic range image | |
WO2015177132A1 (en) | Method and device for encoding a high-dynamic range frame and/or decoding a bitstream | |
Chou et al. | A visual model for estimating the perceptual redundancy inherent in color images | |
WO2015177136A1 (en) | Method and device for encoding a high-dynamic range frame and/or decoding a bitstream | |
WO2015177139A1 (en) | Method and device for encoding a high-dynamic range frame and/or decoding a bitstream | |
WO2015062942A1 (en) | Method and device for predictive coding/decoding of a group of pictures of a sequence of images with conversion of the dynamic of the values of the pixels | |
WO2015177133A1 (en) | Method and device for encoding a high-dynamic range frame and/or decoding a bitstream | |
TW201534106A (zh) | 將影像資料量化之方法及裝置,將影像編碼之方法及裝置,以及將影像解碼之方法及裝置 |