TW201601519A - 在位元流中將低動態範圍圖像之圖像/視訊格式及從該低動態範圍圖像及照明圖像中得到之解碼高動態範圍圖像之圖像/視訊格式以信號表示之方法及裝置 - Google Patents

在位元流中將低動態範圍圖像之圖像/視訊格式及從該低動態範圍圖像及照明圖像中得到之解碼高動態範圍圖像之圖像/視訊格式以信號表示之方法及裝置 Download PDF

Info

Publication number
TW201601519A
TW201601519A TW104118996A TW104118996A TW201601519A TW 201601519 A TW201601519 A TW 201601519A TW 104118996 A TW104118996 A TW 104118996A TW 104118996 A TW104118996 A TW 104118996A TW 201601519 A TW201601519 A TW 201601519A
Authority
TW
Taiwan
Prior art keywords
image
ldr
decoded version
hdr
information
Prior art date
Application number
TW104118996A
Other languages
English (en)
Other versions
TWI680674B (zh
Inventor
艾杜華德 法蘭柯斯
塞巴斯汀 萊薩里
法布里斯 拉蘭奈克
皮耶 安德烈凡
揚尼克 奧利維
大衛 多茲
Original Assignee
湯姆生特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯姆生特許公司 filed Critical 湯姆生特許公司
Publication of TW201601519A publication Critical patent/TW201601519A/zh
Application granted granted Critical
Publication of TWI680674B publication Critical patent/TWI680674B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Non-Portable Lighting Devices Or Systems Thereof (AREA)

Abstract

本發明係為一種用於信號表示之方法,在表示一低動態範圍(LDR)圖像及一照明圖像(兩者皆從一高動態範圍(HDR)圖像中得到)之位元流中,將該LDR圖像之解碼版本之圖像/視訊格式(稱為輸出LDR格式),及該HDR圖像之解碼版本之圖像/視訊格式(稱為輸出HDR格式),兩者皆以信號表示,該方法包括將定義該輸出LDR格式之第一語法元素編碼至該位元流中。該方法之特徵在於,尚包括於該位元流中編碼入一第二語法元素,其係相異於第一語法元素及其定義輸出HDR格式。 本發明進一步係一種編碼/解碼之方法/裝置,電腦程式產品,處理器可讀取媒體,非暫態儲存媒體,及信號。

Description

在位元流中將低動態範圍圖像之圖像/視訊格式及從該低動 態範圍圖像及照明圖像中得到之解碼高動態範圍圖像之圖像/視訊格式以信號表示之方法及裝置
本發明一般相關以信號表示一分配框架中的輸出圖像/視訊格式,該分配框架包括雙調變編碼/解碼方案。
本發明尚相關一編碼方法,其產生一位元流表示一低動態範圍(LDR)圖像及一照明圖像,及相關一解碼方法及裝置,其係根據該位元流以信號表示的輸出圖像/視訊格式以解碼一低動態範圍(LDR)或高動態範圍(HDR)圖像。
本段落希望向讀者介紹此藝的各種不同方面,其可相關本發明如下說明及/或主張的各種方面,咸信本討論有助於提供讀者背景資訊,對本發明的不同方面有較佳瞭解。因此,應瞭解到此等陳述係依此觀點加以閱讀,並非作為先前技術的認可。
以下,一圖像(在先前技術中有時稱為一影像或訊框)包含一或數陣列的樣本(像素值)在一特定圖像/視訊格式中,該圖像/視訊格式規定一圖像(或一視訊)的像素值關連的所有資訊,及可由顯示器或解碼裝置用以視覺化及/或解碼圖像(或視訊)的所有資訊。一圖像包括至少一分量,依第一陣列樣本的形狀,通常係一luma(或亮度)分量,及可能至少另一分量,依至少另一陣列樣本的形狀,通常係一色彩分量。
低動態範圍圖像(LDR圖像)係以有限位元數(大部分常是8或10)表示其luma樣本的圖像,此有限表示法不容許小信號變化的正確呈現,尤其在暗淡及明亮的亮度範圍中。在高動態範圍圖像(HDR圖像)中,延伸信號表示法,為使信號在其整個範圍中維持高準確度。在HDR 圖像中,luma樣本通常以浮點格式表示(32位元或16位元以用於各分量,稱為浮點或半浮點),最通用格式係openEXR(開放EXR)半浮點格式(每RGB分量16位元,即每樣本48位元),或以長表示法的整數表示,通常至少16位元。
雙調變方案係一典型措施,將輸入HDR圖像編碼到一位元流中,及藉由至少部分解碼位元流以得到輸入HDR圖像的解碼版本,其原理係從輸入HDR圖像中得到一照明圖像(亦稱為照明圖或背光圖像)。接著藉由輸入HDR圖像除以照明圖像以得到一殘餘圖像,及接著將將照明圖像(或表示照明圖像的照明資料)及殘餘圖像兩者皆直接編碼。
使用此措施以編碼一輸入HDR圖像導致編碼二分量:一殘餘圖像(以下稱LDR圖像),其可係可見圖像,及照明圖像(或表示照明圖像的照明資料)。接著可藉由直接至少部分解碼位元流以得到LDR圖像的解碼版本,及亦可藉由LDR圖像的解碼版本乘以照明圖像的解碼版本以得到輸入HDR圖像的解碼版本,該照明圖像的解碼版本係藉由至少部分解碼位元流所得到(或從至少部分解碼位元流所得到的照明資料)。
LDR圖像及照明圖像可具有不同輸入圖像/視訊格式(YUV、RGB、XYZ、...),及不必具有相同格式,例如,照明圖像可係單色調及LDR圖像格式可係YUV或RGB。
輸入LDR圖像的解碼版本的圖像/視訊格式(以下稱為輸出LDR格式),及輸入HDR圖像的解碼版本的圖像/視訊格式(以下稱為輸出HDR格式),可與輸入LDR及HDR圖像(以下分別稱為輸入LDR格式及輸入HDR格式)的格式係相同。
然而,輸入格式及輸出格式通常並不相同,原因在於輸出格式調適到特定條件係有利的,例如,輸出LDR或HDR格式係可調適到一些特定目標顯示器、周圍條件以用於解碼圖像的顯示或使用者偏好。輸出格式的此類調適增加圖像的解碼版本在該等特定目標顯示器的視覺品質,原因在於編碼/解碼方案使一已知位元率的分配最佳化,為要達到較佳視覺品質以用於該特定目標顯示器。
本發明待解決的問題係LDR或HDR圖像兩者(其可解碼自同一位元流)應符合一特定輸出LDR或HDR格式,其係不同於輸入LDR 或HDR格式。
在調適用以編碼單一圖像(或單一視訊)的傳統編碼/解碼方案中,使用一語法元素在位元流中以信號表示輸入圖像的圖像/視訊格式:所謂的’視訊可用性資訊’(VUI),例如定義在HEVC建議書("高效率視訊編碼",系列H:視聽及多媒體系統,ITU-T H.265建議書,ITU電信標準化部門,2013年四月),或H264/AVC建議書("一般視聽服務之先進視訊編碼",系列H:視聽及多媒體系統,ITU-T H.264建議書,ITU電信標準化部門,2014年二月)中。
輸入圖像的解碼版本的圖像/視訊格式則係VUI所定義的圖像/視訊格式,即相同於輸入圖像的圖像/視訊格式。
此外,由於此一傳統編碼/解碼方案只容許單一VUI用以信號表示待編碼圖像的輸入圖像/視訊格式,因此並非完全適用以信號表示同一位元流中的二圖像/視訊輸出格式,各關連到可從該位元流解碼的一圖像。
有鑑於以上說明,本發明的方面指向產生及維持一電腦系統上資料物件之間的語義關係,以下提出本發明的簡化概要,為要提供本發明一些方面的基本瞭解。此概要並非本發明的延伸概述,不預期用以識別本發明的重要或關鍵元件,以下概要僅以簡化形式提供本發明的一些方面,作為以下所提供較詳細說明的序幕。
為補救先前技術的一些缺點,本發明揭示一種用於信號表示的方法,在表示一LDR圖像及一照明圖像(兩者皆從一HDR圖像中得到)的位元流中,將該LDR圖像的解碼版本的圖像/視訊格式(稱為輸出LDR格式),及該HDR圖像的解碼版本的圖像/視訊格式(稱為輸出HDR格式),兩者皆以信號表示。該方法包括將一第一語法元素(定義輸出LDR格式)編碼到位元流中,該方法的特徵在於尚包括將一第二語法元素(其係相異於第一語法元素及其定義輸出HDR格式)編碼到位元流中。
本發明尚涉及一種編碼/解碼的方法/裝置、電腦程式產品、處理器可讀取媒體、非暫態儲存媒體,及信號。
以下將配合附圖說明本發明的實施例,使本發明的特定本 質以及本發明的其他目的、優勢、特點及用途更明朗化。
10‧‧‧HDR圖像分割步驟
11‧‧‧LDR圖像及照明圖像編碼步驟
12‧‧‧參數編碼步驟
20‧‧‧語法元素得到步驟
21‧‧‧LDR圖像(及照明圖像)解碼版本得到步驟
22‧‧‧HDR圖像解碼版本得到步驟
80‧‧‧LDR圖像及照明圖像包裝步驟
81‧‧‧訊框編碼成位元流步驟
82‧‧‧資訊資料處理步驟
90‧‧‧解碼訊框得到步驟
91‧‧‧資訊資料得到步驟
92‧‧‧資訊資料核對步驟
93‧‧‧LDR圖像(及照明圖像)解碼版本得到步驟
161‧‧‧HDR圖像的分量得到步驟
162‧‧‧照明圖像判定步驟
163‧‧‧除法步驟
201‧‧‧色調映射步驟
202‧‧‧定標步驟
203‧‧‧剪輯步驟
211‧‧‧逆定標步驟
212‧‧‧反色調映射步驟
213‧‧‧乘法步驟
240‧‧‧裝置
241‧‧‧資料及位址滙流排
242‧‧‧微處理器(CPU)
243‧‧‧唯讀記憶體(ROM)、快閃記憶體、硬碟
244‧‧‧隨機存取記憶體(RAM)、視訊記憶體
245‧‧‧輸入/輸出(I/O)介面、儲存介面、通訊介面
246‧‧‧電池
A,B‧‧‧遠程裝置
a i ,‧‧‧加權係數
Ba‧‧‧背光圖像
Ba灰階‧‧‧中灰階在一(mid-gray-at-one)背光影像
Ba調變‧‧‧已調變背光影像
BAM‧‧‧照明圖像判定模組
BI‧‧‧背光圖像判定模組
BM‧‧‧調變模組
CH‧‧‧核對模組
C(i)‧‧‧色彩分量
CLI‧‧‧剪輯模組
cst定標‧‧‧定標因子
cst調變‧‧‧調變係數
,γ,‧‧‧參數
DEC‧‧‧解碼器
ENC‧‧‧編碼器
FDEC‧‧‧位元流解碼模組
FENC‧‧‧位元流編碼模組
FPAS‧‧‧訊框-包裝-安排方案
F1,F2‧‧‧位元流
HL‧‧‧亮度平均值得到模組
I‧‧‧HDR圖像
‧‧‧HDR圖像的解碼版本
IC‧‧‧分量得到模組
ID‧‧‧資訊資料
IDD‧‧‧資訊資料得到模組
IDM‧‧‧資訊資料處理模組
IF‧‧‧照明圖像
‧‧‧照明圖像的解碼版本
ISCA‧‧‧逆定標模組
ISPLM‧‧‧HDR圖像解碼版本得到模組
ITMO‧‧‧反色調映射模組
L‧‧‧亮度分量
L平均值‧‧‧亮度平均值
N‧‧‧正規化模組
NET‧‧‧通訊網路
PACKM‧‧‧包裝模組
Param‧‧‧參數
Res,Resv,Ress,Resc‧‧‧殘餘圖像
RF‧‧‧LDR圖像
‧‧‧LDR圖像的解碼版本
SCA‧‧‧定標模組
SE1,SE2‧‧‧語法元素
SF‧‧‧單一訊框
SPLM‧‧‧HDR圖像分割模組
TDR‧‧‧目標動態範圍
TMO‧‧‧色調映射模組
UPACKM‧‧‧LDR圖像(及照明圖像)解碼版本得到模組
VDEC‧‧‧訊框解碼器
VENC‧‧‧訊框編碼器
ψ i ‧‧‧形狀函數
附圖中描繪本發明的一實施例,圖中:圖1係根據本發明的一實施例以方塊圖顯示一編碼方法的步驟,將一HDR圖像I編碼到一位元流F1中,其中從該HDR圖像中得到一LDR圖像及一照明圖像;圖2係根據本發明的一實施例以方塊圖顯示一解碼方法,從一位元流中解碼一HDR圖像或一LDR圖像,該位元流表示一LDR圖像及一照明圖像;圖3係根據本發明的一實施例以方塊圖顯示一VUI信息範例,表示一輸出LDR格式,其語法遵守HEVC建議書;圖4顯示HEVC規格的高階語法中的變化,以信號表示一新SEI信息的存在;圖5係根據本發明的一實施例以顯示一SEI信息範例,表示輸出HDR格式;圖5a顯示圖5中SEI信息的一變化;圖6顯示一附加SEI信息範例,用以嵌入照明圖像的資料;圖7顯示一SEI信息的語法變化範例,表示圖5所示HDR輸入格式;圖8係根據本發明的一實施例以方塊圖顯示步驟11的子步,用以編碼一LDR圖像及一照明圖像,兩者皆從一HDR圖像中得到;圖9係根據本發明的一實施例以方塊圖顯示步驟21的子步,將表示LDR圖像及照明圖像的一位元流解碼;圖10係根據本發明的一實施例以顯示一SEI信息的語法範例,關連到一訊框-包裝安排;圖11顯示一表格,提供圖10的旗標”內容_解譯_型式”的解譯;圖12顯示一表格,提供圖10的旗標”訊框_包裝_安排_型式”的解譯;圖13係根據本發明的一實施例以顯示一訊框-包裝-安排方案範例;圖14係根據本發明的一實施例以顯示一訊框-包裝-安排方案範例;圖15係根據本發明的一實施例的變化以顯示一訊框-包裝-安排方案範例;圖16係根據本發明的一實施例以方塊圖顯示步驟10的子步; 圖17係根據本發明的一實施例以方塊圖顯示步驟162的子步;圖18係根據本發明的一實施例以方塊圖顯示步驟162的子步;圖19係根據本發明的一實施例以方塊圖顯示步驟162的子步;圖20係根據圖1所述方法的一變化以方塊圖顯示一方法的步驟;圖21係根據圖2所述方法的一變化以方塊圖顯示一方法的步驟;圖22至23係根據本發明的一實施例以顯示一SEI信息範例表示輸出LDR格式,及一VUI信息範例表示輸出HDR格式;圖24係根據本發明的一實施例以顯示一裝置的架構範例;及圖25係根據本發明的一實施例以顯示二遠程裝置透過一通訊網路通訊。
相同參考數字符號表示相似或相同元件。
以下本文中將參考附圖以更詳細說明本發明,附圖中顯示本發明的實施例,然而本發明係可具體表現在許多替代形式中,不應解釋為限定在本文中提出的實施例。因此,雖然本發明可能作出各種不同的修改及替代形式,但附圖中係藉由範例以顯示本發明的數個特定實施例,並將在本文中詳細說明。然而,應瞭解並無意將本發明限定在所揭示的特殊形式,相反地,本發明將涵蓋所有包含在本發明如後附申請專利範圍所界定的精神及範疇內的修改、同等項及替代。
本文中使用的術語僅為說明特殊實施例,並不預期係本發明的限制,如本文中的使用,預期單數形"一"、一個"及"該"也包括複數形,除非是上下文另有清楚指明。尚應瞭解,本說明書中使用"包括"、"包括有"、"包含"及/或"包含有"等用詞時,明確指出所述特點、整數、步驟、操作、元件及/或組件的存在,但不排除一或多個其他特點、整數、步驟、操作、元件、組件及/或群組的存在或添加。此外,當表示一元件係"回應"或"連接"到另一元件時,該元件係可直接回應或連接到該另一元件,或可存在插入元件。對照下,當表示一元件係"直接回應"或"直接連接"到另一元件時,就無插入元件存在。本文中使用的"及/或"一詞包含列出的一或多個關聯項的任何及所有組合,並可縮寫為"/"。
應瞭解,雖然本文中使用第一、第二等用詞以描述不同元 件,但此等元件不應受限於此等用詞,此等用詞僅用以區別一元件與另一元件,例如,不背離本發明的教示,第一元件可稱作第二元件,同樣地,第二元件可稱作第一元件。
雖然有些附圖在通訊路徑上包含箭頭用以顯示一主要通訊方向,但應瞭解通訊可發生在所示箭頭的相反方向。
有些實施例係以方塊圖及操作流程圖說明,其中各區塊表示一電路元件、模組,或部分碼,其包括一或多個可執行指令用以實施規定的(數個)邏輯函數。亦應注意,在其他實作中,區塊中所示該(等)函數可不依所示次序發生,例如,取決於所涉及功能性,顯示為連續的二區塊事實上係大體上同時執行,或該等區塊有時係可依相反次序執行。
本文中參考"一個實施例"或"一實施例"意指配合該實施例所說明的一特殊特點、結構或特性係可包含在本發明的至少一實作中。在說明書的各種地方出現"在一實施例中"或”根據一實例”的用語,未必全參考相同實施例,分開或替代的實施例也未必與其他實施例互不相關。
在申請專利範圍中出現的參考數字符號係僅藉由繪示說明,在申請專利範圍的範疇上不應具有任何限制作用。
雖未明確說明,但本發明的實施例及變化係可運用在任何組合或子組合中。
以下所述方法係調適用以編碼一HDR圖像,但可延伸用以編碼一序列HDR圖像(視訊),原因在於該序列圖像係互相獨立地編碼。
一般而言,本發明涉及一種用於信號表示的方法,在一位元流中,將一LDR圖像RF(從一HDR圖像中得到)的解碼版本的圖像/視訊格式(稱為輸出LDR格式),及該原始HDR圖像I的解碼版本的圖像/視訊格式(稱為輸出HDR格式),兩者皆以信號表示。
該方法包括將一第一語法元素(定義輸出LDR格式)及一第二語法元素(其係相異於第一語法元素及定義輸出HDR格式)編碼到位元流中。
圖1係根據本發明的一實施例以方塊圖顯示一編碼方法的步驟,將一HDR圖像I編碼到一位元流F1中,其中從該HDR圖像中得到一LDR圖像及一照明圖像。
該方法包括一模組FENC,其係配置用以將一第一語法元素SE1及一第二語法元素SE2編碼(步驟12)到一位元流F2中,第一語法元素定義輸出LDR格式,及第二語法元素係相異於第一語法元素SE1及定義輸出HDR格式。
從待編碼輸入HDR圖像中判定出LDR圖像及照明圖像IF係熟知方法。(«高動態範圍視訊編碼»,JCTVC-P0159,San José,美國,2014年1月9-17日)
例如,照明圖像IF可包括三個一組的照明值用於輸入HDR圖像I的各樣本,三連值的各值係一照明值用於一樣本的一色彩分量值。照明圖像IF係可由形狀函數的加權線性組合表示,或由HDR圖像I的亮度分量的低頻版本表示,但本發明未侷限於任何特定構件用以得到或表示待編碼HDR圖像I關連的一照明圖像IF。
LDR圖像RF通常係從HDR圖像及照明圖像IF所得到的一殘餘圖像,通常係藉由HDR圖像I除以照明圖像IF以得到該殘餘圖像。
在步驟10中,一分割器SPLM係配置用以得到LDR圖像RF及照明圖像IF。
根據一實施例,模組SPLM係配置用以從一區域/遠程記憶體或從一通訊網路中得到LDR圖像RF或照明圖像IF或兩者。
根據一實施例,模組SPLM係配置用以將HDR圖像I分割成LDR圖像RF及照明圖像IF。
在步驟11中,藉由一編碼器ENC以編碼LDR圖像及照明圖像(或者表示照明圖像IF的照明資料)。
根據一變化,模組FENC尚配置用以編碼編碼器ENC所使用的一些參數Param。
根據一實施例,將參數Param編碼到位元流F2中。
根據一實施例,至少一些參數Param及位元流F1(及/或可能F2)係非同步地傳送。
以下將詳細說明參數Param中的一些者。
圖2係根據本發明的一實施例以方塊圖顯示一解碼方法,從表示LDR圖像及一照明圖像的位元流中解碼一HDR圖像或一LDR 圖像。
在步驟20中,一模組FDEC係配置用以藉由至少部分解碼位元流F2以得到第一語法元素SE1及第二語法元素SE2,第一語法元素定義輸出LDR格式及第二語法元素定義輸出HDR格式。
根據一變化,模組FDEC尚配置用以從一區域記憶體中或藉由至少部分解碼位元流F2以得到一些參數Param。
根據一變化,至少一些參數Param及位元流F1(及/或可能F2)係非同步地接收到。
在步驟21中,一解碼器DEC係配置用以藉由至少部分解碼位元流F1以得到LDR圖像RF的解碼版本及照明圖像IF的解碼版本
根據步驟21的一實施例,可從照明資料中得到照明圖像IF的解碼版本
根據變化,從一區域記憶體中得到LDR圖像RF的解碼版本及/或照明圖像IF的解碼版本
根據一變化,尚根據一些參數Param以得到LDR圖像RF的解碼版本
LDR圖像RF的解碼版本具有一格式,其係由第一語法元素SE1的輸出LDR格式所定義。
在步驟22中,一模組ISPLM係配置用以從LDR圖像RF的解碼版本及照明圖像IF的解碼版本中得到HDR圖像I的解碼版本
HDR圖像I的解碼版本具有一格式,其係由第二語法元素SE2的輸出HDR格式所定義。
根據一變化,根據一些參數Param以得到HDR圖像I的解碼版本
根據該方法的第一實施例,第一語法元素SE1係一VUI(視訊可用性資訊)信息,例如稱為"vui-參數()",及第二語法元素SE2係一SEI(補充增強資訊)信息,例如稱為”雙_調變_資訊()”。
圖3係根據本發明的一實施例以顯示VUI信息"vui-參數 ()”的一範例,表示一輸出LDR格式,其語法遵守HEVC建議書。
VUI信息包含標籤,其實際上定義輸出LDR格式:- 視訊_格式指出LDR圖像的格式(如PAL(可程式陣列邏輯)或SECAM(法國及東歐彩色電視系統));- 視訊_全_範圍_旗標指出LDR圖像是否佔用已編碼值的全部可用範圍;- 色彩_描述_存在_旗標係一旗標等於1,其指出應否使用三元素色彩_主色、傳遞_特性矩陣_係數以賦能一顯示器正確地呈現顏色;- 色彩_主色指出來源主色的色度座標;- 傳遞_特性指出LDR圖像的光電傳遞特性;- 矩陣_係數描述從綠藍紅主色中導出亮度及色度分量中所使用的矩陣係數。
圖5係根據本發明的一實施例以顯示SEI信息”雙_調變_資訊()”的一範例,表示一輸出HDR格式。
SEI信息”雙_調變_資訊()”提供HDR圖像I的解碼版本的輸出HDR格式有關的資訊。
- 調變_通道_取消_旗標等於1指出SEI信息”雙_調變_資訊()”取消任何先前SEI信息”雙_調變_資訊()”在輸出次序中的持續性。
- 調變_通道_取消_旗標等於0指出照明圖像資訊隨後到。
- 調變_通道_目標_樣本_格式規定HDR圖像I的解碼版本的亮度及色度樣本陣列其樣本的格式。
根據一實施例,標籤調變_通道_目標_樣本_格式等於0指出樣本係在整數格式中,用於調變_通道_目標_樣本_格式大於0的值係由ITU-T | ISO/IEC保留用於未來用途。當調變_通道_目標_樣本_格式的值不存在時,推斷其係等於0。
根據一實施例,標籤調變_通道_目標_樣本_格式等於1用以支援16位元半浮點格式。
根據一實施例,標籤調變_通道_目標_樣本_格式等於2用以支援32位元半浮點格式。
- 調變_通道_目標_位元_色度_格式_idc具有如以上引用HEVC建議書 的子條款7.4.3.2中規定用於色度_格式_idc語法元素的相同語義,但如下除外:調變_通道_目標_位元_色度_格式_idc規定HDR圖像I的解碼版本的色度格式,而非用於編碼視訊序列(CVS)的色度格式。
調變_通道_目標_位元_色度_格式_idc係不存在於SEI信息”雙_調變_資訊()”中,推斷調變_通道_目標_位元_色度_格式_idc的值係等於色度_格式_idc(其相關LDR圖像)。
- 調變_通道_目標_位元_深度_亮度_減8加8規定HDR圖像I的解碼版本的亮度樣本陣列其樣本的位元深度。
標籤調變_通道_目標_位元_深度_亮度_減8應在0至8的範圍中(包括0及8),當調變_通道_目標_位元_深度_亮度_減8係不存在於SEI信息”雙_調變_資訊()”中,推斷調變_通道_目標_位元_深度_亮度_減8的值係等於位元_深度_亮度_減8
- 調變_通道_目標_位元_深度_色度_減8加8規定HDR圖像I的解碼版本的色度樣本陣列其樣本的位元深度。
標籤調變_通道_目標_位元_深度_色度_減8應在0至8的範圍中(包括0及8),當調變_通道_目標_位元_深度_色度_減8係不存在於SEI信息”雙_調變_資訊()”中,推斷調變_通道_目標_位元_深度_亮度_減8的值係等於位元_深度_色度_減8
- 調變_通道_目標_視訊_全_範圍_旗標具有如以上引用HEVC建議書的子條款E.2.1中規定用於視訊_全_範圍_旗標語法元素的相同語義,但如下除外:調變_通道_目標_視訊_全_範圍_旗標規定用於HDR圖像I的解碼版本的色彩空間,而非用於CVS的色彩空間。
當標籤調變_通道_目標_視訊_全_範圍_旗標係不存在於SEI信息”雙_調變_資訊()”中,推斷調變_通道_目標_視訊_全_範圍_旗標的值係等於視訊_全_範圍_旗標
- 調變_通道_目標_色彩_主色具有如以上引用HEVC建議書的子條款E.2.1中規定用於色彩_主色語法元素的相同語義,但如下除外:調變_通道_目標_色彩_主色規定用於HDR圖像I的解碼版本的色彩空間,而非用於CVS的色彩空間。當調變_通道_目標_色彩_主色係不存在於SEI信息”雙_調變_資訊()”中,推斷調變_通道_目標_色彩_主色的 值係等於色彩_主色
- 調變_通道_目標_傳遞_特性具有如以上引用HEVC建議書的子條款E.2.1中規定用於傳遞_特性語法元素的相同語義,但如下除外:調變_通道_目標_傳遞_特性規定用於HDR圖像I的解碼版本的色彩空間,而非用於CVS的色彩空間。
調變_通道_目標_傳遞_特性係不存在於SEI信息”雙_調變_資訊()”中,推斷調變_通道_目標_傳遞_特性的值係等於傳遞_特性
- 調變_通道_目標_矩陣_係數具有如以上引用HEVC建議書的子條款E.2.1中規定用於矩陣_係數語法元素的相同語義,但如下除外:調變_通道_目標_矩陣_係數規定用於HDR圖像I的解碼版本的色彩空間,而非用於CVS的色彩空間。
調變_通道_目標_矩陣_係數係不存在於SEI信息”雙_調變_資訊()”中,推斷調變_通道_目標_矩陣_係數的值係等於矩陣_係數
SEI信息”雙_調變_資訊()”尚提供資訊用以得到照明圖像IF的解碼版本,用以得到HDR圖像I的解碼版本
- 調變_通道_型式指出用以產生HDR圖像I的解碼版本的模式,標籤調變_通道_型式等於0指出照明圖像IF的解碼版本對應到一輔助編碼圖像的樣本值,若輔助圖像比主編碼圖像具有較小寬度及/或高度,可能在升頻取樣後。請注意,輔助圖像及主圖像係由以上引用的HEVC建議書所定義。
根據圖5所示實施例,標籤調變_通道_型式等於1指出照明圖像IF的解碼版本係由形狀函數(PSF,將詳細說明如下)的加權線性組合表示。
在此情形中,參數”調變_PSF_X_間距”、”調變_PSF_Y_間距”、”調變_PSF_寬度”、”調變_PSF_高度”、”調變_PSF_長度_減1””調變_PSF_係數”係相關PSF的描述。
用於調變_通道_型式大於1的值係由ITU-T | ISO/IEC保留用於未來用途。當調變_通道_型式的值不存在時,推斷其係等於0。
根據一實施例,應用到PSF以得到照明圖像IF的解碼版本的加權係數係嵌入一輔助圖像中,該輔助圖像的語法遵守HEVC建 議書。
根據一實施例,如圖6所繪示,在SEI信息"雙_調變_資訊()”之外,尚規定一附加SEI信息”調變_通道_資訊()”
應用到PSF以得到照明圖像IF的解碼版本的加權係數係嵌入(編碼)到SEI信息”調變_通道_資訊()”中。
- 調變_通道_寬度對應到第一色彩分量(其例如可係亮度分量,或Y分量)的加權係數矩陣中每列的樣本數。
- 調變_通道_高度對應到第一色彩分量(其例如可係亮度分量,或Y分量)的加權係數矩陣中每行的樣本數。
- 調變_通道_寬度_CbCr對應到第二及/或第三色彩分量(其例如可係色度分量,或X或Z分量)的加權係數矩陣中每列的樣本數。
- 調變_通道_高度_CbCr對應到第二及/或第三色彩分量(其例如可係色度分量,或X或Z分量)的加權係數矩陣中每行的樣本數。
- 調變_通道_樣本[c][cy][cx]係色彩分量c的樣本在加權係數矩陣中的水平位置cx及垂直位置cy的樣本值。
SEI信息”雙_調變_資訊()”尚提供後處理的參數有關的資訊,預期將該等參數在LDR圖像RF的解碼版本與照明圖像IF的解碼版本相乘前應用到LDR圖像的解碼版本。
- “調變_ldr_映射_型式”相關待應用到LDR圖像RF的解碼版本的過程型式,此標籤指出LDR圖像是否係表達在Lab色彩空間或在YCbCr(或Yuv)色彩空間。
根據一變化,當LDR圖像係表達在YCbCr色彩空間時,一些附加參數(“調變_slog_a0”、“調變_slog_b0”、“調變_slog_c0”、”調變_定標_因子”、”調變_RGB_因子”)係嵌入圖5的SEI信息”雙_調變_資訊()”中。此等參數係由預期在乘法前應用到LDR圖像RF的解碼版本的後處理所使用。
根據此變化的一替代例,當後處理涉及個別樣本值上的嵌射運算時,及當該等連續運算可序連成單一運算時,與其將附加參數編碼到SEI信息中,不如將查找表嵌入SEI信息中。
例如,用於各樣本值,簡單數學運算的級聯如: s=s*S/65536
s=exp((s-c0)/a0)-b0
s=s*RGB_因子/1024其中根據先前變化,S、a0、b0、0、RGB_因子通常係嵌入SEI信息中的參數。
- 調變_通道_LUT0_大小指出陣列調變_通道_LUT0_係數的大小。
- 調變_通道_LUT0_係數對應到一大小陣列調變_通道_LUT0_大小,其應用到照明圖像的第一分量陣列的樣本。
- 調變_通道_LUT1_大小指出陣列調變_通道_LUT1_係數的大小。
- 調變_通道_LUT1_係數對應到一大小陣列調變_通道_LUT1_大小,其應用到照明圖像的至少第二分量陣列的樣本。
- 調變_LDR_LUT0_大小指出陣列調變_LDR_LUT0_係數的大小。
- 調變_LDR_LUT0_係數對應到一大小陣列調變_LDR_LUT0_大小,其應用到LDR圖像的第一分量陣列的樣本。
- 調變_LDR_LUT1_大小指出陣列調變_LDR_LUT1_係數的大小。
- 調變_LDR_LUT1_係數對應到一大小陣列調變_LDR_LUT1_大小,其應用到LDR圖像的至少第二分量陣列的樣本。
此替代例的一變化係在後處理樣本值之前,將參數(例如”調變_slog_a0”、”調變_slig_b0”、”調變_slog_c0”、”調變_定標_因子”、”調變_RGB_因子”)編碼到SEI信息中,用以從此等參數中建立查找表。
根據該方法的一變化,當位元流表示一序列圖像時,可將加權係數矩陣編碼到位元流中以用於各圖像,及可使第一語法元素及第二語法元素保持不變。
根據一變化,當使用Lab色彩空間用於LDR圖像(在此對應到調變_ldr_映射_型式等於0,圖5)時,VUI信息中的一些參數(圖3)必須係固定到一值對應到"未規定”,用以指出LDR圖像RF的解碼版本無法未經處理即由一顯示器或呈現裝置直接解譯:
- 色彩_主色=2(未規定)
- 傳遞_特性=2(未規定)
- 矩陣_係數=2(未規定)。
如圖6所示,當照明圖像IF係以信號表示在一附加SEI信息”調變_通訊_資訊”中,可簡化SEI信息”雙_調變_資訊()”,藉由只賦能調變模式對應到小的加權係數陣列的信號表示,該等加權係數係待應用以區域化PSF用於照明圖像的重建。實際上,相較於照明圖像的一般樣本數(如用於一HD圖像,從數百到數千樣本),此變化能使SEI信息中的編碼值(樣本)數目明顯地減少。因此這較適合SEI信息應保持大小縮減的概念,但該簡化亦可應用於照明圖像的任何型式信號表示,係訊框包裝或附加的SEI信息。
圖7顯示簡化SEI信息的一範例,表示圖5所示HDR輸出格式。
遵循HEVC建議書,應在一位元流中指出任何SEI信息的酬載。
圖4顯示一範例將SEI信息以信號表示成一語法結構,稱為"SEI_酬載",其係用以將相關圖5(或圖7)所述特定SEI信息以信號表示在位元流F2中。SEI酬載"sei-酬載()"具有一語法,其遵守HEVC建議書,但粗體內文除外,已添加該等粗體內文以信號表示SEI信息"雙_調變_資訊()"。請注意,"XXX"係基於HEVC建議書中已使用值所定義的一固定已知值。
圖8係根據本發明的一實施例以方塊圖顯示步驟11的子步,用以編碼LDR圖像及照明圖像IF。
根據以下相關圖8所述實施例的一變化,藉由從HDR圖像I中減去LDR圖像RF的解碼版本以得到一第二殘餘圖像,此第二殘餘圖像以下亦稱為第二LDR圖像。可藉由HDR圖像I除以LDR圖像RF以得到此第二殘餘圖像,第二殘餘圖像則在於HDR圖像I與LDR圖像RF之間的比例殘餘資訊。
在子步80中,根據一特定訊框-包裝-安排方案FPAS,一模組PACKM係配置用以將LDR圖像RF及照明圖像IF(及可能至少另一圖像如第二殘餘圖像)包裝到單一訊框SF中。
以下只揭示LDR圖像及照明圖像的情形,但明顯地,以下揭示延伸到超過二圖像包裝在單一訊框SF中。
在子步81中,一編碼器VENC將訊框SF編碼到位元流F1中。
根據一實施例,編碼單一訊框SF係根據編碼參數,其取決於特定訊框-包裝-安排方案,可將此等參數視為一些參數Param。
根據此實施例的一變化,定義編碼參數為使單一訊框編碼到二相異片中,一片含有LDR圖像RF及另一片含有照明圖像IF。根據所利用的標準編碼方案(H.264/AVC、HEVC、JPEG2000),此等片亦可採用片群、磚、磚群、管理區的形式。
此變化係有利的,原因在於其容許一特定處理如特定編碼應用在照明圖像IF(分別係LDR圖像RF)上,但不在LDR圖像RF(分別係照明圖像IF)上。
位元流F1因此包括訊框SF,其包含二相異包裝成分圖像的樣本:LDR圖像RF及照明圖像IF。
在子步82中,一模組IDM係根據一特定訊框-包裝-安排方案FPAS以處理一資訊資料ID,該資訊資料指出訊框SF包含至少二相異包裝成分圖像的樣本。
資訊資料ID包括至少一旗標,及可係一些參數Param。
模組IDM尚配置用以規定資訊資料ID指出:至少二相異包裝成分圖像中的一者對應到一LDR圖像RF,及該至少二相異包裝成分圖像中的另一者對應到該LDR圖像RF關聯的一照明圖像IF。
根據一實施例,資訊資料IF尚指出該至少二相異包裝成分圖像中的另一者對應到另一圖像如第二殘餘圖像,即藉由從LDR圖像中減去LDR圖像的編碼/解碼版本所得到的一殘餘圖像。
根據一實施例,資訊資料ID識別特定訊框-包裝-安排方案,接著可由特定訊框-包裝-安排方案限制編碼參數。
根據子步82的一實施例,模組IDM尚配置用以定義資訊資料ID指出LDR圖像及照明圖像不具有相同大小(不具有相同列數或相同行數或兩者),及/或在訊框SF中具有特定位置。
根據子步82的一實施例,模組IDM尚配置用以定義資訊資料ID指出LDR圖像的大小(列數及行數)及/或位置,及/或照明圖像的 大小及/或位置。
根據子步82的一實施例,特定訊框-包裝-安排方案指出LDR圖像及/或照明圖像係分割成數件,及模組IDM則配置用以添加至少一參數到資訊資料ID中,用以指出各件在訊框SF中的位置。
根據一實施例,特定訊框-包裝-安排方案FPAS及可能相對編碼參數係一些參數Param。
根據本發明的一實施例,資訊資料ID可儲存在一區域記憶體或遠程記憶體上,及/或透過一通訊介面(如到滙流排或在通訊網路或廣播網路之上)傳送。
根據本發明的一實施例,位元流F1及資訊資料ID係透過不同通訊介面(到不同滙流排或在不同通訊網路或廣播網路之上)傳送。
根據本發明的一實施例,資訊資料及位元流F1係依非同步方式傳送。
圖9係根據本發明的一實施例以方塊圖顯示解碼步驟21的子步,將表示LDR圖像及照明圖像的一位元流解碼。
在子步90中,一解碼器VDEC係藉由至少部分解碼一位元流F1以得到一解碼訊框SF。
在子步91中,一模組IDD可能從參數Param及/或一區域/遠程記憶體中得到一資訊資料ID,根據一特定訊框-包裝-安排方案FPAS,資訊資料ID指出解碼訊框SF包含至少二相異包裝成分圖像的樣本。
根據一實施例,特定訊框-包裝-安排方案FPAS係由資訊資料ID所定義或從一記憶體中得到。
在子步92中,一模組CH核對資訊資料ID是否指出:至少二相異包裝成分圖像中的一者對應到一LDR圖像,及該至少二相異包裝成分圖像中的另一者對應到一照明圖像。
當資訊資料指出至少一相異包裝成分圖像中的一者對應到一LDR圖像及該至少一相異包裝成分圖像中的另一者對應到一照明圖像時,在子步93中,一模組UPACKM係根據特定訊框-包裝-安排方案FPAS從已解碼單一訊框SF中得到LDR圖像及照明圖像兩者。
接著根據例如資訊資料ID所定義的方法,例如使用LDR及照明圖像以得到一HDR圖像。
根據一實施例,已解碼圖像係根據解碼參數以解碼,該等解碼參數取決於特定訊框-包裝-安排方案FPAS。
根據本發明的一實施例,資訊資料係一SEI信息(補充增強資訊信息)。
圖10係根據本發明的一實施例以顯示此一SEI信息的語法範例,該SEI信息係關連到一訊框-包裝安排。
SEI信息的語法係訊框-包裝-安排SEI信息的語法的延伸,如以上引用H.264建議書所定義。不用一延伸,在現存SEI信息以外,亦可明確定義一新訊框包裝安排SEI信息以用於HDR圖像解碼過程。為避免多個不同SEI信息,訊框-包裝SEI信息亦可包含相關輸出HDR格式的參數,及相關模組ISPLM的參數,該模組係從LDR圖像RF的解碼版本及照明圖像IF的解碼版本中產生出HDR圖像I的解碼版本。此新訊框-包裝SEI信息因此會併入相關訊框包裝的參數及圖5或7中提及的參數。
簡要地,使用一指示的訊框-包裝-安排方案,訊框-包裝-安排SEI信息通知一解碼器有關一輸出解碼圖像包含多個相異空間包裝成分圖像的樣本。該解碼器可使用此資訊以適當地重安排樣本及處理成分圖像的樣本以適當地用於顯示或其他目的。
圖10中SEI信息的語法係類似於所引用H.264建議書的D.1.25節的表格(及亦由HEVC建議書)所提供的語法。
圖11顯示一表格,提供圖10的旗標”內容_解譯_型式”的解譯。
旗標”內容_解譯_型式係可等於三值(0-2),如引用的ITU-T建議書H.264(表D-10)中所定義。
根據本發明的一實施例,此標籤亦可等於一特定值(在此係3),指出至少二相異包裝成分圖像中的一者對應到一LDR圖像,及該至少二相異包裝成分圖像中的另一者對應到該LDR圖像關聯的一HDR照明圖像。
根據一變化,標籤"內容_解譯_型式"的此特定值尚可指出訊框SF解碼後待應用的後處理,例如為要從已解碼的LDR圖像及照明圖像中檢索出HDR圖像。
圖12顯示一表格,提供圖10的旗標”訊框_包裝_安排_型式”的解譯。
該旗標的各值定義一特定訊框-包裝-安排方案,該標籤係可等於高度值(0-7),如引用的H.264建議書(表D-9)中所定義。
根據本發明的一實施例,此標籤係可等於一特定值(在此係8),用以指出LDR圖像及照明圖像不具有相同大小,及/或在訊框SF中具有特定位置。
此標籤尚可指出不同大小及/或位置係由至少一附加旗標所定義。
根據一變化,LDR圖像(分別係照明圖像)的大小係由SEI信息中的附加參數所定義,而照明圖像(分別係LDR圖像)的大小係可從SPS(序列參數集)中導出,請注意SPS包含圖像SF的大小。
將名稱為”不同_視圖_大小_旗標”的第一附加旗標1加到SEI信息的語法中,用以指出LDR圖像及照明圖像不具有相同大小,及/或在訊框SF中具有特定位置。
將一組附加參數2加到SEI信息的語法中,用以指出LDR圖像的大小(寬及高)及照明圖像的大小:值"圖像0_pic_寬度_在_亮度_樣本”指出圖像0自其左上角算起的行數,值”圖像0_pic_高度_在_亮度_樣本”指出圖像0自其左上角算起的列數,旗標”圖像1_pic_寬度_在_亮度_樣本”指出圖像1自其左上角算起的行數,及旗標”圖像1_pic_高度_在_亮度_樣本”指出圖像1自其左上角算起的列數。
將一組附加參數3加到SEI信息的語法中,用以指出LDR圖像及照明圖像在訊框SF中的位置:值”圖像0_偏移_x_在_亮度_樣本”指出自圖像SF的第一列的偏移,值”圖像0_偏移_y_在_亮度_樣本”指出自訊框SF的第一行的偏移,值”圖像1_偏移_x_在_亮度_樣本”指出自訊框SF的第一列的偏移,及值”圖像1_偏移_y_在_亮度_樣本”指出自訊框SF的第一行的偏移。
在圖10中,圖像0指LDR圖像(分別指照明圖像IF),及圖像1指照明圖像IF(分別指LDR圖像)。
根據一實施例,旗標"圖像_包裝_安排_型式”係可等於一特定值,用以限制一編碼器根據一特定訊框-包裝-安排FPAS以編碼訊框SF。
例如,可限制該編碼器一片接一片地編碼訊框SF(例如圖13、14或15中所示),或具有符合圖14及15所示訊框SF的磚界限。
根據一實施例,旗標"圖像_包裝_安排_型式”指出一特定訊框-包裝-安排方案FPAS,其中LDR圖像及/或照明圖像係分割成數件,特定訊框-包裝-安排方案FPAS尚指出各件在訊框SF中的位置。
圖13係根據此實施例以顯示此一訊框-包裝-安排方案的範例。
根據此訊框-包裝-安排方案,圖像1(LDR圖像或照明圖像)係分割成四片(件),及該等片係位在圖像SF的底部中。
圖15顯示圖14的訊框-包裝-安排方案的變化。
在此藉由將圖像1沿著二方向降頻取樣以得到四個子圖像。
本發明的範圍未侷限於所揭示的訊框-包裝-安排方案,但延伸到任一訊框-包裝-安排方案用以包裝二圖像到單一圖像中。
圖16係根據本發明的一實施例以方塊圖顯示步驟10的子步。
在步驟161中,一模組IC得到待編碼HDR圖像I的亮度分量L及潛在地至少一色彩分量C(i)。
例如,當HDR圖像I屬於色彩空間(X,Y,Z)時,藉由分量Y的一變換f(.)以得到亮度分量L,如L=f(Y)。
當HDR圖像I屬於色彩空間(R,G,B)時,藉由以下公式提供的一線性組合以得到亮度分量L,例如在709色域中:L=0.2127.R+0.7152.G+0.0722.B
在步驟162中,一模組BAM係從HDR圖像I的亮度分量L中判定出照明圖像IF。
根據步驟162的一實施例,如圖17所繪示,一模組BI判定一背光圖像Ba作為形狀函數 ψ i 的一加權線性組合,由以下提供: Ba i a i ψ i (1) a i 係加權係數。
因此,從一亮度分量L中判定一背光圖像Ba在於找出最佳加權係數(及潛在地亦最佳形狀函數,若事前未知),為使背光圖像Ba適合亮度分量L。
有許多熟知方法可用以找出加權係數 a i ,例如,可使用最小均方方法,使背光圖像Ba與亮度分量L之間的均方誤差減到最小。
可注意到,形狀函數可係一顯示背光的真實物理回應(例如由LED製成,各形狀函數則對應到一LED的回應),或可係一純數學構造為要最佳適合亮度分量。
根據此實施例,照明圖像IF(從步驟162來的輸出)係公式(1)所提供的背光圖像Ba。
根據步驟162的一實施例,如圖18所繪示,藉由一模組HL得到輸入HDR圖像I的一亮度平均值L 平均值 ,一模組BM利用該亮度平均值以調變背光圖像Ba(由公式(1)所提供)。
根據此實施例,照明圖像IF(從步驟162來的輸出)係已調變背光圖像。
根據一實施例,模組HL係配置用以計算在整個亮度分量L之上的亮度平均值L 平均值
根據一實施例,模組HL係配置用以藉由以下公式計算亮度平均值L 平均值 β 係小於1的一係數,及E(X)係亮度分量L的數學期望值(平均值)。
因最後這實施例避免亮度平均值L 平均值 受到具極高值的少數像素影響,因此係有利的,當HDR圖像I屬於一序列影像時,具極高值的像素通常導致極擾人的時序平均亮度不穩定。
本發明未侷限於一特定實施例用以計算亮度平均值L 平均值
根據此實施例的一變化,如圖19所繪示,一模組N使背光影像Ba(由公式(1)提供)藉由其平均值E(Ba)進行正規化,以便取得一中灰階在一(mid-gray-at-one)背光影像Ba 灰階 以用於HDR圖像(或用於所有HDR圖像,若HDR圖像I屬於一序列圖像):
接著,模組BM係配置用以利用HDR圖像I的亮度平均值L 平均值 以調變中灰階在一背光影像Ba 灰階 ,藉由使用以下關係式: cst 調變 係一調變係數,及 α 係小於1的另一調變係數,通常係1/3。
根據此變化,照明圖像IF(從步驟162來的輸出)係公式(2)提供的已調變背光影像Ba 調變
可注意到,調變係數cst 調變 係經調整用以取得一良好觀看亮度用於殘餘圖像,及高度取決於得到背光圖像的過程,例如,cst調變 1.7用於最小均方所得到的一背光圖像。
實際上,藉由線性,用以調變背光影像的所有運算應用到背光係數 a i 作為一校正因子,其將係數 a i 變換成新係數,以便取得:
在步驟163中,藉由HDR圖像I除以照明圖像IF的解碼版本以計算一殘餘圖像Res。
使用HDR照明圖像IF的解碼版本以確保編碼器及解碼器兩端上的相同照明資料係有利的,藉此導致HDR圖像I的解碼版本的較佳精確度。
較精確地,將HDR圖像I的亮度分量L及潛在地各色彩分量C(i))(從模組IC所得到)除以照明圖像IF的解碼版本,此除法係每像素逐一地完成。
例如,當輸入HDR圖像I的分量R,G或B係表達在色彩 空間(R,G,B)中,得到分量RRes,、GRes及BRes如下:
例如,當HDR圖像I的分量X,Y或Z係表達在色彩空間(X,Y,Z)中,得到分量XRes,YRes and ZRes如下:
根據該方法的一實施例,如相關圖2所述,藉由一解碼器DEC,藉由至少部分解碼位元流F1以得到照明圖像IF的解碼版本(步驟21)。
圖20係根據圖1所述方法的一變化以方塊圖顯示一方法的步驟。
在子步201中,一模組TMO色調映射殘餘圖像Res(步驟10的輸出),為要取得一可見LDR圖像Resv
會看似殘餘影像Res會不可見,原因在於其動態範圍太高,及因為此殘餘影像Res的解碼版本顯示太明顯可見的假影,對殘餘影像進行色調映射補救此等缺點中的至少一者。
本發明未侷限於任何特定色調映射運算子,此單一條件在於色調映射運算子應為可逆的。
例如,可使用Reinhard所定義的色調映射運算子(E.Reinhard、M.Stark、P.Shirley及J.FerwerdaACM繪圖學協議21(2002年7月)發表的數位影像的照片色調再製(Photographic tone reproduction for digital images)”,或R.Boitard、K Bouatouch、R.Cozot、D.Thoreau及A.Gruson(2012)發表的視訊色調映射的時序一致性(Temporal coherency for video tone mapping),在A.M.J.van Eijk、C.C.Davis、S.M.Hammel及A.K.Majumdar所編輯的論文集SPIE 8499中,數位影像處理之應用(Applications of Digital Image Processing)(第84990D至84990D-10頁)
根據步驟201的一實施例,將殘餘圖像Res進行色調映射包括根據殘餘圖像的像素值的伽馬(gamma)校正或SLog校正。
接著例如由以下公式提供可見LDR圖像Resv Res v =A.Res γ A係一常數值, γ 係一伽馬曲線係數,例如等於1/2.4。
或者,例如由以下公式提供可見LDR圖像Resv Res v =a.ln(Res+b)+c a,b,c係所判定SLog曲線的係數,使0及1係不變,及SLog曲線的導數在由1以下的一伽馬曲線延長時係持續在1,藉此,a、b及c係參數 γ 的函數。
根據一實施例,伽馬-Slog曲線的參數 γ 係編碼為一參數Param。
在殘餘圖像Res上應用一伽馬校正,將暗區域往上拉升但不使夠高光線降低,用以避免亮像素的燃燒效果。
在殘餘圖像Res上應用一SLog校正,使夠高光線降低但不往上拉升暗區域。
接著,根據步驟201的一實施例,模組TMO係根據殘餘圖像Res的像素值以應用伽馬校正或SLog校正。
當殘餘圖像Res的像素值係在一臨界值(例如等於1)以下時,則應用伽馬校正,否則應用SLog校正。
藉由構造,取決於HDR圖像I的亮度,可見LDR圖像Resv通常具有一平均值或多或少接近1,利用以上伽馬-Slog組合尤其有效率。
根據該方法的一實施例,在步驟202中,一模組SCA藉由將殘餘圖像Res的各分量或可見LDR圖像Resv的各分量乘以一定標因子cst定標,將殘餘圖像Res或可見殘餘圖像Resv在編碼(步驟11)前加以定標。接著由以下公式提供結果的LDR圖像Ress:Ress=cst定標.Res或Ress=cst定標.Resv
在一特定實施例中,將定標因子cst定標定義,用以映射殘餘圖像Res的值或可見LDR圖像Resv的值在0至最大值2N-1之間,其中N係位元數,容許作為編碼輸入由一編碼器用以編碼殘餘圖像Res或可見LDR圖像Rresv
此係藉由將值1(其粗略係殘餘圖像Res的平均值或可見LDR圖像Resv的平均值)映射到中灰階值2N-1自然地得到,因此,用於具有標準位元數N=8的一殘餘圖像Res或可見LDR圖像Resv,一定標因子等於120係一極前後一致的值,原因在於極接近在27=128的中間灰階。
根據該方法的一實施例,在步驟203中,一模組CLI將殘餘圖像Res、Resv或Ress在編碼前進行剪輯,將其動態範圍限制到一目標動態範圍TDR,其例如係根據一編碼器用以編碼殘餘圖像的能力加以定義。
根據該方法的實施例,結果的LDR圖像Resc例如係根據此最後實施例由以下公式提供:Resc=max(2N,Res)
Resc=max(2N,Resv)或Resc=max(2N,Ress)
本發明未侷限於此類剪輯(max(.)),但延伸到任一類的剪輯。
根據該方法的實施例,結合定標及剪輯實施例導致一LDR圖像影像Ressc,由以下提供:Ressc=max(2N,cst定標*Res)或藉由Ressc=max(2N,cst定標*Resv)
根據該方法的實施例,殘餘圖像RF係殘餘圖像Res、Resv、Ress或Resc中的一者。
接著如相關圖1所述,由一編碼器ENC編碼照明圖像IF及殘餘圖像RF(步驟11)。
殘餘圖像的色調映射及定標係參數化過程,可注意到參數 α 、cst 調變 、cst 定標 γβ 適合最佳遵循專家在後製及顏色分級中品味的內容。此外,此等參數係可固定或不固定,在後者情形中可將其視為一些參數Param。
另一方面,可定義通用參數,為可接受用於所有眾多各樣圖像。
圖21係根據圖2所述方法的一變化以方塊圖顯示一方法 的步驟。
如以上說明,從步驟21中得到LDR圖像RF的解碼版本及照明圖像IF的解碼版本
在步驟213中,藉由LDR圖像RF的解碼版本乘以照明圖像IF的解碼版本以得到HDR圖像I的解碼版本
根據一實施例,亦從一區域記憶體中或從模組FDEC(步驟20)中得到參數及/或
根據該方法的一實施例,在步驟211中,一模組ISCA係藉由LDR圖像RF的解碼版本除以參數,以應用一逆定標到LDR圖像RF的解碼版本
根據一實施例,在步驟212中,一模組ITMO係藉由參數以應用一反色調映射到LDR圖像RF的解碼版本
例如,參數定義一伽馬曲線,及反色調映射正好用以從伽馬曲線中找出值對應到LDR圖像RF的解碼版本的像素值。
根據該方法的一些實施例,在步驟213中使用的LDR圖像RF的解碼版本因此係LDR圖像RF的解碼版本(步驟21的輸出),或其逆定標版本(步驟211的輸出),或其反色調映射版本(步驟212的輸出,無步驟211),或其逆定標及反色調映射版本(步驟212的輸出,具有步驟211)。
位元流F1係可儲存在一區域記憶體或遠程記憶體上,及/或透過一通訊介面(如到匯流排或在通訊網路或廣播網路之上)傳送。
位元流F2係可儲存在一區域記憶體或遠程記憶體上,及/或透過一通訊介面(如到匯流排或在通訊網路或廣播網路之上)傳送。
可非同步地傳送位元流F1及F2。
根據本發明的一變化,可將位元流F1及F2結合起來以表示單一位元流。
解碼器DEC、FDEC及VDEC係配置用以解碼分別已由編碼器ENC、FENC及VENC編碼的資料。
編碼器ENC、FENC及VENC(及解碼器DEC、FDEC及VDEC)係未侷限於特定編碼器(解碼器),但需要熵編碼器(解碼器)時,熵 編碼器如霍夫曼編碼器、算術編碼器或上下文適應編碼器像使用於h264/AVC或HEVC中的Cabac係有利的。
編碼器ENC、FENC及VENC(及解碼器DEC、FDEC及VDEC)係未侷限於特定編碼器,其例如可係影像/視訊有損編碼器像JPEG、JPEG2000、MPEG2、h264/AVC或HEVC。
根據變化,輸出LDR格式係編碼到一SEI信息(第一信息SE1)中,及輸出HDR格式係編碼到一VUI信息(第二語法元素SE2)中。
當已解碼LDR圖像在任何情形中在任一呈現LDR裝置上係不可見時,例如因其對應到未由任何現存呈現LDR裝置支援的一色彩空間(如Lab色彩空間),此等變化會有關連。在此一情形中,較佳維持VUI以信號表示輸出HDR格式。
圖22至23係根據本發明的一實施例以顯示一SEI信息範例,例如稱為"LDR_視訊_資訊()”,表示一輸出LDR格式,及一VUI信息範例,例如稱為"vui_參數()”,表示一輸出HDR格式,其語法遵守HEVC建議書。
SEI信息”LDR_視訊_資訊()”包括實際上定義輸出LDR格式的旗標:LDR_視訊_取消_旗標,LDR_視訊_全_範圍_旗標,LDR_視訊_色彩_主色,LDR_視訊_傳遞_特性,及LDR_視訊_矩陣_係數
此等旗標的語義係類似於相關圖3所述SEI信息提及的語義,除了語法元素係相關到LDR圖像以外,例如:
- LDR_視訊_取消_旗標等於1指出,SEI信息"LDR_視訊_資訊()"取消任何先前SEI信息”LDR_視訊_資訊()”在輸出次序中的持續性。
- LDR_視訊_全_範圍_旗標具有如以上引用HEVC建議書的子條款E.2.1中規定用於視訊_全_範圍_旗標語法元素的相同語義,但如下除外:LDR_視訊_全_範圍_旗標規定用於HDR圖像I的解碼版本 的色彩空間,而非用於CVS的色彩空間。當標籤LDR_視訊_全_範圍_旗標係不存在於SEI信息"LDR_視訊_資訊()"中,推斷LDR_視訊_全_範圍_旗標的值係等於視訊_全_範圍_旗標
- LDR_視訊_目標_色彩_主色具有如以上引用HEVC建議書的子條款E.2.1中規定用於色彩_主色語法元素的相同語義,但如下除外:LDR_視訊_目標_色彩_主色規定用於HDR圖像I的解碼版本的色彩空間,而非用於CVS的色彩空間。當LDR_視訊_目標_色彩_主色係不存在於SEI信息”LDR_視訊_資訊()”中,推斷LDR_視訊_目標_色彩_主色的值係等於色彩_主色
- LDR_視訊_目標_傳遞_特性具有如以上引用HEVC建議書的子條款E.2.1中規定用於傳遞_特性語法元素的相同語義,但如下除外:LDR_視訊_目標_傳遞_特性規定用於HDR圖像I的解碼版本的色彩空間,而非用於CVS的色彩空間。當LDR_視訊_目標_傳遞_特性係不存在於SEI信息”LDR_視訊_資訊()”中,推斷LDR_視訊_目標_傳遞_特性的值係等於傳遞_特性
- LDR_視訊_目標_矩陣_係數具有如以上引用HEVC建議書的子條款E.2.1中規定用於矩陣_係數語法元素的相同語義,但如下除外:LDR_視訊_目標_矩陣_係數規定用於HDR圖像I的解碼版本的色彩空間,而非用於CVS的色彩空間。當LDR_視訊_目標_矩陣_係數係不存在於SEI信息"LDR_視訊_資訊()”中,推斷LDR_視訊_目標_矩陣_係數的值係等於矩陣_係數
SEI信息"LDR_視訊_資訊"的其他標籤提供參數相關資訊,由模組ISPLM使用以得到照明圖像IF的解碼版本,用以得到HDR圖像I的解碼版本。此等標籤的語義係類似於相關圖5所述SEI信息提及的語義。
圖23顯示VUI信息”vui_參數()”的範例。
該等旗標的語義係類似於相關圖3所述VUI信息提及的語義,除了語法元素係相關到一HDR圖像。
根據一變化,將一特定語法元素”樣本_格式”加到該VUI中用以容許在非整數格式(浮點格式)上的支援,作為一範例,建議語法元 素"樣本_格式"的語義用以規定HDR圖像I的解碼版本的亮度及色度樣本陣列其樣本的格式。接著,在圖23中的標籤"樣本_格式"等於0為要指出樣本係在整數格式中。用於旗標”樣本_格式”大於0的值係由ITU-T | ISO/IEC保留用於未來用途,當標籤”樣本_格式”的值不存在時,推斷其係等於0。
例如,根據一變化,標籤”樣本_格式”等於1為要指出樣本係在半浮點格式中。
在圖1至23中,該等模組係功能單元,其與可區別的實體單元係可相關或不相關,例如,此等模組或其中有些模組可共同在單一組件或電路中,或對一軟體的功能性作出貢獻。反過來說,一些模組可潛在地由數個分開實體所組成,適合本發明的裝置係使用純硬體來實現,例如使用專用硬體如ASIC或FPGA或VLSI(分別是«應用特定積體電路»、«現場可程式閘陣列»、«極大型積體電路»),或由嵌入一裝置中的數個積體電子組件來實現,或由硬體與軟體組件混合來實現。
圖24繪示一裝置240的示範架構,其可配置用以執行相關圖1至23所述方法。
裝置240包括以下元件,其藉由一資料及位址匯流排241鏈接起來:- 一微處理器242(或CPU),其例如係一DSP(或數位訊號處理器);- 一ROM(或唯讀記憶體)243;- 一RAM(或隨機存取記憶體)244;- 一I/O(輸入/輸出)介面245,用以從一應用程式接收資料用於傳送;及- 一電池246。
根據一變化,電池246係在該裝置的外部,圖24的此等元件各為熟諳此藝者所熟知,不再贅述。在各提及記憶體中,本說明書中使用的«暫存器»一詞可對應到小容量區(一些位元)或對應到極大區(如整個程式,或大量接收或解碼資料)。ROM 243包括至少一程式及數個參數,根據本發明方法的演算法係儲存在ROM 243中。當開關打開時,CPU 242將RAM中的程式上傳及執行對應指令。
RAM 244包括,在一暫存器中係由CPU 242執行及裝置 240的開關打開後所上傳的程式,在一暫存器中係輸入資料,在一暫存器中係該方法在不同狀態中的中間資料,及在一暫存器中係用於該方法執行的其他變數。
本文中說明的實作例如可實現在一方法或處理過程、裝置、軟體程式、資料流,或信號中。即若只在單一形式實作的情境中討論(例如只討論作為一方法或一裝置),所討論特點的實作亦可實現在其他形式(例如一程式)中。一裝置例如可實現在適當硬體、軟體及韌體中,該等方法例如可實現在一裝置如處理器中,其通常指處理裝置,例如包括有電腦、微處理器、積體電路或可程式邏輯裝置。處理器亦包括通訊裝置如電腦、手機、可攜式/個人數位助理器("PDA"),及有助於終端用戶間資訊通訊的其他裝置。
根據編碼或編碼器的一特定實施例,輸入HDR圖像係從一來源得到,例如,該來源屬於一集合,包括:- 一區域記憶體(243或244),如視訊記憶體或RAM(或隨機存取記憶體)、快閃記憶體、ROM(或唯讀記憶體)、硬碟;- 一儲存介面(245),如具有大量儲存的介面、RAM、快閃記憶體、ROM、光碟或磁墊;- 一通訊介面(245),如有線介面(例如滙流排介面、廣域網路介面、區域網路介面),或無線介面(如IEEE 802.11介面或藍牙®介面);及- 一圖像捕捉電路(如感測器,例如CCD(或電荷耦合裝置)或CMOS(或互補金氧半導體))。
根據解碼或解碼器的不同實施例,解碼圖像及/或IF係傳送到一目的地;明確地,該目的地屬於一集合,包括:- 一區域記憶體(243或244),如視訊記憶體或RAM、快閃記憶體、硬碟;- 一儲存介面(245),如具有大量儲存的介面、RAM、快閃記憶體、ROM、光碟或磁墊;- 一通訊介面(245),如有線介面(例如滙流排介面(如USB(或通用序列匯流排))、廣域網路介面、區域網路介面、HDMI(高解析度多媒體介面)介面),或無線介面(如IEEE 802.11介面、WiFi®或藍牙®介面);及 - 一顯示器。
根據編碼或編碼器的不同實施例,位元流F及資訊資料ID係傳送到一目的地,作為一範例,位元流F及資訊資料ID或兩者係儲存在一區域記憶體或遠程記憶體,如視訊記憶體(244)或RAM(244)、硬碟(243)中。在一變化中,位元流F或資訊資料ID或兩者係傳送到一儲存介面(245),如具有大量儲存的介面、快閃記憶體、ROM、光碟或磁墊,及/或透過一通訊介面(245),如到點對點鏈接、通訊滙流排、單點對多點鏈接或廣播網路的介面來傳送。
根據解碼或解碼器的不同實施例,位元流F及/或資訊資料ID係從一來源得到。示範地,位元流及/或資訊資料ID係讀取自一區域記憶體,如視訊記憶體(244)、RAM(244)、ROM(243)、快閃記憶體(243)或硬碟(243)。在一變化中,位元流及/或資訊資料ID係接收自一儲存介面(245),如具有大量儲存的介面、RAM、ROM、快閃記憶體、光碟或磁墊,及/或接收自一通訊介面(245),如到點對點鏈接、滙流排、單點對多點鏈接或廣播網路的介面。
根據不同實施例,裝置240係配置用以實施相關圖1所述方法,該裝置屬於一集合,包括:- 行動裝置;- 通訊裝置;- 遊戲裝置;- 數位板(或平板電腦);- 膝上型電腦;- 靜態影像相機;- 視訊攝影機;- 編碼晶片;- 靜態影像伺服器;及- 視訊伺服器(如廣播伺服器、隨選視訊伺服器或網站伺服器)。
根據不同實施例,裝置240係配置用以實施相關圖2所述方法,該裝置屬於一集合,包括:- 行動裝置; - 通訊裝置;- 遊戲裝置;- 機上盒;- 電視機;- 數位板(或平板電腦);- 膝上型電腦;- 顯示器;及- 解碼晶片。
根據圖25繪示的一實施例,在二遠程裝置A與B之間透過一通訊網路NET的傳輸情境中,裝置A包括配置用以實施相關圖1所述方法的構件,及裝置B包括配置用以實施相關圖2所述方法的構件。
根據本發明的一變化,該網路係一廣播網路,調適用以將靜態圖像或視訊圖像從裝置A廣播到解碼裝置(包括裝置B)。
本文中所述各種不同處理過程及特點的實作可具體實現在各種不同的設備或應用程式中,尤其例如在設備或應用程式中。此類設備範例包括編碼器、解碼器、後處理器(處理從解碼器來的輸出)、前處理器(提供輸入到編碼器)、視訊編碼器、視訊解碼器、視訊編解碼器、網站伺服器、機上盒、膝上型電腦、個人電腦、手機、PDA(個人數位助理器)及其他通訊裝置。顯然地,該設備可係移動式,甚至安裝在汽車中。
此外,該等方法可由一處理器正執行的指令來實施,及此類指令(及/或一實作所產生的資料值)係可儲存在一電腦可讀取儲存媒體上。一電腦可讀取儲存媒體可採取一電腦可讀取程式產品形式,具體化在一或多個電腦可讀取媒體中,及其上具體化有電腦可執行的電腦可讀取程式碼。如本文中使用的電腦可讀取儲存媒體係考慮一非暫態儲存媒體,提供固有能力用以在其中儲存資訊,以及固有能力用以從其提供資訊檢索。一電腦可讀取儲存媒體例如可係(但不限於)電子、磁性、光學、電磁、紅外線,或半導體系統、裝置,或元件,或以上各項的任何合適組合。應了解,以下雖然提供可應用本發明的電腦可讀取儲存媒體的較特定範例,但如本領域的普通技術人員所容易理解,僅是舉例而非徹查的列表:可攜式電腦磁碟;硬碟;唯讀記憶體(ROM);可拭除可程式化唯讀記憶體(EPROM 或快閃記憶體);可攜式光碟唯讀記憶體(CD-ROM);光學儲存裝置;磁性儲存裝置;或以上各項的任何合適組合。
該等指令可形成一應用程式,有形具體化在一處理器可讀取媒體上。
指令例如係可在硬體、韌體、軟體或一組合中,指令例如係可在作業系統、分開的應用程式或二者的組合中找到,因此一處理器的特徵例如係可作為配置用以執行一處理過程的裝置,及同時作為包含有一處理器可讀取媒體的裝置(如儲存裝置),具有指令用以實施一處理過程。此外,一處理器可讀取媒體可儲存(在指令外添加或代替指令)一實作所產生的資料值。
如熟諳此藝者明白,數個實作可產生各種信號格式化用以攜帶資訊,其例如係可儲存或傳送,該資訊例如可包括指令用以執行一方法,或所述實作中的一者所產生的資料。例如,可將一信號格式化用以攜帶作為資料,即規則用以寫入或讀取所述一實施例的語法,或用以攜帶作為資料,即所述一實施例所寫成的實際語法值。例如可將此一信號格式化作為一電磁波(例如使用頻譜的一射頻部分)或作為一頻帶信號。格式化例如可包括將一資料流編碼及利用編碼資料流以調變一載波。信號攜帶的資訊例如可係類比或數位資訊,如所知,信號係可透過各種不同有線或無線鏈接來傳送,信號係可儲存在一處理器可讀取媒體上。
已說明數個實作,然而,應瞭解可作出不同修改,例如可結合、增補、修改或移除不同實作的元件以產生其他實作。此外,一般技術人員應瞭解其他結構或方法係可替代用於該等揭示者,如所揭示實作,結果的實作將依(數個)至少大體上相同的方式,執行(數個)至少大體上相同的功能,以達成(數個)至少大體上相同的結果,因此,本發明涵蓋此等及其他實作。
10‧‧‧HDR圖像分割步驟
11‧‧‧LDR圖像及照明圖像編碼步驟
12‧‧‧參數編碼步驟
ENC‧‧‧編碼器
FENC‧‧‧參數編碼模組
F1,F2‧‧‧位元流
I‧‧‧HDR圖像
IF‧‧‧照明圖像
Param‧‧‧參數
RF‧‧‧LDR圖像
SE1,SE2‧‧‧語法元素
SPLM‧‧‧HDR圖像分割模組

Claims (22)

  1. 一種用於信號表示之方法,於表示一低動態範圍(LDR)圖像及一照明圖像(兩者皆從一高動態範圍(HDR)圖像中得到)之位元流中,將該LDR圖像之解碼版本之圖像/視訊格式(稱為輸出LDR格式),及該HDR圖像之解碼版本之圖像/視訊格式(稱為輸出HDR格式),兩者皆以信號表示,該方法包括將定義該輸出LDR格式之第一語法元素編碼至該位元流中,其特徵在於,該方法尚包括於該位元流中編碼入一第二語法元素,其係相異於第一語法及其定義輸出HDR格式。
  2. 如申請專利範圍第1項之方法,其中第一語法元素係一VUI信息,其語法遵守HEVC建議書,及第二語法元素係一SEI信息。
  3. 如申請專利範圍第2項之方法,其中第二語法元素尚提供資訊資料用以得到照明圖像之解碼版本,係用以得到HDR圖像之解碼版本。
  4. 如申請專利範圍第2或3項之方法,其中第二語法元素尚指出照明圖像之解碼版本係由形狀函數之加權線性組合表示。
  5. 如申請專利範圍第4項之方法,其中加權係數(其係應用至形狀函數用以得到照明圖像之解碼版本)係嵌入一輔助圖像(其語法遵守HEVC建議書)中,或嵌入一附加SEI信息中。
  6. 如申請專利範圍第2至5項中任一項之方法,其中藉由LDR圖像之解碼版本乘以照明圖像之解碼版本以得到HDR圖像之解碼版本,第二語法元素尚提供後處理之參數有關之資訊,預期將該等參數於LDR圖像之解碼版本與照明圖像之解碼版本相乘前應用至LDR圖像之解碼版本。
  7. 如申請專利範圍第6項之方法,其中第二語法元素包括查找表,其收集後處理之參數有關之資訊,預期將該等參數應用至LDR圖像之解碼版本。
  8. 如申請專利範圍第1項之方法,其中第一語法元素係一SEI信息及第二語法元素係一VUI信息。
  9. 如申請專利範圍第8項之方法,其中第一語法元素尚提供資訊用以得到照明圖像之解碼版本,係用以得到HDR圖像之解碼版本。
  10. 一種用於信號表示之裝置,於表示一低動態範圍(LDR)圖像及一照 明圖像(兩者皆從一高動態範圍(HDR)圖像中得到)之位元流中,將該LDR圖像之解碼版本之圖像/視訊格式(稱為輸出LDR格式),及該原始HDR圖像之解碼版本之圖像/視訊格式(稱為輸出HDR格式),兩者皆以信號表示,該裝置包括一編碼器,配置用以將定義輸出LDR格式之第一語法元素編碼至該位元流中,其特徵在於該編碼器尚配置用以於該位元流中編碼入一第二語法元素,其係相異於第一語法元素及其定義輸出HDR格式。
  11. 如申請專利範圍第10項之裝置,其中第一語法元素係一VUI信息,其語法遵守HEVC建議書,及第二語法元素係一SEI信息。
  12. 如申請專利範圍第11項之裝置,其中第二語法元素尚提供資訊資料用以得到照明圖像之解碼版本,係用以得到HDR圖像之解碼版本。
  13. 如申請專利範圍第11或12項之裝置,其中第二語法元素尚指出照明圖像之解碼版本係由形狀函數之加權線性組合表示。
  14. 如申請專利範圍第13項之裝置,其中加權係數(其係應用至形狀函數用以得到照明圖像之解碼版本)係嵌入一輔助圖像(其語法遵守HEVC建議書)中,或嵌入一附加SEI信息中。
  15. 如申請專利範圍第11至14項中任一項之裝置,其中藉由LDR圖像之解碼版本乘以照明圖像之解碼版本以得到HDR圖像之解碼版本,第二語法元素尚提供後處理之參數有關之資訊,預期將該等參數於LDR圖像之解碼版本與照明圖像之解碼版本相乘前應用至LDR圖像之解碼版本。
  16. 如申請專利範圍第15項之裝置,其中第二語法元素包括查找表,其收集後處理之參數有關之資訊,預期將該等參數應用至LDR圖像之解碼版本。
  17. 如申請專利範圍第10項之裝置,其中第一語法元素係一SEI信息,及第二語法元素係一VUI信息。
  18. 如申請專利範圍第17項之裝置,其中第一語法元素尚提供資訊用以得到照明圖像之解碼版本,係用以得到HDR圖像之解碼版本。
  19. 一種電腦程式產品,包括有程式碼指令,當一電腦上執行此程式時,用以執行如申請專利範圍第1至9項中任一項方法之步驟。
  20. 一種處理器可讀取媒體,具有指令儲存其中,用以令一處理器執行如申請專利範圍第1至9項中任一項方法之步驟。
  21. 一種非暫態儲存媒體,攜帶有程式碼指令,當一運算裝置上執行該程式時,用以執行如申請專利範圍第1至9項中任一項方法之步驟。
  22. 一種信號,攜帶有一表示一LDR圖像及一照明圖像之位元流,其特徵在於該信號攜帶有申請專利範圍第1至9項中任一項方法所處理之第一語法元素及第二語法元素。
TW104118996A 2014-06-20 2015-06-12 在位元流中將低動態範圍圖像之圖像/視訊格式及從該低動態範圍圖像及照明圖像中得到之解碼高動態範圍圖像之圖像/視訊格式以信號表示之方法及裝置 TWI680674B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14305963.2 2014-06-20
EP14305963.2A EP2958328A1 (en) 2014-06-20 2014-06-20 Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture

Publications (2)

Publication Number Publication Date
TW201601519A true TW201601519A (zh) 2016-01-01
TWI680674B TWI680674B (zh) 2019-12-21

Family

ID=51162639

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104118996A TWI680674B (zh) 2014-06-20 2015-06-12 在位元流中將低動態範圍圖像之圖像/視訊格式及從該低動態範圍圖像及照明圖像中得到之解碼高動態範圍圖像之圖像/視訊格式以信號表示之方法及裝置

Country Status (11)

Country Link
US (1) US10219007B2 (zh)
EP (2) EP2958328A1 (zh)
JP (2) JP6719391B2 (zh)
KR (1) KR102389652B1 (zh)
CN (2) CN106464923B (zh)
AU (1) AU2015276393B2 (zh)
BR (1) BR112016029963A2 (zh)
MX (1) MX364806B (zh)
TW (1) TWI680674B (zh)
WO (1) WO2015193112A1 (zh)
ZA (1) ZA201608451B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201506644D0 (en) * 2015-04-20 2015-06-03 Univ Warwick HDR compression method and application to viewers
US10542289B2 (en) * 2015-07-16 2020-01-21 Dolby Laboratories Licensing Corporation Signal reshaping and coding for HDR and wide color gamut signals
EP3349474A4 (en) * 2015-09-11 2018-07-25 Panasonic Intellectual Property Management Co., Ltd. Video reception method, video transmission method, video reception apparatus, and video transmission apparatus
JP6986670B2 (ja) 2015-09-11 2021-12-22 パナソニックIpマネジメント株式会社 映像受信方法及び映像受信装置
JP6820507B2 (ja) * 2015-09-14 2021-01-27 パナソニックIpマネジメント株式会社 映像受信方法、映像送信方法、映像受信装置及び映像送信装置
US10200690B2 (en) * 2015-09-22 2019-02-05 Qualcomm Incorporated Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
EP3220645A1 (en) 2016-03-18 2017-09-20 Thomson Licensing A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
CN107277399B (zh) 2017-06-09 2020-10-20 深圳Tcl新技术有限公司 电视终端及hdr图像转为sdr的方法和计算机可读存储介质
CN112330543A (zh) * 2020-12-01 2021-02-05 上海网达软件股份有限公司 一种基于自监督学习的视频超分辨方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030163477A1 (en) * 2002-02-25 2003-08-28 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US7609762B2 (en) * 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US7483486B2 (en) * 2004-07-02 2009-01-27 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and apparatus for encoding high dynamic range video
KR20050092688A (ko) * 2005-08-31 2005-09-22 한국정보통신대학교 산학협력단 통합 멀티미디어 파일 포맷 구조와 이를 기반으로 하는멀티미디어 서비스 제공 시스템 및 그 방법
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8880571B2 (en) * 2006-05-05 2014-11-04 Microsoft Corporation High dynamic range data format conversions for digital media
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
JP5513400B2 (ja) * 2007-11-16 2014-06-04 ソニック アイピー, インコーポレイテッド マルチメディアファイルのための階層的で簡略なインデックス構造体
US8175158B2 (en) * 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
WO2011163114A1 (en) * 2010-06-21 2011-12-29 Dolby Laboratories Licensing Corporation Displaying images on local-dimming displays
WO2012004709A1 (en) 2010-07-06 2012-01-12 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
TWI580275B (zh) * 2011-04-15 2017-04-21 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
JP5992997B2 (ja) * 2011-04-28 2016-09-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 映像符号化信号を発生する方法及び装置
CN103891294B (zh) * 2011-04-28 2017-09-01 皇家飞利浦有限公司 用于hdr图像编码和解码的装置与方法
US9338474B2 (en) * 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
EP2579591A1 (en) * 2011-10-04 2013-04-10 Thomson Licensing Method of and device for encoding an HDR image, method of and device for reconstructing an HDR image and non-transitory storage medium
CN109120930B (zh) * 2011-11-04 2021-03-26 夏普株式会社 图像解码装置、图像编码装置及其方法
EP2613532A1 (en) * 2012-01-06 2013-07-10 Thomson Licensing Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium
US9866829B2 (en) * 2012-01-22 2018-01-09 Qualcomm Incorporated Coding of syntax elements that correspond to coefficients of a coefficient block in video coding
US9432664B2 (en) * 2012-09-28 2016-08-30 Qualcomm Incorporated Signaling layer identifiers for operation points in video coding
CN105340272B (zh) * 2013-06-10 2018-11-06 汤姆逊许可公司 编码和解码方法以及对应的编码器和解码器
EP3026912A1 (en) * 2014-11-27 2016-06-01 Thomson Licensing Method and device for encoding and decoding a HDR picture and a LDR picture using illumination information

Also Published As

Publication number Publication date
CN106464923A (zh) 2017-02-22
MX364806B (es) 2019-05-08
US10219007B2 (en) 2019-02-26
JP2017522794A (ja) 2017-08-10
JP2020174358A (ja) 2020-10-22
WO2015193112A1 (en) 2015-12-23
KR102389652B1 (ko) 2022-04-22
TWI680674B (zh) 2019-12-21
EP3158745A1 (en) 2017-04-26
BR112016029963A2 (pt) 2017-08-22
CN110830804B (zh) 2024-01-02
AU2015276393A1 (en) 2017-02-02
EP2958328A1 (en) 2015-12-23
CN110830804A (zh) 2020-02-21
AU2015276393B2 (en) 2020-02-27
JP6719391B2 (ja) 2020-07-08
KR20170020873A (ko) 2017-02-24
JP7053722B2 (ja) 2022-04-12
ZA201608451B (en) 2018-05-30
US20180213259A1 (en) 2018-07-26
MX2016017116A (es) 2017-05-10
CN106464923B (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
TWI680674B (zh) 在位元流中將低動態範圍圖像之圖像/視訊格式及從該低動態範圍圖像及照明圖像中得到之解碼高動態範圍圖像之圖像/視訊格式以信號表示之方法及裝置
JP7356478B2 (ja) カラー・ピクチャを符号化および復号する方法および装置
CN109348226B (zh) 一种图片文件处理方法及智能终端
US9299167B2 (en) Image processing methods and apparatus using localized gamut definitions
KR102367205B1 (ko) 컬러 맵핑 함수들을 이용하여 hdr 픽처 및 상기 hdr 픽처로부터 획득된 sdr 픽처의 양자를 인코딩하기 위한 방법 및 디바이스
US20170188000A1 (en) Method, apparatus and system for determining a luma value
TW201701665A (zh) 編碼及解碼彩色圖像之方法及裝置
KR20190117686A (ko) 높은 동적 범위 이미지를 디코딩하기 위한 방법 및 디바이스
JP7043164B2 (ja) 高ダイナミックレンジフレームおよびインポーズされる低ダイナミックレンジフレームの両方を符号化するための方法およびデバイス
AU2016203181A1 (en) Method, apparatus and system for determining a luma value
TW201540052A (zh) 將高動態範圍影像編碼成位元流及/或將表示高動態範圍影像之位元流解碼之方法及裝置
EP3051489A1 (en) A method and apparatus of encoding and decoding a color picture
TW201601518A (zh) 在位元流中將低動態範圍圖像之圖像/視訊格式及從該低動態範圍圖像及照明圖像中得到之解碼高動態範圍圖像之圖像/視訊格式以信號表示之方法及裝置
TW201601524A (zh) 在位元流中將低動態範圍圖像之圖像/視訊格式及從該低動態範圍圖像及照明圖像中得到之解碼高動態範圍圖像之圖像/視訊格式以信號表示之方法及裝置
CN116506630A (zh) 一种图像采集方法、图像显示方法及装置