TW201707454A - 圖框之編碼方法和裝置及其解碼方法和裝置，電腦程式製品和處理器可讀式媒體，以及非暫態儲存媒體 - Google Patents

圖框之編碼方法和裝置及其解碼方法和裝置，電腦程式製品和處理器可讀式媒體，以及非暫態儲存媒體 Download PDF

Info

Publication number
TW201707454A
TW201707454A TW105118053A TW105118053A TW201707454A TW 201707454 A TW201707454 A TW 201707454A TW 105118053 A TW105118053 A TW 105118053A TW 105118053 A TW105118053 A TW 105118053A TW 201707454 A TW201707454 A TW 201707454A
Authority
TW
Taiwan
Prior art keywords
frame
decoding
remaining
imposition
decoded
Prior art date
Application number
TW105118053A
Other languages
English (en)
Other versions
TWI740830B (zh
Inventor
賽巴斯汀 萊瑟里
皮耶爾 安得里凡
菲利普 波德斯
Original Assignee
湯姆生特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯姆生特許公司 filed Critical 湯姆生特許公司
Publication of TW201707454A publication Critical patent/TW201707454A/zh
Application granted granted Critical
Publication of TWI740830B publication Critical patent/TWI740830B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/342—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
    • G09G3/3426—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines the different display panel areas being distributed in two dimensions, e.g. matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明一般係關於圖框之編碼方法和裝置。方法包括：˙從圖框決定(101)背光圖框；˙因應圖框和背光圖框，計算(103)剩餘圖框；˙使用從拼版圖框(IMF)計算(109)的剩餘圖框之預測子，以預測式編碼(110)剩餘圖框，該拼版圖框係待編碼的圖框之低動態版。 本案內容又涉及表示圖框的至少一位元流之解碼方法和裝置。

Description

圖框之編碼方法和裝置及其解碼方法和裝置，電腦程式製品和處理器可讀式媒體，以及非暫態儲存媒體
本案內容一般係關於圖框/視訊之編碼和解碼。具體而言，本案內容之技術領域係關於其像素值屬於高動態範圍的圖框，及其像素值屬於較低動態範圍的圖框之編碼/解碼。
本節旨在為讀者介紹各種技術層面，與下述和/或所請求之本案內容諸要旨相關。此項論述相信有助於為讀者提供背景資訊，方便更佳明瞭本案內容諸要旨。因此，需知此等陳述應以此觀點閱讀，而非引進已知技術。
標準動態範圍(SDR)圖框係其亮度值以有限量位元(最多通常為8或10)表示之圖框。此有限表現方式不容正確顯現小訊號變異，尤其是在暗和明的亮度範圍。在高度動態範圍(HDR)圖框中，訊號表示法延伸，以維持訊號在其全範圍之高度準確性。在HDR圖框中，像素值常常以浮點格式表示(各組成份為32位元或16位元，即浮點或半浮點)，最通俗格式為開放EXR半浮點格式(每RGB組成份為16位元，即每像素48位元)，或長表示法之整數，通常為至少16位元。
HDR圖框編碼之典型策略為，減少圖框之動態範圍，利用舊有編碼方式(原先構成編碼SDR圖框)，以編碼圖框。
按照已知策略，背光圖框與輸入HDR圖框之亮度組成份為界，輸入HDR圖框除以背光圖框，則得剩餘圖框，而背光圖框和剩餘圖框則利用舊有編碼，諸如H.264/AVC編碼((“Advanced video coding for generic audiovisual Services”,SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS,Recommendation ITU-T H.264,Telecommunication Standardization Sector of ITU,2012年1月))或HEVC,SHVC(“High Efficiency Video Coding”,SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS,Recommendation ITU-T H.265,Telecommunication Standardization Sector of ITU,2014年10月)。
此等編碼策略利用HDR圖框除以HDR圖框亮度組成份所得背光圖框，自動發生SDR圖框。
因此，當SDR圖框是拼版時，即編碼的輸入，也需要編碼，此等編碼策略即不適合，因為實際上沒有機會從HDR圖框，充分接近(以視覺內容言)拼版之SDR圖框，得到自動低動態範圍圖框。
此發生在例如電影導向之使用情況，預期從攝影室可的二種不同的色彩分級：一種為HDR圖框所得之SDR圖框，另一種為HDR圖框本身。則實際上不可能從通常背光為基本的HDR圖框編碼方法，得到充分接近(以視覺內容言)藝術級SDR圖框之自動SDR圖框(由SDR圖框除以背光圖框)。
本案內容旨在解決先前技術的若干缺點，提供一種圖框之編碼方法，包括：˙從圖框決定背光圖框；˙因應圖框和背光圖框，計算剩餘圖框；˙使用從拼版圖框計算之剩餘圖框之預測子，以預測式編碼剩餘圖框，該拼版圖框係待編碼的圖框之低動態版。
此舉提供對HDR圖框和拼版SDR圖框二者之高效率編碼方法，因為剩餘圖框是使用在視覺內容類似於剩餘圖框的拼版SDR圖框所得預測子，加以預測式編碼。如此可減少待編碼之剩餘圖框動態，因而比單獨編碼拼版SDR圖框和HDR圖框之編碼方法，提高編碼效率。
此外，以上述電影導向之使用情況言，為HDR圖框和拼版SDR圖框二者保存藝術意圖(色彩級等...)。
其次，方法只用到低度至中度位元深度編碼器，典型上為8-12位元，確保與通常底層結構之逆向相容性。
按照一具體例，剩餘圖框之預測子，是由拼版圖框之解碼版 計算。
按照一具體例，計算剩餘圖框之預測子，包括利用色彩映射函數，把拼版圖框之解碼版映射於剩餘圖框。
按照一具體例，色彩映射函數使用3D色彩查找表。
按照一具體例，背光圖框進一步由拼版圖框決定。
按照一具體例，決定背光圖框包括把圖框組成份除以圖框IMF組成份。
按照一具體例，方法又包括在預測式編碼之前，映射剩餘圖框，而在決定背光圖框之前，逆映射拼版圖框之各組成份。
按照一具體例，預測式編碼剩餘圖框，符合SHVC標準。
本案內容又關係從至少一位元流解碼圖框之方法。此方法包括： ˙藉位元流之至少部份解碼，獲得背光圖框；˙藉至少部份解碼位元流，獲得解碼之拼版圖框，該解碼之拼版圖框，係要解碼的圖框之低動態版；˙從解碼之拼版圖框，獲得預測子；˙藉至少部份解碼位元流，和使用從解碼之拼版圖框獲得的預測子，把解碼的剩餘圖框以預測式解碼；˙因應解碼的剩餘圖框和解碼的剩餘圖框，把圖框解碼。
按照一具體例，此方法又包括：˙藉至少部份解碼位元流，獲得有關3D色彩LUT之參數；˙從解碼之拼版圖框和所得參數，獲得預測子。
按照一具體例，預測子包括對3D色彩LUT各區之特殊預測子。
按照一具體例，解碼剩餘圖框之預測式解碼，符合SHVC標準。
按照另一要旨，本案內容係關於一種裝置，包括處理器，構成實施上述方法；關於一種電腦程式製品，包括程式碼指令，當此程式在電腦上執行時，可執行上述方法之步驟；關於一種處理器可讀式媒體，其內儲存指令，供促使處理器至少進行上述方法之步驟；以及關於一種非暫 態儲存媒體，載於程式碼指令，當該程式在計算裝置上執行時，供執行上述方法之步驟。
本案內容之特殊性質，以及本案內容之其他目的、優點、特點和用途，由如下參照附圖所示較佳具體例之說明，即可明白。
60‧‧‧決定3D色彩LUT的結構
61‧‧‧有些區域可能分成複數卦限Rk
62‧‧‧決定與現時區域Rk的卦限關聯之至少一參數
100‧‧‧模組IC獲得待編碼的圖框至少一組成份
101‧‧‧模組BAM從圖框的各組成份決定背光圖框之組成份
102‧‧‧決定背光圖框所需資料利用編碼器ENC1編碼
103‧‧‧藉圖框除以背光圖框解碼版，計算剩餘圖框
104‧‧‧利用解碼器DEC1把位元流部份解碼，獲得背光圖框至少一組成份的解碼版
105‧‧‧模組BAG發生背光圖框組成份之解碼版
106‧‧‧模組MAP獲得至少一色調映射組成份
107‧‧‧模組SCA標度剩餘圖框之至少一組成份
108‧‧‧模組SLI剪輯剩餘圖框之至少一組成份
109‧‧‧計算剩餘圖框之預測子
110‧‧‧剩餘圖框利用編碼器預測式編碼
112‧‧‧解碼圖框是利用位元流F3至少部份解碼而得
113‧‧‧對該至少一所得組成份應用逆向映射運算子即可得至少一組成份之逆向映射版
200‧‧‧模組ISCA把該組成份除以從局部記憶體部份解碼所得參數 ，即可逆向標度圖框IMF之至少一組成份IMF j
1090‧‧‧就圖框IMF解碼版之指定像素p決定像素p所屬卦限CO
1091‧‧‧可應用組成份之某些調節
1092‧‧‧與剩餘圖框像素關聯之預測色值
1093‧‧‧對預測(映射)色值應用逆向調節和/或適應
1100‧‧‧預測子是由圖框和相對於3D色彩LUT之某些參數而得
1101‧‧‧利用解碼器DEC2並使用預測子，藉位元流F2至少部份解碼，而將解碼剩餘圖框預測式解碼
1102‧‧‧由解碼剩餘圖框之組成份，乘以解碼背光圖框之組成份，得解碼圖框之組成份
120‧‧‧裝置
121‧‧‧資料和位址匯流排
122‧‧‧微處理器
123‧‧‧唯讀記憶體
124‧‧‧隨機存取記憶體
125‧‧‧I/O界面
126‧‧‧電池組
具體例將參照下列附圖加以說明：第1圖為本案原理實施例圖框I編碼方法步驟之方塊圖；第2圖為本案原理實施例圖框I編碼方法步驟之方塊圖；第3圖為本案原理實施例方法步驟之方塊圖；第4圖為本案原理實施例方法步驟之方塊圖；第5圖為本案原理實施例方法步驟之方塊圖；第6圖繪示本案原理3D色彩LUT創作方法流程圖；第7和8圖為3D色彩LUT實施例；第9圖為色彩映射函數使用3D色彩LUT時的步驟109之副步驟圖；第10圖為本案原理實施例把表示由圖框除以背光圖框所計算剩餘圖框的位元流解碼方法之步驟方塊圖；第11圖為裝置之構造實施例；第12圖為二遠程裝置經通訊網路進行通訊。
本案內容將參見附圖更完整說明所示具體例如下。惟本案內容可藉許多變通形式具體化，不構成限制於此所規範具體例。因此，雖然本案內容可有各種修飾和變通形式，其特別具體例是以附圖所示實施例表示，於此詳細說明。惟須知無意把本案內容限制所揭示之特別形式，反而本案內容旨在涵蓋在申請專利範圍所界定本案內容精神和範圍內之一切修飾、等效和變通例。在圖示說明中，同樣號碼指涉同樣元件。
於此所用術語，目的只在說明特別具體例，無意限制本案內容。於此使用單數形式也包含複數形式，除非文脈內另有明確指示。又，說明書使用「包括」和/或「包含」字樣，特定所指稱特點、整數、步驟、操作、元件和/或組成份存在，不排除一或以上其他特點、整數、步驟、操作、元件、組成份和/或其組群之存在或添加。此外，當元件被指為「應 應」或「連接」於另一元件時，可直接因應或連接其他元件，亦可有介入元件存在。反之，若元件被指涉為「直接因應」或「直接」連接至其他元件時，則無介入元件存在。於此使用「和/或」包含相關列舉項之一或以上的任一或全部組合，可縮寫為「/」。
須知雖然第一、第二等術語，可用來說明各種元件，惟此等元件不受限於此等術語。此等術語只用來分辨元件彼此。例如，第一元件可稱為第二元件，同理，第二元件可稱為第一元件，無違本案內容教示。
雖然有些圖在通訊途徑含有箭頭，表示通訊之主要方向，須知此通訊可按所示箭頭之相反方向發生。
有些具體例是就方塊圖和作業流程圖加以說明，其中各方塊代表一電路元件、模組或部份碼，包括一或以上之可執行指令，以執行特定邏輯函數。又須知在其他實施方式中，方塊內註明之函數，會脫離所註明順序發生。例如接續圖示之二方塊，事實上可實質同時執行，或者方塊有時可逆序執行，視所涉及的功能性而定。
於此涉及「一具體例」字樣，意指就具體例所述特別特點、結構或特徵，可包含在本案內容之至少一實施方式內。在說明書各處出現「在一具體例中」或「按照一具體例」，不一定全部指同一具體例，也未必是分開或變通具體例，一定與其他具體例彼此互斥。
申請專利範圍內出現的參照數字，僅供圖示之用，對於申請專利範圍無限制效應。
雖未明說，本案具體例和變化例可以任何組合或副組合方式採用。
本案內容就圖框之編碼/解碼加以說明，但可延伸到一序列圖框(視訊)之編碼/解碼，因為序列之各圖框係按下述依序編碼/解碼。
第1圖表示按照本案原理一實施例圖框I編碼方法之步驟方塊圖。
在步驟100，模組IC獲得要編碼的圖框I之至少一組成份I j 。
接著，組成份I j=1是圖框I之亮度組成份，而組成份I j≠1是要編碼的圖框I之色彩組成份。
例如，當圖框I屬於色彩空間(X,Y,Z)時，由組成份Y之 變換式f(.)，可得亮度組成份I 1，例如I 1=f(Y)。
當圖框屬於色彩空間(R,G,B)，利用下式線性組合函數，可得亮度組成份I 1，例如在709彩色範圍：I 1=g(0.2127.R+0.7152.G+0.0722.B)
在步驟101，模組BAM從圖框I之各組成份I j ，決定背光圖框Ba之組成份Ba j 。
按照步驟101之一具體例，如第3圖所示，模組BI按下式賦予的形狀函數之加權線性組合，決定背光圖框Ba之組成份Ba j ： 其中為組成份Ba j 之加權係數。
因此，從組成份I j 決定背光圖框Ba之組成份Ba j ，包含找出最適加權係數(若事先未知，並且包含潛在之最適形狀函數)，使背光圖框Ba之組成份Ba j 配合組成份I j 。
有許多已知方法，可找到組成份Ba j 之加權係數。例如可用最少均方誤差法，把組成份Ba j 和組成份I j 間之均方誤差減到最少。
本案內容不限於任何特定方法，以獲得背光圖框Ba。
須知形狀函數可為顯示背光之真實物理回應(例如LED製成，各形狀函數則相當於一LED之回應)，亦可為純數學建構，以便最佳配合亮度組成份。
按照此具體例，從步驟101輸出之背光圖框Ba，為包括由方程式(1)賦予的至少一組成份之背光圖框Ba。
按照步驟101之具體例，如第4圖所示，模組BM以利用模組HL所得平均值L mean ，調變(由方程式(1)所賦予)背光圖框Ba之至少一組成份Ba j 。
以圖框組成份之平均值調變背光圖框至少一組成份，可改進圖框組成份和剩餘圖框組成份間之全局亮度連貫性，例如圖框內之亮區在剩餘圖框內呈現亮，圖框內之暗區在剩餘圖框內呈現暗。
複數組成份是以同樣平均值調變，以減少此等組成份之動態範圍，不需修飾其色調。
按照此具體例，步驟101輸出之背光圖框Ba，為調變過之 背光圖框。
按照一具體例，模組HL構成計算涵蓋全部亮度組成份I 1之平均值L mean 。
按照此具體例之變化例，模組HL構成藉下式計算平均值L mean ： 其中β為小於1之係數，E(X)為組成份I 1之數學期待值(平均)。
此最後變化例有益，因可防止平均值L mean 受到一些極高值像素的影響，當圖框I屬於圖框序列時，往往會導致很困擾的暫時平均亮度不穩定。
本案內容不限於計算平均值L mean 之特別具體例。
按照一變化例，如第5圖所示，模組N利用亮度平均值E(Ba 1)，把(方程式(1)所賦予)背光圖框Ba之至少一組成份Ba j 常態化，為圖框(如圖框I屬於圖框序列，則為全部圖框)，得中灰度一組成份：
然後，模組BM構成使用下式，以組成份I j 之平均值L mean ，調變中灰度一組成份 其中為調變係數，α為小於1之另一調變係數，通常介於0.3和0.5之間。
按照此變化例，步驟101輸出之背光圖框Bal，為包括方程式(2)所賦予至少一組成份之背光圖框。
須知調變係數cst mod 可經調和，而得剩餘圖框之好看亮度，高度視獲得背光圖框之過程而定。例如，利用最小均方所得之全部組成份，cst mod 1.7。
實務上由於線性，調變背光圖框組成份Ba j 之所有操作，均適用背光係數，做為校正因數，把係數轉變成新係數，得：
在步驟102(第1圖)，決定步驟101輸出之背光圖框Ba所需資料，利用編碼器ENC1編碼，添加於位元流F1內，可儲存和/或跨越 通訊網路傳輸。
例如，當使用已知非適應性形狀函數時，要編碼之資料限於加權係數或但形狀函數ψi亦可為先前未知者，再編碼於位元流F1內，例如大致最適數學建構以求更佳配合之情況即是。如此，全部加權係數或(和潛在形狀函數)，均編碼於位元流F1內。
有利的是，加權係數或在編碼之前，加以量化，以減少位元流F1之規模。
按照另一實施例，背光圖框Ba之各組成份Ba j ，均視為利用編碼器ENC1編碼於位元流F1內之圖像。
在步驟103，由圖框I除以背光圖框之解碼版，計算剩餘圖框Res。
宜使用背光圖框之解碼版，以確保在編碼器和解碼器二方面為同樣背光圖框，由此導致更加準確之最後解碼圖框。
更準確而言，由模組IC所得圖框I之各組成份I j ，除以背光圖框組成份之解碼版。除去是像素逐一進行。
例如，當圖框I之組成份R,G,B，以色彩空間(R,G,B)表達時，可得組成份Res 1 ,Res 2和Res 3如下：
例如，當圖框I之組成份X,Y,Z，以色彩空間(X,Y,Z)表達時，可得組成份Res 1 ,Res 2和Res 3如下：
按照一具體例，在步驟104，利用解碼器DEC1，把位元流F1至少部份解碼，得背光圖框至少一組成份之解碼版。
如上所述，獲得步驟101輸出的背光圖框組成份所需某些資料，已告編碼(步驟102)，再利用位元流F1至少部份解碼而得。
遵照上述實施例，即得加權係數(和潛在形狀函數)，做為步驟104輸出。
然後，在步驟105，模組BAG從加權係數，和某些已知 非適應性形狀函數或形狀函數，產生背光圖框組成份之解碼版，如下式：
按照另一實施例，利用位元流F1解碼，可直接獲得背光圖框組成份之解碼版。
在步驟106，模組MAP利用色調映射剩餘圖框Res之至少一組成份Res j ，獲得至少一色調映射組成份Resj v，以便得到由該至少一色調映射組成份Resj v建立之可視剩餘圖框Resv。
似乎剩餘圖框Res不可視，因其動態範圍太高，且因為此剩餘圖框Res之解碼版顯示高度視覺假影。色調映射剩餘圖框至少一組成份，提供可視剩餘圖框，感覺上色調映射之剩餘圖框，較之要編碼的圖框內原有場景，可藝術性描繪場景合理良好且一貫色調映射版。此法因此逆向相容，因為可視剩餘圖框能夠利用無法處理高度動態範圍的傳統裝置解碼和/或顯示。
從編碼的剩餘圖框自動提供可視SDR圖框之能力，是關鍵優點，容許分配HDR圖框(視訊)給裝有標準SDR電視機和接收裝置之客戶，非專用於後處理背光圖框和剩餘圖框二者，以解碼HDR圖框(視訊)。
此外，利用此法編碼HDR圖框，導致有效率編碼方式，因為色調映射的剩餘圖框Res(空間上高度相關性，且時間上與同一圖框序列之其他圖框相關)，和背光圖框，係分開編碼。因而達到編碼增益，因為色調映射剩餘圖框的高度壓縮率，和對背光圖框編碼的資料量少之故。
本案內容不限於任何特別映射運算子。此單一條件是色調映射運算子需可逆式。
例如可用Reinhard界定之色調映射運算子(Reinhard,E.,Stark,M.,Shirley,P.,and Ferwerda,J.,“Photographic tone reproduction for digital frames,”ACM Transactions on Graphics 21(2002年7月))，或Boitard,R.,Bouatouch,K.,Cozot,R.,Thoreau,D.,& Gruson,A.(2012).Temporal coherency for video tone mapping.In A.M.J.van Eijk,C.C.Davis,S.M.Hammel,& A.K.Majumdar(Eds.),Proc.SPIE 8499,Applications of Digital Frame Processing(p.84990D-84990D-10)。
按照步驟106之一具體例，映射剩餘圖框之組成份Res j ， 包括伽瑪校正或SLog校正，視剩餘圖框組成份Res 1的像素值而定。
可視剩餘圖框Resv之組成份，則例如由下式得之： 其中A為常數，γ j 係伽瑪曲線係數，例如等於1/2.4。
可視剩餘圖框Resv之組成份，另外可例如由下式得之： 其中a j ,b j ,c j 為所決定SLog曲線之係數，0和1無不變數，當伽瑪曲線延長到1以下時，SLog曲線之微分在1繼續。因此，a j ,b j ,c j 為參數γ j 的函數。
按照一具體例，伽瑪-Slog曲線相對於剩餘圖框之參數γ j ，利用編碼器ENC1編碼，添加於該位元流F1內。
對剩餘圖框Res之亮度組成份，應用伽瑪校正，拉高暗區，但不會足夠降低高度光，避免亮像素燃燒。
對剩餘圖框Res之亮度組成份，應用SLog校正，足夠降低高度光，但不會拉高暗區。
然後，按照步驟106之較佳具體例，模組MAP不是應用伽瑪校正，就是SLog校正，視剩餘圖框Res的組成份之像素值而定。
伽瑪和SLog校正，無損暗和亮之資訊，可以高度準確性，從剩餘圖框和背光圖框，導致HDR圖框之重構。此外，伽瑪和S-log校正，可在重構HDR圖框和可視剩餘圖框二者，均避免平坦剪輯面積。
例如，當剩餘圖框Res組成份之像素值低於臨限值(等於1)，則應用伽瑪校正，否則應用SLog校正。
利用構成，可視剩餘圖框Resv之組成份，往往具有多少接近1之平均值，視圖框I相關組成份之亮度而定，使用上述伽瑪-Slog特別有效。
按照方法之一具體例，在步驟107，模組SCA在編碼(步驟110)之前，標度剩餘圖框之至少一組成份Res j 或，即由該組成份乘以標度因數cst scaling 。
標度剩餘圖框之組成份j，是把從剩餘圖框所得之圖框平均灰度，放在適當數值，兼供觀視和寫碼。
所得剩餘圖框Ress之組成份，按照方法之具體例，即得：
標度因數cst scaling 最好界定為，映射剩餘圖框之組成份值，從0到最大值2N-1，其中N為容許做為編碼器ENC2寫碼輸入之位元數。
此為將亮度值1(大略為剩餘圖框組成份之平均值)，映射於中灰度亮度值2N-1，自然而得。因此，就具有標準位元數N=8之剩餘圖框組成份而言，標度因數等於120為非常一致之值，因為很接近自然灰度27=128。
按照方法之一具體例，在步驟108中，在編碼之前，模組CLI剪輯剩餘圖框之至少一組成份，把其動態範圍限制在例如按照編碼器ENC2能力界定之標的動態範圍TDR。
剪輯剩餘圖框可確保限制之位元數，容許使用傳統編碼/解碼方式，加以編碼。又，編碼/解碼方式與現有底層結構(編碼寫碼器、顯示器、分配通道等)，因為只有通常為8-10位元的低動態範圍之剩餘圖框，可傳送跨越此等底層結構，顯示圖框之低動態範圍版。含有背光資料之小位元流，可載於專用底層結構上方之側容器，以分配圖框(即HDR圖框)之原版。
按照此最後具體例，例如按照方法具體例由下式，得到結果剩餘圖框Resc之組成份：
本案內容不限於此等剪輯(max(.))，而是延伸到各種剪輯。
把標度和剪輯具體例組合，按照方法具體例，導致剩餘圖框Ressc之組成份，即：
剩餘圖框組成份之映射和標度，為參數過程。參數固定與否 均可，不固定時可利用編碼器ENC1，編碼入位元流F1內。
按照方法之一具體例，伽瑪校正之常數γ，標度因數cst scaling 可為編碼於位元流F1內之參數。
須知參數α,cst mod ,cst scaling ,γ j ,β之選擇，賦予專家在嘗試後製作和色彩分級之後，適合最佳內容之映射選擇空間。
另方面，可界定通用參數，以便全部各種各樣圖框可以接受。 然後，即無參數編碼入位元流F1內。
按照本案內容，在步驟110，剩餘圖框Res(Resv,Ress或Resc)是利用編碼器ENC2，使用預測子Pred，加以預測式編碼，並添加於位元流F2，可儲存和/或傳送跨越通訊網路。
按照本案內容，在步驟109，剩餘圖框Res(Resv,Ress或Resc)之預測子Pred，係由拼版圖框IMF之解碼版計算，在步驟112輸出。
「拼版」術語代表圖框IMF與剩餘圖框Res(Resv,Ress或Resc)不同。圖框IMF為圖框I之低動態範圍版。圖框IMF和圖框I可由設計師加以不同色彩分級，和/或以不同色彩空間表達(例如，圖框IMF用Rec.709，而圖框I用Rec.2020色彩空間)。
按照步驟109之一具體例，計算預測子Pred包括利用色彩映射函數(CMF)，把拼版圖框IMF之解碼版映射於剩餘圖框Res(Resv,Ress或Resc)。
此舉可改進預測式編碼器ENC2之寫碼效率，因為剩餘圖框和預測子Pred間計算之剩餘動態，即可減小。
色彩映射函數CMF可視圖框I和IMF之色彩空間，也視內容本身而定。誠然，圖框內容創作，係在圖框I或圖框IMF或二者，視內容創作者設計意圖而定，操作一些色彩校正(色彩分級等...)。應用於圖框I和圖框IMF組成份之色彩轉換，可不同。然而，在一般情況下，色彩映射函數CMF不會減到簡單決定性色彩空間轉換。
按照一具體例，色彩映射函數CMF使用3D色彩查找表(LUT)，諸如為語法的HEVC副段F.7.3.2.3.5〈色彩映射卦限語法〉和為語意的副段F.7.4.3.3.5〈色彩映射卦限語意〉所界定。
3D色彩LUT通常以卦限網格表示，如第7圖所示3D色彩空間。網格把色彩空間分成N個區域Ri，其中i[0,N-1]，N為整數。區域分隔可以對稱或不對稱(劃分不等)。一區域亦稱一卦限。至少一參數與各卦限關聯，如HEVC副段F.7.3.2.3.4〈一般色彩映射表語法〉和F.7.3.2.3.5〈色彩映射卦限語法〉所述。當全部卦限有至少一關聯參數時，色彩映射函數CMF即告界定。通常，色彩映射函數CMF又與內插函數關聯，如HEVC在副段H.8.1.4.3.1〈亮度樣本值之色彩映射過程〉和H.8.1.4.3.2〈色度樣本值之色彩映射過程〉所述。
按照方法之一具體例，如第2圖所示，在步驟100，模組IC含有至少圖框IMF之組成份IMF j 。
當剩餘圖框Resv之至少一組成份被標度時(步驟107)，在步驟200，模組ISCA把該組成份除以從局部記憶體，或所用解碼器DEC1把位元流F1至少部份解碼所得參數，即可逆向標度圖框IMF之至少一組成份IMF j 。
在步驟113，對該至少一所得組成份，應用逆向映射運算子，即可得從步驟100或從步驟200所得至少一組成份之逆向映射版。該逆向映射運算子，是在步驟106於剩餘圖框組成份的映射運算子之反逆。
參數是利用解碼器DEC1，由局部記憶體或藉位元流F1之至少部份解碼而得。
以下把圖框IMF組成份之逆向標度版(步驟200之輸出)，或其逆向映射版(步驟113之輸出)，稱為組成份IIMF j 。
在步驟103，由圖框I之各組成份I j 除以組成份IIMF j ，計算組成份D j 。
在步驟101，模組BAM從各組成份D決定背光圖框Ba之組成份Ba j ，如上就圖框I之組成份I j 所述。
第6圖繪示按照本案內容具體例創作3D色彩LUT之方法流程圖。
在步驟60，決定3D色彩LUT的結構。於此，3D色彩LUT常以代表上述卦限的參數表示，如第7圖3D色彩空間所示。
在步驟61，有些區域可能分成複數卦限Rk。
在步驟62，對各區域Rk，由圖框IMF解碼版的像素p，或色值屬於該區域Rk的某些像素，或由剩餘圖框Res(或Resv,Ress或Resc，按照本案內容具體例)內空間上相對應像素p’，決定各卦限之至少一參數。
按照一變化例，只考慮圖框IMF解碼版像素之子集(例如二者其一)，以加速其過程。
按照一變化例，空間上相對應像素p’，不是共位像素，便是從空間轉換(例如向上取樣、轉譯等)具有相對應空間位置之像素。
因此，與卦限關聯的參數，即按每區域局部決定，容易計算，因為每次處理的參數量較少。
按照步驟62之一具體例，決定與現時區域Rk的卦限關聯之至少一參數，包括決定色彩映射函數CMFk之參數，使色值屬於該區域Rk的圖框IMF(或其子集)解碼版像素p色值再映版(利用色彩映射函數CMFk)，與剩餘圖框Res(Resv或Ress或Resc)內的空間上相對應像素p’色值Res(p)間之距離最小。例如，區域Rk之CMFk的參數，即為使下式最小者： 其中dist即為公制距離。舉例而言，dist為L1範數或L2範數。
按照一變化例，dist為加權差值。
按照一具體例，CMFk的參數是利用公知的最小平方誤差極小化技術決定。
一旦CMFk的參數已告決定，區域Rk的卦限參數即可決定。 就卦限Oc(x,y,z)而言，其關聯參數值設定為CMFk(Oc(x,y,z))。
就數學上來說，當剩餘圖框Res包括三個組成份，色彩映射函數CMFk可為參數模式，具有3×3矩陣參數和三個 偏移參數，其中區域Rk的預測子Pred k 之組成份，由下式求得： 其中Δ1(p),Δ2(p)和Δ3(p)，為組成份Res 1(或Res 2和Res 3)與現時卦限座標相對組成份間之數值差異。由3D色彩LUT可得參數1,2,3}。
在SHVC段H.8.1.4.3中所述變化例中，Δ1(p),Δ2(p)和Δ3(p)係組成份Res 1(或Res 2和Res 3)之值。
本案內容不限於使用具有偏移函數之3×3矩陣，而是可延伸到任何參數映射函數，提供其部份微分。
須知圖框IMF之解碼版可換成第一圖框序列，剩餘圖框換成第二圖框序列。在此情況下，對各區域或卦限Rk，參數是由第一圖框序列像素p色值之再映射版(其色值屬於該區域Rk)，和第二圖框序列內空間上相對應像素p’之色值決定。在此情況，第二圖框序列內空間上相對應像素p’，屬於時間上與像素p所屬圖框對準之圖框。
有若干色彩參數與3D色彩LUT之各卦限關聯，例如4色值，諸如RGB色值、Y’CbCr或YUV。
方程式(3)之極小化，並非始終有解。誠然，最小化使用到矩陣反逆。在若干情況時，矩陣不良構成，而反逆失敗(例如矩陣之行列式為零)。此外，當色值落在指定區域內之像素數，在臨限值以下時，極小化即不準確。在此情況下，當該距離之極小化對該區域Rk失敗，獲得色彩參數包括從圍繞Rk的區域之參數，內插該區域之參數，或從圍繞該現時區域的區域所計算色彩轉換參變數，直接計算。舉例而言，Rk之色彩參數是從3×3矩陣，和具有為圍繞區域Rk之區域R’k所決定參數的偏移函數計算，如第8圖所示。
按照一變化例，區域Rk之色彩參數係從區域R’k之色彩參數內插。
按照一變化例，區域Rk之色彩參數係從區域R’k之色彩參數預測，並將餘數編碼。
按照一具體例，參數Param是利用編碼器ENC1編碼，添加於位元流F1內。此等參數Param可與3D色彩LUT之卦限，決定剩餘圖框各像素所屬卦限之資料，以及各色彩映射函數CMFk(1,2,3})之參數關聯。在一變化例中，與3D色彩LUT的卦限關聯之參數和/或各色彩映射函數CMFk()，未經編碼。
按照本案內容一變化例，對各色彩映射函數CMFk，使用同樣參數{a j ,b j ,c j ,d j }。
第9圖表示當色彩映射函數CMF使用3D色彩LUT來決定像素p之映射色彩值時，步驟109之副步驟流程圖。
在步驟1090，就圖框IMF解碼版之指定像素p，決定像素p所屬卦限CO。當3D色彩LUT之各維度係以並矢式隔開，則根據像素p色彩組成份之首先N MSB(最重要位元)值，即可容易決定。
變通方式是在步驟1091中，如HEVC之H.8.1.4.3.1章和JCTVC-Q0048_r1在“2.1(y,u,v)triplet adjustment when phase alignment is enabled”章中所述，可應用組成份之某些調節。例如，當亮度和色度組成份之像素不一致(通常為使用4：2：0格式時)，要調節亮度和色度組成份像素之空間定位(組織和運動之再取樣)，或位元深度不同時，亦要順應組成份之位元深度。例如，JCTVC-R1030_v6之H.8.1.4.3.1章所述，位元深度可移動量如下：nMappingShift=10+BitDepthCmInputY-BitDepthCmOutputY
在步驟1092，與剩餘圖框像素關聯之預測色值，即可由方程式(4)求得。
變通方式是，當在步驟1091發生對準和/或適應時，即在步驟1093，對預測(映射)色值，應用逆向調節和/或適應。
第10圖表示按照本案內容具體例之方法步驟方塊圖，供解碼表示由圖框除以背光圖框計算的剩餘圖框之位元流。
如上所述，在步驟104和105，解碼背光圖框是利用解碼器DEC1，把位元流F1至少部份解碼而得。位元流F1可已經局部儲存，或從通訊網路接收。
在步驟112，解碼圖框是利用位元流F3至少部份解碼而得。
在步驟1100，預測子是由圖框和相對於3D色彩LUT之某些參數而得。參數可由記憶體或位元流F1之至少部份解碼而得。
此等參數Param可與3D色彩LUT卦限，決定剩餘圖框各像素所屬卦限之資料，以及各色彩映射函數CMFk(1,2,3})之參數關聯。
在變化例中，與3D色彩LUT(之卦限)和/或各色彩映射函數CMFk()參數關聯之色彩參數，由局部記憶體取得。
則由與具有柵格結構的3D色彩LUT各區域Rk卦限關聯的參數，和相對於區域Rk之各色彩映射函數CMFk()的參數，可得預測子。
在步驟1101，利用解碼器DEC2，並使用預測子，藉位元流F2至少部份解碼，而將解碼剩餘圖框預測式解碼。位元流F2可已經局部儲存，或從通訊網路接收。
按照步驟1101之具體例，預測子包括3D色彩LUT各區域Rk之特殊預測子。
然後，方法獲得資料，利用位元流F1之至少部份解碼，決定剩餘圖框各像素p’所屬卦限CO，並利用解碼器DEC2，和使用相對於區域Rk的預測子，藉至少部份位元流F2之預測式解碼，把屬於區域Rk的解碼剩餘圖框的各像素p’色值解碼。
在步驟1102，由解碼剩餘圖框之組成份，乘以解碼背光圖框之組成份，得解碼圖框之組成份。
按照步驟104之具體例，參數和/或，亦可由局部記憶體，或利用解碼器DEC1，由位元流B1至少部份解碼而得。
按照方法，於步驟200，模組ISCA應用解碼剩餘圖框之至少一組成份，由該組成份除以參數。
在步驟113，模組IMAP對該至少一所得組成份，應用逆向映射運算子，由步驟1101輸出或步驟200輸出，獲得至少一組成份之逆向映射版。
按照一具體例，模組IMAP使用參數γ j 。
例如，參數γ j 界定伽瑪曲線，而逆向色調映射，從伽瑪曲線看，包含找出數值，相當於解碼剩餘圖框之像素值。
解碼器DEC1,DEC2和DEC3構成，分別把編碼器ENC1,ENC2和ENC3已編碼之資料解碼。
編碼器ENC1,ENC2和ENC3(以及解碼器DEC1,DEC2和 DEC3)，不限於特定編碼器(解碼器)，但需要熵編碼器(解碼器)時，以熵編碼器，諸如Huffmann編碼器、算術編碼器或文脈適應性編碼器，像H.264/AVC或HEVC中所用之Cabac為宜。
編碼器ENC1和ENC3(以及解碼器DEC1和DEC2)，不限於特定編碼器，可例如為有損耗之圖框/視訊編碼器，像JPEG,JPEG2000,MPEG2,h264/AVC或HEVC。
編碼器ENC2(和解碼器DEC2)，不限於使用預測子之任何預測式編碼器，諸如JPEG,JPEG2000,MPEG2,H.264/AVC或HEVC。
編碼器ENC1,ENC2和ENC3(解碼器DEC1,DEC2和DEC3)，可為同樣編碼器(或同樣解碼器)，諸如符合標準SHVC之編碼器(解碼器)。即產生單一位元流，包括位元流F1,F2和F3所帶資料。
按照本案內容具體例，位元流F1所帶資料和/或位元流F3所帶資料，編碼為輔助圖像，其語法不是符合H264/AVC,HEVC，便是符合SHVC標準。輔助圖像在H264/AVC或HEVC或SHVC標準內已有界定，除所謂「主要編碼圖像」外，實際上相當於內容之主流(主視訊)。輔助圖像往往致能傳送額外圖框資訊，諸如α合成、色度增進資訊或3D應用之深度資訊。
按照本案內容之具體例，預測式編碼之剩餘圖框內嵌於位元流F2內，做為主要圖像，其語法符合H.264/AVC或HEVC標準。
此舉可得單一位元流，可完全適應H.264/AVC或HEVC標準，並且包括使用3D色彩LUT解碼預測式編碼剩餘圖框所須資料，編碼之拼版圖框IMF，和決定背光圖框Bal所需資料。輔助資料之解碼方法，發生在顯示之前，符合HEVC規格，因此以其業已特定型式原樣使用。
按照本案內容之一具體例，步驟101輸出之背光圖框Bal，和圖框IMF，按照特殊圖框封包配置方式，封包於單一圖框SF內。編碼器把圖框SF編碼於位元流內。
按照一具體例，單一圖框SF是按照編碼參數編碼，視特殊圖框封包配置方式而定。
按照此具體例之一變化例，編碼參數經界定，以便單一圖框SF可按二截然不同片，一片含有圖框IMF，另一片含背光圖框Bal。此等 片亦可採取片群、磚片、磚片群、院區之形式，視所採用標準編碼方式(H.264/AVC,HEVC,JPEG2000)而定。
此變化例為宜，因其容許特殊處理，諸如特殊編碼，應用於背光圖框或圖框IMF，和不應用於圖框IMF或背光圖框。
位元流包括單一圖框SF，含有二截然不同封包構成圖框之樣本：圖框IMF和背光圖框。解碼器把位元流至少部份解碼，而得圖框IMF，若有需要，還有背光圖框，來自解碼單一圖框SF。
在第1-5圖和第9-10圖中，模組係功能單位，與可分辨實體單位是否相關均可。例如，此等模組或其部份，可在獨特組成份或電路內放在一起，或有助於軟體之功能。反之，有些模組可潛在由分開之實體單位組成。可與本案內容相容之儀器，可用純硬體，例如使用專用硬體ASIC或FPGA或VLSI(分別代表「應用特定積體電路」、「外場可規劃閘陣列」和「甚大型積體電路」)，或內嵌於裝置內的若干積體電子組件，或硬和軟體組成份之混合體實施。
第11圖表示裝置120之舉例結構，可構成實施就第1-5圖和第9-10圖所述方法。
裝置120包括下列元件，利用資料和位址匯流排121鏈接在一起：˙微處理器122(或CPU)，例如為DSP(數位訊號處理器)；˙ROM(唯讀記憶體)123；˙RAM(隨機存取記憶體)124；˙I/O界面125，供接收資料，從應用傳送；˙電池組126。
按照一變化例，電池組126外在於裝置。第11圖之各元件，均為技術專家所公知，不待詳述。在所述各記憶體中，說明書使用「暫存器」一辭相當於從小容量區(若干位元)，迄甚大區(例如整個程式，或大量所接收或解碼資料)。ROM 123包括至少程式和參數。本案內容方法之演算法，儲存於ROM 123內。通電時，CPU 122上載程式於RAM內，並執行相對應指令。
RAM 124在暫存器內包括程式，利用CPU 122執行，在裝 置120通電後上載，輸入暫存器內之資料、暫存器內方法不同狀態之中間資料、暫存器內執行方法所用其他變數。
上述實施方式可在例如方法或過程、儀器、軟體程式、資料流或訊號內實施。即使只在文脈內討論到單一實施方式(例如只提到方法或裝置)，但所討論特點之實施方式，亦可藉其他形式(例如程式)實施。儀器可例如於適當硬體、軟體和韌體內實施。方法可例如於儀器內實施，諸如處理器，一般指涉處理裝置，包含例如電腦、微處理器、積體電路，或可程式規劃之邏輯裝置。處理器亦包含通訊裝置，諸如電腦、手機、可攜式/個人數位助理器(PDA)，以及方便末端使用者間資訊通訊之其他裝置。
按照編碼或編碼器之特別具體例，圖框I是從來源取得。例如，來源屬於包括下列之集合：˙局部記憶體(123或124)，例如視訊記憶體，或RAM(或隨機存取記憶體)、快閃記憶體、ROM(唯讀記憶體)、硬碟；˙儲存介面(125)，例如與大量儲存器、RAM、快閃記憶體、ROM、光碟或磁力支援之介面；˙通訊介面(125)，例如有線介面(例如匯流排介面、廣域網路介面、區域網路介面)，或無線介面(諸如IEEE 802.11介面，或藍芽介面)；以及˙圖框擷取電路(例如感測器，諸如CCD(電荷耦合裝置)或CMOS(互補金屬氧化物半導體))。
按照解碼或解碼器之不同具體例，解碼圖框送制目的地；尤指屬於包括下列的集合之目的地：˙局部記憶體(123或124)，例如視訊記憶體或RAM、快閃記憶體、硬碟；˙儲存介面(125)，例如與大量儲存器、RAM、快閃記憶體、ROM、光碟或磁力支援之介面；˙通訊介面(125)，例如有線介面(例如匯流排介面(例如USB，即通用串列匯流排)、廣域網路介面、區域網路介面、HDMI(高清晰度多媒體介面)介面)，或無線介面(諸如IEEE 802.11介面、 WiFi®或藍芽®介面)；和˙顯示器。
按照編碼或編碼器之不同具體例，物理流BF和/或F，送往目的地。舉例而言，位元流F和BF之一，或二位元流F和BF，儲存於局部或遠程記憶體，例如視訊記憶體(124)或RAM(124)、硬碟(123)。在變化例中，一或二位元流送往儲存介面(125)，例如與大量儲存器、快閃記憶體、ROM、光碟或磁力支援之介面，和/或傳送跨越通訊介面(125)，例如與點對點鏈路、通訊匯流排、點對多點鏈路或廣播網路。
按照解碼或解碼器之不同具體例，位元流BF和/或F是從來源取得。舉例而言，位元流是從局部記憶體讀取，例如視訊記憶體(124)、RAM(124)、ROM(123)、快閃記憶體(123)或硬碟(123)。在一變化例中，位元流是從儲存介面(125)接收，例如與大量儲存器、RAM、ROM、快閃記憶體、光碟或磁力支援，和/或從通訊介面(125)接收，例如與點對點鏈路、匯流排、點對多點鏈路或廣播網路。
按照不同具體例，裝置120係構成實施就第1-6圖和第10圖所述編碼方法，屬於包括下列之集合：˙行動裝置；˙通訊裝置；˙遊戲裝置；˙平板(或平板電腦)；˙膝上型電腦；˙靜態影像照相機；˙視訊照相機；˙編碼晶片；˙靜態影像伺服器；˙視訊伺服器(例如廣播伺服器、應需視訊伺服器，或網站伺服器)。
按照不同具體例，裝置60構成實施就第10圖所述解碼方法，屬於包括下列之集合：˙行動裝置；˙通訊裝置； ˙遊戲裝置；˙機上盒；˙電視機；˙平板(或平板電腦)；˙膝上型電腦；˙顯示器；˙解碼晶片。
按照第12圖所示具體例，在二遠程裝置A和B間跨越通訊網路NET之傳輸脈絡中，裝置A包括機構，構成實施就第1或2圖所述圖框之編碼方法，而裝置B包括機構，構成實施就第10圖所述之解碼方法。
於此所述諸過程和特點之實施方式，可以各種不同之設備或應用具體化，尤其是例如設備和應用。此等設備例如包含編碼器、解碼器、處理解碼器輸出之後處理器、提供編碼器輸入之預處理器、視訊編碼器、視訊解碼器、視訊編碼解碼器、網站伺服器、機上盒、膝上型電腦、個人電腦、手機、PDA，和其他通訊裝置。須知設備可為行動式，甚至安裝在行動載具上。
此外，方法可由指令實施，利用處理器進行，而此等指令(和/或實施方式產生之資料數值)可儲存於處理器可讀式媒體，例如積體電路、軟體載體或其他儲存裝置，諸如硬碟、微型磁片(CD)、光碟(例如DVD，通常稱為數位多樣碟片，或數位影碟)、隨機存取記憶體(RAM)，或唯讀記憶體(ROM)。指令可形成應用程式，於處理器可讀式媒體有形具體化。指令可例如呈硬體、韌體、軟體，或組合式。指令可見於例如操作系統、分開應用，或二者組合。所以，處理器特徵可為構成進行過程之裝置，抑包含處理器可讀式媒體(諸如儲存裝置)有指令可進行過程之裝置。又，處理器可讀式媒體，除指令外或代地指令，可儲存由實施方式產生之資料數值。
凡技術專家均知，實施方式可產生各種訊號，經格式化帶有資訊，可例如儲存或傳送。資訊可包含例如進行方法之指令，或由上述實施方式之一產生的資料。例如，訊號可經格式化，帶有上述具體例語法讀寫規則之資料，或帶有上述實施方式所書寫實際語法數值之資料。此等訊 號可經格式化，例如呈電磁波(例如使用頻譜之射頻部份)，或基帶訊號。格式化可包括例如編碼資料流，和以所編碼資料流調變載波。訊號所帶資訊可例如為類比或數位訊號。訊號可格式化跨越各種不同有線或無線鏈路，已屬公知。訊號可儲存於處理器可讀式媒體。
已就多種實施方式加以說明。然而，須知可有各種修飾例。例如，不同實施方式之元件可以組合、補充、修飾或刪除，以產生其他實施方式。另外，技術專家均知其他結構和過程，可取代上述，而所得實施方式可按上述實施方式進行至少實質上同樣功能，按至少實質上同樣方式，達成至少實質上同樣結果。因此，凡此及其他實施方式均由本案所構想。
100‧‧‧模組IC獲得待編碼的圖框至少一組成份
101‧‧‧模組BAM從圖框的各組成份決定背光圖框之組成份
102‧‧‧決定背光圖框所需資料利用編碼器ENC1編碼
103‧‧‧藉圖框除以背光圖框解碼版，計算剩餘圖框
104‧‧‧利用解碼器DEC1把位元流部份解碼，獲得背光圖框至少一組成份的解碼版
105‧‧‧模組BAG發生背光圖框組成份之解碼版
106‧‧‧模組MAP獲得至少一色調映射組成份
107‧‧‧模組SCA標度剩餘圖框之至少一組成份
108‧‧‧模組SLI剪輯剩餘圖框之至少一組成份
109‧‧‧計算剩餘圖框之預測子
110‧‧‧剩餘圖框利用編碼器預測式編碼
112‧‧‧解碼圖框是利用位元流F3至少部份解碼而得

Claims (21)

  1. 一種圖框之編碼方法，其特徵為，包括：˙從圖框決定(101)背光圖框；˙因應圖框和背光圖框，計算(103)剩餘圖框；˙使用從拼版圖框(IMF)計算(109)的剩餘圖框之預測子，以預測式編碼(110)剩餘圖框，該拼版圖框係待編碼圖框之低動態版者。
  2. 如申請專利範圍第1項之方法，其中拼版圖框和待編碼圖框具有不同色彩等級者。
  3. 如申請專利範圍第1項之方法，其中拼版圖框和待編碼圖框係以不同色彩空間表達者。
  4. 如申請專利範圍第1至3項之一項方法，其中剩餘圖框之預測子係由拼版圖框之解碼版計算者。
  5. 如申請專利範圍第1至4項之一項方法，其中計算剩餘圖框之預測子，包括使用色彩映射函數(CMF)，把拼版圖框之解碼版映射於剩餘圖框者。
  6. 如申請專利範圍第5項之方法，其中色彩映射函數係使用3D色彩查找表者。
  7. 如前述申請專利範圍之一項方法，其中背光圖框又由拼版圖框決定者。
  8. 如申請專利範圍第7項之方法，其中決定背光圖框包括把圖框各組成份除以圖框IMF之組成份者。
  9. 如前述申請專利範圍之一項方法，其中方法又包括在預測式編碼(110)之前，映射(106)剩餘圖框，而在決定背光圖框之前，逆向映射(113)拼版圖框之各組成份者。
  10. 如申請專利範圍第1至9項之一項方法，其中預測式編碼(110)剩餘圖框符合SHVC標準者。
  11. 一種圖框從至少一位元流解碼之方法，包括：˙利用位元流至少部份解碼，獲得(104,105)背光圖框；˙利用位元流至少部份解碼，獲得(112)解碼拼版圖框，該解碼拼版圖框係待解碼圖框之低動態版； ˙從解碼拼版圖框，獲得預測子；˙利用位元流之至少部份解碼，並使用解碼拼版圖框所得預測子，將解碼剩餘圖框預測式解碼(1101)；˙因應解碼之剩餘圖框和解碼之背光圖框，把圖框解碼者。
  12. 如申請專利範圍第11項之方法，其中方法又包括：˙利用位元流之至少部份解碼，得有關3D色彩LUT之參數；˙從解碼拼版圖框和所得參數，獲得預測子者。
  13. 如申請專利範圍第11或12項之方法，其中預測子包括對3D色彩LUT各區域之特殊預測子者。
  14. 如申請專利範圍第11至13項之一項方法，其中解碼剩餘圖框之預測式解碼(1101)係符合SHVC標準者。
  15. 一種圖框之編碼裝置，其特徵為，包括處理器，構成：˙從圖框決定背光圖框；˙因應圖框和背光圖框，計算剩餘圖框；˙使用從拼版圖框計算的剩餘圖框之預測子，以預測式編碼剩餘圖框，該拼版圖框係待編碼圖框之低動態版者。
  16. 一種圖框從至少一位元流之解碼裝置，其特徵為，包括處理器，構成：˙利用位元流至少部份解碼，獲得(104,105)背光圖框；˙利用位元流至少部份解碼，獲得(112)圖框，該解碼拼版圖框，該解碼拼版圖框係待解碼圖框之低動態版；˙從解碼拼版圖框，獲得預測子；˙利用位元流之至少部份解碼，並使用解碼拼版圖框所得預測子，將解碼剩餘圖框預測式解碼(1101)；˙因應解碼剩餘圖框和解碼背光圖框，把圖框解碼者。
  17. 一種電腦程式製品，包括程式碼指令，當此程式在電腦上執行時，可執行申請專利範圍第1項編碼方法之步驟者。
  18. 一種電腦程式製品，包括程式碼指令，當此程式在電腦上執行時，可執行申請專利範圍第11項解碼方法之步驟者。
  19. 一種處理器可讀式媒體，內儲存指令，可促使處理器進行至少申請 專利範圍第1項編碼方法之步驟者。
  20. 一種處理器可讀式媒體，內儲存指令，可促使處理器進行至少申請專利範圍第11項解碼方法之步驟者。
  21. 一種非暫態儲存媒體，帶有程式碼之指令，當該程式在計算裝置上執行時，可執行至少申請專利範圍第1至14項中一項方法之步驟者。
TW105118053A 2015-06-15 2016-06-08 圖框之編碼方法和裝置及其解碼方法和裝置，電腦程式製品和處理器可讀式媒體，以及非暫態儲存媒體 TWI740830B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15305926.6A EP3107300A1 (en) 2015-06-15 2015-06-15 Method and device for encoding both a high-dynamic range frame and an imposed low-dynamic range frame
EP15305926.6 2015-06-15

Publications (2)

Publication Number Publication Date
TW201707454A true TW201707454A (zh) 2017-02-16
TWI740830B TWI740830B (zh) 2021-10-01

Family

ID=53487319

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105118053A TWI740830B (zh) 2015-06-15 2016-06-08 圖框之編碼方法和裝置及其解碼方法和裝置，電腦程式製品和處理器可讀式媒體，以及非暫態儲存媒體

Country Status (6)

Country Link
US (1) US10250893B2 (zh)
EP (2) EP3107300A1 (zh)
JP (1) JP7043164B2 (zh)
KR (1) KR20160147670A (zh)
CN (1) CN106412595B (zh)
TW (1) TWI740830B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9979895B2 (en) * 2015-09-04 2018-05-22 Disney Enterprises, Inc. High dynamic range tone mapping
EP3386198A1 (en) * 2017-04-07 2018-10-10 Thomson Licensing Method and device for predictive picture encoding and decoding
CN108769677B (zh) * 2018-05-31 2021-07-30 宁波大学 一种基于感知的高动态范围视频动态范围可分级编码方法
CN117596400A (zh) * 2019-09-20 2024-02-23 北京字节跳动网络技术有限公司 编解码块的缩放过程
CN114222187B (zh) * 2021-08-12 2023-08-29 荣耀终端有限公司 视频编辑方法和电子设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPR890201A0 (en) * 2001-11-16 2001-12-06 Silverbrook Research Pty. Ltd. Methods and systems (npw005)
US7469069B2 (en) * 2003-05-16 2008-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
US8537893B2 (en) * 2006-01-23 2013-09-17 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. High dynamic range codecs
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
KR101365441B1 (ko) * 2007-10-11 2014-02-19 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
WO2010105036A1 (en) * 2009-03-13 2010-09-16 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
JP5899120B2 (ja) * 2010-03-03 2016-04-06 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． カラーレジームを定義する装置及び方法
US9754629B2 (en) * 2010-03-03 2017-09-05 Koninklijke Philips N.V. Methods and apparatuses for processing or defining luminance/color regimes
EP2445214A1 (en) * 2010-10-19 2012-04-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video coding using temporally coherent dynamic range mapping
RU2616158C2 (ru) 2011-04-28 2017-04-12 Конинклейке Филипс Н.В. Устройства и способы для кодирования и декодирования hdr-изображений
CN103535038B (zh) * 2011-05-16 2017-10-13 杜比实验室特许公司 用于分层vdr编码的有效架构
EP2774361B1 (en) 2011-11-01 2015-09-16 Dolby Laboratories Licensing Corporation Adaptive false contouring prevention in layered coding of images with extended dynamic range
CN104185991B (zh) * 2011-11-09 2018-07-06 弗劳恩霍夫应用研究促进协会 不同动态采样值范围的层之间的层间预测
EP2613532A1 (en) * 2012-01-06 2013-07-10 Thomson Licensing Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium
CN102708810B (zh) * 2012-06-27 2014-11-12 南京大学（苏州）高新技术研究院 一种自适应led动态背光方法
JP5926465B2 (ja) 2013-01-02 2016-05-25 ドルビー ラボラトリーズ ライセンシング コーポレイション 向上ダイナミックレンジをもつ超高精細度ビデオ信号のための後方互換な符号化
US9177393B2 (en) * 2013-02-04 2015-11-03 Qualcomm Incorporated Mixed mode for frame buffer compression
CN109064433B (zh) * 2013-02-21 2022-09-13 皇家飞利浦有限公司 改进的hdr图像编码和解码方法及设备
EP2819414A3 (en) 2013-06-28 2015-02-25 Samsung Electronics Co., Ltd Image processing device and image processing method
TWI652937B (zh) * 2013-10-07 2019-03-01 Ｖｉｄ衡器股份有限公司 多層視訊編碼組合可調能力處理方法
CN105594215B (zh) * 2013-10-11 2019-04-23 夏普株式会社 颜色信息和色度信令
WO2015097168A1 (en) * 2013-12-27 2015-07-02 Thomson Licensing Method and device for tone-mapping a high dynamic range image
EP2890129A1 (en) 2013-12-27 2015-07-01 Thomson Licensing Method and device for encoding a high-dynamic range image and/or decoding a bitstream
WO2015097118A1 (en) 2013-12-27 2015-07-02 Thomson Licensing Method and device for encoding a high-dynamic range image into a bitstream and/or decoding a bitstream representing a high-dynamic range image
GB201408618D0 (en) * 2014-05-15 2014-06-25 Univ Warwick Compressing high dynamic range images

Also Published As

Publication number Publication date
EP3107300A1 (en) 2016-12-21
US20160366423A1 (en) 2016-12-15
TWI740830B (zh) 2021-10-01
CN106412595A (zh) 2017-02-15
CN106412595B (zh) 2022-01-25
JP7043164B2 (ja) 2022-03-29
JP2017017684A (ja) 2017-01-19
KR20160147670A (ko) 2016-12-23
EP3107301A1 (en) 2016-12-21
US10250893B2 (en) 2019-04-02

Similar Documents

Publication Publication Date Title
TWI769128B (zh) 用於影像及視訊之電光及光電轉換的方法、系統及裝置
US11006151B2 (en) Method and device for encoding both a HDR picture and a SDR picture obtained from said HDR picture using color mapping functions
RU2737507C2 (ru) Способ и устройство для кодирования изображения высокого динамического диапазона, соответствующий способ декодирования и устройство декодирования
US9924178B2 (en) Method and device for encoding a high-dynamic range image and/or decoding a bitstream
US10219007B2 (en) Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture
TW201701665A (zh) 編碼及解碼彩色圖像之方法及裝置
TWI740830B (zh) 圖框之編碼方法和裝置及其解碼方法和裝置，電腦程式製品和處理器可讀式媒體，以及非暫態儲存媒體
WO2015097126A1 (en) Method and device for encoding a high-dynamic range image and/or decoding a bitstream
TW201601518A (zh) 在位元流中將低動態範圍圖像之圖像／視訊格式及從該低動態範圍圖像及照明圖像中得到之解碼高動態範圍圖像之圖像／視訊格式以信號表示之方法及裝置
EP3113494A1 (en) Method and device for encoding a high-dynamic range image
TW201537965A (zh) 影像之編碼方法和裝置，以及電腦程式製品和處理器可讀式媒體
TW201601524A (zh) 在位元流中將低動態範圍圖像之圖像／視訊格式及從該低動態範圍圖像及照明圖像中得到之解碼高動態範圍圖像之圖像／視訊格式以信號表示之方法及裝置
EP2938083A1 (en) Method and device for processing an information data indicating that a frame contains samples of at least two distinct packed constituent frames according to a specific frame-packing-arrangement scheme
TW201532424A (zh) 影像之編碼方法和裝置，以及電腦程式製品和處理器可讀式媒體
WO2015097131A1 (en) Method and device for encoding a high-dynamic range image
WO2015097129A1 (en) Method and device for encoding a high-dynamic range image
WO2015097134A1 (en) Method and device for encoding a high-dynamic range image and/or decoding a bitstream
WO2015097124A1 (en) Method and device for encoding a high-dynamic range image and/or decoding a bitstream