TW201537965A - 影像之編碼方法和裝置，以及電腦程式製品和處理器可讀式媒體 - Google Patents

影像之編碼方法和裝置，以及電腦程式製品和處理器可讀式媒體 Download PDF

Info

Publication number
TW201537965A
TW201537965A TW103145103A TW103145103A TW201537965A TW 201537965 A TW201537965 A TW 201537965A TW 103145103 A TW103145103 A TW 103145103A TW 103145103 A TW103145103 A TW 103145103A TW 201537965 A TW201537965 A TW 201537965A
Authority
TW
Taiwan
Prior art keywords
image
encoding
remaining
res
backlight
Prior art date
Application number
TW103145103A
Other languages
English (en)
Inventor
Sebastien Lasserre
Yannick Olivier
Fabrice Leleannec
David Touze
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of TW201537965A publication Critical patent/TW201537965A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/04—Display protection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/04—Display protection
    • G09G2330/045—Protection against panel overheating

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明一般關於影像之編碼方法和裝置。此方法包括：˙編碼(12)由影像所決定(11)之背光影像；˙影像除以背光影像之解碼版本，獲得(13)剩餘影像；˙利用色調映射剩餘影像，獲得(16)經色調映射之剩餘影像；˙編碼之前，截除(18)剩餘影像；˙編碼(19)經色調映射之剩餘影像。

Description

影像之編碼方法和裝置，以及電腦程式製品和處理器可讀式媒體
本發明一般係關於影像/視頻之編碼和解碼。具體而言，本發明之技術領域係關於圖元值屬於高動太範圍的影像之編碼/解碼。
本節旨在對讀者介紹各技術層面，與下述和/或所請求之本發明諸要旨有所關聯。於此論述相信有助於提供背景資訊給讀者，便利更為瞭解本發明諸要旨。因此，須知此等陳述是以此觀點閱讀，而非納入先前技術。
低動態範圍(LDR)影像係指光度值以有限位元數(最通常是8至10)表示之影像。此有限表示低不容正常描繪小小訊號變異，尤其是黑暗和明亮之光度範圍。在高動態範圍(HDR)影像內，訊號表示法延伸，以保持訊號在其全範圍之高度準確性。在HDR影像內，圖元值通常以浮點(floating-point)格式(不論是各成份為32位元或16位元，即浮或半浮)，最普遍的格式是開放EXR半浮格式(RGB成份為16位元，即每圖元為48位元)，或以具有長表示法之整數表示，通常至少16位元。
編碼HDR影像之典型策略是，減少影像之動態範圍，以便利用傳統編碼方案編碼影像(初步構成編碼HDR影像)。
按照第一策略，應用色調映射運算子於輸入HDR影像，而色調映射過的影像則利用傳統8-10位元深度編碼計劃，諸如視頻之JPEG/JPEG200或MPEG-2,H.264/AVC編碼(“Advanced video coding for generic audiovisual Services”,SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS,Recommendation ITU-T H.264,Telecommunication Standardization Sector of ITU,January 2012)。然後，對已解碼影像應用逆色調映射運算子，在輸入影像和已解碼並經逆色調映射影 像之間，計算剩餘影像。最後，利用第二傳統8-10位元深度編碼器計劃，編碼剩餘影像。
此第一策略可向後共容，理由是低動態範圍影像，可利用傳統裝置解碼和顯示。
然而，此第一策略使用二編碼方案，把輸入影像之動態範圍限制到傳統編碼方案動態範圍的二倍(16-20位元)。此外，如此策略有時導致低動態範圍影像，與輸入HDR影像之相關性較弱。此舉導致影像之低寫碼性能。
按照第二策略，背光影像是由輸入HDR影像之光度成份決定。輸入HDR影像除以背光影像，則得剩餘影像，而背光影像和剩餘影像二者均直接編碼。
為編碼輸入HDR影像之此特別策略，與無法解碼和/或顯示高動態範圍之傳統裝置，無向後共容性。
本發明出發點在於克服先前技術之若干缺點，提供一種影像編碼方法，包括：˙編碼由影像所決定之背光影像；˙影像除以背光影像之解碼版本，獲得剩餘影像；˙利用色調映射剩餘影像，獲得經色調映射之剩餘影像；˙編碼經色調映射之剩餘影像。
此提供可觀視之剩餘影像，意即所得剩餘影像以藝術方式描繪充分合理之色調映射過場景，且與影像內原先場景可前後一貫媲美之剩餘影像。此方法因此可向後共容，因為可觀視之剩餘影像可利用無法處置高動態範圍之傳統裝置解碼和/或顯示。
再者，利用此等方法編碼高動態範圍影像，導致有效率之編碼方案，因為高度空間相關性(且與同樣影像序列之其他影像有時間相關)之色調映射剩餘影像(低動態範圍影像)，且背光影像是分別編碼。所以達成寫碼增益，因經色調映射的剩餘影像之高度壓縮率，且少量資料即可編碼背光影像之故。
按照一具體例，色調映射剩餘影像，包括伽瑪相關性和SLog 相關性，依照剩餘影像之圖元值。
伽瑪和SLog相關性，不損失暗和光資訊，導致從剩餘影像和背光影像，以高度精確重建HDR影像。此外，伽瑪和SLog相關性在重建HDR影像和可觀視剩餘影像二者內，可避免平截面積(flat clipped area)。
按照一具體例，從影像獲得背光影像包括：˙從影像之光度成份，獲得背光影像；˙以影像之平均光度值，調制背光影像。
以影像之平均光度值調制背光影像，改善影像和剩餘影像間之全局光度凝聚性，例如影像內之亮區在剩餘影像出現光亮，而影像內之暗區在剩餘影像內出現黑暗。
按照一具體例，從影像獲得背光影像又包括：˙在調制背光影像之前，利用其平均值常態化背光影像。
此舉可為影像得到mid-gray-at-one背光影像。
按照一具體例，方法又包括在編碼之前，標度剩餘影像。
此舉把從剩餘影像所得影像之平均灰度，放在為觀視和寫碼二者之充分值。
按照一具體例，方法又包括在編碼之前，截除剩餘影像。
截除剩餘影像，確保有限量的位元，並得以使用傳統編碼/解碼方案來編碼。又，編碼/解碼方案可與現有基礎設施(寫解碼器、顯示器、分配頻道等)向後共容，因為只有通常為8-10位元的低動態範圍之剩餘影像，可經此等基礎設施傳送，以顯示影像之低動態範圍版本。含背光資料之小位元流，可載於側容器內，跨過專用基礎設施，分配影像之原版(即HDR影像)。
本發明另一要旨，係關於影像編碼裝置和位元流解碼裝置，以實施上述方法。
本發明另一要旨，係關於電腦程式製品，包括程式碼指令，當此程式在電腦上執行時，可執行上述方法之步驟。
本發明另一要旨，係關於處理器可讀式媒體，內儲存指令，可造成處理器至少進行上述方法之步驟。
本發明之特別性質，以及其他目的、優點、特點和使用，由 如下參照附圖所示較佳具體例之說明，即可明白。
10‧‧‧模組IC獲得待編碼影像I的光度成份L和潛在至少一色彩成份C(i)之步驟
11‧‧‧模組BAM從影像I的光度成份L決定背光影像Bal之步驟
12‧‧‧決定步驟11輸出背光影像Bal所需資料利用編碼器ENC1編碼，並添加於位元流BF內，可儲存於本區或遠程記憶器和/或傳送通過通訊介面之步驟
13‧‧‧影像除以背光影像之解碼版本計算剩餘影像Res
14‧‧‧利用解碼器DEC1把位元流BF至少部份解碼，獲得背光影像解碼版本之步驟
15‧‧‧模組BAG從加權係數和某些已知非適應性形狀函數或形狀函數產生背光影像解碼版本之步驟
16‧‧‧模組TMO色調映射剩餘Res以得到可觀視剩餘影像Resv之步驟
17‧‧‧模組SCA在編碼之前利用標度因數cstscaling乘以可觀視剩餘影像Resv各成份，以標度可觀視剩餘影像Resv之步驟
18‧‧‧模組CLI在編碼之前，截除可觀視剩餘影像Resv把動態範圍限制到目標動態範圍TDR之步驟
19‧‧‧剩餘影像Resc利用編碼器ENC2編碼之步驟
51‧‧‧利用解碼器DEC2把位元流F至少部份解碼，獲得解碼之剩餘影像之步驟
52‧‧‧模組ISCA就解碼剩餘影像除以參數，對解碼剩餘影像應用逆標度之步驟
53‧‧‧模組ITMO利用參數，對解碼之剩餘影像應用逆色調映射之步驟
54‧‧‧解碼之剩餘影像乘以背光影像獲得解碼影像之步驟
60‧‧‧裝置
61‧‧‧資料和位址匯流排
62‧‧‧微處理器
63‧‧‧唯讀記憶器
64‧‧‧隨機存取記憶器
65‧‧‧輸出入介面
66‧‧‧電池組
67‧‧‧通訊介面
A,B‧‧‧遠程裝置
NET‧‧‧通訊網路
第1圖為本發明一具體例影像編碼方法步驟之方塊圖；第2圖為本發明一具體例方法步驟之方塊圖；第3圖為本發明一具體例方法步驟之方塊圖；第4圖為本發明一具體例方法步驟之方塊圖；第5圖為本發明一具體例為表示由影像除以背光影像所計算剩餘影像的位元流解碼方法步驟之方塊圖；第6圖為本發明一具體例裝置構造之一實施例圖；第7圖表示本發明一具體例跨越通訊網路通訊之二遠程裝置。
茲參照附圖所示本發明具體例完整說明如下。惟本發明可以許多變通型式具體化，不應解釋為限於此所述具體例。誠然，本發明可呈現各種修飾和變通型式，故圖示特殊具體例是以圖舉例，於此詳述。惟須知無意將本發明限於所揭示之特別型式，反之，本發明涵蓋申請專利範圍所界定本發明精神和範圍內之全部修飾、等效和變通例。在附圖說明之全文中，同樣號碼指涉同樣元件。
於此所用術語之目的，僅在於說明特別具體例，無意限制本發明。所用單數式「一」也包含複數式在內，除非文內另有清楚指明。又，說明書內用到「包括」和/或「包含」，特定所述特點、整數、步驟、操作、元件和/或組件存在，並非排除或另加一或以上其他特點、整數、步驟、操作、元件、組件，和/或其組群存在。此外，元件若指涉「負責」或「連接」另一元件，可直接負責或連接其他元件，或有介入元件存在，反之，若元件指涉「直接負責」或「直接連接」於其他元件，則無介入元件存在。於此使用「和/或」包含一或以上關聯列舉項之任何和全部組合，並以斜線縮寫。
須知於此使用第一、第二等術語，說明諸元件，此等元件應不限此等術語限制。此等術語僅用來分辨一元件與另一元件。例如，第一元件可稱為第二元件，第二元件同樣可稱為第一元件，不違內容之揭示。
雖然有些圖含有通訊途程上之箭頭，以顯示通訊之主要方向，須知通訊方向亦可與圖示箭頭相反。
有些具體例是就方塊圖和操作流程圖說明，其中各方塊代表電路元件、模組，或部份電碼，包括一或以上可執行之指令，以實施特定邏輯功能。另須知在其他實施中，方塊內註明之功能，可不照註明順序。例如以接續方式圖示之二方塊，事實上是實質同時執行，或方塊有時亦可按逆序執行，視涉及之功能性而定。
「具體例」或「一具體例」指涉本發明至少一實施方式中，包含與具體例連結說明之特殊特點、結構或特徵。在說明書各處出現「在一具體例中」或「按照具體例」，不一定全部指涉同一具體例，亦非一定彼此排除其他具體例之分開或另項具體例。
申請專利範圍內出現的參考數字，僅供圖示參考，對申請專利範圍無限制作用。
雖未明說，本發明具體例和變化例，可採用任何組合或次組合方式。
本發明就影像之編碼/解碼加以說明，但可延伸到影像(視訊)序列之編碼/解碼，因為序列之各影像係按下述依序編碼/解碼。
第1圖表示按照本發明具體例，影像I之編碼方法步驟方塊圖。
在步驟10，模組IC獲得要編碼影像I之光度成份L和潛在至少一色彩成份C(i)。
例如，當影像I屬於色彩空間(X,Y,Z)，利用成份Y之轉換式f(.)，獲得光度成份L，例如L=f(Y)。
當影像I屬於色彩空間(R,G,B)，例如在709色域中，利用線性組合，獲得光度成份L，其式為：L=0.2127.R+0.7152.G+0.0722.B
在步驟11，模組BAM從影像I的光度成份L決定背光影像Bal。
按照步驟11之具體例，如第2圖所示，模組BI決定背光影像Ba，成為形狀函數ψ i 之加權線性組合，其式為： Ba=Σ i a i ψ i (1)其中a i 係加權係數。
因此，由光度成份L決定背光影像Ba，包含找出最適加權係數(還有潛在最適形狀函數，如果事先未知)，以便背光影像Ba適配光度成份L。
有許多已知方法可找出加權係數a i 。例如可用最小均(least mean square)方法，把背光影像Ba和光度成份L間之均方誤差減到最小。
本發明不限於獲得背光影像Ba之任何特別方法。
須知形狀函數可為顯示背光之真實物理回應(例如LED製成，各形狀函數則相當於一LED之回應)，或是純數學建構，以最好適配光度成份。
按照此具體例，步驟11輸出之背光影像Bal，係式(1)賦予之背光影像Ba。
按照步驟11之具體例，如第3圖所示，模組BM以利用模組HL所得影像I之平均光度值L mean ，調制背光影像Ba(由式(1)獲得)。
按照此具體例，步驟11輸出之背光影像Bal，為調制過背光影像。
按照一具體例，模組HL構成就全部光度成份L，計算平均光度值L mean 。
按照一具體例，模組HL構成利用下式計算平均光度值L mean ，其式為： 其中β為少於1之係數，E(X)為光度成份L之數學期待值(平均)。
此最後具體例為佳，因為避免平均光度值L mean 受到極高值的少數圖元影響，當影像I屬於影像序列時，該少數圖元往往導致很困擾的暫時平均亮度不穩定。
本發明不限於計算平均光度值L mean 之特殊具體例。
按照此具體例之變化例，如第4圖所示，模組N以其平均值E(Ba)常態化背光影像Ba(以式(1)所得)，為影像(若影像I屬於影像序列，則為全部影像)，得mid-gray-at-one背光影像Ba gray ：
然後，模組BM利用如下關係式，以影像I之平均光度值L mean ，調制mid-gray-at-one背光影像Ba gray ： 其中cst mod 係調制係數，α為少於1之另一調制係數，通常為1/3。
按照此變化例，步驟11輸出之背光影像Bal，係由式(2)所得之調制背光影像Ba mod 。
須知調制係數cst mod 經調諧，為剩餘影像得悅目之亮度，極為視過程而定，而得背光影像。例如對最少均方所得背光影像言，cst mod 1.7。
實務上，利用線性，調制背光影像之全部操作，均應用背光係數a i 做為校正因數，把係數a i 轉換為新係數，得：
在步驟12，決定步驟11輸出的背光影像Bal所需資料，利用編碼器ENC1編碼，加於位元流BF，可儲存於本區或遠程記憶器，和/或傳輸透過通訊介面(例如至匯流排，或跨越通訊網路或廣播網路)。
例如，若使用已知非適應性形狀函數，要編碼的資料限於加權係數a i 或，惟形狀函數ψ i 亦可為原先未知，再編碼於位元流BF，例如大約最適數學建構更佳配合之情況。故，全部加權係數a i 或(和潛在形狀函數ψ i )均編碼於位元流BF。
加權係數a i 或宜在編碼之前，經量化，以減少位元流BF規模。
在步驟13，利用影像除以背光影像之解碼版本，計算剩餘影像Res。
宜使用背光影像之解碼版本，確保在編碼器和解碼器側二者有同樣背光影像，因而導致更為準確之最後解碼影像。
更準確而言，由模組IC所得影像I之光度成份L和潛在各色彩成份C(i)，除以背光影像之解碼版本。此除法是圖元逐一為之。
例如，當影像I的成份R、G或B，於色彩空間(R,G,B)表示 時，得成份RRes、GRes和BRes如下：
例如，當影像I的成份X、Y或Z，於色彩空間(X,Y,Z)表示時，得成份XRes、YRes和ZRes如下：
按照一具體例，在步驟14，利用解碼器DEC1把位元流BF至少部份解碼，得背光影像之解碼版本。
如前所說明，獲得步驟11輸出背光影像所需若干資料，業已編碼(步驟12)，再利用至少部份解碼位元流BF而得。
由上述實施例，得加權係數(和潛在形狀函數)，做為步驟14輸出。
然後，在步驟15，模組BAG從加權係數，以及某些已知非適應性形狀函數或形狀函數，產生背光影像之解碼版本，其式為：
在步驟16，模組TMO色調映射剩餘影像Res，以獲得可觀視之剩餘影像Resv。
可能出現剩餘影像Res無法觀視的情形，其動態範圍太高，且因為此剩餘影像Res之解碼版本亦顯示觀覺偽影。色調映射剩餘影像可補救此等缺點至少其一。
本發明不限於任何特殊色調映射運算子。其單一條件是色調映射運算子為可逆。
例如可用Reinhard界定之色調映射運算子(Reinhard,E.,Stark,M.,Shirley,P.,and Ferwerda,J.,\Photographic tone reproduction for digital images," ACM Transaetions on Graphics 21(July 2002))，或Boitard,R.,Bouatouch,K.,Cozot,R.,Thoreau,D.,& Gruson,A.(2012)。對視訊色調映射之時間凝聚性。In A.M.J.van Eijk,C.C.Davis,S.M.Hammel,& A.K.Majumdar(Eds.),Proc.SPIE 8499,Applications of Digital Image Processing(p.84990D-84990D-10))。
在步驟19，可觀視之剩餘影像Resv利用編碼器ENC2，編碼於位元流F內，可儲存於本區或遠程記憶器和/或傳輸通過通訊介面(例 如在匯流排上，或跨越通訊網路或廣播網路)。
按照步驟16之具體例，色調映射剩餘影像包括依照剩餘影像之圖元值，進行伽瑪校正或SLog校正。
則例如利用下式得可觀視之剩餘影像Resv：Res v =A.Res γ 其中A為常數，是伽瑪曲線係數，例如等於1/2.4。
另外，可觀視之剩餘影像Resv，係例如由下式求得：Res v =a.ln(Res+b)+c其中a,b,c為所決定SLog曲線之係數，使0和1不變，而SLog曲線之導數被伽瑪曲線在1以下延續時，會在1內繼續。因此，a,b,c是參數γ的函數。
按照一具體例，伽瑪-SLog曲線之參數γ，編碼於位元流BF內。
對剩餘影像Res應用伽瑪校正時，把暗區拉上，惟不充分降低強光，避免燒掉亮圖元。
對剩餘影像Res應用SLog校正，會充分降低強光，但不會拉上暗區。
然後，按照步驟16較佳具體例，模組TMO依照剩餘影像Res圖元值，應用伽瑪校正或SLog校正。
例如，當剩餘影像Res之圖元值低於臨界值(等於1)，應用伽瑪校正，否則，應用SLog校正。
利用建構，可觀視之剩餘影像Resv通常具有平均值多多少少接近1，視影像I亮度而定，得以特別有效率使用上述伽瑪-SLog組合。
按照方法之具體例，在步驟17，模組SCA在編碼(步驟19)之前，標度可觀視之剩餘影像Resv，就可觀視剩餘影像Resv之各成份，乘以標度因數cstscaling。所得剩餘影像Ress由下式而得：Ress=cstscaling.Resv
在特別具體例中，標度因數cstscaling界定為映射可觀視剩餘影像Resv值介於0和最大值2N-1之間，其中N為容許做為編碼器ENC2寫碼輸入之位元數。
此自然利用映射數值1(粗略為可觀視剩餘影像Resv)於中 度灰值(mid-gray value)2N-1而得。因此，對於具有標準位元數N=8之可觀視剩餘影像Resv而言，標度因數等於120是很一致的數值，因為很接近在27=128的中性灰度。
按照此方法具體例，在步驟19，剩餘影像Ress是利用編碼器ENC2編碼。
按照方法之一具體例，在步驟18，模組CLI於編碼之前，截除可觀視之剩餘影像Resv，把其動態範圍限制於例如按照編碼器ENC2之能力所界定目標動態範圍TDR。
按照此最後具體例，所得剩餘影像Resc係例如利用下式求得：Resc=max(2N,Resv) Resc=max(2N,Ress)依照方法之具體例而定。
本發明不限於此等截除(max(.))，而是延伸到任何種類之截除。
按照此方法具體例，在步驟19，剩餘影像Resc是利用編碼器ENC2編碼。
組合標度和截除具體例，導致剩餘影像Ressc，其式為：Ressc=max(2N,cstscaling*Resv)或Ressc=max(2N,cstscaling*Ress)依照方法具體例而定。
按照此方法具體例，在步驟19中，剩餘影像Ressc是利用編碼器ENC2編碼。
可觀視剩餘影像Resv之色調映射和標度，為參數過程。參數固定與否均可，在後一情況，可利用編碼器ENC1編碼於位元流BF內。
按照方法之一具體例，伽瑪校正之常數γ、標度因數cstscaling可為編碼於位元流BF內之參數。
須知選擇參數α,cstmod,cstscaling,γ,β，賦予選擇色調映射的空間，遵循後製作和色彩層次之專家品味，適合最佳內容。
另方面，界定普遍性參數，以便大量影像全部可接收。則無 參數編碼於位元流BF內。
第5圖表示方法步驟之流程圖，按照本發明具體例，供表示由影像除以背光影像計算之剩餘影像解碼之用。
如上說明，在步驟14和15，例如利用解碼器DEC1把位元流BF至少部份解碼，而獲得背光影像。
位元流BF可以局部儲存或從通訊網路接收。
在步驟51，利用解碼器DEC2，把位元流F至少部份解碼，獲得解碼之剩餘影像。
位元流F可已局部儲存或從通訊網路接收。
如後述，解碼之剩餘影像，可利用傳統裝置觀視。
在步驟54，解碼之剩餘影像乘以背光影像，獲得解碼影像。
按照步驟14之具體例，亦可利用解碼器DEC1，從局部記憶器，或藉位元流BF至少部份解碼，獲得參數和/或。
按照方法，在步驟52，模組ISCA就解碼剩餘影像除以參數，對解碼剩餘影像應用逆標度。
在步驟53，模組ITMO利用參數，對解碼之剩餘影像應用逆色調映射。
例如，參數界定伽瑪曲線，而逆色調映射只是從伽瑪曲線，找出數值，相當於解碼剩餘影像之圖元值。
解碼器DEC1和DEC2分別構成解碼資料，已分別利用編碼器ENC1和ENC2編碼。
編碼器ENC1和ENC2(以及解碼器DEC1和DEC2)不限於特別編碼器(解碼器)，但若需要熵編碼器(解碼器)，以諸如Huffmann寫碼器、算術寫碼器，或文脈適應寫碼器，像H264/AVC或HEVC內所用Cabac等熵編碼器為宜。
編碼器ENC1和ENC2(以及解碼器DEC1和DEC2)不限於特別編碼器(解碼器)，可例如為具有損耗的影像/視頻寫碼器，像JPEG、JPEG2000、MPEG2、H264/AVC或HEVC。
在第1-5圖上，模組為功能性單位，與可區別之物理單位是 否相關均可。例如，此等模組或其部份，可一起湊在獨特組件或電路內，或提供軟體之功能性。反之，有些模組可潛在由分開的物理實體所組成。與本發明相容的裝置實施時，可使用純硬體，例如使用專用硬體，諸如ASIC、FPGA或VLSI，分別代表「應用特定積體電路」、「外場可規劃閘陣列」、「甚大型積體電路」之英文縮寫，或來自內嵌於裝置之若干積體電子組件，或來自硬體和軟體組件之混合體。
第6圖表示裝置60之結構例，可構成實施關於第1-5圖所述方法。
裝置60包括下列元件，利用資料和位址匯流排61鏈接在一起：˙微處理器(或CPU)62，例如為DSP(數位訊號處理器)；˙ROM(或唯讀記憶器)63；˙RAM(隨機存取記憶器)64；˙輸出入(I/O)介面65，從應用接收資料供傳送；˙電池組66。
按照變化例，電池組66在裝置外。第6圖之各元件為技術所公知，不需贅述。所述各記憶器中，說明書所用「暫存器」相當於小容量面積(若干位元)或甚大面積(例如全程式，或大量所接收或解碼資料)。ROM 63包括至少一程式和參數。本發明方法之演算，儲存於ROM 63內。啟用時，CPU 62上載RAM內之程式，並執行相對應指令。
RAM 64在暫存器內包括CPU 62執行之程式，於啟用裝置60後，上載暫存器內之輸入資料、暫存器內不同方法狀態之中間資料，以及暫存器內執行方法所用變數。
於此所述實施方式，可例如於方法或過程、裝置、軟體程式、資料串流或訊號內實施。即使按單一型式之實施脈絡論述(例如只做為方法或裝置討論)，所述特點之實施亦可按其他型式為之(例如程式)。裝置可例如於適當硬體、軟體和韌體內實施。方法可例如於裝置內實施，諸如處理器，一般指涉處理裝置，例如包含電腦、微處理器、積體電路，或可程式規劃之邏輯裝置。處理器亦包含通訊裝置，諸如電腦、手機、可攜式/個人數位助理器(PDAs)，以及方便末端使用者間資訊通訊之其他裝置。
按照編碼或編碼器之特殊具體例，由來源可得影像I。例如，來源屬於包括下列之集合：˙局部記憶器(63或64)，例如視訊記憶器，或RAM(隨機存取記憶器)、快閃記憶器、ROM(唯讀記憶器)、硬碟；˙儲存介面(65)，例如與大量儲存器之介面、RAM、快閃記憶器、ROM、光碟，或磁性支援；˙通訊介面(67)，例如有線介面(例如匯流排介面、廣域網路介面、本區網路介面)，或無線介面(諸如IEEE 802.11介面，或Bluetooth®介面)；˙影像捕獲電路(例如感測器，諸如CCD(或電荷耦合裝置)，或CMOS(互補金屬氧化物半導體))。
按照解碼或解碼器之不同具體例，解碼影像發送至終站；具體而言，終站屬於包括下列之集合：˙局部記憶器(63或64)，例如視訊記憶器或RAM、快閃記憶器、硬碟；˙儲存介面(65)，例如與大量儲存器之介面、RAM、快閃記憶器、ROM、光碟或磁性支援；˙通訊介面(67)，例如有線介面(例如匯流排介面，像USB，即通用序列匯流排)、廣域網路介面、本區網路介面、HDMI(高清晰度多媒體介面)介面，或無線介面(諸如IEEE 802.11介面、WiFi®或Bluetooth®介面)；˙顯示器。
按照編碼或編碼器不同具體例，位元流BF和/或F發送到終站。舉例而言，位元流F和BF之一或二者，儲存於局部或遠程記憶器，例如視訊記憶器(64)或RAM(64)、硬碟(63)。在一變化例中，一或二位元流發送至儲存介面(65)，例如與大量儲存器之介面、快閃記憶器、ROM、光碟或磁性支援，和/或傳送越過通訊介面(67)，例如與點對點鏈路之介面、通訊匯流排、點對多點鏈路或廣播網路。
按照解碼或解碼器之不同具體例，由來源獲得位元流BF和/或F。舉例而言，位元流是從局部記憶器，例如視訊記憶器(64)、RAM(64)、 ROM(63)、快閃記憶器(63)或硬碟(63)獲得。在一變化例中，位元流是從儲存介面(65)，例如與大量儲存器之介面、RAM或ROM、快閃記憶器、光碟或磁性支援，和/或從通訊介面(67)，例如與點對點鏈路之介面、匯流排、點對多點鏈路或廣播網路接收。
按照不同具體例，裝置60構成實施關於第1-4圖所述編碼方法，屬於包括下列之集合：˙行動裝置；˙通訊裝置；˙遊戲器裝置；˙平板(或平板電腦)；˙膝上型電腦；˙靜態影像攝影機；˙視訊攝影機；˙編碼晶片；˙靜態影像伺服器；˙視訊伺服器(例如廣播伺服器、應需視訊伺服器或網頁伺服器)。
按照不同具體例，裝置60係構成實施就第5圖所述之解碼方法，屬於包括下列之集合：˙行動裝置；˙通訊裝置；˙遊戲器裝置；˙機上盒；˙電視機；˙平板(或平板電腦)；˙膝上型電腦；˙顯示器；˙解碼晶片。
按照第7圖所示具體例，在二遠程裝置A和B間跨越通訊網路NET傳輸文脈中，裝置A包括之機構，構成實施就第1圖所述之影像編碼方法，而裝置B包括之機構，構成實施就第5圖所述之解碼方法。
按照本發明一變化例，網路為廣播網路，適於從裝置A廣播靜態影像或視訊影像，至包含裝置B之解碼裝置。
實施上述諸過程和特點，可藉各種不同設備或應用予以具體化，特別例如設備或應用。此等設備之實施例包含編碼器、解碼器、處理解碼器輸出之後處理器、提供輸入至編碼器之預處理器、視訊寫碼器、視訊解碼器、視訊寫解碼器、網頁伺服器、機上盒、膝上型電腦、個入電腦、行動電話、PDA，及其他通訊裝置。須知設備可為活動式，甚至安裝在活動交通工具上。
此外，方法可利用處理器進行之指令實施，而此等指令(和/或實施方式產生之資料值)可儲存於處理器可讀式媒體，例如積體電路、軟體載具，或其他儲存裝置，諸如硬碟、微型磁碟(CD)、光碟(諸如DVD，往往稱為數位萬用磁碟或數位影碟)、隨機存取記憶器(RAM)、唯讀記憶器(ROM)。指令可形成應用程式，在處理器可讀式媒體上有形具體化。指令可例如呈硬體、韌體、軟體，或其組合式。指令可見於例如操作系統、分開應用，或二者組合。所以，處理器之特徵為，例如一裝置構成進行過程，而一裝置包含處理器可讀式媒體(諸如儲存介面)，具有進行過程之指令。又，處理器可讀式媒體在取代指令或指令之外，可儲存利用實施方式產生之資料值。
技術專家明顯可知，實施方式可產生各種訊號，經格式化帶有資訊，可例如儲存或傳送。資訊可包含例如進行方法之指令，或上述實施方式之一產生之資料。例如，訊號可經格式化帶有上述具體例的語法書寫或讀取規則做為資料，或帶有上述具體例所書寫實際語法值為資料。此等訊號可經格式化為例如電磁波(例如使用頻譜之射頻部份)，或基帶訊號。格式化可包含例如編碼資料串流，和以編碼資料串流調制載波。訊號所帶資訊可為例如類比或數位資訊。已知訊號可跨越各種不同的有線或無線鏈路傳送。訊號可儲存於處理器可讀式媒體上。
許多實施方式已說明如上。然而，須知可進行各種修飾。例如，不同實施方式之元件可以組合、補充、修飾或消除，以產生其他實施方式。此外，技術專家均知可用其他結構和過程，取代上述已揭示者，而所得實施方式可進行和所揭示實施方式至少實質上同樣功能，至少實質上 同樣方式，以達成至少實質上同樣結果。因此，上述和其他實施方式均為本案所構想。
10‧‧‧模組IC獲得待編碼影像I的光度成份L和潛在至少一色彩成份C(i)之步驟
11‧‧‧模組BAM從影像I的光度成份L決定背光影像Bal之步驟
12‧‧‧決定步驟11輸出背光影像Bal所需資料利用編碼器ENC1編碼，並添加於位元流BF內，可儲存於本區或遠程記憶器和/或傳送通過通訊介面之步驟
13‧‧‧影像除以背光影像之解碼版本計算剩餘影像Res
14‧‧‧利用解碼器DEC1把位元流BF至少部份解碼，獲得背光影像解碼版本之步驟
15‧‧‧模組BAG從加權係數和某些已知非適應性形狀函數或形狀函數產生背光影像解碼版本之步驟
16‧‧‧模組TMO色調映射剩餘Res以得到可觀視剩餘影像Resv之步驟
17‧‧‧模組SCA在編碼之前利用標度因數cstscaling乘以可觀視剩餘影像Resv各成份，以標度可觀視剩餘影像Resv之步驟
18‧‧‧模組CLI在編碼之前，截除可觀視剩餘影像Resv把動態範圍限制到目標動態範圍TDR之步驟
19‧‧‧剩餘影像Resc利用編碼器ENC2編碼之步驟

Claims (4)

  1. 一種影像之編碼方法，其特徵為，包括：˙編碼(12)由影像所決定(11)之背光影像；˙影像除以背光影像之解碼版本，獲得(13)剩餘影像；˙利用色調映射剩餘影像，獲得(16)經色調映射之剩餘影像；˙編碼之前，截除(18)剩餘影像；˙編碼(19)經色調映射之剩餘影像者。
  2. 一種影像之編碼裝置，其特徵為，構成：˙把影像決定(BAM)的背光影像編碼(ENC1)；˙由影像除以背光影像之解碼版本，獲得剩餘影像；˙利用色調映射剩餘影像，獲得(TMO)色調映射之剩餘影像；˙編碼之前，截除(18)剩餘影像；˙編碼(ENC2)色調映射之剩餘影像者。
  3. 一種電腦程式製品，包括程式碼指令，當此指令在電腦上執行時，可執行申請專利範圍第1項之編碼方法步驟者。
  4. 一種處理器可讀式媒體，內儲存有指令，可造成處理器至少進行申請專利範圍第1項之編碼方法步驟者。
TW103145103A 2013-12-27 2014-12-24 影像之編碼方法和裝置，以及電腦程式製品和處理器可讀式媒體 TW201537965A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP13306884 2013-12-27

Publications (1)

Publication Number Publication Date
TW201537965A true TW201537965A (zh) 2015-10-01

Family

ID=49955859

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103145103A TW201537965A (zh) 2013-12-27 2014-12-24 影像之編碼方法和裝置，以及電腦程式製品和處理器可讀式媒體

Country Status (2)

Country Link
TW (1) TW201537965A (zh)
WO (1) WO2015097135A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105336290A (zh) * 2015-11-18 2016-02-17 青岛海信电器股份有限公司 伽马Gamma校正方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
CN102947876B (zh) * 2010-06-21 2016-09-14 杜比实验室特许公司 在局部调光显示器上显示图像

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105336290A (zh) * 2015-11-18 2016-02-17 青岛海信电器股份有限公司 伽马Gamma校正方法及装置
CN105336290B (zh) * 2015-11-18 2018-06-01 青岛海信电器股份有限公司 伽马Gamma校正方法及装置

Also Published As

Publication number Publication date
WO2015097135A1 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
TWI659642B (zh) 影像之編碼方法和裝置，以及位元流之解碼方法和裝置
TWI769128B (zh) 用於影像及視訊之電光及光電轉換的方法、系統及裝置
TWI740830B (zh) 圖框之編碼方法和裝置及其解碼方法和裝置，電腦程式製品和處理器可讀式媒體，以及非暫態儲存媒體
TW201540052A (zh) 將高動態範圍影像編碼成位元流及／或將表示高動態範圍影像之位元流解碼之方法及裝置
US10148958B2 (en) Method and device for encoding and decoding a HDR picture and a LDR picture
TW201537965A (zh) 影像之編碼方法和裝置，以及電腦程式製品和處理器可讀式媒體
TW201537962A (zh) 影像之編碼方法和裝置，位元流之解碼裝置，電腦程式製品，以及處理器可讀式媒體
TW201532424A (zh) 影像之編碼方法和裝置，以及電腦程式製品和處理器可讀式媒體
TW201537963A (zh) 影像之編碼方法和裝置，以及電腦程式製品和處理器可讀式媒體
TW201537961A (zh) 影像之編碼方法和裝置，位元流之解碼裝置，電腦程式製品，以及處理器可讀式媒體
TW201537964A (zh) 影像之編碼方法和裝置，位元流之解碼裝置，電腦程式製品，以及處理器可讀式媒體
EP3113494A1 (en) Method and device for encoding a high-dynamic range image
TW201545547A (zh) 訊框之編碼裝置和解碼裝置
TW201547260A (zh) 將訊框編碼及／或將表示訊框之位元流解碼之方法及裝置
WO2015097129A1 (en) Method and device for encoding a high-dynamic range image
EP3146718B1 (en) Method and device for scalable encoding of a high dynamic range frame and/or decoding a bitstream representing such a frame
TW201608876A (zh) 訊框之編碼方法和裝置以及訊框之解碼方法和裝置,電腦程式製品及處理器可讀式媒體和非暫態儲存媒體
TW201603564A (zh) 訊框之編碼方法和裝置以及訊框之解碼方法和裝置，電腦程式製品及處理器可讀式媒體和非暫態儲存媒體
TW201608875A (zh) 訊框之編碼方法和裝置以及訊框之解碼方法和裝置,電腦程式製品及處理器可讀式媒體和非暫態儲存媒體
EP2938083A1 (en) Method and device for processing an information data indicating that a frame contains samples of at least two distinct packed constituent frames according to a specific frame-packing-arrangement scheme
TW201547261A (zh) 將訊框編碼及／或將表示訊框之位元流解碼之方法及裝置
TW201547262A (zh) 將訊框編碼及／或將表示訊框之位元流解碼之方法及裝置
TW201545542A (zh) 將訊框編碼及／或將表示訊框之位元流解碼之方法及裝置