TW201603564A - 訊框之編碼方法和裝置以及訊框之解碼方法和裝置，電腦程式製品及處理器可讀式媒體和非暫態儲存媒體 - Google Patents

訊框之編碼方法和裝置以及訊框之解碼方法和裝置，電腦程式製品及處理器可讀式媒體和非暫態儲存媒體 Download PDF

Info

Publication number
TW201603564A
TW201603564A TW104115463A TW104115463A TW201603564A TW 201603564 A TW201603564 A TW 201603564A TW 104115463 A TW104115463 A TW 104115463A TW 104115463 A TW104115463 A TW 104115463A TW 201603564 A TW201603564 A TW 201603564A
Authority
TW
Taiwan
Prior art keywords
frame
shape
backlight
decoding
function
Prior art date
Application number
TW104115463A
Other languages
English (en)
Inventor
大衛 拖茲
法布列斯 拉蘭奈克
揚尼克 奧利維
塞巴斯汀 萊塞里
Original Assignee
湯姆生特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯姆生特許公司 filed Critical 湯姆生特許公司
Publication of TW201603564A publication Critical patent/TW201603564A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本案一般係關於訊框之編碼方法和裝置，包括處理器，構成供：把從待編碼之訊框所確定(11)背光訊框加以編碼(12)；藉訊框之各分量除以背光訊框之解碼版本，獲得(13)剩餘訊框之至少一分量；把剩餘訊框編碼(19)；此方法之特徵為，處理器又構成，為了以至少一2D形狀函數集合之加權線性組合表示背光訊框，各集合之2D形狀函數形成利用支集聯合所界定領域之單一性分割。 本案又關係到位元流之解碼方法和裝置，表示藉訊框除以背光訊框所算出之剩餘訊框。

Description

訊框之編碼方法和裝置以及訊框之解碼方法和裝置，電腦程式製品及處理器可讀式媒體和非暫態儲存媒體
本案一般係關於訊框/視訊編碼和解碼。具體而言，本案技術領域係關於像素值屬於高動態範圍之訊框編碼/解碼。
本節旨在對讀者介紹諸技術要旨，與下述和/或所請求之本案諸面向有關。此項論述相信有助於提供讀者以背景資訊，方便更加明瞭本案諸面向。因此，須知此等敘述係以此觀點閱讀，而非引進先前技術。
低動態範圍訊框(LDR訊框)之亮度值，以有限位元數(最通常為8或10)表示。此限制表示法無法正確描繪小訊號變異，尤其是在暗和明的亮度範圍。在高動態範圍訊框(HDR訊框)，延伸訊號表示法，以維持訊號在全範圍之高度準確性。在HDR訊框，像素值通常以浮點格式表示(各分量可以32位元或16位元，即浮動或半浮動)，最常見格式為開放EXR半浮動格式(每RGB分量為16位元，即每像素為48位元)，或長表示法以整數計，通常為至少16位元。
編碼HDR訊框之通常策略是，減少訊框動態範圍，以便利用傳統編碼方式(起先構成編碼LDR訊框)，來編碼訊框。
按照公知策略，從輸入HDR訊框的亮度分量，確定背光訊框。再藉輸入HDR訊框除以背光訊框，獲得剩餘訊框，背光訊框和剩餘訊框二者之編碼均利用傳統編碼器，諸如H.264/AVC(〈一般視聽服務用之進階視訊寫碼〉，叢書H：《視聽和多媒體系統》，建議案ITU-T H.264，ITU電傳標準化部門，2012年1月)，或HEVC(〈高效視訊寫碼〉，叢書H：《視聽和多媒體系統》，建議案ITU-T H.265，ITU電傳標準化部門，2013年4月)。
壓縮能力強烈視訊框和各訊框空間平滑性之時間相關而定。實際上，視訊編碼器使用時間和訊框內預估，做為很有效工具，來壓縮視訊資料。
由編碼剩餘訊框自動提供可視LDR訊框之能力，是關鍵優點，因其容許把HDR訊框(視訊)分配至用戶，裝設標準LDR電視機，以及非專用於後處理背光訊框和剩餘訊框，以解碼HDR訊框(視訊)之接收裝置者。
可惜，若有人不注意在編碼器側之背光訊框建構，此背光訊框會缺乏均勻性，而此不均勻性會在剩餘訊框(LDR可視訊框)創造若干平滑梯度。人的視覺系統對此等人為因素很敏感。因此，亟需有專用背光訊框建構，能夠提供均勻背光訊框。
本案旨在解決先前技術之若干缺點，以訊框之編碼方法，包括一處理器，構成：把待編碼之訊框所確定背光訊框，加以編碼；藉訊框之各分量除以背光訊框之解碼版本，獲得剩餘訊框之至少一分量；把剩餘訊框編碼；此方法之特徵為，處理器又構成，為了以至少一2D形狀函數集合之加權線性組合表示背光訊框，各集合之2D形狀函數形成利用其支集聯合所界定域之單一性分割。
按照一具體例，2D形狀函數係按照對其支集邊界的平滑性約束來界定。
按照一具體例，集合之2D形狀函數具有模型對稱函數之形狀。
按照一具體例，2D形狀函數係跨越正規柵格界定。
按照一具體例，模型對稱函數是二可分離1D多項式之乘積。
按照一具體例，背光訊框是以2D形狀函數若干集合之加權線性組合表示，各集合之2D形狀函數形成其支集聯合所界定域之單一性分 割。
按照一具體例，加權線性組合和/或2D形狀函數之係數，經編碼於位元流內。
本案又涉及一種訊框之解碼方法，從代表由訊框所得背光訊框，和訊框除以背光訊框計算的剩餘訊框之至少一位元流解碼。解碼方法包括一處理器，構成：利用至少部份位元流解碼，得解碼背光訊框；利用至少部份位元流解碼，得解碼剩餘訊框；以解碼剩餘訊框乘以解碼背光訊框，得解碼訊框；本方法之特徵為，處理器又構成，為了以至少一2D形狀函數集合之加權線性組合表示解碼背光訊框，各集合之2D形狀函數形成其支集聯合所界定域之單一性分割。
按照一具體例，背光訊框是以2D形狀函數若干集合之加權線性組合表示，各集合之2D形狀函數形成其支集聯合所界定域之單一性分割。
按照一具體例，處理器又構成，為獲得2D形狀函數利用位元流至少部份解碼和/或2D形狀函數集合之2D形狀函數利用位元流至少部份解碼，所加權線性組合之係數。
按照其他要旨，本案係關於編碼和解碼裝置、電腦程式製品、處理器可讀式媒體，和非暫態儲存媒體。
本案特別性質，以及本案其他目的、優點、特點和用途，由如下參照附圖所示較佳具體例之說明，即可明白。
10‧‧‧模組IC獲得光度分量L和訊框I之潛在至少一彩色分量C(i)
11‧‧‧模組BAM從訊框I之亮度分量L確定背光訊框Bal
12‧‧‧確定背光訊框Bal所需資料，利用編碼器ENC1編碼並添加於位元流BF
13‧‧‧訊框除以背光訊框之解碼版本，計算剩餘訊框Res
14‧‧‧利用解碼器DEC1解碼至少部份位元流BF，獲得背光訊框之解碼版本
15‧‧‧模組BAG從加權係數係以及某些已知非適應性形狀函數，發生背光訊框之解碼版本
16‧‧‧模組TMO色調映射剩餘訊框Res，以獲得可視剩餘訊框Res
17‧‧‧模組SCA標度可視剩餘訊框Res
18‧‧‧模組CLI剪輯可視剩餘訊框Res
19‧‧‧利用編碼器ENC2編碼剩餘訊框Res
81‧‧‧利用解碼器DEC2把位元流F至少部份解碼，得解碼剩餘訊框
82‧‧‧模組ISCA對解碼剩餘訊框施以反逆標度，即將解碼剩餘訊框除以參數
83‧‧‧模組ITMO利用參數對解碼剩餘訊框施以反逆色調映射
84‧‧‧由解碼剩餘訊框乘以背光訊框得解碼訊框
90‧‧‧裝置
91‧‧‧資料和位址匯流排
92‧‧‧微處理器
93‧‧‧唯讀記憶器
94‧‧‧隨機存取記憶器
95‧‧‧I/O介面
96‧‧‧電池組
A,B‧‧‧遠程裝置
NET‧‧‧通訊網路
第1圖為本案具體例訊框I編碼方法步驟之方塊圖；第2圖為2D形狀函數支集之實施例；第3圖為三角形網格上的模型對稱函數實施例；第4圖為使用長方形柵格上所界定2D形狀函數四個集合之表示方式實施例；第5圖為本案具體例方法步驟之方塊圖； 第6圖為本案具體例方法步驟之方塊圖；第7圖為本案具體例方法步驟之方塊圖；第8圖為本案具體例方法步驟之方塊圖，把表示訊框除以背光訊框所計算剩餘訊框之位元流解碼；第9圖為本案具體例裝置結構之實施例；第10圖為本案具體例透過通訊網路通訊之二遠程裝置。
本案茲參照附圖說明於下，附圖表示本案具體例。惟此內容可以許多替代形式具體化，故不應構成僅限於下述具體例。因此，本案雖容許各種修飾和替代形式，惟圖中舉例表示之特別具體例，將詳細說明如下。然而，須知本案無意限制於所揭示之特定形式，反而是本案欲涵蓋在申請專利範圍所界定本案範圍精神內之一切修飾、等效和變通例。在全部附圖說明中，同樣參照號碼指涉相同元件。
於此所用術語，旨再說明特殊具體例而已，無意限制本案。於此使用單數形「-」也旨在包含複數形，除非文脈另有明確表示。另需知說明書內使用「包括」、「包含」字樣，特指所稱特點、整數、步驟、操作、元件和/或分量之存在，但不排除一個或多個其他特點、整數、步驟、操作、元件、分量，和/或其組群之存在或增加。此外，當所指涉之元件係「因應」或「連接」另一元件時，可直接因應或連接其他元件，亦可有介入元件存在。相對地，當所指涉之元件係「直接因應」或「直接連接」其他元件時，即無介入元件存在。於此使用「和/或」包含一個或多個關聯表列項之任一和全部組合，可以「/」縮寫。
須知雖然第一、第二等術語，可用來說明諸元件，但此等元件不受此等術語限制。此等術語只用來分辨一元件與另一元件。例如，第一元件可稱為第二元件，同理，第二元件可稱為第一元件，不悖本案之教示。
雖然有些圖上有箭頭指示通訊途徑，表示主要通訊方向，須知通訊亦可按圖示箭頭之相反方向發生。
有些具體例是就方塊圖和操作流程說明，其中各方塊代表一電路元件、模組，或部份碼，包括一個或多個可執行指令，以實施特定邏 輯函數。另須知在其他實施方式中，方塊內註記之函數，可不找註記順序發生。例如接續表示之二方塊，事實上可實質同時執行，有時可按反逆順序執行，視涉及之功能性而定。
指涉「一具體例」或「具體例」意指特別之特點、結構，或就具體例所述特徵，可包含在本案之至少一實施方式內。說明書內多處出現「在一具體例內」或「按照一具體例」，不一定全部指涉同一具體例，也不是分別或另類具體例必須彼此排除其他具體例。
申請專利範圍內出現之參照號碼，僅供圖示參考，對申請專利範圍無限制效果。
除非另有說明，本案具體例和變化例可採用於任何組合或副組合。
本案係就編碼/解碼訊框說明，但可延伸到訊框序列之編碼/解碼，因為序列所含各訊框，係按下述依序編碼/解碼。
第1圖表示按照本案具體例訊框I之編碼方法步驟方塊圖。
在步驟10，模組IC獲得待編碼訊框I之亮度分量L和潛在至少一彩色分量C(i)。
例如，當訊框I屬於彩色空間(X,Y,Z)，亮度分量L可利用分量Y之變換式f(.)獲得，例如L=f(Y)。
當訊框I屬於彩色空間(R,G,B)，可利用下式之線性組合，獲得亮度分量L，例如為709色域：L=0.2127.R+0.7152.G+0.0722.B
在步驟11，模組BAM由訊框I之亮度分量L，確定背光訊框Bal。
按照第5圖所示步驟11之具體例，模組BI確定背光訊框Ba，以2D形狀函數至少一集合之加權線性組合表示。
就數學方式而言，背光訊框Ba指定為： 其中係加權係數，為2D形狀函數集合j之2D形狀函數。
各集合j之2D形狀函數，形成藉其支集聯合所界定域Do之單一性分割，即亦照定義，2D形狀函數具有精巧支集，全域Do合計 等於1：
按照步驟11之具體例，2D形狀函數是全正規柵格所界定。
做為此具體例之變化例，長方形柵格可視為使用方形柵格按二方向以倍數伸長。
按照第2圖所示步驟11之具體例，2D形狀函數獲得如下。
假設2D形狀函數,,和之中心分別為(0,0),(0,1),(1,0)和(1,1)，並在正規柵格(於此為長方形柵格)，此四個2D形狀函數各有其支集，包含於其中心週圍之四個柵格元件內。因此，利用各2D形狀函數中心週圍之四個柵格元件聯合，界定域Do。對域Do之單一性條件分割得：ψ 1+ψ 2+ψ 3+ψ 4=1
按照步驟11之具體例，集合j之2D形狀函數，係模型對稱函數之平移函數，即。在此情況，對域Do之單一性條件分割得： 於第2圖所示之任一柵格元件E。
按照步驟11之具體例，模型對稱函數是二個可分離1D(單維)多項式P(x)和P(y)之乘積，即(x,y)=P(x)P(y)。
當又符合單一性條件之分割，即P(x)+P(1-x)=1，即符合2D形狀函數之單一性條件分割，因為可得：P(x)P(y)+P(1-x)P(y)+P(x)P(1-y)+P(1-x)P(1-y)=(P(x)+P(1-x))(P(y)+P(1-y))=1
按照步驟11之具體例，2D形狀函數是按照對其支集邊界之平滑性約束界定。
此舉容許2D形狀函數在全訊框域之連續性，和背光訊框Ba全局表示方法之平滑性，因為平滑函數之有限合計為平滑。
按照步驟11之具體例，對2D形狀函數邊界之約束為：˙邊界約束P(0)=1，意即只有一2D形狀函數投注於其中心； ˙相對於在2D形狀函數的支數邊界之連續性和導數連續約束：P(1)=P’(1)=0；˙在中心之導數約束：P’(0)=0，以確保中心週圍之平滑性。
可參考以上述四個邊界約束度1D多項式P之分析解答。
例如，1D函數P之解答是由P(x)=θx 3+ x 2+κx+λ所得三次多項。上述約束導致下述對參數之條件： -1=P(0)=λ
-0=P(1)=θ++κ+λ
-0=P’(1)=3θ+2+κ
-0=P’(0)=κ
此線性方程式系統易解，而得θ=2,=-3,κ=0,λ=1，而模型對稱函數(x,y)得：
其他多項式實施例，是由某些平滑性放鬆而得。例如，只要求連續性，就會注意到P(x)=1-x是連續解答，導致單一性分割具有如下模型對稱函數： 其導數並不連續。
另外，可尋求更高階參數多項式。例如，上述四個條件應用於前進階多項式P(x)=μx 3+θx 3+ x 2+κx+λ時，導致在約束下的線性系統，其解答係以一參數α予以參數化，因而導致多項式解答Pα之無限性。
決定哪一個解答最佳之一種方式是，選擇參數α，使拉普拉斯(Laplace)運算子極小化，即：
最後，從如下對P極小化問題之解析，可得非分析之純數值解答： 其中可知P不一定要多項式，而要任何足夠平滑的函數，例如C1級。極小化問題之數值解答，詳後述二維非對稱情況。
第3圖表示正規柵格為三角形網格時，模型對稱函數之實施例。
假設2D形狀函數ψ 1,ψ 2和ψ 3之中心分別為pt1=(0,0),pt2=(-1/3,sqrt(3)/2)和pt3=(1/3,sqrt(3)/2)，在三角形網格上，三個2D形狀函數各有其支數，包含在其中心週圍的六角三角形內(第3圖)。因此，藉2D形狀函數中心週圍之六個三角形聯合，界定域Do。對Do單一性條件之分割得：ψ 1+ψ 2+ψ 3=1 (2)
按照步驟11之具體例，2D形狀函數具有模型對稱函數之形狀，其支數為單一的三角形。
當模型對稱函數對單一的三角形界定時，則獲得對遵照單一性條件分割的背光訊框Ba 2D形狀函數支集(於此為其中心週圍之六個三角形)之表示方法。
按照步驟11之具體例，支集為三角形之模型對稱函數，係對其邊界約束加以界定。
此舉容許2D形狀函數在全訊框域之連續性，以及背光訊框Ba全局表示方法之平滑性。
按照步驟11之具體例，對模型對稱函數邊界之約束為：
最後，確定模型對稱函數，是解極小化問題：極小化∥△∥，使符號條件(2)和(3)以便解答之平滑性極大化。
把域Do分立化，再在對邊界和單一性分割之約束下極小化，可以標準方式找到數值解答。可參考Raviart和Thomas合著《方程式及部份導數之數值分析入門》(Introduction à l'analyse numérique des équations aux dérivées partielles)，為所涉及數值工具之入門書。
簡言之，對域Do發生網格，模型對稱函數即對各網格採取一分立值。此等分立值可合計成未知向量x。拉普拉斯運算子本身在矩陣M下分立，使運算子△之分立形式變成Mx。條件(2)和(3)致矩陣系統Cx=0。因此，極小化問題變成：極小化∥Mx∥致使Cx=0
此為傳統在約束下之線性最小平方極小化問題。有許多解法可找出解答x，導致所要解答之分立概數。見P.E.Gill,W.Murray和M.H.Wright合著《實際最適化》(Practical Optimization)，英國倫敦學術出版社，1981年。
按照步驟11之具體例，背光訊框是以2D形狀函數若干集合之加權線性組合表示，各集合之2D形狀函數形成以其支集聯合所界定域之單一性分割。
第4圖表示使用全長方形柵格界定的2D形狀函數四個集合之表示方法。黑圖表示第一集合之2D形狀函數中心、三角形為第二集合中心、橢圓形為第三集合中心、叉形為第四集合中心。
全部集合之所有2D形狀函數合計，在柵格各處均為常數，於此其值為4。故獲得單一性分割，均為其倍數。重點是2D形狀函數疊合，超過就第2和3圖所述2D形狀函數只有單一集合者。使用若干集合之2D形狀函數，即可得更多疊合，並使用中心更近之2D形狀函數，即形狀函數密度更高，以平滑遵循HDR訊號，而又更為準確。
本案不限於2D形狀函數之特殊集合數，或在網格上組合在一起之方式，或所用網格種類來定位2D形狀函數中心。
按照步驟11具體例或變化例之一，步驟11輸出之背光訊框Bal，即方程式(1)所得背光訊框Ba。
按照第6圖所示步驟11之具體例，模組BM以利用模組HL所得訊框I之平均亮度值L mean ，調制背光訊框Ba(得自方程式(1))。
按照一具體例，步驟11輸出之背光訊框Bal，係調制背光訊框。
按照一具體例，模組HL係構成計算全部亮度分量L之平均亮度值L mean 。
按照一具體例，模組HL構成計算平均亮度值L mean ，利用 其中β為小於1之係數，而E(X)為亮度分量L之數學期待值(平均)。
此最後具體例有好處，因為可避免平均亮度值L mean 在訊框I屬於訊框序列時，受到往往導致麻煩的時間平均亮度不穩定之少數極高值像素影響。
本案不限於計算平均亮度值L mean 之特別具體例。
按照第7圖所示具體例之變化例，模組N利用其平均值E(Ba)把背光訊框Ba(由方程式(1)所得)常態化，可為訊框(若訊框I屬於訊框序列，則為全部訊框)得中灰度(mid-gray-at-one)背光訊框Ba gray ：
則模組BM構成使用下列關係式，以訊框L之平均亮度值L mean ，調制中灰度背光訊框Ba gray ： 其中cst mod 係調制係數，而α為另一調制係數，小於1，通常為1/3。
按照此變化例，步驟11輸出之背光訊框Bal，係得自方程式(4)之調制背光訊框Ba mod 。
須知調制係數cst mod 經調諧，為剩餘訊框得好看亮度，尤視獲得背光訊框之過程而定。例如對最少均方所得背光訊框而言，cstmod 1.7。
實際上，利用線性，調制背光訊框之所有運算，均可應用背光係數，做為校正因數，把係數變換成新係數，可得：
在步驟12(第1圖)，決定步驟11輸出的背光訊框Bal所需資料，利用編碼器ENC1編碼，添加於位元流BF內，可儲存於局部或遠程記憶器，和/或經通訊介面傳送(例如至匯流排，或透過通訊網路或廣播網路)。
例如，當使用已知非適應性形狀函數時，待編碼之資料限於加權係數或，但2D形狀函數亦可為先前未知，再經編碼於位元流BF內，例如稍許最適數學建構情況，以求更佳配合。故全部加權係數或(和潛在形狀函數)均編碼入位元流BF內。
優點是，加權係數或都在編碼之前，經量化，以減少位元流BF規模。
在步驟13，藉訊框除以背光訊框之解碼版本，計算剩餘訊框Res。
宜使用背光訊框之解碼版本，確保在編碼器和解碼器側有同樣背光訊框，因而導致最後解碼訊框更佳準確。
更準確而言，由模組IC所得訊框I亮度分量L和潛在各彩色分量C(i)，除以背光訊框之解碼版本。此項除法是逐一像素進行。
例如，當訊框I之分量R,G,B以彩色空間(R,G,B)表達時，可得分量RRes,GRes和BRes如下：
例如，當訊框I之分量X,Y或Z以彩色空間(X,Y,Z)表達時，可得分量XRes,YRes和ZRes如下：
按照一具體例，在步驟14，利用解碼器DEC1把至少部份位元流BF解碼，即得背光訊框之解碼版本。
如上所述，步驟11輸出為得背光訊框所需某些資料，已經編碼(步驟12)，再把至少部份位元流BF解碼而得。
遵循上述實施例，則得加權係數(和潛在形狀函數)，做為步驟14輸出。
然後，在步驟15，模組BAG從加權係數，以及某些已知非適應性形狀函數，或形狀函數，發生背光訊框之解碼版本，如下式：
在步驟16，模組TMO色調映射剩餘訊框Res，以便得可視剩餘訊框Resv。
有可能情況是，剩餘訊框Res不可視，因其動態範圍太高，而且此剩餘訊框Res之解碼版本也顯示視覺人為因素。色調映射剩餘訊框，可解決此等缺點至少其一。
本案不限於任何特殊色調映射運算子。此單一條件為，色調映射運算子應可逆。
例如，可用Reinhard界定之色調映射運算子，參見Reinhard,E.,Stark,M.,Shirley,P.,和Ferwerda,J.,〈數位訊框之攝影色調重製(Photographic tone reproduction for digital frames)〉，ACM Transactions on Graphics 21(2002年7月)，或Boitard,R.,Bouatouch,K.,Cozot,R.,Thoreau,D.,和Gruson,A.(2012)。〈視訊色調映射之時間凝聚性(Temporal coherency for video tone mapping)〉，刊於A.M.J.van Eijk,C.C.Davis,S.M.Hammel,和A.K.Majumdar編，Proc.SPIE 8499,Applications of Digital Frame Processing(p.84990D-84990D-10)。
在步驟19，可視剩餘訊框Resv利用編碼器ENC2，編碼於位元流F內，可儲存於局部或遠程記憶器，和/或透過通訊介面傳輸(例如於匯流排，或經通訊網路或廣播網路)。
按照步驟16之具體例，色調映射剩餘訊框包括伽瑪校正或SLog校正，按照剩餘訊框之像素值為準。
例如，利用下式即得可視剩餘訊框Resv：Res v =A.Res γ 其中A係常數，γ係伽瑪曲線係數，例如等於1/2.4。
另外，可視剩餘訊框Resv由例如下式而得：Res v =a.ln(Res+b)+c其中a,b,c係SLog曲線係數，確定0和1不變，而SLog曲線之導數，當利用伽瑪曲線在1以下延長時，可在1連續。因此，a,b,c為參數γ之函數。
按照一具體例，伽瑪-Slog曲線之參數γ，編碼於位元流BF內。
對剩餘訊框Res應用伽瑪校正時，拉拔暗區，但不低於足夠高度光線，以免亮像素燃燒。
對剩餘訊框Res應用SLog校正，降低足夠高度光線，但不 拉拔暗區。
然後，按照步驟16之較佳具體例，模組TMO應用伽瑪校正或SLog校正，按照剩餘訊框Res之像素值為準。
例如，當剩餘訊框Res之像素值低於臨限值(等於1)，即應用伽瑪校正，否則應用SLog校正。
利用建構，可視剩餘訊框Resv通常平均值多少接近1，視訊框I光度而定，則使用上述伽瑪-Slog組合特別有效。
按照方法具體例，在步驟17，模組SCA標度可視剩餘訊框Resv，然後編碼(步驟19)將可視剩餘訊框Resv之各分量，乘以標度因數cstscaling。由下式得剩餘訊框Ress：Ress=cstscaling.Resv
在特別具體例中，界定標度因數cstscaling以映射可視剩餘訊框Resv值，介於0至極大值2N-1之間，其中N為容許輸入供編碼器ENC2寫碼之位元數。
此藉數值1(粗略為可視剩餘訊框Resv之平均值)映射於中灰度值2N-1自然而得。因此，對具有標準位元數N=8之可視剩餘訊框Resv而言，標度因數等於120是很一致數值，因為接近中性灰度27=128。
按照方法之此具體例，在步驟19，剩餘訊框Ress是利用編碼器ENC2編碼。
按照方法之一具體例，在步驟18，模組CLI剪輯可視剩餘訊框Resv，然後編碼以限制其動態範圍於目標動態範圍TDR，例如按照編碼器ENC2能力為準。
按照此最後具體例，例如按照方法具體例，由下式得剩餘訊框Resc：Resc=max(2N,Resv)
Resc=max(2N,Ress)
本案不限於如此剪輯(max(.))，而是可延伸到任何種類剪輯。
按照方法之此具體例，在步驟19，剩餘訊框Resc是利用編碼器ENC2編碼。
合併標度和剪輯具體例，導致按照方法具體例，由下式得剩 餘訊框Ressc：Ressc=max(2N,cstscaling*Resv)
或Ressc=max(2N,cstscaling*Ress)
按照方法之此具體例，在步驟19，剩餘訊框Ressc是利用編碼器ENC2編碼。
可視剩餘訊框Resv之色調映射和標度，是參變過程。參數固定與否均可，若不固，可利用編碼器ENC1編碼於位元流BF內。
按照方法之一具體例，伽瑪校正之常數值γ，標度因數cstscaling可為參數，編碼於位元流BF內。
須知參數α,cstmod,cstscaling,γ,β的選擇，使色調映射有選擇空間，適合最佳內容，遵循專家在後製作和彩色分級方面的品味。
另方面，可界定普用參數，以便全部大多數訊框可接收。然則，即沒有參數會編碼入位元流BF內。
第8圖表示方法步驟之流程，按照本案具體例，把表示訊框除以背光訊框計算之剩餘訊框的位元流，加以解碼。
如上所述，在步驟14和15，背光訊框是例如利用解碼器DEC1把位元流BF至少部份解碼而得。
位元流BF可已局部儲存，或從通訊網路接收。
在步驟81，利用解碼器DEC2把位元流F至少部份解碼，得解碼剩餘訊框。
位元流F已局部儲存，或從通訊網路接收。
如後所述，解碼剩餘訊框，利用傳統裝置可視。
在步驟84，由解碼剩餘訊框乘以背光訊框，得解碼訊框。
按照步驟14之具體例，不論從局部記憶器，或利用解碼器DEC1把位元流BF至少部份解碼，亦可得參數和/或。
按照方法，在步驟82，模組ISCA對解碼剩餘訊框施以反逆標度，即將解碼剩餘訊框除以參數。
在步驟83，模組ITMO利用參數，對解碼剩餘訊框施以反逆色調映射。
例如，參數界定伽瑪曲線，而反逆色調映射只是從伽瑪曲線，找到數值，相當於解碼剩餘訊框之像素值。
解碼器DEC1和DEC2構成，分別把編碼器ENC1和ENC2已編碼之資料解碼。
編碼器ENC1和ENC2(以及解碼器DEC1和DEC2)不限於特殊編碼器(解碼器)，但若需要熵編碼器(解碼器)，以熵編碼器，諸如Huffmann編碼器、算術編碼器或文脈適應編碼器，像h264/AVC或HEVC所用之Cabac為佳。
編碼器ENC1和ENC2(以及解碼器DEC1和DEC2)不限於特殊編碼器，可例如會損耗之訊框/視訊編碼器，像JPEG,JPEG2000,MPEG2,h264/AVC或HEVC。
在第1-8圖上，諸模組是功能單位，和可辨別之實體單位有關係與否均可。例如，此等模組或部份，可一起放到獨特組件或電路，或有功於軟體之功能性。反之，有些模組可潛在由分開之實體組成。與本案相容之裝置，可用純硬體實施，例如使用專業硬體，諸如ASIC、FPGA或VLSI，分別代表應用特定積體電路、外場可規劃閘道器陣列、甚大型積體電路，或由數個積體電子組件內嵌於裝置內，或由硬體和軟體組件混成。
第9圖表示裝置90之構造例，可構成實施關於第1-8圖所述方法。
裝置90包括下列元件，利用資料和位址匯流排91鏈接在一起：˙微處理器(或CPU)92，係例如DSP(數位訊號處理器)；˙ROM(或唯讀記憶器)93；˙RAM(隨機存取記憶器)94；˙I/O介面95，從應用接收要傳送之資料；˙電池組96。
按照變化例，電池組96在裝置外部。第9圖之各元件均為技術人員所公知，不需贅述。在所述各記憶器中，說明書所用「暫存器」相當於小容量區(若干位元)或甚大區(例如整個程式，或大量接收或解碼資料)。ROM 93包括至少一程式和若干參數。本案方法之演算式儲存於 ROM 93。導通時，CPU 92上載程式於RAM內，並執行相對應指令。
RAM 94在暫存器內包括由CPU 92執行之程式，於導通裝置90後上載暫存器內之輸入資料、暫存器內方法不同狀態之中間資料，以及在暫存器內執行方法所用其他變數。
於此所述實施方式，是例如在方法或過程、裝置、軟體程式、資料串流或訊號內實施。即使在文脈內只討論到單一實施形式(例如只討論方法或裝置)，所論特點之實施，亦可以其他形式(例如程式)實施。裝置可以例如適當硬體、軟體和韌體實施。方法可在例如裝置內實施，例如處理器，一般指涉處理裝置，例如電腦、微處理器、積體電路，或可規劃邏輯裝置。處理器亦包含通訊裝置，諸如電腦、手機、可攜式/個人數位輔助器(PDAs)，以及方便末端使用者間資訊通訊之其他裝置。
按照編碼或編碼器特殊具體例，訊框I是從源器取得，源器屬於一集合，包括：˙局部記憶器(93或94)，例如視訊記憶器或RAM(隨機存取記憶器)、快閃記憶器、ROM(唯讀記憶器)、硬碟；˙儲存介面(95)，例如與大量儲存器之介面、RAM、快閃記憶器、ROM、光碟或磁性基座；˙通訊介面(95)，例如有線介面(例如匯流排介面、廣域網路介面、本區網路介面)，或無線介面(諸如IEEE 802.11介面或Bluetooth®介面)；˙訊框捕獲電路(例如感測器，諸如CCD(電荷耦合裝置)或CMOS(互補金氧半導體))。
按照解碼或解碼器之不同具體例，解碼訊框發送至目的地；具體而言，目的地屬於包括下列之集合：˙局部記憶器(93或94)，例如視訊記憶器或RAM、快閃記憶器、硬碟；˙儲存介面(95)，例如與大量儲存器之介面、RAM、快閃記憶器、ROM、光碟或磁性基座；˙通訊介面(95)，例如有線介面(例如匯流排介面(像USB(通用串列匯流排))、廣域網路介面、本區網路介面、HDMI(高清晰度 多媒體介面)介面)，或無線介面(諸如IEEE 802.11介面、WiFi®或Bluetooth®介面)；˙顯示器。
按照編碼或編碼器之不同具體例，位元流BF和/或F發送到目的地。舉例而言，把位元流F和BF二者，儲存於本地或遠程記憶器，例如視訊記憶器(94)或RAM(94)、硬碟(93)。在一變化例中，一或二個位元流發送到儲存介面(65)，例如與大量儲存器之介面、快閃記憶器、ROM、光碟或磁性基座，和/或傳送跨越通訊介面(95)，例如與點對點鏈路之介面、通訊匯流排、點對多點鏈路，或廣播網路。
按照解碼或解碼器之不同具體例，位元流BF和/或F，是從源器獲得。舉例而言，位元流是由本地記憶器讀取，例如視訊記憶器(94)或RAM(94)、ROM(93)、快閃記憶器(93)或硬碟(93)。在一變化例中，位元流是從儲存介面(95)接收，例如與大量儲存器之介面、RAM、ROM、快閃記憶器、光碟或磁性基座，和/或從通訊介面(95)接收，例如與點對點鏈路之介面、匯流排、點對多點鏈路，或廣播網路。
按照不同具體例，裝置90係構成實施關於第1-7圖所述編碼方法，屬於包括下列之集合：˙行動裝置；˙通訊裝置；˙遊戲裝置；˙平板(或平板電腦)；˙膝上型電腦；˙靜止框攝影機；˙視訊攝影機；˙編碼晶片；˙靜止框伺服器；˙視訊伺服器(例如廣播伺服器、視訊應需伺服器，或網站伺服器)。
按照不同具體例，裝置90係構成實施關於第8圖所述解碼方法，屬於包括下列之集合：˙行動裝置； ˙通訊裝置；˙遊戲裝置；˙機上盒；˙電視機；˙平板(或平板電腦)；˙膝上型電腦；˙顯示器；˙解碼晶片。
按照第10圖所示具體例，在二遠程裝置A和B間經通訊網路NET傳輸文脈時，裝置A包括之機構，構成實施關於第1圖所述訊框之編碼方法，而裝置B包括之機構，構成實施關於第8圖所述之解碼方法。
按照本案變化例，網路係廣播網路，適於從裝置A廣播靜止框或視訊框，給包含裝置B之解碼裝置。
於此所述各種過程和特點之實施方式，可藉種種不同的設備或應用予以具體例。設備例有編碼器、解碼器、處理解碼器輸出之後處理器，提供輸入給編碼器之預處理器、視訊編碼器、視訊解碼器、視訊寫解碼器、網站伺服器、機上盒、膝上型電腦、個人電腦、手機、PDA，和其他通訊裝置。可知設備可為行動式，或甚至安裝在行動載具上。
另外，方法可利用處理器進行之指令實施，而此等指令(和/或實施方式產生之資料值)可儲存於處理器可讀式媒體，諸如積體電路、軟體載體或其他儲存裝置，例如硬碟、光碟片(CD)、光碟(例如DVD，常稱為數位多樣化光碟或數位視訊光碟)、隨機存取記憶器(RAM)，或唯讀記憶器(ROM)。指令可形成應用程式，在處理器可讀式媒體上有形具體化。指令可例如呈硬體、軟體或韌體，或組合式。指令可見於例如操作系統、分開應用，或二者組合。所以，處理器可檢定為，構成進行過程之裝置，或含有處理器可讀式媒體之裝置(諸如儲存裝置)，具有進行過程之指令。又，楚楚器可讀式媒體除了或取代指令，還可儲存實施方式產生之資料值。
凡技術專家均知，實施方式可產生各種訊號，經格式化攜帶資訊，可以例如儲存或傳送。資訊可包含例如進行方法之指令，或上述實 施方式之一產生的資料。例如，訊號可經格式化，攜帶讀寫上述具體例語法規則為資料，或攜帶上述具體例所書寫實際語法值為資料。此等訊號可經格式化，呈例如電磁波(例如使用光譜之射頻部份)，或呈基帶訊號。格式化可包含例如把資料串流編碼，以所編碼資料串流調制載體。訊號攜帶之資訊可例如為類比或數位資訊。訊號可傳送跨越各種不同有線或無線鏈路，已屬公知。訊號可儲存於處理器可讀式媒體。
許多實施方式已說明如上。然而，須知可有各種修飾。例如，不同實施方式之元件可組合、補充、修飾，或除去，以產生其他實施方式。另外，技術專家均知，上述可改用其他結構或過程，所得實施方式可進行與上述實施方式至少實質上同樣功能，以至少實質上同樣方式，達成至少實質上同樣結果。因此，上述和其他實施方式均為本案所構想。
10‧‧‧模組IC獲得光度分量L和訊框I之潛在至少一彩色分量C(i)
11‧‧‧模組BAM從訊框I之亮度分量L確定背光訊框Bal
12‧‧‧確定背光訊框Bal所需資料，利用編碼器ENC1編碼並添加於位元流BF
13‧‧‧訊框除以背光訊框之解碼版本，計算剩餘訊框Res
14‧‧‧利用解碼器DEC1解碼至少部份位元流BF，獲得背光訊框之解碼版本
15‧‧‧模組BAG從加權係數係以及某些已知非適應性形狀函數，發生背光訊框之解碼版本
16‧‧‧模組TMO色調映射剩餘訊框Res，以獲得可視剩餘訊框Res
17‧‧‧模組SCA標度可視剩餘訊框Res
18‧‧‧模組CLI剪輯可視剩餘訊框Res
19‧‧‧利用編碼器ENC2編碼剩餘訊框Res

Claims (17)

  1. 一種訊框之編碼方法，包括：˙把從待編碼訊框所確定(11)之背光訊框，加以編碼(12)；˙藉訊框之各分量除以背光訊框之解碼版本，獲得(13)剩餘訊框之至少一分量；˙把剩餘訊框編碼(19)；背光訊框係以2D形狀函數至少一集合之加權線性組合表示，各集合之2D形狀函數形成利用其支集聯合所界定域之單一性分割；其中一集合之2D形狀函數，具有模型對稱函數之形狀者。
  2. 如申請專利範圍第1項之裝置，其中2D形狀函數係按照對其支集邊界之平滑性約束加以界定者。
  3. 如申請專利範圍第1或2項之裝置，其中2D形狀函數係在正規柵格上界定者。
  4. 一種訊框之編碼裝置，包括處理器，構成：˙從待編碼之訊框所確定背光訊框，加以編碼；˙藉訊框之各分量除以背光訊框之解碼版本，獲得剩餘訊框之至少一分量；˙把剩餘訊框編碼；背光訊框係以2D形狀函數至少一集合之加權線性組合表示，各集合之2D形狀函數形成利用其支集聯合所界定域之單一性分割；其中一集合之2D形狀函數，具有模型對稱函數之形狀者。
  5. 如申請專利範圍第4項之裝置，其中2D形狀函數係按照對其支集邊界之平滑性約束加以界定者。
  6. 如申請專利範圍第4或5項之裝置，其中2D形狀函數係在正規柵格上界定者。
  7. 一種訊框之解碼方法，從至少一位元流，表示由訊框所得背光訊框，和訊框除以背光訊框計算之剩餘訊框，此方法包括一處理器，構成：˙利用位元流至少部份解碼，獲得(14)解碼背光訊框；˙利用位元流至少部份解碼，獲得解碼剩餘訊框；˙利用解碼剩餘訊框乘以解碼背光訊框，獲得(51)解碼訊框； 解碼背光訊框係以2D形狀函數至少一集合之加權線性組合表示，各集合之2D形狀函數形成利用其支集聯合所界定域之單一性分割；其中一集合之2D形狀函數，具有模型對稱函數之形狀者。
  8. 如申請專利範圍第7項之方法，其中2D形狀函數係按照對其支集邊界之平滑性約束界定者。
  9. 如申請專利範圍第7或8項之方法，其中2D形狀函數，係在正規柵格上界定者。
  10. 一種訊框之解碼裝置，從至少一位元流，表示由訊框所得背光訊框，和訊框除以背光訊框計算之剩餘訊框，此裝置包括一處理器，構成：˙利用位元流至少部份解碼，獲得解碼背光訊框；˙利用位元流至少部份解碼，獲得解碼剩餘訊框；˙利用解碼剩餘訊框乘以解碼背光訊框，獲得解碼訊框；解碼背光訊框係以2D形狀函數至少一集合之加權線性組合表示，各集合之2D形狀函數形成利用其支集聯合所界定域之單一性分割；其中一集合之2D形狀函數，具有模型對稱函數之形狀者。
  11. 如申請專利範圍第10項之裝置，其中2D形狀函數係按照對其支集邊界之平滑性約束界定者。
  12. 如申請專利範圍第10或11項之裝置，其中2D形狀函數，係在正規柵格上界定者。
  13. 一種電腦程式製品，包括程式碼指令，當此程式在電腦上執行時，可執行申請專利範圍第1至3項之一項編碼方法步驟者。
  14. 一種電腦程式製品，包括程式碼指令，當此程式在電腦上執行時，可執行申請專利範圍第7至9項之一項解碼方法步驟者。
  15. 一種處理器可讀式媒體，具有儲存其內之指令，促成處理器至少進行申請專利範圍第1至3項之一項編碼方法步驟者。
  16. 一種處理器可讀式媒體，具有儲存其內之指令，促成處理器至少進行申請專利範圍第7至9項之一項解碼方法步驟者。
  17. 一種非暫態儲存媒體，帶有程式碼指令，當該程式在計算裝置上執行時，供執行申請專利範圍第1至3項和第7至9項之一項方法步驟者。
TW104115463A 2014-05-20 2015-05-15 訊框之編碼方法和裝置以及訊框之解碼方法和裝置，電腦程式製品及處理器可讀式媒體和非暫態儲存媒體 TW201603564A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP14305730 2014-05-20

Publications (1)

Publication Number Publication Date
TW201603564A true TW201603564A (zh) 2016-01-16

Family

ID=50884312

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104115463A TW201603564A (zh) 2014-05-20 2015-05-15 訊框之編碼方法和裝置以及訊框之解碼方法和裝置，電腦程式製品及處理器可讀式媒體和非暫態儲存媒體

Country Status (2)

Country Link
TW (1) TW201603564A (zh)
WO (1) WO2015177133A1 (zh)

Also Published As

Publication number Publication date
WO2015177133A1 (en) 2015-11-26

Similar Documents

Publication Publication Date Title
JP6529504B2 (ja) ハイダイナミックレンジ画像を符号化する、および／または、ビットストリームを復号するための方法およびデバイス
JP6502947B2 (ja) 高ダイナミックレンジ画像をトーンマッピングする方法及びデバイス
TWI707578B (zh) 彩色圖像從位元流解碼之方法和裝置，電腦程式製品，以及處理器可讀式媒體和非暫態儲存媒體
TWI740830B (zh) 圖框之編碼方法和裝置及其解碼方法和裝置，電腦程式製品和處理器可讀式媒體，以及非暫態儲存媒體
US10148958B2 (en) Method and device for encoding and decoding a HDR picture and a LDR picture
TW201545547A (zh) 訊框之編碼裝置和解碼裝置
TW201537962A (zh) 影像之編碼方法和裝置，位元流之解碼裝置，電腦程式製品，以及處理器可讀式媒體
TW201603564A (zh) 訊框之編碼方法和裝置以及訊框之解碼方法和裝置，電腦程式製品及處理器可讀式媒體和非暫態儲存媒體
TW201608875A (zh) 訊框之編碼方法和裝置以及訊框之解碼方法和裝置,電腦程式製品及處理器可讀式媒體和非暫態儲存媒體
TW201608876A (zh) 訊框之編碼方法和裝置以及訊框之解碼方法和裝置,電腦程式製品及處理器可讀式媒體和非暫態儲存媒體
TW201537965A (zh) 影像之編碼方法和裝置，以及電腦程式製品和處理器可讀式媒體
EP3113494A1 (en) Method and device for encoding a high-dynamic range image
TW201537961A (zh) 影像之編碼方法和裝置，位元流之解碼裝置，電腦程式製品，以及處理器可讀式媒體
TW201537964A (zh) 影像之編碼方法和裝置，位元流之解碼裝置，電腦程式製品，以及處理器可讀式媒體
TW201537963A (zh) 影像之編碼方法和裝置，以及電腦程式製品和處理器可讀式媒體
TW201532424A (zh) 影像之編碼方法和裝置，以及電腦程式製品和處理器可讀式媒體
US20170188049A1 (en) Method and device for encoding a frame and/or decoding a bitstream representing a frame
WO2015097129A1 (en) Method and device for encoding a high-dynamic range image
EP2938083A1 (en) Method and device for processing an information data indicating that a frame contains samples of at least two distinct packed constituent frames according to a specific frame-packing-arrangement scheme
TW201547261A (zh) 將訊框編碼及／或將表示訊框之位元流解碼之方法及裝置