TWI812874B - 張量乘積之b平滑曲線預測子 - Google Patents

張量乘積之b平滑曲線預測子 Download PDF

Info

Publication number
TWI812874B
TWI812874B TW109128170A TW109128170A TWI812874B TW I812874 B TWI812874 B TW I812874B TW 109128170 A TW109128170 A TW 109128170A TW 109128170 A TW109128170 A TW 109128170A TW I812874 B TWI812874 B TW I812874B
Authority
TW
Taiwan
Prior art keywords
tpb
images
image
smooth curve
basis functions
Prior art date
Application number
TW109128170A
Other languages
English (en)
Other versions
TW202116072A (zh
Inventor
蘇冠銘
哈沙德 卡杜
宋青
尼拉日 Ｊ 加吉爾
Original Assignee
美商杜拜研究特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商杜拜研究特許公司 filed Critical 美商杜拜研究特許公司
Publication of TW202116072A publication Critical patent/TW202116072A/zh
Application granted granted Critical
Publication of TWI812874B publication Critical patent/TWI812874B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Abstract

判定一組張量乘積之B平滑曲線(TPB)基函數。產生與該組TPB基函數一起用於自一源色彩等級之源影像中之源影像資料產生映射影像中之預測影像資料的一組選定TPB預測參數。藉由最小化該等映射影像中之該預測影像資料與一參考色彩等級之參考影像中之參考影像資料之間的差來產生該組選定TPB預測參數。該等參考影像對應於該等源影像且描繪相同於由該等源影像描繪之視覺內容之視覺內容。使該組選定TPB預測參數作為影像後設資料之一部分與該等源影像中之該源影像資料一起編碼於一視訊信號中。引起該等映射影像由該視訊信號之一接收裝置重建及再現。

Description

張量乘積之B平滑曲線預測子
本發明大體上係關於影像。更特定言之，本發明之一實施例係關於張量乘積之B平滑曲線預測子。
如本文中所使用，術語「動態範圍(DR)」可與人類視覺系統(HVS)感知一影像之強度(例如亮度、明度)之一範圍(例如自最暗黑色(黑暗)至最亮白色(強光))之一能力相關。在此意義上，DR與一「場景參考」強度相關。DR亦可與一顯示裝置適當或大致再現一特定寬度之一強度範圍之能力相關。在此意義上，DR與一「顯示參考」強度相關。除非在本文描述中之任何點明確說明一特定意義具有特定含義，否則應推斷，可以兩種意義之任一者(例如，可互換地)使用術語。
如本文中所使用，術語「高動態範圍(HDR)」與跨越人類視覺系統(HVS)之約14個至15個或更多個數量級之一DR寬度相關。實際上，可相對於HDR略微縮小人類可在其內同時感知強度範圍之一廣泛寬度之DR。如本文中所使用，術語「增強動態範圍(EDR)」或「視覺動態範圍(VDR)」可個別或可互換地與可由包含眼睛移動之一人類視覺系統(HVS)在一場景或影像中感知以允許跨場景或影像之一些光適應改變之DR相關。如本文中所使用，EDR可與跨越5個至6個數量級之一DR相關。因此，儘管可相對於真實場景參考HDR略微變窄，但EDR仍表示一寬DR寬度且亦可指稱HDR。
實際上，影像包括一色彩空間之一或多個色彩分量(例如明度Y及彩度Cb及Cr)，其中各色彩分量由每像素n個位元(例如n=8)之一精度表示。使用非線性亮度編碼(例如γ編碼)，其中n≤8之影像(例如彩色24位元JPEG影像)被視為標準動態範圍之影像，而其中n＞8之影像可被視為增強動態範圍之影像。
一給定顯示器之一參考電光轉移函數(EOTF)特徵化一輸入視訊信號之色彩值(例如亮度)與由顯示器產生之輸出螢幕色彩值(例如螢幕亮度)之間的關係。例如，ITU Rec. ITU-R BT. 1886之「Reference electro-optical transfer function for flat panel displays used in HDTV studio production」(2011年3月)(其全文以引用的方式併入本文中)界定平板顯示器之參考EOTF。鑑於一視訊串流，關於其EOTF之資訊可作為(影像)後設資料嵌入於位元串流中。術語「後設資料」在本文中與作為編碼位元串流之部分傳輸之任何輔助資訊相關且促進一解碼器再現一解碼影像。此後設資料可包含(但不限於)色彩空間或色域資訊、參考顯示參數及輔助信號參數，如本文中所描述。
本文中所使用之術語「PQ」係指感知亮度振幅量化。人類視覺系統依一非常非線性方式回應增大光度。人類看見一刺激之能力受該刺激之亮度、刺激之大小、組成刺激之空間頻率及眼睛在人類觀看刺激之特定時刻已適應之亮度位準影響。在一些實施例中，一感知量化函數將線性輸入灰階映射至較佳地匹配人類視覺系統之對比敏感度臨限值之輸出灰階。SMPTE ST 2084:2014之「High Dynamic Range EOTF of Mastering Reference Displays」(下文中稱為「SMPTE」)(其全文以引用的方式併入本文中)中描述一實例性PQ映射函數，其中鑑於一固定刺激大小，針對每一亮度位準(例如刺激位準等等)，根據最敏感適應位準及最敏感空間頻率(根據HVS模型)來選擇該亮度位準處之一最小可見對比步階。
支援200 cd/m2 或尼特至1,000 cd/m2 或尼特之亮度之顯示器代表相對於EDR (或HDR)之一較低動態範圍(LDR)，亦指稱一標準動態範圍(SDR)。EDR內容可顯示於支援較高動態範圍(例如自1,000尼特至5,000尼特或更大)之EDR顯示器上。此等顯示器可使用支援高亮度能力(例如0尼特至10,000或更大尼特)之替代EOFT界定。SMPTE 2084及Rec. ITU-R BT.2100之「Image parameter values for high dynamic range television for use in production and international programme exchange」(06/2017)中界定此一EOFT之一實例。此發明者應瞭解，吾人期望得到可用於支援各種SDR及HDR顯示裝置之顯示能力之用於組合視訊內容資料之改良技術。
本章節中所描述之方法係可追尋之方法，但未必為先前已設想或追尋之方法。因此，除非另有指示，否則不應認為本章節中所描述之任何方法僅因其包含於本章節中而被視為先前技術。類似地，除非另有指示，否則相對於一或多個方法所識別之問題不應基於本章節來認為已在任何先前技術中被認定。
本文中描述張量乘積之B平滑曲線(TPB)預測子。本文中所描述之技術可用於執行視訊內容處理管線中之預測運算且使用一上游視訊內容處理器來產生組合器後設資料以使下游視訊內容處理器能夠自載送於一視訊信號中之一第二動態範圍(例如SDR、HDR等等)之解碼視訊內容重建一第一不同動態範圍(例如HDR、SDR等等)之視訊內容。在一些操作方案中，可使用一單通道明度預測子及一單件式(例如可應用於一些或所有可能輸入亮度及色度碼字等等)多通道多元廻歸(MMR)彩度預測子來產生組合器後設資料。單通道明度預測子可限制具有相同亮度之像素之色彩飽和度。單件式MMR藉由強加一全域映射來限制局域色彩預測。該等限制可使重建或映射影像之色彩精度更小及色彩不準確度更大且產生比色圖表(例如含有待表示或量測之一些或所有可能色彩等等)之一些部分(例如鮮艷色彩或高飽和色彩等等)之相對較大色差。2018年12月18日申請之美國臨時專利申請案第62/781,185號中描述實例性單通道明度預測及MMR彩度預測運算，該案之全部內容以宛如全文闡述引用之方式併入本文中。
在一些操作方案中，本文中所描述之TPB預測子可用於一視訊內容處理管線中以由一上視訊內容處理器產生組合器後設資料以使下游視訊內容處理器能夠以較佳圖像品質及相對較高色彩精度重建影像。
一B平滑曲線使用具有一特定階之一連續性約束之一多項式來處理用於近似表示一給定曲線或其一分段之一性質。可藉由僅對一B平滑曲線模型之頂部執行資料擬合來將B平滑曲線用於一廻歸程序中。為在視訊處理中捕獲一相對較高維度之多個輸入變數，可藉由使多個B平滑曲線函數相乘來指定一張量乘積之B平滑曲線(或TPB)以達成映射、曲線等等之一相對較高維近似表示以使多個輸入變數與目標值(或輸出變數)相互關聯。與組合一單通道亮度預測子及一單件式MMR以產生組合器後設資料相比，使用TPB來產生組合器後設資料提供一好得多之工具來模型化可能不同動態範圍之不同色彩等級之間的變換。另外、視情況而定或替代地，TPB可用於提供自然連續曲線(其固有能力確保高達一特定階之連續性)以藉此避免或顯著減少最初產生預測、變換及/或映射之後的曲線擬合運算。例如，可根據本文中所描述之技術來避免應用於單通道亮度預測子之用於確保多個多項式段之連續性之運算密集型多項式近似演算法。
TPB預測可用於諸如基於場景及基於線性之情況之不同編碼方案中。三維映射表(3DMT)可結合TPB預測使用以減少視覺可感知之色彩假影。實驗結果表明，明度之預測準確度可提高10倍至40倍且彩度之預測準確度可提高1倍至4倍。
本文中所描述之實例性實施例係關於產生及編碼TPB預測參數用於影像重建。判定一組張量乘積之B平滑曲線(TPB)基函數。產生與該組TPB基函數一起使用的一組選定TPB預測參數以自一源色彩等級之一或多個源影像中之源影像資料產生一或多個映射影像中之預測影像資料。藉由最小化該一或多個映射影像中之該預測影像資料與一參考色彩等級之一或多個參考影像中之參考影像資料之間的差來產生該組選定TPB預測參數。該一或多個參考影像對應於該一或多個源影像且描繪相同於由該一或多個源影像描繪之視覺內容之視覺內容。使該組選定TPB預測參數作為影像後設資料之一部分與該一或多個源影像中之該源影像資料一起編碼於一視訊信號中。引起該一或多個映射影像由該視訊信號之一接收裝置重建及再現。
本文中所描述之實例性實施例係關於解碼TPB預測參數用於影像重建及再現。自一視訊信號解碼一第一色彩等級之一或多個第一影像。自該視訊信號解碼包括用於與一組張量乘積之B平滑曲線(TPB)基函數相乘的一組選定TPB預測參數之影像後設資料。該組選定TPB預測參數由一上游視訊內容處理器產生。該組選定TPB預測參數與該組TPB基函數一起用於自一第一色彩等級之一或多個第一影像中之第一影像資料產生一或多個映射影像中之預測影像資料。該上游視訊內容處理器藉由最小化該一或多個映射影像中之該預測影像資料與一參考色彩等級之一或多個參考影像中之參考影像資料之間的差來產生該組選定TPB預測參數。該一或多個參考影像對應於該一或多個第一影像且描繪相同於由該一或多個第一影像描繪之視覺內容之視覺內容。該組TPB預測參數與該組TPB基函數一起用於自該一或多個第一影像產生該一或多個映射影像。引起自該一或多個映射影像導出之一或多個顯示影像由一顯示裝置再現。
在以下描述中，為了解釋而闡述諸多特定細節以提供本發明之一透徹理解。然而，應明白，可在無此等特定細節之情況下實踐本發明。在其他例項中，未詳盡描述熟知結構及裝置以免不必要地妨礙、模糊或混淆本發明。 實例性視訊傳送處理管線
圖1描繪展示自視訊捕獲/產生至一HDR或SDR顯示之各種階段的一視訊傳送管線(100)之一實例性程序。實例性HDR顯示器可包含(但不限於)結合TV、行動裝置、家庭影院等等來操作之影像顯示器。實例性SDR顯示器可包含(但不限於) SDR TV、行動裝置、家庭影院顯示器、頭戴式顯示裝置、穿戴式顯示裝置等等。
使用影像產生區塊(105)來捕獲或產生視訊圖框(102)。可(例如由一數位攝影機)數位捕獲或由一電腦(例如使用電腦動畫等等)產生視訊圖框(102)以提供視訊資料(107)。另外、視情況而定或替代地，可由一軟片攝影機在軟片上捕獲視訊圖框(102)。將軟片轉換成一數位格式以提供視訊資料(107)。在一些實施例中，視訊資料(107)可在傳遞至視訊傳送管線(100)之下一處理階段/時期之前(例如自動無人為輸入、手動、自動帶人為輸入等等)編輯或變換成一影像序列。
接著，將視訊資料(107)提供至一處理器用於後期製作編輯(115)。後期製作編輯(115)可包含根據視訊創作者之創作意圖來調整或修改一影像之特定區域之色彩或光度以提高影像品質或達成影像之一特定外觀。此有時稱為「色彩調整」或「色彩分級」。可在後期製作編輯(115)處執行其他編輯(例如場景選擇及定序、手動及/或自動場景剪輯資訊產生、影像剪裁、電腦產生之視覺特效添加等等)以產生HDR影像(117-1)或SDR (或相對較窄動態範圍)影像(117)(例如SDR等等)之一修訂版本。
在一些實施例中，在後期製作編輯(115)期間，由對HDR影像(117-1)執行後期製作編輯操作之一調色師在支援高動態範圍之一參考HDR顯示器上觀看HDR影像(117-1)。
在一些其他實施例中，在後期製作編輯(115)期間，由對SDR影像(117)執行後期製作編輯操作之一調色師在支援標準動態範圍(或一相對較窄動態範圍)之一參考顯示器(125)上觀看SDR影像(117)。
在一些實施例中，編碼區塊(120)可實施諸如圖2A或圖2B中所繪示之一編解碼器構架。在其中編碼區塊(120)自後期製作編輯(115)接收HDR影像(117-1)之操作方案中，HDR影像(117-1)可由編碼區塊(120)正向重塑成SDR影像(例如117)。
SDR影像(117)由編碼區塊(120)壓縮成(例如)一單層中之一編碼位元串流(122)。在一些實施例中，編碼區塊(120)可包含用於產生編碼位元串流(122)之音訊及視訊編碼器，諸如由ATSC、DVB、DVD、Blu-Ray及其他傳送格式界定之音訊及視訊編碼器。
在一些實施例中，使用保留在後期製作編輯(115)中產生SDR影像(117)之藝術意圖之SDR影像(117)來編碼經編碼位元串流(122)。另外、視情況而定或替代地，在一些實施例中，使用保留在後期製作編輯(115)中產生HDR影像(117-1)(其被正向重塑成SDR影像(117))之藝術意圖之SDR影像(117)來編碼經編碼位元串流(122)。
編碼區塊(120)可將SDR影像(117)編碼成一視訊信號(例如一8位元SDR視訊信號、一10位元SDR視訊信號等等)中之視訊資料，其與各種SDR顯示裝置(例如SDR顯示器等等)回溯相容(或替代地，非回溯相容)。在一非限制實例中，使用SDR影像(117)所編碼之視訊信號可為一單層回溯相容(或替代地，非回溯相容)視訊信號。
在一些實施例中，編碼位元串流(122)係符合相同於由編碼區塊(120)接收之輸入SDR YCbCr視訊信號之視訊信號格式之一視訊信號。例如，在其中由編碼區塊(120)接收之輸入SDR YCbCr視訊信號係一8位元SDR YCbCr視訊信號之情況中，由編碼區塊(120)輸出之編碼位元串流(122)可表示具有影像後設資料(其包含(但不限於)由編碼區塊(120)及/或後期製作區塊(115)產生之組合器後設資料)之一輸出8位元SDR YCbCr視訊信號。組合器後設資料(或反向重塑映射)可由下游解碼器用於對SDR影像(117)執行反向重塑(例如逆色調映射等等)以產生可相對準確地再現於(例如多個目標等等) HDR參考顯示器上之反向重塑影像。
在一些實施例中，可使用一或多個SDR轉HDR轉換工具至少部分基於組合器後設資料來實施逆色調映射以自SDR影像(117)(或其一解碼版本)產生反向重塑影像。如本文中所使用，反向重塑係指將再量化影像轉換回原始EOTF域(例如γ或PQ)或一不同EOTF域以用於進一步下游處理(諸如顯示管理)之影像處理操作。另外、視情況而定或替代地，本文中所描述之重塑(例如正向重塑、反向重塑等等)可係指在不同EOTF、不同色彩空間、不同動態範圍等等之間轉換之影像處理操作。
使用包含(但不限於)顯示管理(DM)後設資料之影像後設資料來進一步編碼經編碼位元串流(122)，影像後設資料可由下游解碼器用於對HDR參考顯示器之反向重塑影像執行顯示管理操作以產生再現於(例如多個等等)裝置特定HDR顯示器上之顯示影像。
接著，將編碼位元串流(122)向下游傳送至接收器，諸如解碼及播放裝置、媒體源裝置、媒體串流客戶端裝置、電視(例如智慧型TV等等)、視訊轉換器、電影院及其類似者。在一接收器(或一下游裝置)中，編碼位元串流(122)由解碼區塊(130)解碼以產生可相同於SDR影像(117)之解碼影像182，其經受由編碼區塊(120)執行之壓縮及由解碼區塊(130)執行之解壓縮中所產生之量化誤差。
由SDR影像(117)或其解碼版本表示之實例性SDR視訊內容可為(但未必僅限於為) SDR+視訊內容、SDR影像、SDR電影版本、SDR+影像、SDR媒體程式等等。如本文中所使用，術語「SDR+」表示SDR影像資料及後設資料之一組合，SDR影像資料及後設資料在組合在一起時允許產生對應高動態範圍(HDR)影像資料。SDR+影像後設資料可包含用於產生反向重塑映射(例如TPB反向重塑映射等等)之組合器資料，反向重塑映射在應用於一輸入SDR影像時產生一對應HDR影像。SDR+影像允許與可忽略SDR+影像後設資料且僅顯示SDR影像之舊型SDR顯示器回溯相容。
與SDR視訊內容一起傳輸至一接收裝置之影像後設資料可包含根據本文中所描述之技術(例如自動、即時、在離線處理中等等)產生之組合器後設資料。在一些實施例中，將視訊資料(107)提供至一處理器用於組合器後設資料產生(115)。組合器後設資料產生(115)可在無或很少人機互動之情況下自動產生組合器後設資料。自動產生之組合器後設資料可由(若干)接收裝置用於執行反向重塑操作以自視訊資料(107)中之SDR影像產生對應高動態範圍(HDR)影像。
組合器後設資料產生(115)可用於提供使視訊內容可用於各種顯示裝置之一或多個有價值服務。由組合器後設資料產生(115)提供之一有價值服務係在其中描繪於SDR影像中之視訊內容之HDR影像不可用但描繪視訊內容之SDR影像可用之操作方案中自SDR影像產生HDR影像，如上文所提及。因此，本文中所描述之技術可用於在其中SDR影像可用之操作方案中產生或組合HDR顯示器之HDR視訊內容。
由組合器後設資料產生(115)提供之另一有價值服務係在不依賴一調色師之一些或所有手動操作(稱為「色彩調整」或「色彩分級」)之情況下(例如完全或部分等等)產生HDR顯示器之HDR視訊內容。
另外、視情況而定或替代地，影像後設資料中之DM後設資料可由下游解碼器用於對反向重塑影像執行顯示管理操作以產生用於再現於HDR參考顯示裝置或其他顯示裝置(諸如非參考HDR顯示裝置等等)上之顯示影像(例如HDR顯示影像等等)。
在其中接收器與支援標準動態範圍或一相對較窄動態範圍之一SDR顯示器140一起操作(或附接至SDR顯示器140)之操作方案中，接收器可使解碼SDR影像直接或間接再現於目標顯示器(140)上。
在其中接收器與支援一高動態範圍(例如400尼特、1000尼特、4000尼特、10000尼特或更大等等)之一HDR顯示器140-1一起操作(或附接至HDR顯示器140-1)之操作方案中，接收器可自編碼位元串流(122)(例如編碼位元串流(122)中之後設資料容器等等)提取組合器後設資料(例如TPB組合器後設資料等等)且使用組合器後設資料來組合HDR影像(132)，其可為自反向重塑SDR影像基於組合器後設資料產生之反向重塑影像。另外，接收器可自編碼位元串流(122)提取DM後設資料且基於DM後設資料將DM操作(135)施加於HDR影像(132)以產生用於再現於HDR (例如非參考等等)顯示裝置(140-1)上之顯示影像(137)且使顯示影像(137)再現於HDR顯示裝置(140-1)上。 編解碼構架
在一些操作方案中，SDR+可用於增強用於再現於HDR顯示裝置上之SDR內容。可使用諸如組合器後設資料之影像後設資料來單獨映射SDR影像之明度及彩度通道(或色彩空間分量)以產生(映射) HDR影像之對應明度及彩度通道。
然而，應注意，在各種實施例中，本文中所描述之技術可用於單層逆顯示管理(SLiDM)或非SLiDM編解碼器構架。例如，本文中所描述之TPB後設資料產生、傳輸及消耗可結合包括兩個或更多個編碼層(其包括SDR或HDR內容)之一多層視訊信號使用。
另外、視情況而定或替代地，本文中所描述之TPB後設資料產生、傳輸及消耗可結合諸如一HDR信號之一非SFR (或非SDR+)視訊信號使用。例如，不是包含由接收裝置用於反向重塑解碼SDR內容以產生重建HDR內容之TPB反向重塑後設資料，而是HDR信號可包含由接收裝置用於正向重塑解碼HDR內容以產生重建SDR內容之TPB正向重塑後設資料。
因此，儘管可僅為了說明而使用實例性編解碼器構架或視訊信號來描述本文中所描述之技術，但此等技術不受限於實例性編解碼器構架或視訊信號，而是可使用其他編解碼器構架或視訊信號實施。
圖2A至圖2C繪示實例性編解碼器構架。更具體言之，圖2A繪示可使用一上游視訊編碼器等等中之一或多個運算處理器來實施之一第一編碼器側編解碼器架構之一實例。圖2B繪示可使用一上游視訊編碼器等等中之一或多個運算處理器來實施之一第二編碼器側編解碼器架構之一實例。圖2C繪示亦可使用一下游視訊解碼器(例如一接收器等等)等等中之一或多個運算處理器來實施之一解碼器側編解碼器架構之一實例。
在第一構架中，如圖2A中所繪示，回溯相容SDR影像(諸如SDR影像(117)等等)作為輸入接收於編解碼器構架之編碼器側上。
依說明而非限制方式，一逆動態範圍映射(DM)模組162 (其可表示一SDR轉HDR轉換工具等等)用於將SDR影像(117)轉換成HDR影像148用於觀看於參考HDR顯示器上。在一些實施例中，逆DM模組亦可指稱一逆色調映射工具。
在圖2B所繪示之第二構架中，用於參考HDR顯示器等等之HDR影像(148)作為輸入接收於編解碼器構架之編碼器側上。在此，「用於參考HDR顯示器之HDR影像」可係指特別針對HDR (參考)顯示器來色彩分級之HDR影像。
依說明而非限制方式，一正向重塑模組164 (其可表示一HDR轉SDR轉換工具等等)用於將HDR影像(148)轉換成SDR影像(117)用於觀看於SDR顯示器上。在一些實施例中，正向重塑模組亦可指稱一色調映射工具。
在第一編碼器側編解碼器架構及第二編碼器側編解碼器架構兩者中，一影像後設資料產生器150 (例如編碼區塊(120)之一部分等等)接收SDR影像(117)及HDR影像(148)兩者作為輸入，產生影像後設資料152，諸如TPB組合器後設資料、DM後設資料等等。可藉由使用TPB組合器後設資料中所指定之反向重塑函數/曲線反向重塑SDR影像(117)來產生用於一HDR (例如參考、目標等等)顯示器之反向重塑影像(132)。
在一些實施例中，反向重塑影像(132)表示用於HDR顯示器之製作品質或接近製作品質HDR影像。反向重塑影像(132)可以一輸出HDR視訊信號160輸出至HDR顯示裝置(例如透過一HDMI介面、透過一視訊鏈路等等)且再現於HDR顯示裝置上。在此等實施例中，接收器可擷取TPB組合器後設資料且重建及再現藉由基於TPB組合器後設資料反向重塑SDR影像(117)所重建之HDR影像。
在第一編碼器側架構及第二編碼器側架構兩者中，一壓縮區塊142 (例如圖1A之編碼區塊(120)之一部分等等)將SDR影像(117)壓縮/編碼於一視訊信號之一單層144中。一實例性視訊信號可為(但未必僅限為)圖1A之編碼位元串流(122)。由影像後設資料產生器(150)產生之影像後設資料(152)(表示為「rpu」)可(例如由圖1A之編碼區塊(120)等等)編碼成視訊信號(例如一編碼位元串流等等)。
在第一編碼器側架構及第二編碼器側架構兩者中，影像後設資料(152)可與其中將SDR影像編碼於視訊信號中之單層分開載送於視訊信號中。例如，影像後設資料(152)可編碼於編碼位元串流之一組成串流中，該組成串流可或可不與其中編碼SDR影像(117)之(編碼位元串流之)單層分離。
在第一編碼器側架構及第二編碼器側架構兩者中，視訊信號中之影像後設資料(152)中之TPB組合器後設資料可用於使下游接收器能夠將SDR影像(117)(其可編碼於視訊信號中)反向重塑成用於HDR目標顯示器之重建影像(或反向重塑影像)。實例性HDR目標顯示器可包含(但未必僅限為)以下之任何者：具有類似於HDR參考顯示器之顯示能力之顯示能力之一HDR目標顯示器、具有不同於HDR參考顯示器之顯示能力之顯示能力之一HDR目標顯示器、使用額外DM操作來將HDR參考顯示器之重建視訊內容映射至HDR目標顯示器之顯示視訊內容之一HDR目標顯示器等等。
在一些操作方案中，在第一編碼器側架構及第二編碼器側架構兩者中，SDR內容由實施編碼器側編解碼器架構之一上游編碼裝置編碼及傳輸於一視訊信號(諸如編碼位元串流(122)等等)之一單層中。SDR內容由實施解碼器側編解碼器架構之一下游解碼裝置(或一接收器)接收及解碼於視訊信號之單層中。TPB組合器後設資料亦與SDR內容一起編碼及傳輸於視訊信號中，使得接收裝置可基於SDR內容及TPB組合器後設資料來重建HDR內容。
在一些實施例中，如圖2C中所繪示，使用單層(144)中之SDR影像(117)來編碼之視訊信號及作為總影像後設資料之一部分之TPB反向重塑後設資料(152)作為輸入接收於第一編碼器側架構及第二編碼器側架構之解碼器側上。
一解壓縮區塊154 (例如圖1A之解碼區塊(130)之一部分等等)將視訊信號之單層(144)中之壓縮視訊資料解壓縮/解碼成解碼SDR影像(182)。解碼SDR影像(182)可相同於SDR影像(117)經受壓縮區塊(142)及解壓縮區塊(154)中之量化誤差。解碼SDR影像(182)可以一輸出SDR視訊信號156 (例如透過一HDMI介面、透過一視訊鏈路等等)輸出至一SDR顯示裝置且再現於SDR顯示裝置上。
另外，一反向重塑區塊158自輸入視訊信號提取影像後設資料(152)(諸如TPB組合器後設資料(或反向重塑後設資料))，基於影像後設資料中之提取TPB組合器後設資料來建構反向重塑函數，且基於反向重塑函數來對解碼SDR影像(117)執行反向重塑操作以產生特定HDR目標顯示器之反向重塑影像(132)(或重建HDR影像)。
在一些實施例中，反向重塑影像表示HDR參考顯示器之製作品質或接近製作品質HDR影像。反向重塑影像(132)可以一輸出HDR視訊信號160 (例如透過一HDMI介面、透過一視訊鏈路等等)輸出至具有類似於HDR參考顯示器之顯示能力之顯示能力之一HDR顯示器且再現於該HDR顯示器上。因此，在此等實施例中，DM功能可不由一接收器實施以簡化裝置操作及降低裝置成本。
另外、視情況而定或替代地，在一些實施例中，DM後設資料可與TPB組合器後設資料及SDR影像(117)一起傳輸至接收器。可至少部分基於(例如)影像後設資料(152)中之DM後設資料來對反向重塑影像(132)執行專針對具有不同於HDR參考顯示器之顯示能力之顯示能力之一HDR目標顯示器之顯示管理操作以產生再現於HDR目標顯示器上之顯示HDR影像。 基於B平滑曲線之預測
TPB (基於TPB)預測可用於導出描繪相同視覺語義內容之不同色彩等級之間或其中之映射或變換之選定操作參數。如本文中所使用，一色彩等級可係指視訊影像之一(例如修訂、經專業色彩分級、由一使用者或視訊專業人員分級色彩、重建、待預測等等)版本。
描繪相同視覺語義內容之兩個色彩等級之間的一映射或變換可係指一正向重塑映射或變換、一反向重塑映射或變換等等。2015年3月20日申請之美國臨時專利申請案第62/136,402號(亦作為美國專利公開申請案第2018/0020224號在2018年1月18日公開)、2018年5月11日申請之美國臨時專利申請案第62/670,086號中描述實例性重塑操作，該等案之全部內容以宛如全文闡述引用之方式併入本文中。
在一些操作方案中，正向重塑係指自一較高動態範圍之視訊影像(描繪相同視覺語義內容)產生相同或較低動態範圍之視訊影像。
在一些操作方案中，正向重塑係指自一動態範圍之輸入或源視訊影像(描繪相同視覺語義內容)產生相同或一不同動態範圍之待編碼視訊影像(例如在自一上游視訊內容處理器傳送至(若干)下游視訊內容處理器之一輸出視訊信號中)。
在一些操作方案中，反向重塑係指自一相對較低動態範圍之視訊影像(描繪相同視覺語義內容)產生一較高動態範圍之視訊影像。
在一些操作方案中，反向重塑係指自一動態範圍之接收視訊影像(描繪相同視覺語義內容)(例如編碼於自一上游視訊內容處理器傳送至(若干)下游視訊內容處理器之一接收視訊信號中)產生相同或一不同動態範圍之視訊影像。
本文中所描述之TPB預測技術可用於產生表示正向重塑映射/變換及/或反向重塑映射/變換之影像後設資料或組合器後設資料。可藉由張量乘積之B平滑曲線來對一單一變數(例如一色彩空間之一單一色彩通道、一色彩空間之一單一色彩分量、R、G、B通道中之一通道、Y、Cb、Cr通道中之一通道等等)及多個變數(例如一色彩空間之兩個或更多個色彩通道、一色彩空間之兩個或更多個色彩分量、R、G、B通道中之兩個或更多個通道、Y、Cb、Cr通道中之兩個或更多個通道等等)執行基於B平滑曲線之預測。在一些操作方案中，可在SDR至HDR或HDR至SDR之一預測程序中實施TPB預測。
下表1繪示實例性多項式平滑曲線。 表1
n次或n階之一多項式平滑曲線 可使用結a=k0 ＜…＜kT-1 =b來建構為在[a, b]範圍內滿足以下條件之一實值函數f(z)： 1. 當整數n=1或更大時，f(z)係(n-1)次連續可微的。當n=0時，對f(z)無平滑度要求。 2. f(z)係由兩個相鄰結[kt , kt+1 ]形成之一區間內之一n階多項式。
可自在結(例如連接相鄰分段多項式之斷點等等)處平滑融合之分段多項式建構B平滑曲線基函數以達成所要平滑度或連續性約束。一B平滑曲線基函數由n次(或n階)之(n+1)個多項式段組成，(n+1)個多項式段與高達且包含(n-1)階連續性或可微性之結接合。使用B平滑曲線基(或基函數)之一全集，一給定函數f(z)(例如映射、曲線等等)可透過D=T+n-1個B平滑曲線基函數(T表示結之數目)之一線性組合表示如下：(1)
應注意，一B平滑曲線基函數僅為正的或支援於基於(例如T個、n+2個等等)結中之兩個相鄰結之一區間上。
一B平滑曲線基函數之0階(零階)可指定如下：(2)
一B平滑曲線基函數之一較高階(n階)可遞迴地指定如下：(3)
除內部結k0 、k1 、…、kT-1 之外，外部結(諸如2n個外結)亦可放置於[a, b](其係其中分佈內部結之一範圍)外。
圖3A至圖3D繪示一組均勻分佈結(或結點)之0階(零階)至3階B平滑曲線基函數之四個實例性全集。可使用上述表式(3)來遞迴地建構不同階之B平滑曲線基函數之額外全集。
在其中內部結之數目T=8個結且使用2階B平滑曲線基函數之一全集之操作方案中，集中之基函數之總數D係9。9個係數之一對應集{mt }可用於預測或近似表示(例如)用於表示視訊內容之一色彩空間之一亮度通道之單通道預測之一維(1D)映射或曲線。
僅為了說明，應用9個2階B平滑曲線基函數之全集來預測或近似表示HDR與SDR之間的1D映射或曲線。
假定一SDR影像(例如第j SDR影像等等)及一對應HDR影像(例如描繪相同於SDR影像之視覺語義內容但具有一相對較高動態範圍之第j HDR影像等等)之各者包括P個像素。使三元組及分別表示第j SDR及HDR影像中之第i像素之正規化Y、C0 (例如Cb等等)及C1 (例如Cr等等)值。一單通道B平滑曲線預測子可用於自明度或亮度通道之預測。
一組特定結或結點可經選擇且用於建構表示為之Dy (=T+n-1)個B平滑曲線基函數之一全集。可使用一組對應係數來執行來自HDR亮度碼字值之SDR亮度碼字值之單通道預測如下：(4)
鑑於SDR及HDR影像之各者中之P個像素，可將所有P個待預測(或目標) SDR亮度碼字值、對應係數及B平滑曲線基函數收集成一矩陣形式以自對應(輸入) HDR亮度碼字值預測(目標) SDR亮度碼字值如下：(5) 其中(6)(7)(8) 其中表式(8)中之左手側(LHS)表示一設計矩陣。
將包括所有P個實際(例如目標、參考等等) SDR碼字值之一地表實況向量表示如下：(9)
可經由一閉合形式中之一最小平方解算來獲得係數之一解如下：(10)
為解決此最小平方問題，可訓練特別照護以(例如)考量其中B平滑曲線矩陣相對較稀疏之方案。在其中不管信號或像素資料分佈之種類如何均可預選或固定結點之操作方案中，相鄰結之間的結區間中可存在空像素或不存在像素。因為一B平滑曲線基函數僅為正的或支援於一相對較小區間及區間外之零上，所以其中可不存在像素之空區間可促成中之一些或所有零行(其等之各者包括全零)。此等零行會使矩陣之運算含混不清或遭遇奇異性。在一些操作方案中，為解決或改善此問題，針對中具有全零或全相對較小值(例如與以程式、憑經驗或由使用者等等設定之一數值臨限值相比)之行，可將對應係數設定為零。
將中之各元素表示為且將第α行表示為。下表2中繪示用於重建除全零值或全相對較小值之行(例如低於一數值臨限值之行之和、低於一數值臨限值之行中之各矩陣元素等等)之外的設計矩陣之一實例性程序。 表2
c = 0;    For each column,, in           //加總第α行中之各元素之值                   //若和大於一數值臨限值，則保留行           //添加新矩陣          If()                                             c ++          end end
在一些操作方案中，不是使用上述表式(10)，而是可使用上表2中所獲得之來解決最小平方問題如下：(11)
因為已將行之總數Dy 減少至c (其中c表示除各包括全零或全相對較小數目之(Dy -c)個行之外的行之一新總數)，所以表式(11)之解可缺少對應於(若干)排除行之係數或參數。使用下表3中所繪示之一實例性程序，可藉由使用0 (零)填充對應於移除(Dy -c)個行之參數/係數來建構包括所有行之參數/係數之一參數/係數向量如下：(12) 表3
For= 0 : 1 :-1        If(is in)             Find corresponding indexin for a given                    else                     end end
在一些操作方案中，預選或固定結或結點之位置。然而，應注意，在各種實施例中，可或可不預選或固定結或結點之位置(及/或總數)。例如，在一些操作方案中，因為結或結點之位置(及/或總數)會影響解之最佳性，所以結或結點之位置(及/或總數)及參數/係數可適應性判定為一總體最小化(或最佳化)問題或解之一部分。
儘管適應性選擇結點可進一步提高視訊內容之不同色彩等級之間或其中之映射或變換之效能及準確度，但預設或預選均勻分佈之結點帶來實例性優點，其包含(但不限於)：(1)無需由一上游視訊內容處理器將影像後設資料中之B平滑曲線基函數之結位置傳信或發送至一下游視訊內容處理器，其降低用於載送及編碼影像後設資料之位元串流負擔；(2)無需回應於原本可逐圖框適應性改變之不同結點而重新運算解碼器側處之基函數；等等。換言之，具有預設或固定結點之B平滑曲線基函數可在解碼器側處硬佈線於邏輯中或儲存於資料儲存器中以降低運行時間運算負載及/或硬體複雜性。 TPB交叉色彩通道預測子
在一些操作方案中，使用一單通道預測子(諸如一單通道(或1D) B平滑曲線預測子)來產生HDR與SDR (反之亦然)之間的映射可存在相對較大限制。1D B平滑曲線預測子可提供與其他方法(例如基於累積密度函數或CDF之方法、基於最小均方差或MMSE之方法等等)相當之預測效能及準確度，可能具有額外運算複雜性。視訊內容之不同色彩等級之映射問題存在於一多維色彩空間(例如3D色彩空間(諸如RGB、IPT、YDzDx及YCbCr)、一色彩空間中之三個或更多個通道等等)中，1D函數或預測會在一些操作方案中受到限制。例如，HDR與SDR之間的(來回)相對較準確映射可涉及交叉色彩操作(例如類似於由色彩分級專家等等手動執行之交叉色彩操作)，諸如色彩變換及飽和度控制。因此，使用1-D預測子來解決涉及不同亮度位準處之色彩、色相及飽和度之人類感知之多維色彩空間中之此映射問題可能不是最佳的。
為提高預測效能及準確度，可根據本文中所描述之技術來採用能夠探究視訊內容之不同色彩等級之間的局域及/或全域交叉色彩通道關係之TPB預測。
與其中交叉通道預測表示一全域映射操作子之一些方法相比，TPB交叉通道預測可靈活地模型化一色彩空間或一色域中之各局域分區中之一映射(例如將一區域特定映射一直應用於諸多局域單維或多維碼字區域之各者而非將一全域映射應用於所有碼字或色彩等等)以勝過不實施本文中所描述之技術之其他方法。
可應用TPB交叉通道預測來預測自HDR至SDR (或反之亦然)之亮度或明度通道中之碼字。在色彩空間Y、C0 (或Cb)及C1 (或Cr)之先前實例中，在各色彩通道或維度中獨立提供B平滑曲線基函數之一全集。因此，存在分別用於Y、C0 及C1 色彩通道或維度之三組B平滑曲線基函數、及。在此，j表示第j SDR及HDR影像，ty 表示明度或亮度Y維度之一B平滑曲線基函數指數(鑑於沿Y維度之一組結點)；tc0 表示彩度或色度C0維度之一B平滑曲線基函數指數(鑑於沿C0維度之一組結點)；tc1 表示彩度或色度C1維度之一B平滑曲線基函數指數(鑑於沿C1維度之一組結點)；i表示SDR及HDR影像之各者中之P個像素中之一像素指數。
將B平滑曲線基函數、及之此等三個全集中之B平滑曲線基函數之總數分別表示為、及。鑑於3個維度之各者中之一各自組結點，可使用上述表式(3)來建構B平滑曲線基函數、及之三個全集中之各集。
可藉由取得所有三個色彩通道或維度之B平滑曲線基函數、及之三個全集之向量乘積來建構用於預測亮度及明度通道中之碼字之TPB基函數。具有表示ty 、tc0 及tc1 之一唯一組合之一(3D) TPB指數之一TPB基函數可給出或運算如下：(13)
可使用一組對應係數來執行來自HDR亮度及色度碼字值、及之SDR亮度碼字值之交叉通道預測如下：(14)
可將3D TPB指數(ty 、tc0 及tc1 )向量化成一1D指數(表示為t)以簡化此處表式。先前具有3D TPB指數(ty 、tc0 及tc1 )之TPB基函數可重寫如下：(15)
使。上述表式(14)中之TPB交叉通道預測可重寫如下：(16)
鑑於SDR及HDR影像之各者中之P個像素，可將所有P個待預測(或目標) SDR亮度碼字值、對應係數及交叉通道TPB函數收集成一矩陣形式以自對應(輸入) HDR亮度及色度碼字值預測(目標) SDR亮度碼字值如下：(17) 其中(18)(19) 其中表式(18)之LHS表示一設計矩陣。
可經由一閉合形式中之一最小平方解算來獲得係數之一解如下：(20) 其中表示上述表式(9)中之地表實況向量。
為促進討論，可使用矩陣及向量來重寫表式(20)如下：(21)(22)
因此，(23)
類似地，可針對兩個彩度通道或維度來構建TPB交叉通道預測子。依說明方式將彩度通道C0及C1表示為C。鑑於Y、C0 及C1 維度中之三組已知點，可針對Y、C0 及C1 維度來構建B平滑曲線基函數之三個全集、及用於彩度通道C中之碼字之TPB預測(其中C可為C0或C1)。B平滑曲線基函數之三個全集之總數可分別為、及。藉由給出3個維度中之一組結點，吾人具有3個個別基函數組、及。
類似於Y通道中之碼字之TPB交叉通道預測，針對彩度通道C，可使用指數張量元素來構建TPB交叉通道基函數如下：(24)
類似地，可將3D TPB指數(ty 、tc0 及tc1 )向量化成一1D指數(表示為t)以簡化此處表式。使。彩度通道C中之碼字之TPB交叉通道預測可給出如下：(25)
鑑於SDR及HDR影像之各者中之P個像素，可將所有P個待預測(或目標) SDR色度碼字值、對應係數及交叉通道TPB函數收集成一矩陣形式以自對應(輸入) HDR亮度及色度碼字值預測(目標) SDR亮度碼字值如下：(26) 其中(27)(28) 其中表式(27)之LHS表示一基於TPB之矩陣。
可經由一閉合形式中之一最小平方解算來獲得係數之一解如下：(29)
為促進討論，可使用矩陣及向量來重寫表式(29)如下：(30)(31)
因此，(32)
在一些操作方案中，預選或固定結或結點之位置。然而，應注意，在各種實施例中，可或可不預選或固定結或結點之位置(及/或總數)。例如，在一些操作方案中，因為結或結點之位置(及/或總數)會影響解之最佳性，所以結或結點{kt }之位置(及/或總數)及參數/係數可適應性判定為一總體最小化(或最佳化)問題或TPB交叉通道預測解之一部分。
儘管適應性選擇結點可進一步提高視訊內容之不同色彩等級之間或其中之映射或變換之效能及準確度，但預設或預選用於多維TPB張量中之均勻分佈之結點帶來實例性優點，其包含(但不限於)：(1)無需由一上游視訊內容處理器將用於影像後設資料中之多維TPB基函數中之結位置傳信或發送至一下游視訊內容處理器，其降低用於載送及編碼影像後設資料之位元串流負擔；(2)無需回應於原本可逐圖框適應性改變之不同結點而重新運算解碼器側處之B平滑曲線或TPB基函數；等等。換言之，具有預設或固定結點之TPB基函數可在解碼器側處硬佈線於邏輯中或儲存於資料儲存器中以降低運行時間運算負載及/或硬體複雜性。
在其中所有三個通道或維度各具有相同TPB基函數之操作方案中，不同通道之S矩陣相同如下：(33)
在解碼器側處，運算相同矩陣，無需運算不同通道或維度之不同S矩陣。接著，可藉由使相同S矩陣與對應預測參數/係數相乘來獲得各通道之交叉通道預測碼字值如下：(34-1)(34-2)(34-3) 高效解碼器架構
當均勻分佈包含外部結點之結或結點時，B平滑曲線基函數可由截斷多項式之一線性組合表示。一n階截斷多項式可界定如下：(35)
將結點表示為通道Y、C0及C1之、及。當均勻分佈結點、及時，每兩個連續(或相鄰)結點之間的距離可分別表示為hy 、hc0 及hc 1。為簡單起見，各通道之結點可分別表示為及h。
可使用截斷多項式之一線性組合來建構t階B平滑曲線基函數之1階如下：(36) 其中僅為正的或支援於[kt-1 kt+2 ]之一範圍之間或一2h區間上及否則此範圍外之零(0)。如表式(36)中所展示，1階B平滑曲線基函數包括三個項，其等之各者包括與一輸入值(例如用於預測近似表示一參考碼字之一目標碼字之一輸入或源碼字等等)與一各自結點之間的一差相乘之一各自結乘法因數(表示為ci ，其中i表示0至2之間的一整數)。例如，表式(36)中之第一項之第一結乘法因數係，表式(36)中之第二項之第二結乘法因數係，表式(36)中之第三項之第三結乘法因數係。
可使用截斷多項式之一線性組合來建構t階B平滑曲線基函數之2階如下：(37) 其中僅為正或支援於[kt-1 kt+2 ]之一範圍之間或一3h區間上及否則此範圍外之零(0)。如表式(37)中所展示，2階B平滑曲線基函數包括四個項，其等之各者包括與一輸入值(例如用於預測近似表示一參考碼字之一目標碼字之一輸入或源碼字等等)與一各自結點之間的一差相乘之一各自結乘法因數(表示為ci ，其中i表示0至3之間的一整數)。例如，表式(37)中之第一項之第一結乘法因數係，表式(37)中之第二項之第二結乘法因數係，表式(37)中之第三項之第三結乘法因數係，表式(37)中之第四項之第四結乘法因數係。
可使用截斷多項式之一線性組合來建構t階B平滑曲線基函數之3階如下：(38) 其中僅為正的或支援於[kt-2 kt+2 ]之一範圍之間或一4h區間上及否則此範圍外之零(0)。如表式(38)中所展示，3階B平滑曲線基函數包括五個項，其等之各者包括與一輸入值(例如用於預測近似表示一參考碼字之一目標碼字之一輸入或源碼字等等)與一各自結點之間的一差相乘之一各自結乘法因數(表示為ci ，其中i表示0至4之間的一整數)。例如，表式(38)中之第一項之第一結乘法因數係，表式(38)中之第二項之第二結乘法因數係，表式(38)中之第三項之第三結乘法因數係，表式(38)中之第四項之第四結乘法因數係，表式(38)中之第五項之第五結乘法因數係。
具有B平滑曲線基函數之此等多項式表式允許諸如一編碼器、一解碼器、一轉碼器等等之一視訊內容處理器使用B平滑曲線基函數之多項式且避免遞迴地獲得B平滑曲線基函數。此簡化硬體實施，因為實施一遞迴B平滑曲線表式會相對較複雜。遞迴表式亦可能耗費相對較長時間及相對較大記憶體空間來運算及儲存。截斷多項式表式可用於藉由權衡具有不均勻(例如適應性等等)結點之靈活性來節省運算。
另外、視情況而定或替代地，一n階B平滑曲線基函數因使(n+1)h個區間交叉而為正的。鑑於一點x，僅(n+1)個基函數包括覆蓋點x之範圍內之支援或可能正值。因此，僅此等(n+1)個基函數針對給定點x啟動。剩餘基函數在給定點x處為零(0)，因為給定點x在其中剩餘基函數係非零之範圍外。為建構三個色彩通道或維度之TPB基函數，並非啟動所有B平滑曲線基函數，而是僅啟動(n+1)3 個B平滑曲線基函數。此自B平滑曲線基函數之(原始)總數顯著減少潛在諸多乘法。 解碼器實施方案
圖1B繪示用於TPB交叉通道預測之實例性處理區塊，其可實施於具有一或多個電腦處理器之一視訊內容處理器(例如一解碼器、一編碼器、一轉碼器等等)中。一些或所有此等處理區塊可實施於硬體、軟體或硬體及軟體之一組合中。
區塊192包括TPB基產生運算，其準備各通道或維度中之B平滑曲線基函數，自Y通道或維度中之各基函數輸出Dy 個不同值，自Cb通道或維度中之各基函數輸出DC b 個不同值，自Cr通道或維度中之各基函數輸出DC r 個不同值，等等。因為各通道或維度中僅存在(n+1)個非零值，所以若吾人僅輸出非零信號或值，則存在來自3個通道或維度之僅3*(n+1)個非零信號或值。只要B平滑曲線基函數之結點經預組態、固定或否則可用，則可在無需等待接收視訊內容或影像後設資料之情況下預組態、固定及/或預執行此區塊中之運算。
區塊194包括TPB交叉乘積運算，其執行與1維B平滑曲線基函數之交叉乘積乘法以建構較高維TPB基函數如下： 明度：(39-1) 彩度：(39-2)
因為各通道或維度中存在(n+1)個非零值，所以存在來自區塊194之(n+1)3 個乘法及(n+1)3 個輸出。此區塊中之運算可為固定的，但需要追蹤用於TPB預測之指數。
區塊196包括TPB係數乘法運算，其使自區塊194輸出之非零值與自一接收視訊信號中之與視訊內容一起傳送之影像後設資料(例如組合器後設資料)讀取之預測參數/係數相乘。存在用於加權各高維基函數之(n+1)3 個乘法及用於加總所有值之加法以產生最終預測值、及如下： 明度：(40-1) 彩度：(40-2) 其中C表示C0或C1。
區塊196中之運算可動態識別及/或分配基指數及參數指數。
圖1C及圖1D繪示圖1B之區塊192中之TPB基產生運算之實例性實施方案。
圖1C繪示B平滑曲線基函數輸出之產生之一實例性基於方程式之實施方案，其接著可用於產生表示TPB基函數輸出之張量乘積。在一些操作方案中，圖1C之基於方程式之實施方案可基於1階至3階B平滑曲線基函數之表式(36)至(38)之任何者。在一些操作方案中，圖1C之基於方程式之實施方案可基於除1階至3階之外的階之B平滑曲線基函數之類似於表式(36)至(38)之一截斷多項式表式。
如圖1C中所繪示，可使用一輸入x (例如至少部分基於其來預測近似表示一色彩空間之一通道或維度中之一參考碼字之一目標碼字之一輸入或源碼字等等)及B平滑曲線基函數參數(諸如(例如固定等等)結點及結乘法參數ci )來運算t階B平滑曲線基函數之一輸出值(其可用於形成具有上述表式(24)之TPB基函數)。接著，可產生對應TPB基函數之輸出值作為B平滑曲線基函數之輸出值之張量乘積。
在一些操作方案中，可將圖1C之基於方程式之實施方案樣例化成並行運行之相對較多例項或線程。在一些操作方案中，圖1C之基於方程式之實施方案可藉由在硬體(例如實施此基於方程式之方法之處理邏輯或處理器等等)依一相對較高頻率操作時載入不同基函數參數來再用於(例如)一單一線程或相對較少線程中。
如圖1D中所繪示，各B平滑曲線基函數之輸出可儲存於本端暫存器中。如之前所提及，存在來自對應數目個B平滑曲線基函數之僅(n+1)個非零輸出。因此，針對一給定輸入值x，僅需完成(n+1)個基函數輸出。
若內部結點之數目係2之冪加上1，則可使用最高有效位元或MSB來快速指標選定(n+1)個非零輸出。接著，兩個(例如連續、相鄰等等)內部結點{kt,i }之間的區間僅為2之冪。可僅使用MSB位元來識別非零輸出之特定輸出及數目。
另外、視情況而定或替代地，除基於方程式之實施方案之外或替代基於方程式之實施方案，B平滑曲線基函數之輸出可基於查找表(LUT)。例如，在一些操作方案中，可針對各1-D B平滑曲線基函數來構建一1D-LUT。例如，可分別針對各通道或維度來儲存數個LUT表值(例如總共等等)。若快取或記憶體空間相對足夠大，則可同時儲存所有Dy 個基函數之所有表值。亦應注意，使用均勻分佈之結點，僅各通道或維度之B平滑曲線基函數係B平滑曲線基函數之一者之簡單移位版本，如圖3A至圖3D中所繪示。此性質可用於實現硬體及軟體兩種設計及記憶體空間及運算兩者中之相對高效解算。可藉由基於複數個偏移將移位運算應用於一輸入來產生B平滑曲線函數之輸出。因此，1D-LUT可僅需覆蓋(n+1)h個區間而非整個輸入值(例如信號、碼字等等)範圍以藉此極大減少所需LUT表值之數目。待添加或實施之唯一額外邏輯可為偏移之移位運算。若硬體或處理器可依一相對較高頻率操作，則在相同通道或維度中產生不同B平滑曲線基函數之輸出可共用(例如)具有不同偏移之相同處理邏輯。
圖1E及圖1F繪示圖1B之區塊194中之TPB交叉乘積運算之實例性實施方案。
圖1E繪示一並行模式中之實例性TPB交叉乘積運算。如圖1E中所繪示，針對各通道或維度，自各通道之B平滑曲線基函數產生(n+1)個輸出。針對各通道或維度，區塊194中之TPB交叉乘積運算對各自(n+1)個輸出執行(n+1)3 個乘法且使乘法(或張量乘積)結果作為TPB交叉乘積輸出(例如表式(24)等等中所展示)儲存於(例如)輸出暫存器中。接著，將TPB交叉乘積輸出提供至區塊196以使用表式(34)來與(例如)來自接收於一視訊信號中或自一視訊信號解碼之影像後設資料之(例如編碼器產生、由一上游視訊內容處理器產生等等)預測係數(例如、、等等)相乘。
圖1F繪示一串列或循序模式中之實例性TPB交叉乘積運算。如圖1F中所繪示，若可使用一相對較高頻率之處理邏輯依一相對較高速度完成TPB交叉乘積運算，則可將區塊194中之TPB交叉乘積運算及區塊196中之TPB係數乘法運算合併在一起。取決於硬體能力及佔用面積，可將(n+1)3 個項分割成N個群組，其中N係一正整數；N個群組之各者自身具有乘數以(例如)藉由在一「for」循環中重複(n+1)3 /N次來完成TPB交叉乘積運算及對應TPB係數乘法。N表示用於達成特定設計效能目標(其包含(但不限於)速度、晶粒大小、時脈頻率等等)之一硬體設計參數。
圖1G及圖1H繪示用於將TPB預測應用於視訊內容之一輸入或源色彩等級158以產生一目標或映射色彩等級(其包括近似表示視訊內容之一參考碼等級160中之參考碼字之TPB預測(例如目標、映射等等)碼字)之實例性流程圖。可在解碼器側上實施類似於圖1G及圖1H之流程圖之流程圖以產生近似表示視訊內容之參考碼等級(160)之自輸入或源色彩等級(158)預測之目標或映射色彩等級。一些或所有此等流程圖可實施於軟體、硬體、軟體及硬體之一組合等等中且可由一或多個電腦處理器執行。
僅依說明方式，色彩等級(158)及(160)可依一子取樣格式(諸如一YCbCr色彩空間中之4:2:0)編碼。在4:2:0子取樣格式中，彩度或色度碼字(Cb及Cr)係明度或亮度碼字之1/4大小。為執行交叉色彩通道預測(諸如TPB交叉通道預測)，可使所有輸入或源色彩通道之碼字之大小(或尺寸)對準(例如視情況升取樣、視情況降取樣等等)。
如圖1G中所繪示，針對TPB明度預測，源色彩等級(158)之彩度或色度碼字(Cb/Cr)可由一處理區塊164升取樣。經升取樣彩度碼字由處理區塊(164)輸出至一TPB亮度預測區塊166。相同大小(或尺寸)之源碼等級(158)之明度或亮度碼字(Y)之組合中之經升取樣彩度碼字可由TPB亮度預測區塊(166)用於預測近似表示參考色彩等級(160)中之明度或亮度碼字之映射或重塑明度或亮度碼字。
如圖1G中所繪示，針對TPB彩度Cb預測，源色彩等級(158)之明度碼字(Y)可由一處理區塊162降取樣。經降取樣明度碼字由處理區塊(162)輸出至一TPB彩度Cb預測區塊168。相同大小(或尺寸)之源碼等級(158)之彩度碼字之組合中之經降取樣明度碼字可由TPB彩度Cb預測區塊(168)用於預測近似表示參考色彩等級(160)中之彩度Cb碼字之映射或重塑彩度Cb碼字。
如圖1G中所繪示，針對TPB彩度Cr預測，經降取樣明度碼字由處理區塊(162)輸出至一TPB彩度Cr預測區塊170。相同大小(或尺寸)之源碼等級(158)之彩度碼字之組合中之經降取樣明度碼字可由TPB彩度Cr預測區塊(170)用於預測近似表示參考色彩等級(160)中之彩度Cr碼字之映射或重塑彩度Cr碼字。
在一些操作方案中，如圖1H中所繪示，僅自源色彩等級(158)之明度碼字降取樣(例如使用處理區塊162-1及162-2等等)導出之經降取樣明度碼字由一總體TPB預測區塊172用於獲得所有通道之TPB預測及TPB預測參數或係數。此顯著降低記憶體消耗，因為僅使用亮度降取樣。
在一些操作方案中，在編碼器側上，TPB預測參數或係數可由TPB預測區塊(例如166、168、170、172等等)產生為最小化映射或重塑明度/彩度碼字與參考色彩等級(160)之對準(例如視情況升取樣、視情況降取樣等等)明度/彩度碼字之間的差之解。TPB預測參數或係數可作為影像後設資料之一部分(例如組合器後設資料)編碼於至下游視訊內容處理器之一視訊信號中。
在一些操作方案中，在解碼器側上，TPB預測參數或係數可由一下游接收裝置自視訊信號解碼為影像後設資料之一部分。源色彩等級(158)之一解碼版本亦可由裝置自視訊信號解碼。TPB預測參數或係數可由裝置用於產生表示非常近似表示參考色彩等級(160)之一重建色彩等級之映射或重塑影像。映射或重塑影像可作為不同於源色彩等級(158)之解碼版本之一色彩等級再現於一顯示裝置上。
另外、視情況而定或替代地，在一些操作方案中，明度及彩度兩種通道之結點總數及B平滑曲線階相同，甚至可進一步減少運算。例如，在圖2B所繪示之三階段實施方案中，所有三個通道或維度之兩個階段(即，TPB基產生及TPB交叉乘積)相同。因此，通道之間的唯一差異係一單一階段中用於TPB係數乘法之不同TPB預測參數/係數。應注意，在一些其他實施例或實施方案中，不同色彩通道之結之數目可不同以提供達成效能及/或準確度之額外靈活性或權衡。 基於3DMT之TPB預測
在一些操作方案中，可使用基於3-D映射表(3DMT)技術所產生之碼字直方圖或分佈來實施TPB預測。
使成為一第一3D陣列，其包括來自視訊內容之一第一色彩等級之一第一影像(例如一輸入或源影像等等)(諸如一HDR影像)之第i像素之第一明度及彩度碼字。使成為一第二3D陣列，其包括來自視訊內容之一第二色彩等級之一第二影像(其對應於第一影像或描繪相同於第一影像之視覺內容，例如一參考影像等等)(諸如一SDR影像)之第i像素之第二明度及彩度碼字。
可將用於表示第一色彩等級之影像內容之三個通道明度及彩度碼字值(Y、C0 及C1 )分別量化或計數成各通道或分量之1D倉(bin)之一固定數目(例如明度倉之一第一固定數目Qy 、彩度Cb倉之一第二固定數目、彩度Cb倉之一第三固定數目等等)。可使用第一色彩等級之1D倉來建構具有固定數目個() 3D倉之一3D直方圖()表示為(其中)。在一些操作方案中，可將包括用於編碼第一色彩等級之所有可能明度及彩度碼字值之一第一三通道明度及碼字彩度空間均勻分割成固定數目()個3D倉，其中各通道被均勻分割成固定數目個1D倉(例如第一固定數目Qy 個亮度倉、第二固定數目個彩度Cb倉、第三固定數目個彩度Cb倉等等)。
因此，3D直方圖ΩQ,v 含有總共()個倉，使得各3D倉可由一各自倉指數q=()指定；倉表示或保持具有落於3D倉之邊界內之三通道量化值之(第一色彩等級之)第一影像中之像素之數目之一計數。
另外，第二影像(第二色彩等級之第二影像，例如由第一影像之一映射影像近似表示之參考影像等等)中之各色彩分量之一和可維持於3D直方圖ΩQ,v 之各3D倉中或針對3D直方圖ΩQ,v 之各3D倉。使、及分別為第二影像域中之(參考)明度及彩度碼字值之和，使得各3D倉含有第二影像中之像素之明度及彩度(C0 及C1 )碼字值之和，其中第二影像中之像素對應於其一計數儲存於相同3D倉中之第一影像之像素。
假定第一影像及第二影像之各者具有P個像素。下表4中繪示用於產生具有第一色彩等級之第一影像之像素之計數及第二色彩等級之第二影像之像素(對應於第一影像之像素)之碼字值之和之3D倉之一實例性程序。 表4
//步驟1：初始化 where = () and qch = 0, ..., Qch – 1, for each ch = {y, C0, C1} where = () and qch = 0, ..., Qch – 1, for each ch = {y, C0, C1} where = () and qch = 0, ..., Qch – 1, for each ch = {y, C0, C1} where = () and qch = 0, ..., Qch – 1, for each ch = {y, C0, C1}    //步驟2：掃描輸入影像中之各像素；運算直方圖及和  for ( i = 0 ; i ＜ P ; i ++ ){           ;              //第一影像之明度量化值           ;           //第一影像之彩度0量化值           ;           //第一影像之彩度1量化值            q = (),           ;                       //第一影像中之3D直方圖           ;             //第二影像之y值           ;           //第二影像之C0 值            ;           //第二影像之C1 }
使表示3D直方圖ΩQ,v 之第q SDR倉之中心。第一色彩等級之所有影像之此等中心值固定且可預運算。可使用下表5中所繪示之一實例性程序來獲得近似表示其中心值之對應參考或目標HDR值。 表5
//調用倉指數=()。  for (= 0;＜ ;++ )     for (= 0;＜ ; ++ )         for (= 0;＜ ; ++) {                                  //第一影像中之正規化倉值明度分量                      //第一影像中之正規化倉值C0分量                      //第一影像中之正規化倉值C1分量         }   
在一些操作方案中，在3D直方圖ΩQ,v 中，識別及保持各具有第一色彩等級之第一影像中之像素之非零像素計數之3D倉，同時捨棄各具有第一色彩等級之第一影像中之像素之零像素計數(或低於一給定像素計數臨限值之相對較小像素計數)之所有其他3D倉。使q0 、q1 、…、qk-1 為k個此等倉，其中。可使用下表6中所繪示之一實例性程序來運算、及之平均值。 表6
//非零倉指數qi =()。  for (i=0; i ＜ k; i++) {        ;          //平均3D映射第二影像y值        ;       //平均3D映射第二影像C0 值         ;        //平均3D映射第二影像C1 值                                               }   
針對一給定有效倉指數(例如具有非零像素計數之一倉指數等等)，包括第一色彩等級之第一影像之待映射明度及彩度碼字值(如由具有倉指數之一3D倉之中心值所表示)及由一映射影像近似表示之第二色彩等級之第二影像之參考明度及彩度碼字值(如由對應像素之明度及彩度碼字值之和之平均值所表示)之一映射對可獲得如下：(41-1)(41-2)
基於3DMT (或根據其所產生之3D倉)，自表式(41-1)中所表示之3D倉之中心值TPB交叉通道預測映射值及以近似表示表式(41-2)中所表示之參考值可執行如下： 明度：(42-1) 彩度：(42-2)
可經由類似於基於個別像素之解算中之處理之處理來獲得TPB預測子參數或係數。可藉由自包括所有有效3D倉之所有映射對(例如上述表式41等等)之一映射表取得輸入值來建構一設計矩陣及一目標向量。
針對TPB明度預測，設計矩陣及目標向量可建構如下：(43)(44)
針對TPB彩度預測，設計矩陣及目標向量可建構如下：(45)(46)
可經由最小平方解算來獲得TPB預測參數或係數之一解如下：(47)(48)
基於3DMT之TPB預測技術可用於提供相對較快運算速度。不是自各影像對之所有P個個別像素建構一B及a矩陣，而是可使用來自包括基於3D倉之映射對之一映射表之k個表值。在一些操作方案中，k可保持或約束或選擇於數千之一範圍內，遠小於可在數百萬或甚至更大之一範圍內之P。節省運算之數量級可為3。
另外、視情況而定或替代地，基於3DMT之TPB預測技術可用於緩解或防止一多數及少數問題，其可以一影像中之相對較小影像區域/面積為代價促進或過度加權於相同影像中之相對較大影像區域/面積。在由一3D倉表示之各色彩方塊中具有一相對合理權重可有助於減少色彩假影且提高色彩精度。 基於場景/分段/線性之TPB預測
可使用一基於場景、基於分段及/或基於線性之編碼架構來執行本文中所描述之TPB預測。
假定一視訊信號之視訊內容中所描繪之一場景中存在F個影像/圖框，使用一基於場景之架構，來自此場景內之所有圖框之所有B及a可加總如下：(49)(50)
應注意，在各種實施例中，可自視訊內容之不同色彩等級之間的基於像素或基於3DMT之映射資料建構表式(49)或(50)中之B及a。
當B矩陣可處於其中行(及列)包括全零(或個別或共同低於一臨限值之相對較小值)之一含混條件中時，可(例如)使用下表7中所繪示之一實例性程序來自B矩陣移除此等行(及列)。 表7
c = 0;    //移除行 For each column,, in           //加總各行之值                   //若和大於一臨限值，則保留行           //添加新矩陣          If()                                             c ++          end end    //移除列 For each row,, in        If( in)                     End End
類似地，當矩陣a可處於其中列對應於自矩陣B識別及排除之行(及列)之一含混條件中時，可移除矩陣a中之此等元。下表8中繪示用於識別矩陣a中之此等表值的一實例性程序。 表8
//移除列 For each row,, in        If(in)                     End End
基於場景之TPB預測之一解可求出如下：
下表9中繪示用於產生所有TPB預測參數或係數(其包含對應於自B矩陣識別及排除之行/列之TPB預測參數或係數)之一實例性程序。 表9
For= 0 : 1 :-1        If(is in)             Find corresponding indexin for                    Else                     end end
在一些實施例中，此基於場景之TPB預測法可應用於一群體之訓練影像對以判定或導出一靜態TPB映射。
另外、視情況而定或替代地，一基於分段及/或基於線性之編碼架構可用於執行TPB預測。例如，在一些操作方案中，一滑動視窗法用於基於分段/線性之架構中，其中技術類似於用於上述基於場景之TPB預測技術中之技術。可藉由僅將一「場景」視作滑動視窗(或反之亦然)來將基於場景之TPB預測技術或其類似者應用於一滑動視窗中。 影像後設資料編碼/解碼語法及語義
各種語法及語義可用於編碼及/或解碼包含TPB預測參數或係數之影像後設資料。下表10中繪示用於編碼/解碼包括TPB參數或係數之影像後設資料之實例性語法及語義。 表10
else if(mapping_idc [ y ][ x ][ cmp ] ==MAPPING_TPB ) {      
    tpb_num_knot_minus1 [ y ][ x ][ cmp ][0] 0 ue(v)
    tpb_num_knot_minus1 [ y ][ x ][ cmp ][1] 0 ue(v)
    tpb_num_knot_minus1 [ y ][ x ][ cmp ][2] 0 ue(v)
    tpb_order_minus1 [ y ][ x ][ cmp ][0] 0 ue(v)
    tpb_order_minus1 [ y ][ x ][ cmp ][1] 0 ue(v)
    tpb_order_minus1 [ y ][ x ][ cmp ][2] 0 ue(v)
     //TPB係數      
    for( i = 0; i ＜ tpb_num_basis[ y ][ x ][ cmp ][0]; i ++ ) {  //針對第一通道      
        for( j = 0; j ＜ tpb_num_basis[ y ][ x ][ cmp ][1]; j ++ ) { //針對第二通道      
            for( k = 0; k ＜ tpb_num_basis[ y ][ x ][ cmp ][2]; k ++ ) { //針對第三通道      
               tpb_zero_coef [ y ][ x ][ cmp ][ i ][ j ][ k ] 0 u(1)
                if(tpb_zero_coef [ y ][ x ][ cmp ][ i ][ j ][ k ] == 0 )  //針對非零
                   tpb_int [ y ][ x ][ cmp ][ i ][ j ][ k ] 0 se(v)
                   tpb_coef [ y ][ x ][ cmp ][ i ][ j ][ k ] 0 u(v)
                }      
    }}}      
在表10中，「x」及「y」表示一影像/圖框分割成之(若干)影像區塊之二維指數，且「cmp」表示與TPB參數相關聯之色彩空間分量或通道之數目。
用於表10中之編碼語法中之一些循環變數界定如下： tpb_num_basis[ y ][ x ][ cmp ][0] = ( tpb_num_knot_minus1[ y ][ x ][ cmp ][0] + tpb_order_minus1[ y ][ x ][ cmp ][0] + 1 ) tpb_num_basis[ y ][ x ][ cmp ][1] = ( tpb_num_knot_minus1[ y ][ x ][ cmp ][1] + tpb_order_minus1[ y ][ x ][ cmp ][1] + 1 ) tpb_num_basis[ y ][ x ][ cmp ][2] = ( tpb_num_knot_minus1[ y ][ x ][ cmp ][2] + tpb_order_minus1[ y ][ x ][ cmp ][2] + 1 )
使用表10之編碼語法來編碼/解碼之一些元素(例如在差分編碼中表示為指數哥倫布碼等等)之語義界定如下： -tpb_num_knot_minus1 [ y ][ x ][ cmp ][ k ]指定第k通道中之結數減去1 -tpb_order_minus1 [ y ][ x ][ cmp ][ k ]指定TPB階減去1 -tpb_zero_coef [ y ][ x ][ cmp ][ i ][ j ][ k ]指定係數是否為零。 - 當coefficient_data_type等於0時，tpb_int [ y ][ x ][ cmp ][i][j][k]指定fp_tpb_coef[ y ][ x ][ cmp ][ i ][ j ][ k ] 之整數部分。若coefficient_data_type等於1，則不存在tpb_int [ y ][ x ][ cmp ] [ i ][ j ][ k ]。(例如，當coefficient_data_type等於0時，fp_tpb_coef[ y ][ x ][ cmp ][ i ][ j ][ k ]用於導出與mapping_idc[ y ][ x ][ cmp ]相關聯之一對應TPB基函數i之一加權係數(例如、、等等)。 - 當coefficient_data_type等於0時，tpb_coef [ y ][ x ][ cmp ][ i ]指定fp_tpb_coef[ y ][ x ][ cmp ][ i ][ j ][ k ]之分數部分。若coefficient_data_type等於1，則tpb_coef [ y ][ x ][ cmp ][ i ][ j ][ k ]用於導出與mapping_idc[ y ][ x ][ cmp ]相關聯之加權係數或增益係數之值。若coefficient_data_type等於0，則tpb _coef [ y ][ x ][ cmp ][ i ][ j ][ k ]語法元素之長度係coefficient_log2_denom個位元。若coefficient_data_type等於1，則tpb_coef [ y ][ x ][ cmp ][ i ][ j ][ k ]語法元素之長度係32個位元。與mapping_idc[ y ][ x ][ cmp ]相關聯之正規化中之加權係數或增益係數之值導出如下： ○ 若coefficient_data_type等於0，則加權係數或增益係數之值等於fp_tpb_coef[ y ][ x ][ cmp ][ i ][ j ][ k ]  = (tpb _int [ y ][ x ][ cmp ][ i ][ j ][ k ]  ＜＜ coefficient_log2_denom) + tpb _coef [ y ][ x ][ cmp ][ i ][ j ][ k ]，其中「＜＜」表示移位運算。 ○ 若coefficient_data_type等於1，則加權係數或增益係數之值等於tpb _coef [ y ][ x ][ cmp ][ i ][ j ][ k ]。 實例性程序流程
圖4A繪示根據本發明之一實施例之一實例性程序流程。在一些實施例中，一或多個運算裝置或組件(例如一編碼裝置/模組、一轉碼裝置/模組、一解碼裝置/模組、一逆色調映射裝置/模組、一色調映射裝置/模組、一媒體裝置/模組、一反向映射產生及應用系統等等)可執行此程序流程。在區塊402中，一影像處理系統判定一組張量乘積之B平滑曲線(TPB)基函數。
在區塊404中，影像處理系統產生與TPB基函數組一起用於自一源色彩等級之一或多個源影像中之源影像資料產生一或多個映射影像中之預測影像資料的一組選定TPB預測參數。藉由最小化一或多個映射影像中之預測影像資料與一參考色彩等級之一或多個參考影像中之參考影像資料之間的差來產生選定TPB預測參數組。一或多個參考影像對應於一或多個源影像且描繪相同於由一或多個源影像描繪之視覺內容之視覺內容。
在區塊406中，影像處理系統使選定TPB預測參數組作為影像後設資料之一部分與一或多個源影像中之源影像資料一起編碼於一視訊信號中。
在區塊408中，影像處理系統引起一或多個映射影像由視訊信號之一接收裝置重建及再現。
在一實施例中，源影像資料或參考影像資料之至少一者依一色彩空間之一子取樣格式表示。
在一實施例中，一或多個源影像表示以下之一者：構成一媒體程式中之一視覺場景之影像、選擇於一滑動視窗內之影像、選擇於一線性分段內之影像等等。
在一實施例中，TPB基函數組由一或多組B平滑曲線基函數之張量乘積產生；一或多組B平滑曲線基函數中之各組B平滑曲線基函數對應於一色彩空間之一或多個色彩通道中之一各自色彩通道。
在一實施例中，一或多組B平滑曲線基函數中之至少一組B平滑曲線基函數表示一特定階之B平滑曲線基函數之一全集。
在一實施例中，一或多組B平滑曲線基函數包括由截斷多項式及一組均勻分佈結點產生之一組B平滑曲線基函數。
在一實施例中，選定TPB預測參數組及TPB基函數組之一組合表示用於產生一或多個映射影像中之預測影像資料之一交叉通道預測子。
在一實施例中，使用複數個映射對來產生TPB預測參數組，複數個映射對之各者包括自源影像資料產生之一或多個源碼字之一第一陣列及自參考影像資料產生之一或多個參考碼字之一第二陣列。
在一實施例中，基於三維映射表(3DMT)來產生複數個映射對。
圖4B繪示根據本發明之一實施例之一實例性程序流程。在一些實施例中，一或多個運算裝置或組件(例如一編碼裝置/模組、一轉碼裝置/模組、一解碼裝置/模組、一逆色調映射裝置/模組、一色調映射裝置/模組、一媒體裝置/模組、一預測模組及特徵選擇系統、一反向映射產生及應用系統等等)可執行此程序流程。在區塊452中，一視訊解碼系統自一視訊信號解碼一第一色彩等級之一或多個第一影像。
在區塊454中，視訊解碼系統自視訊信號解碼包括用於與一組張量乘積之B平滑曲線(TPB)基函數相乘的一組選定TPB預測參數之影像後設資料。
選定TPB預測參數組由一上游視訊內容處理器產生，其中選定TPB預測參數組與TPB基函數組一起用於自一第一色彩等級之一或多個第一影像中之第一影像資料產生一或多個映射影像中之預測影像資料。上游視訊內容處理器藉由最小化一或多個映射影像中之預測影像資料與一參考色彩等級之一或多個參考影像中之參考影像資料之間的差來產生選定TPB預測參數組。一或多個參考影像對應於一或多個第一影像且描繪相同於由一或多個第一影像描繪之視覺內容之視覺內容。
在區塊456中，視訊解碼系統使TPB預測參數組與TPB基函數組一起用於自一或多個第一影像產生一或多個映射影像。
在區塊458中，視訊解碼系統引起自一或多個映射影像導出之一或多個顯示影像由一顯示裝置再現。
在一實施例中，視訊解碼系統經進一步組態以執行：產生複數個B平滑曲線基函數輸出值；將交叉乘積運算應用於複數個B平滑曲線基函數輸出值以產生複數個TPB基函數輸出值以藉此產生一組複數個TPB基函數輸出值；使自視訊信號解碼之TPB預測參數組與複數個TPB基函數輸出值組相乘以產生預測碼字組。
在一實施例中，將選定TPB預測參數組編碼為一編碼語法中之複數個加權係數，編碼語法支援針對TPB基函數組中之一對應TPB基函數來載送複數個加權係數中之一各自加權係數。
在一實施例中，一運算裝置(諸如一顯示裝置、一行動裝置、一視訊轉換器、一多媒體裝置等等)經組態以執行任何上述方法。在一實施例中，一設備包括一處理器且經組態以執行任何上述方法。在一實施例中，一非暫時性電腦可讀儲存媒體儲存軟體指令，軟體指令在由一或多個處理器執行時引起執行任何上述方法。
在一實施例中，一運算裝置包括一或多個處理器及儲存一組指令之一或多個儲存媒體，指令在由一或多個處理器執行時引起執行任何上述方法。
應注意，儘管本文中討論單獨實施例，但本文中所討論之實施例之任何組合及/或部分實施例可經組合以形成進一步實施例。 實例性電腦系統實施方案
可使用以下各者來實施本發明之實施例：一電腦系統、組態於電子電路系統及組件中之系統、一積體電路(IC)裝置(諸如一微控制器、一場可程式化閘陣列(FPGA)或另一可組態或可程式化邏輯裝置(PLD))、一離散時間或數位信號處理器(DSP)、一專用IC (ASIC)及/或包含此等系統、裝置或組件之一或多者之設備。電腦及/或IC可執行(perform)、控制或執行(execute)與具有增強動態範圍之影像之適應性感知量化相關之指令，諸如本文中所描述之指令。電腦及/或IC可運算與本文中所描述之適應性感知量化程序相關之各種參數或值之任何者。影像及視訊實施例可實施於硬體、軟體、韌體及其等之各種組合中。
本發明之特定實施方案包括執行軟體指令之電腦處理器，軟體指令引起處理器執行本發明之一方法。例如，一顯示器、一編碼器、一視訊轉換器、一轉碼器或其類似者中之一或多個處理器可藉由執行處理器可存取之一程式記憶體中之軟體指令來實施與上述HDR影像之適應性感知量化相關之方法。本發明之實施例亦可依一程式產品之形式提供。程式產品可包括載送包括指令之一組電腦可讀信號之任何非暫時性媒體，指令在由一資料處理器執行時引起資料處理器執行本發明之一實施例之一方法。根據本發明之實施例之程式產品可呈各種形式之任何者。程式產品可包括(例如)實體媒體，諸如磁性資料儲存媒體(其包含軟碟片、硬碟機)、光學資料儲存媒體(其包含CD ROM、DVD)、電子資料儲存媒體(其包含ROM、快閃RAM)或其類似者。可視情況壓縮或加密程式產品上之電腦可讀信號。
當參考上述組件(例如一軟體模組、處理器、總成、裝置、電路等等)時，除非另有指示，否則該組件之參考(其包含參考一「構件」)應被解譯為包含執行描述組件之功能(例如功能等效)之任何組件(其包含與執行本發明之繪示實例性實施例中之功能之揭示結構不結構等效之組件)作為該組件之等效物。
根據一實施例，本文中所描述之技術由一或多個專用運算裝置實施。專用運算裝置可經硬佈線以執行技術，或可包含經持久程式化以執行技術之數位電子裝置(諸如一或多個專用積體電路(ASIC)或場可程式化閘陣列(FPGA))，或可包含經程式化以根據韌體、記憶體、其他儲存器或一組合中之程式指令來執行技術之一或多個通用硬體處理器。此等專用運算裝置亦可組合客製硬佈線邏輯、ASIC或FPGA與客製程式化以完成技術。專用運算裝置可為桌上型電腦系統、可攜式電腦系統、手持式裝置、網路裝置或併入硬佈線及/或程式邏輯以實施技術之任何其他裝置。
例如，圖5係繪示其上可實施本發明之一實施例之一電腦系統500的一方塊圖。電腦系統500包含一匯流排502或用於傳送資訊之其他通信機構及與匯流排502耦合以處理資訊之一硬體處理器504。硬體處理器504可為(例如)一通用微處理器。
電腦系統500亦包含耦合至匯流排502以儲存由處理器504執行之資訊及指令之一主記憶體506，諸如一隨機存取記憶體(RAM)或其他動態儲存裝置。主記憶體506亦可用於在執行由處理器504執行之指令之執行期間儲存暫時變數或其他中間資訊。此等指令在儲存於處理器504可存取之非暫時性儲存媒體中時使電腦系統500變成經客製化以執行指令中所指定之操作之一專用機。
電腦系統500進一步包含耦合至匯流排502以儲存處理器504之靜態資訊及指令之一唯讀記憶體(ROM) 508或其他靜態儲存裝置。提供一儲存裝置510 (諸如一磁碟或光碟)且將其耦合至匯流排502以儲存資訊及指令。
電腦系統500可經由匯流排502來耦合至一顯示器512 (諸如一液晶顯示器)以向一電腦使用者顯示資訊。一輸入裝置514 (其包含文數字及其他鍵)耦合至匯流排502以將資訊及命令選擇傳送至處理器504。另一類型之使用者輸入裝置係用於將方向資訊及命令選擇傳送至處理器504及用於控制顯示器512上之游標移動之游標控制516，諸如一滑鼠、一軌跡球或游標方向鍵。此輸入裝置通常具有兩個軸線(一第一軸線(例如x)及一第二軸線(例如y))上之兩個自由度以允許裝置指定一平面內之位置。
電腦系統500可使用與電腦系統組合以引起或程式化電腦系統500成為一專用機之客製化硬佈線邏輯、一或多個ASIC或FPGA、韌體及/或程式邏輯來實施本文中所描述之技術。根據一實施例，本文中所描述之技術由電腦系統500回應於處理器504執行主記憶體506中所含之一或多個指令之一或多個序列而執行。此等指令可自另一儲存媒體(諸如儲存裝置510)讀取至主記憶體506中。執行主記憶體506中所含之指令序列引起處理器504執行本文中所描述之程序步驟。在替代實施例中，硬佈線電路系統可代替或結合軟體指令來使用。
本文中所使用之術語「儲存媒體」係指儲存引起一機器依一特定方式操作之資料及/或指令之任何非暫時性媒體。此等儲存媒體可包括非揮發性媒體及/或揮發性媒體。非揮發性媒體包含(例如)光碟或磁碟，諸如儲存裝置510。揮發性媒體包含動態記憶體，諸如主記憶體506。儲存媒體之常見形式包含(例如)一軟碟、一撓性碟、硬碟、固態硬碟、磁帶或任何其他磁性資料儲存媒體、一CD-ROM、任何其他光學資料儲存媒體、具有孔圖案之任何實體媒體，一RAM、一PROM及EPROM、一FLASH-EPROM、NVRAM、任何其他記憶體晶片或匣。
儲存媒體不同於傳輸媒體但可結合傳輸媒體使用。傳輸媒體參與儲存媒體之間的資訊傳送。例如，傳輸媒體包含同軸電纜、銅線及光纖，其等包含包括匯流排502之導線。傳輸媒體亦可呈聲波或光波之形式，諸如無線電波及紅外線資料通信期間所產生之聲波或光波。
媒體之各種形式可涉及將一或多個指令之一或多個序列載送至處理器504用於執行。例如，指令最初可載送於一遠端電腦之一磁碟或固態硬碟上。遠端電腦可將指令載入至其動態記憶體中且使用一數據機透過一電話線來發送指令。電腦系統500本端之一數據機可接收電話線上之資料且使用一紅外線傳輸器來將資料轉換成一紅外線信號。一紅外線偵測器可接收紅外線信號中所載送之資料且適當電路系統可將資料放置於匯流排502上。匯流排502將資料載送至主記憶體506，處理器504自主記憶體506擷取及執行指令。由主記憶體506接收之指令可視情況在由處理器504執行之前或由處理器504執行之後儲存於儲存裝置510上。
電腦系統500亦包含耦合至匯流排502之一通信介面518。通信介面518提供耦合至連接至一區域網路522之一網路鏈路520之一雙向資料通信。例如，通信介面518可為一整合服務數位網路(ISDN)卡、電纜數據機、衛星數據機或用於提供一資料通信連接至一對應類型之電話線之一數據機。作為另一實例，通信介面518可為用於提供一資料通信連接至一相容區域網路(LAN)之一LAN卡。亦可實施無線鏈路。在任何此實施方案中，通信介面518發送及接收載送表示各種類型之資訊之數位資料串流之電、電磁或光學信號。
網路鏈路520通常透過一或多個網路將資料通信提供至其他資料裝置。例如，網路鏈路520可透過區域網路522將一連接提供至一主機電腦524或由一網際網路服務提供者(ISP) 526操作之資料設備。ISP 526繼而透過全球封包資料通信網路(現常指稱「網際網路」528)來提供資料通信服務。區域網路522及網際網路528兩者使用載送數位資料串流之電、電磁或光學信號。透過各種網路之信號及在網路鏈路520上且透過通信介面518之信號(其載送數位資料來回於電腦系統500)係傳輸媒體之實例性形式。
電腦系統500可透過(若干)網路、網路鏈路520及通信介面518來發送訊息及接收包含程式碼之資料。在網際網路實例中，一伺服器530可透過網際網路528、ISP 526、區域網路522及通信介面518來傳輸一應用程式之一請求碼。
所接收之碼可在其被接收時由處理器540執行及/或儲存於儲存裝置510或其他非揮發性儲存器中用於以後執行。 等效物、擴展、替代及其他
在以上說明中，已參考可隨實施方案變動之諸多具體細節來描述本發明之實施例。因此，本發明之實施例主張且申請者意欲使其成為本發明之主張實施例之唯一且排他指標係依請求項發佈之特定方式(其包含任何後續校正)自本申請案發佈之此等請求項之組。本文針對此等請求項中所含之術語明確闡述之任何界定將控制請求項中所使用之此等術語之含義。因此，一請求項中未明確敘述之限制、元件、性質、特徵、優點或屬性絕不依任何方式限制此請求項之範疇。因此，說明書及圖式應被視為意在說明而非限制。 所列舉之例示性實施例
本發明可依本文中所描述之任何形式體現，其包含(但不限於)描述本發明之實施例之一些部分之結構、特徵及功能之以下所列舉之實例性實施例(EEE)。
EEE1. 一種方法，其包括： 判定一組張量乘積之B平滑曲線(TPB)基函數； 產生與該組TPB基函數一起用於自一源色彩等級之一或多個源影像中之源影像資料產生一或多個映射影像中之預測影像資料的一組選定TPB預測參數，其中藉由最小化該一或多個映射影像中之該預測影像資料與一參考色彩等級之一或多個參考影像中之參考影像資料之間的差來產生該組選定TPB預測參數，其中該一或多個參考影像對應於該一或多個源影像且描繪相同於由該一或多個源影像描繪之視覺內容之視覺內容； 使該組選定TPB預測參數作為影像後設資料之一部分與該一或多個源影像中之該源影像資料一起編碼於一視訊信號中； 引起該一或多個映射影像由該視訊信號之一接收裝置重建及再現。
EEE2. 如EEE1之方法，其中該源影像資料或該參考影像資料之至少一者依一色彩空間之一子取樣格式表示。
EEE3. 如EEE1或2之方法，其中該一或多個源影像表示以下之一者：構成一媒體程式中之一視覺場景之影像、選擇於一滑動視窗內之影像或選擇於一線性分段內之影像。
EEE4. 如EEE1至3中任一項之方法，其中該組TPB基函數由一或多組B平滑曲線基函數之張量乘積產生，且其中該一或多組B平滑曲線基函數中之各組B平滑曲線基函數對應於一色彩空間之一或多個色彩通道中之一各自色彩通道。
EEE5. 如EEE4之方法，其中該一或多組B平滑曲線基函數中之至少一組B平滑曲線基函數表示一特定階之B平滑曲線基函數之一全集。
EEE6. 如EEE4或5之方法，其中該一或多組B平滑曲線基函數包括由截斷多項式及一組均勻分佈結點產生之一組B平滑曲線基函數。
EEE7. 如EEE1至6中任一項之方法，其中該組選定TPB預測參數及該組TPB基函數之一組合表示用於產生該一或多個映射影像中之該預測影像資料之一交叉通道預測子。
EEE8. 如EEE1至7中任一項之方法，其中使用複數個映射對來產生該組TPB預測參數，該複數個映射對之各者包括自該源影像資料產生之一或多個源碼字之一第一陣列及自該參考影像資料產生之一或多個參考碼字之一第二陣列。
EEE9. 如EEE8之方法，其中基於三維映射表(3DMT)來產生該複數個映射對。
EEE10. 一種方法，其包括： 自一視訊信號解碼一第一色彩等級之一或多個第一影像； 自該視訊信號解碼包括用於與一組張量乘積之B平滑曲線(TPB)基函數相乘的一組選定TPB預測參數之影像後設資料； 使該組TPB預測參數與該組TPB基函數一起用於自該一或多個第一影像產生一或多個映射影像； 引起自該一或多個映射影像導出之一或多個顯示影像由一顯示裝置再現。
EEE11. 如EEE10之方法，其中該組選定TPB預測參數由一上游視訊內容處理器產生，其中該組選定TPB預測參數與該組TPB基函數一起用於自一第一色彩等級之一或多個第一影像中之第一影像資料產生一或多個映射影像中之預測影像資料，其中該上游視訊內容處理器藉由最小化該一或多個映射影像中之該預測影像資料與一參考色彩等級之一或多個參考影像中之參考影像資料之間的差來產生該組選定TPB預測參數，其中該一或多個參考影像對應於該一或多個第一影像且描繪相同於由該一或多個第一影像描繪之視覺內容之視覺內容。
EEE12. 如EEE10之方法，其進一步包括： 產生複數個B平滑曲線基函數輸出值； 將交叉乘積運算應用於該複數個B平滑曲線基函數輸出值以產生複數個TPB基函數輸出值以藉此產生一組複數個TPB基函數輸出值； 使自該視訊信號解碼之該組TPB預測參數與該組複數個TPB基函數輸出值相乘以產生預測碼字組。
EEE13. 如EEE12之方法，其中產生複數個B平滑曲線基函數輸出值包括： 針對複數個B平滑曲線基函數中之各B平滑曲線基函數，判定用於一截斷多項式中之結點及對應乘法因數以表示各此B平滑曲線基函數； 使用該一或多個第一影像中之一解碼碼字作為該截斷多項式之輸入以產生各此B平滑曲線基函數之一輸出值。
EEE14. 如EEE12之方法，其進一步包括： 將該複數個B平滑曲線基函數輸出值儲存於本端暫存器中； 針對該等TPB基函數中之各TPB基函數，在該複數個B平滑曲線基函數輸出值中識別一色彩空間之各通道中之(n+1)個非零B平滑曲線基函數輸出值，其中n指示該複數個B平滑曲線基函數之一階； 使用該(n+1)個非零B平滑曲線基函數輸出值作為輸入之部分以自該一或多個第一影像中之一解碼碼字產生各此TPB基函數之一輸出值。
EEE15. 如EEE12之方法，其進一步包括： 針對該一或多個第一影像中之各解碼碼字，藉由執行以下操作來產生該一或多個映射影像中之一輸出碼字： 使該輸出碼字初始化為零； 針對該等TPB基函數中之各TPB基函數，執行： 產生一色彩空間之三個通道中之各通道之(n+1)個非零B平滑曲線基函數輸出值以藉此產生三組(n+1)個非零B平滑曲線基函數輸出值，其中n指示該複數個B平滑曲線基函數之一階； 將交叉乘積運算應用於三組(n+1)個非零B平滑曲線基函數輸出值以自該一或多個第一影像中之該解碼碼字產生一TPB基函數輸出值； 藉由使該TPB基函數輸出值與該組TPB預測參數中之一對應預測參數相乘來產生一乘積； 將該乘積添加至該輸出碼字。
EEE16. 如EEE10至15中任一項之方法，其中將該組選定TPB預測參數編碼為一編碼語法中之複數個加權係數，該編碼語法支援針對該組TPB基函數中之一對應TPB基函數來載送該複數個加權係數中之一各自加權係數。
EEE17. 一種電腦系統，其經組態以執行如EEE1至EEE16之方法之任何者。
EEE18. 一種設備，其包括一處理器且經組態以執行如EEE1至EEE16之方法之任何者。
EEE19. 一種非暫時性電腦可讀儲存媒體，其上儲存有用於執行根據如EEE1至EEE16之方法之任何者之一方法之電腦可執行指令。
100:視訊傳送管線 102:視訊圖框 105:影像產生區塊 107:視訊資料 115:後期製作編輯/後期製作區塊/組合器後設資料產生 117:標準動態範圍(SDR)影像 117-1:高動態範圍(HDR)影像 120:編碼區塊 122:編碼位元串流 125:參考顯示器 130:解碼區塊 132:HDR影像/反向重塑影像 135:顯示管理(DM)操作 137:顯示影像 140:SDR顯示器/目標顯示器 140-1:HDR顯示器/HDR顯示裝置 142:壓縮區塊 144:單層 148:HDR影像 150:影像後設資料產生器 152:影像後設資料/張量乘積之B平滑曲線(TPB)反向重塑後設資料 154:解壓縮區塊 156:輸出SDR視訊信號 158:反向重塑區塊/源色彩等級 160:輸出HDR視訊信號/參考色彩等級 162:逆動態範圍映射(DM)模組/處理區塊 162-1:處理區塊 162-2:處理區塊 164:正向重塑模組/處理區塊 166:TPB亮度預測區塊 168:TPB彩度Cb預測區塊 170:TPB彩度Cr預測區塊 172:總體TPB預測區塊 182:解碼SDR影像 192:區塊 194:區塊 196:區塊 402:區塊 404:區塊 406:區塊 408:區塊 452:區塊 454:區塊 456:區塊 458:區塊 500:電腦系統 502:匯流排 504:硬體處理器 506:主記憶體 508:唯讀記憶體(ROM) 510:儲存裝置 512:顯示器 514:輸入裝置 516:游標控制 518:通信介面 520:網路鏈路 522:區域網路 524:主機電腦 526:網際網路服務提供者(ISP) 528:網際網路 530:伺服器
附圖中依舉例而非限制方式繪示本發明之一實施例且在附圖中相同元件符號係指類似元件，且其中：
圖1A描繪一視訊傳送管線之一實例性程序；圖1B繪示TPB交叉通道預測之實例性處理區塊；圖1C及圖1D繪示TPB基產生運算之實例性實施方案；圖1E及圖1F繪示TPB交叉乘積運算之實例性實施方案；圖1G及圖1H繪示用於應用TPB預測之實例性流程圖；
圖2A至圖2C繪示實例性編解碼器構架；
圖3A至圖3D繪示均勻分佈結之B平滑曲線基函數之實例性全集；
圖4A及圖4B繪示實例性程序流程；及
圖5繪示其上可實施本文中所描述之一電腦或一運算裝置之一實例性硬體平台之一簡化方塊圖。
192:區塊
194:區塊
196:區塊

Claims (15)

  1. 一種用於影像處理之方法，該方法包括：判定一組張量乘積之B平滑曲線(TPB)基函數；產生與該組TPB基函數一起用於自一源色彩等級之一或多個源影像中之源影像資料產生一或多個映射影像中之預測影像資料的一組選定TPB預測參數，其中藉由最小化該一或多個映射影像中之該預測影像資料與一參考色彩等級之一或多個參考影像中之參考影像資料之間的差來產生該組選定TPB預測參數，其中該一或多個參考影像對應於該一或多個源影像且描繪相同於由該一或多個源影像描繪之視覺內容之視覺內容；使該組選定TPB預測參數作為影像後設資料之一部分與該一或多個源影像中之該源影像資料一起編碼於一視訊信號中；引起該一或多個映射影像由該視訊信號之一接收裝置重建及再現。
  2. 如請求項1之方法，其中該源影像資料或該參考影像資料之至少一者依一色彩空間之一子取樣格式表示。
  3. 如請求項1或2之方法，其中該一或多個源影像表示以下之一者：構成一媒體程式中之一視覺場景之影像、選擇於一滑動視窗內之影像或選擇於一線性分段內之影像。
  4. 如請求項1或2之方法，其中該組TPB基函數由一或多組B平滑曲線基函數之張量乘積產生，且其中該一或多組B平滑曲線基函數中之各組B平 滑曲線基函數對應於一色彩空間之一或多個色彩通道中之一各自色彩通道。
  5. 如請求項4之方法，其中該一或多組B平滑曲線基函數中之至少一組B平滑曲線基函數表示一特定階之B平滑曲線基函數之一全集。
  6. 如請求項4之方法，其中該一或多組B平滑曲線基函數包括由截斷多項式及一組均勻分佈結點產生之一組B平滑曲線基函數。
  7. 如請求項1或2之方法，其中該組選定TPB預測參數及該組TPB基函數之一組合表示用於產生該一或多個映射影像中之該預測影像資料之一交叉通道預測子。
  8. 如請求項1或2之方法，其中使用複數個映射對來產生該組TPB預測參數，該複數個映射對之各者包括自該源影像資料產生之一或多個源碼字之一第一陣列及自該參考影像資料產生之一或多個參考碼字之一第二陣列。
  9. 如請求項8之方法，其中基於三維映射表(3DMT)來產生該複數個映射對。
  10. 一種用於影像處理之方法，該方法包括：自一視訊信號解碼一第一色彩等級之一或多個第一影像； 自該視訊信號解碼包括用於與一組張量乘積之B平滑曲線(TPB)基函數相乘的一組選定TPB預測參數之影像後設資料；使該組TPB預測參數與該組TPB基函數一起用於自該一或多個第一影像產生一或多個映射影像；引起自該一或多個映射影像導出之一或多個顯示影像由一顯示裝置再現。
  11. 如請求項10之方法，其進一步包括：產生複數個B平滑曲線基函數輸出值；將交叉乘積運算應用於該複數個B平滑曲線基函數輸出值以產生複數個TPB基函數輸出值以藉此產生一組複數個TPB基函數輸出值；使自該視訊信號解碼之該組TPB預測參數與該組複數個TPB基函數輸出值相乘以產生預測碼字組。
  12. 如請求項11之方法，其中產生複數個B平滑曲線基函數輸出值包括：針對複數個B平滑曲線基函數中之各B平滑曲線基函數，判定用於一截斷多項式中之結點及對應乘法因數以表示各此B平滑曲線基函數；使用該一或多個第一影像中之一解碼碼字作為該截斷多項式之輸入以產生各此B平滑曲線基函數之一輸出值。
  13. 如請求項11之方法，其進一步包括：將該複數個B平滑曲線基函數輸出值儲存於本端暫存器中；針對該等TPB基函數中之各TPB基函數，在該複數個B平滑曲線基函 數輸出值中識別一色彩空間之各通道中之(n+1)個非零B平滑曲線基函數輸出值，其中n指示該複數個B平滑曲線基函數之一階；使用該(n+1)個非零B平滑曲線基函數輸出值作為輸入之部分以自該一或多個第一影像中之一解碼碼字產生各此TPB基函數之一輸出值。
  14. 如請求項10至13中任一項之方法，其中將該組選定TPB預測參數編碼為一編碼語法中之複數個加權係數，該編碼語法支援針對該組TPB基函數中之一對應TPB基函數來載送該複數個加權係數中之一各自加權係數。
  15. 一種影像處理設備，其包括一處理器且經組態以執行如請求項1至14之方法之任何者。
TW109128170A 2019-10-01 2020-08-19 張量乘積之b平滑曲線預測子 TWI812874B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962908770P 2019-10-01 2019-10-01
US62/908,770 2019-10-01
EP19200793.8 2019-10-01
EP19200793 2019-10-01

Publications (2)

Publication Number Publication Date
TW202116072A TW202116072A (zh) 2021-04-16
TWI812874B true TWI812874B (zh) 2023-08-21

Family

ID=72802182

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109128170A TWI812874B (zh) 2019-10-01 2020-08-19 張量乘積之b平滑曲線預測子

Country Status (8)

Country Link
US (1) US11962760B2 (zh)
EP (1) EP4038881A1 (zh)
JP (1) JP7386977B2 (zh)
KR (1) KR20220053657A (zh)
CN (1) CN114731426A (zh)
BR (1) BR112022006246A2 (zh)
TW (1) TWI812874B (zh)
WO (1) WO2021067204A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11838531B2 (en) 2019-12-06 2023-12-05 Dolby Laboratories Licensing Corporation Cascade prediction
CN113312821B (zh) * 2021-06-03 2023-01-24 西北工业大学 一种基于b样条密度法的三维自支撑结构拓扑优化设计方法
CA3231530A1 (en) 2021-09-09 2023-03-16 Dolby Laboratories Licensing Corporation Tensor-product b-spline prediction for hdr video in mobile applications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012122426A1 (en) * 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Reference processing for bitdepth and color format scalable video coding
WO2013103522A1 (en) * 2012-01-03 2013-07-11 Dolby Laboratories Licensing Corporation Specifying visual dynamic range coding operations and parameters
US20150124875A1 (en) * 2012-06-27 2015-05-07 Lidong Xu Cross-layer cross-channel residual prediction
EP3324622A1 (en) * 2011-04-14 2018-05-23 Dolby Laboratories Licensing Corporation Multiple color channel multiple regression predictor

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847737B1 (en) 1998-03-13 2005-01-25 University Of Houston System Methods for performing DAF data filtering and padding
US20050168460A1 (en) 2002-04-04 2005-08-04 Anshuman Razdan Three-dimensional digital library system
WO2004044689A2 (en) 2002-11-06 2004-05-27 Geometric Informatics Inc. Analysis of geometric surfaces by conformal structure
CA2517463C (en) 2003-03-26 2012-12-11 Brigham Young University System and method for defining t-spline and t-nurcc surfaces using local refinements
US7346736B1 (en) 2004-12-13 2008-03-18 Sun Microsystems, Inc. Selecting basis functions to form a regression model for cache performance
US20060274070A1 (en) 2005-04-19 2006-12-07 Herman Daniel L Techniques and workflows for computer graphics animation system
US8874477B2 (en) 2005-10-04 2014-10-28 Steven Mark Hoffberg Multifactorial optimization system and method
EP1989882B1 (en) 2006-01-23 2015-11-11 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. High dynamic range codecs
US20070201061A1 (en) 2006-02-28 2007-08-30 Ernest Daniel Miller Color management of digital files and images for printing
US9572494B2 (en) 2008-08-12 2017-02-21 New Jersy Institute of Technology Method and apparatus for multi-spectral imaging and analysis of skin lesions and biological tissues
JP5506273B2 (ja) 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP5506272B2 (ja) 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
TWI559779B (zh) 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
US8903169B1 (en) 2011-09-02 2014-12-02 Adobe Systems Incorporated Automatic adaptation to image processing pipeline
US8872981B1 (en) * 2011-12-15 2014-10-28 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with extended dynamic range
EP2850831A1 (en) 2012-05-14 2015-03-25 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
RU2666234C1 (ru) 2015-03-20 2018-09-06 Долби Лэборетериз Лайсенсинг Корпорейшн Аппроксимация восстановления формы сигнала
JP2018532216A (ja) 2015-09-07 2018-11-01 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー 画像正則化及びリターゲティングシステム
US10210430B2 (en) 2016-01-26 2019-02-19 Fabula Ai Limited System and a method for learning features on geometric domains
CN107182068A (zh) 2016-03-11 2017-09-19 索尼公司 用于无线通信的装置和方法、参数优化装置和方法
EP3437190B1 (en) 2016-03-31 2023-09-06 Cohere Technologies, Inc. Channel acquisition using orthogonal time frequency space modulated pilot signal
US10192353B1 (en) 2017-10-10 2019-01-29 8i Limited Multiresolution surface representation and compression
EP3740950B8 (en) 2018-01-18 2022-05-18 Dolby Laboratories Licensing Corporation Methods and devices for coding soundfield representation signals
US20220058783A1 (en) 2018-12-18 2022-02-24 Dolby Laboratories Licensing Corporation Machine learning based dynamic composing in enhanced standard dynamic range video (sdr+)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012122426A1 (en) * 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Reference processing for bitdepth and color format scalable video coding
EP3324622A1 (en) * 2011-04-14 2018-05-23 Dolby Laboratories Licensing Corporation Multiple color channel multiple regression predictor
WO2013103522A1 (en) * 2012-01-03 2013-07-11 Dolby Laboratories Licensing Corporation Specifying visual dynamic range coding operations and parameters
US20150124875A1 (en) * 2012-06-27 2015-05-07 Lidong Xu Cross-layer cross-channel residual prediction

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
網路文獻 Joachim Wipper B-Splines and Tensor Product B-Splines Universität Stuttgart 2006/08/31 09:38:46 http://www.web-spline.de/web-method/b-splines/index.html; *
網路文獻 賴文能 Chapter 5 2010 年以前 *

Also Published As

Publication number Publication date
US20220408081A1 (en) 2022-12-22
WO2021067204A1 (en) 2021-04-08
US11962760B2 (en) 2024-04-16
JP7386977B2 (ja) 2023-11-27
EP4038881A1 (en) 2022-08-10
JP2022550206A (ja) 2022-11-30
BR112022006246A2 (pt) 2022-06-21
TW202116072A (zh) 2021-04-16
KR20220053657A (ko) 2022-04-29
CN114731426A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN109416832B (zh) 高效的基于直方图的亮度外观匹配
CN108885783B (zh) 编码和解码可逆制作质量单层视频信号
TWI575933B (zh) 階層式視覺動態範圍編碼中之層分解技術
KR102380164B1 (ko) 게이밍 및/또는 sdr+ 콘텐츠에 대한 자동 디스플레이 관리 메타데이터 생성
US10311558B2 (en) Efficient image processing on content-adaptive PQ signal domain
JP2021521517A (ja) ニューラルネットワークマッピングを用いるｈｄｒ画像表現
TWI812874B (zh) 張量乘積之b平滑曲線預測子
US10609424B2 (en) Single-layer progressive coding for supporting multi-capability HDR composition
US10972759B2 (en) Color appearance preservation in video codecs
JP7037584B2 (ja) 効率的なエンド・ツー・エンドシングルレイヤー逆ディスプレイマネジメント符号化
JP2023501885A (ja) ビデオコーデックにおける品質と計算の複雑さとの間の調整可能なトレードオフ
JP7443546B2 (ja) 画像処理方法、システム及びコンピュータ・プログラム
RU2794137C1 (ru) Предсказатель b-сплайна тензорного произведения
JP7434554B2 (ja) カスケード予測