TWI787460B

TWI787460B - 利用率失真最佳化在視訊編碼之影像再成形

Info

Publication number: TWI787460B
Application number: TW108104749A
Authority: TW
Inventors: 鵬尹; 浦方君; 呂陶然; 濤陳; 瓦爾特Ｊ胡薩克; 尚恩湯瑪士麥卡錫
Original assignee: 美商杜拜研究特許公司
Priority date: 2018-02-14
Filing date: 2019-02-13
Publication date: 2022-12-21
Also published as: CL2021003512A1; AU2019222715A1; US11395009B2; IL276062B2; ZA202206622B; KR102487032B1; SG11202006779RA; US20210211738A1; JP2021513284A; JP7353401B2; JP2023166582A; CN117097903A; CN117082248A; KR102435014B1; IL276062B1; IL305463A; KR20200101990A; WO2019160986A1; ZA202104693B; MX2020008499A

Abstract

鑑於呈一第一碼字表示之影像之一序列，呈現用於利用率失真最佳化來影像再成形之方法、程序及系統，其中再成形允許以一第二碼字表示編碼影像，該第二碼字表示允許比利用該第一碼字表示更高效率之壓縮。本發明亦呈現用於傳信再成形參數之語法方法。

Description

利用率失真最佳化在視訊編碼之影像再成形

本發明大體上係關於影像及視訊編碼。更特定言之，本發明之一實施例係關於視訊編碼之影像再成形。

在2013年，國際標準化組織(ISO)中之MPEG團體與國際電信聯盟(ITU)聯合發佈HEVC(亦稱為H.265)視訊編碼標準(參考文獻[4])之草案初稿。最近，相同團體已收集證據支援下一代編碼標準(其提供相較於既有視訊編碼技術之改良編碼效能)之發展。

如本文所利用，術語「位元深度」表示用於表示一影像之色彩分量之一者之像素之數目。傳統上，以每像素每色彩分量8個位元(例如每像素24個位元)編碼影像；然而，現代架構現可支援更高位元深度，諸如10個位元、12個位元或12個以上位元。

在一傳統影像管線中，利用將線性場景光轉換為一非線性視訊信號(例如伽瑪編碼RGB或YCbCr)之一非線性光電函數(OETF)來量化擷取影像。接著，在接收器上，在顯示於顯示器上之前，由將視訊信號值轉化為輸出螢幕色彩值之一電光轉移函數(EOTF)處理信號。此等非線性函數包含TU-R Rec.BT.709及BT.2020中所記錄之傳統「伽瑪」曲線、SMPTE ST 2084中所描述之「PQ(感知量化)」曲線及Rec.ITU-R BT.2100中所描述之「HybridLog-伽瑪」或「HLG」曲線。

如本文所利用，術語「正向再成形」表示一數位影像自其原始位元深度及原始碼字分佈或表示(例如伽瑪或PQ或HLG及其類似者)至相同或不同位元深度及一不同碼字分佈或表示之一影像之樣本至樣本或碼字至碼字映射之一程序。再成形允許一固定位元率處之改良可壓縮性或改良影像品質。例如(但不限於)，再成形可應用於10位元或12位元PQ編碼HDR視訊以提高一10位元視訊編碼架構之編碼效率。在一接收器中，在解壓縮再成形信號之後，接收器可應用一「反再成形函數」來使信號恢復至其原始碼字分佈。此處發明者應瞭解，隨著下一代視訊編碼標準開始發展，期望影像之整合再成形及編碼之改良技術。本發明之方法可應用於包含(但不限於)標準動態範圍(SDR)及/或高動態範圍(HDR)內之內容之各種視訊內容。

本節中所描述之方法係可尋求之方法，但未必為先前已設想或尋求之方法。因此，除非另有指示，否則不應認為本節中所描述之方法之任何者僅因其包含於本節中而限定為先前技術。類似地，除非另有指示，否則相對於一或多個方法所識別之問題不應認為已基於本節而在任何先前技術中辨識。

100:視訊傳送管線

102:視訊圖框

105:影像產生區塊

107:視訊資料

110:製作階段

112:視訊製作流

115:後製編輯區塊

117:最終版本/最終製作/信號/輸入圖框/輸入視訊

120:編碼區塊

122:編碼位元流

125:參考顯示器

130:解碼單元/解碼器

132:解碼信號/解碼圖框

135:顯示管理區塊/顯示管理程序

137:顯示映射信號

140:目標顯示器

150:正向再成形區塊

152:再量化輸出圖框

160:反向再成形函數

162:解碼視訊信號

200_D:解碼器/再成形架構

200_E:編碼器/再成形架構

200B_D:解碼器架構

200C_D:解碼器架構

200D_D:架構

200D_DC:架構

205:區塊

207:元資料/編碼再成形函數參數

210-1:正向圖像再成形區塊

210-2:正向殘餘再成形區塊

215:解碼圖像緩衝器(DPB)

220:CABAC

225:框內預測

225-1:框內預測

227:重建樣本

250:區塊

260:解碼圖像緩衝器(DPB)

265:區塊/反圖像再成形

265-1:反圖像再成形區塊

265-2:反殘餘再成形區塊

265-3:反再成形函數

267:重建樣本/重建像素

270:迴路濾波

270-1:迴路濾波器

270-2:迴路濾波器

275:重建區塊

280:框間預測器/框間預測區塊

282:正向再成形函數

284:框內預測區塊

285:重建模組

285-C:重建區塊/重建單元

288:色度殘餘換算區塊

300_D:程序

300_E:程序

305:路徑

310:路徑

312:適應性再成形

315:應用預定(預設)再成形函數

320:圖像分析

325:適應性判定新再成形函數

327:「編碼再成形器」步驟

330:利用再成形架構來編碼圖像

335:編碼管線

340:路徑

350:解碼圖像

360:路徑

375:應用預定(預設)再成形函數

380:適應性判定再成形函數

385:利用再成形架構來解碼

390:產生輸出圖框

405:步驟

410:步驟

415:步驟

420:步驟

425:步驟

430:步驟

435:步驟

505:步驟

510:步驟

515:步驟

520:步驟

525:步驟

605:實例圖

610:作圖

620:作圖

附圖中依舉例而非限制方式繪示本發明之一實施例且其中相同元件符號係指類似元件，且其中：圖1A描繪一視訊傳送管線之一實例性程序；圖1B描繪根據先前技術之利用信號再成形來壓縮資料之一實例性程序；圖2A描繪根據本發明之一實施例之利用混合迴路內再成形之一編碼器之一實例性架構；圖2B描繪根據本發明之一實施例之利用混合迴路內再成形之一解碼器之一實例性架構；圖2C描繪根據一實施例之利用再成形之框內CU解碼之一實例性架構；圖2D描繪根據一實施例之利用再成形之框間CU解碼之一實例性架構；圖2E描繪根據用於亮度或色度處理之一實施例之框間編碼片內之框內CU解碼之一實例性架構；圖2F描繪根據用於色度處理之一實施例之框間編碼片內之框內CU解碼之一實例性架構；圖3A描繪根據本發明之一實施例之利用一再成形架構來編碼視訊之一實例性程序；圖3B描繪根據本發明之一實施例之利用一再成形架構來解碼視訊之一實例性程序；圖4描繪根據本發明之一實施例之用於再指派再成形域中之碼字之一實例性程序；圖5描繪根據本發明之一實施例之用於導出再成形臨限值之一實例性程序；圖6A、圖6B、圖6C及圖6D描繪根據圖5中所描繪之程序及本發明之一實施例之用於導出再成形臨限值之實例性資料圖；及圖6E描繪根據本發明之實施例之根據分組方差之碼字分配之實例。

相關申請案之交叉參考

本申請案主張2019年1月14日申請之美國臨時專利申請案第62/792,122號、2018年12月20日申請之美國臨時專利申請案第62/782,659號、2018年11月28日申請之美國臨時專利申請案第62/772,228號、2018年10月1日申請之美國臨時專利申請案第62/739,402號、2018年9月4日申請之美國臨時專利申請案第62/726,608號、2018年6月28日申請之美國臨時專利申請案第62/691,366號及2018年2月14日申請之美國臨時專利申請案第62/630,385號之優先權權利，該等臨時專利申請案之各者之全部內容以引用的方式併入本文中。

本文描述用於利用率失真最佳化(RDO)來壓縮影像之信號再成形及編碼技術。在以下描述中，為了闡釋，闡述諸多具體細節以提供本發明之一透徹理解。然而，應明白，可在無此等具體細節之情況下實踐本發明。在其他例項中，未詳盡描述熟知結構及器件以免不必要地妨礙、模糊或混淆本發明。

概述

本文所描述之實例性實施例係關於信號再成形及視訊編碼。在一編碼器中，一處理器以待再成形為一第二碼字表示之一第一碼字表示接收一輸入影像(其中該第二碼字表示允許比該第一碼字表示更高效率之一壓縮)，且產生將該輸入影像之像素映射至一第二碼字表示之一正向再成形函數，其中為產生該正向再成形函數，該編碼器：將該輸入影像分成多個像素區域，根據各像素區域之一第一亮度特性來將該等像素區域之各者指派給多個碼字分組之一者，根據指派給各碼字分組之該等像素區域之各者之一第二亮度特性來計算該多個碼字分組之各者之分組度量，根據各碼字分組之該分組度量及一率失真最佳化準則來將呈該第二碼字表示之若干碼字分配給各碼字分組，及回應於將呈該第二碼字表示之碼字分配給該多個碼字分組之各者而產生該正向再成形函數。

在另一實施例中，在一解碼器中，一處理器接收以一再成形模型為特徵之編碼位元流語法元素，其中該等語法元素包含以下之一或多者：指示用於一再成形建構程序中之一最小碼字分組指數值之一旗標、指示用於一再成形建構程序中之一最大碼字分組指數值之一旗標、指示一再成形模型分佈類型之一旗標(其中該模型分佈類型與包含分組重要性值之預設分組相關參數相關聯)或指示用於調整界定於該再成形模型分佈中之該等預設分組重要性值之一或多個差量分組重要性值之一旗標。該處理器基於該再成形模型分佈來判定各分組之該等預設分組重要性值及根據該分組之重要性值來分配給各分組之若干預設碼字之一分配表。接著，針對各碼字分組，該處理器：藉由將其預設分組重要性值與其差量分組重要性值相加來判定其分組重要性值；基於該分組之分組重要性值及該分配表來判定分配給該碼字分組之碼字之數目；及基於分配給各碼字分組之碼字之數目來產生一正向再成形函數。

在另一實施例中，在一解碼器中，一處理器接收一編碼位元流，該編碼位元流包括呈一第一碼字表示之一或多個碼字再成形影像及與該等編碼再成形影像之再成形資訊相關之元資料。該處理器基於與該再成形資訊相關之該元資料來產生一反再成形函數及一正向再成形函數，其中該反再成形函數將來自該第一碼字表示之該再成形影像之像素映射至一第二碼字表示，且該正向再成形函數將來自該第二碼字表示之一影像之像素映射至該第一碼字表示。該處理器自該編碼位元流提取包括一或多個編碼單元之一編碼再成形影像，其中針對該編碼再成形影像中之一或多個編碼單元：針對該編碼再成形影像中之一再成形框內編碼單元(CU)，該處理器：基於該CU中之再成形殘餘及第一再成形預測樣本來產生該CU之第一再成形重建樣本；基於該等第一再成形重建樣本及迴路濾波器參數來產生一再成形迴路濾波器輸出；將該反再成形函數應用於該再成形迴路濾波器輸出以產生呈該第二碼字表示之該編碼單元之解碼樣本；及將呈該第二碼字表示之該編碼單元之該等解碼樣本儲存於一參考緩衝器中；針對該編碼再成形影像中之一再成形框間編碼編碼單元，該處理器：將該正向再成形函數應用於以該第二碼字表示儲存於該參考緩衝器中之預測樣本以產生第二再成形預測樣本；基於該編碼CU中之再成形殘餘及該等第二再成形預測樣本來產生該編碼單元之第二再成形重建樣本；基於該等第二再成形重建樣本及迴路濾波器參數來產生一再成形迴路濾波器輸出；將該反再成形函數應用於該再成形迴路濾波器輸出以產生呈該第二碼字表示之該編碼單元之樣本；及將呈該第二碼字表示之該編碼單元之該等樣本儲存於一參考緩衝器中。最後，該處理器基於該參考緩衝器中之該等儲存樣本來產生一解碼影像。

在另一實施例中，在一解碼器中，一處理器接收一編碼位元流，該編碼位元流包括呈一輸入碼字表示之一或多個編碼再成形影像及該編碼位元流中該一或多個編碼再成形影像之再成形元資料(207)。該處理器基於該再成形元資料來產生一正向再成形函數(282)，其中該正向再成形函數將來自一第一碼字表示之一影像之像素映射至該輸入碼字表示。該處理器基於該再成形元資料或該正向再成形函數來產生一反再成形函數(265-3)，其中該反再成形函數將來自該輸入碼字表示之一再成形影像之像素映射至該第一碼字表示。該處理器自該編碼位元流提取包括一或多個編碼單元之一編碼再成形影像，其中：針對該編碼再成形影像中之一框內編碼編碼單元(框內CU)，該處理器：基於該框內CU中之再成形殘餘及框內預測再成形預測樣本來產生該框內CU之再成形重建樣本(285)；將該反再成形函數(265-3)應用於該框內CU之該等再成形重建樣本以產生呈該第一碼字表示之該框內CU之解碼樣本；將一迴路濾波器(270)應用於該框內CU之該等解碼樣本以產生該框內CU之輸出樣本；及將該框內CU之該等輸出樣本儲存於一參考緩衝器中；針對該編碼再成形影像中之一框間編碼CU(框間CU)，該處理器：將該正向再成形函數(282)應用於以該第一碼字表示儲存於該參考緩衝器中之框間預測樣本以產生呈該輸入碼字表示之該框間CU之再成形預測樣本；基於該框間CU中之再成形殘餘及該框間CU之該等再成形預測樣本來產生該框間CU之再成形重建樣本；將該反再成形函數(265-3)應用於該框間CU之該等再成形重建樣本以產生呈該第一碼字表示之該框間CU之解碼樣本；將該迴路濾波器(270)應用於該框間CU之該等解碼樣本以產生該框間CU之輸出樣本；及將該框間CU之該等輸出樣本儲存於該參考緩衝器中；及基於該參考緩衝器中之輸出樣本來產生呈該第一碼字表示之一解碼影像。

實例性視訊傳送處理管線

圖1A描繪展示自視訊擷取至視訊內容顯示之各種階段的一習知視訊傳送管線(100)之一實例性程序。利用影像產生區塊(105)來擷取或產生視訊圖框(102)之一序列。視訊圖框(102)可被數位擷取(例如藉由一數位攝影機)或由一電腦產生(例如利用電腦動畫)以提供視訊資料(107)。替代地，視訊圖框(102)可由一電影攝影機擷取於電影上。將電影轉換為一數位格式以提供視訊資料(107)。在一製作階段(110)中，編輯視訊資料(107)以提供一視訊製作流(112)。

接著，將視訊製作流(112)之視訊資料提供至後製編輯區塊(115)中之一處理器。後製編輯區塊(115)可包含調整或修改一影像之特定區域中之色彩或亮度以提高影像品質或根據視訊創作者之創作意圖來達成影像之一特定外觀。此有時稱為「色彩定時」或「色彩分級」。可在區塊(115)中執行其他編輯(例如場景選擇及定序、影像剪裁、增加電腦產生之視覺特效等等)以產生用於發佈之製作之一最終版本(117)。在後製編輯(115)期間，在一參考顯示器(125)上觀看視訊影像。

在後製(115)之後，可將最終製作(117)之視訊資料傳送至編碼區塊(120)用於向下游傳送至解碼及播放器件(諸如電視機、視訊盒、電影院及其類似者)。在一些實施例中，編碼區塊(120)可包含音訊及視訊編碼器(諸如由ATSC、DVB、DVD、藍光及其他傳送格式界定之音訊及視訊編碼器)以產生編碼位元流(122)。在一接收器中，由解碼單元(130)解碼編碼位元流(122)以產生表示信號(117)之一相同或緊密近似之一解碼信號(132)。接收器可附接至可具有完全不同於參考顯示器(125)之特性之一目標顯示器(140)。在該情況中，可利用一顯示管理信號(135)以藉由產生顯示映射信號(137)來將解碼信號(132)之動態範圍映射至目標顯示器(140)之特性。

信號再成形

圖1B描繪根據先前技術[2]之信號再成形之一實例性程序。鑑於輸入圖框(117)，一正向再成形區塊(150)分析輸入及編碼約束且產生將輸入圖框(117)映射至經再量化輸出圖框(152)之碼字映射函數。例如，可根據特定電光轉移函數(EOTF)(例如伽瑪)來編碼輸入(117)。在一些實施例中，可利用元資料來將關於再成形程序之資訊傳送至下游器件(諸如解碼器)。如本文所利用，術語「元資料」係關於傳輸為編碼位元流之部分且幫助一解碼器再現一解碼影像之任何輔助資訊。此元資料可包含(但不限於)本文所描述之色彩空間或色域資訊、參考顯示參數及輔助信號參數。

在編碼(120)及解碼(130)之後，可由一反向(或反)再成形函數(160)處理解碼圖框(132)，反向再成形函數(160)將經再量化圖框(132)轉換回原始EOTF域(例如伽瑪)以用於進一步下游處理(諸如早先所討論之顯示管理信號(135))。在一些實施例中，反向再成形函數(160)可與解碼器(130)中之一解量化器整合，例如作為一AVC或HEVC視訊解碼器中解量化器之部分。

如本文所利用，術語「再成形器」可表示在編碼及/或解碼數位影像時利用之一正向或反再成形函數。參考文獻[2]中討論再成形函數之實例。在參考文獻[2]中，提出一種用於高動態範圍視訊編碼之基於迴路內區塊之影像再成形方法。該設計允許編碼迴路內之基於區塊之再成形，但以增加複雜性為代價。具體而言，設計需要維持兩組解碼影像緩衝器：一組用於反再成形(或非再成形)解碼圖像，其可用於無再成形之預測及輸出至一顯示器兩者；及另一組用於正向再成形解碼圖像，其僅用於具有再成形之預測。儘管可即時計算正向再成形解碼圖像，但複雜性成本非常高，對於框間預測(利用子像素內插之運動補償)而言尤其如此。一般而言，顯示器-圖像-緩衝器(DPB)管理很複雜且需要非常小心注意，因此，發明者應瞭解，用於編碼視訊之簡化方法係值得期望的。

在參考文獻[6]中，呈現基於再成形之額外編解碼器架構，其包含一外部迴路外再成形器、具有一僅迴路內框內再成形器之一架構、具有用於預測殘餘之一迴路內再成形器之一架構及組合框內迴路內再成形及框間殘餘再成形兩者之一混合架構。所提出之該等再成形架構之主要目標係提高主觀視覺品質。因此，諸多此等方法將產生較差客觀度量，特定言之，熟知峰值信號雜訊比(PSNR)度量。

在本發明中，基於率失真最佳化(RDO)來提出一新再成形器。特定言之，當目標失真度量係MSE(均方差)時，所提出之再成形器將基於PSNR、Bjontegaard PSNR(BD-PSNR)或Bjontegaard率(BD-Rate)來提高主觀視覺品質及被善用之客觀度量兩者。應注意，所提出之再成形架構之任何者可不失一般性地應用於亮度分量、色度分量之一或多者或亮度及色度分量之一組合。

基於率失真最佳化之再成形

考量由一色彩分量中之B個位元之一位元深度表示之一再成形視訊信號(例如，對於Y、Cb及/或Cr而言，B=10)，因此，存在總計2^B個可用碼字。考量將所要碼字範圍[0 2^B]分成N個分段或分組，且使M_k表示一再成形映射之後第k分段或分組中之碼字之數目，使得鑑於一目標位元率R，源圖像與解碼或重建圖像之間的失真D最小。在不失一般性之情況下，D可表示為源輸入之對應像素值(Source(i,j))與重建圖像(Recon(i,j))之對應像素值之間的方差和(SSE)之一量測：D=SSE=Σ_i,j Diff(i,j)² (1)

其中Diff(i,j)=Source(i,j)-Recon(i,j)。

最佳化再成形問題可改寫為：找到M_k(k=0、1、...、N- 1)，使得鑑於一位元率R，D最小，其中

。

各種最佳化方法可用於找到一解決方案，但對於即時編碼而言，最佳解決方案可非常複雜。在本發明中，提出一次最佳但更實用分析解決方案。

在不失一般性之情況下，考量由B個位元(例如B=10)之一位元深度表示之一輸入信號，其中碼字被均勻分成N個分組(例如N=32)。在預設情況下，將各分組指派給M_a=2^B/N個碼字(例如，對於N=32及B=10而言，M_a=32)。接著，將透過一實例來演示基於RDO之一更高效率碼字分配。

如本文所利用，術語「窄範圍」[CW1,CW2]表示碼字CW1與CW2之間的一連續碼字範圍，其係全動態範圍[0 2^B-1]之一子集。例如，在一實施例中，一窄範圍可界定為[16*2^(B-8),235*2^(B-8)](例如，對於B=10而言，窄範圍包括值[64 940])。假定輸出信號之位元深度係B_o，若一輸入信號之動態範圍係在一窄範圍內，則在將表示為「預設」再成形之內容中，吾人可將信號擴展為全範圍[0 2^Bo-1]。接著，各分組將具有約M_f=CEIL((2^Bo/(CW2-CW1))*M_a)個碼字，或對於本實例而言，若B_o=B=10，則M_f=CEIL((1024/(940-64))*32)=38個碼字，其中CEIL(x)表示頂函數，其將x映射至大於或等於x之最小整數。在不失一般性之情況下，在以下實例中，為了簡化，假定B_o=B。

針對相同量化參數(QP)，增加分組中碼字之數目之效應等效於分配更多位元以編碼分組內之信號，因此其等效於減小SSE或提高PSNR；然而，各分組中之碼字之一均勻增加無法給出比無再成形之編碼更佳之結果，因為PSNR增益無法打敗位元率之增加，即，就RDO而言，此不是一良好權衡。理想地，吾人希望僅將更多碼字指派給對RDO產生最佳權衡(即，以小量位元率增加為代價產生顯著SSE減小(PSNR提高))之分組。

在一實施例中，透過一適應性分段再成形映射來提高RDO效能。方法可應用於任何類型之一信號，其包含標準動態範圍(SDR)及高動態範圍(HDR)信號。利用先前簡單情況作為一實例，本發明之一目的係將M_a或M_f指派給各碼字分段或碼字分組。

在一編碼器中，鑑於輸入信號之N個碼字分組，各分組之平均亮度方差可近似如下：- 將各分組之區塊方差(var_bin(k))及一計數值(c_bin(k))之總和初始化為零，例如對於k=0、1、…、N-1而言，var_bin(k)=0且c_bin(k)=0；- 將圖像分成L*L個非重疊區塊(例如L=16)；- 針對各圖像區塊，計算區塊之亮度平均值及區塊i之亮度方差(例如Luma_mean(i)及Luma_var(i))；- 基於區塊之平均亮度，將該區塊指派給N個分組之一者。在一實施例中，若Luma_mean(i)係在輸入動態範圍內之第k分段內，則第k分組之總分組亮度方差由新指派區塊之亮度方差遞增，且該分組之計數值增加1。即，若第i像素區域屬於第k分組，則：var_bin(k)=var_bin(k)+Luma_var(i)； (2)

c_bin(k)=c_bin(k)+1

- 針對各分組，藉由將該分組中區塊方差之總和除以計數值來計算該分組之平均亮度方差，假定計數值不等於0；或若c_bin(k)不為0，則： var_bin(k)=var_bin(k)/c_bin(k) (3)

熟習技術者應瞭解，吾人可應用替代度量而非亮度方差來特徵化子區塊。例如，吾人可利用亮度值之標準偏差、一加權亮度方差或亮度值、一峰值亮度及其類似者。

在一實施例中，以下偽碼描繪一編碼器可如何利用各分組之計算度量來調整分組分配之一實例。

M _k=M _a；//(應注意：此係為了確保各分組將具有至少M_a個碼字。

//替代地，吾人亦可分配M_a+1個碼字)

end

其中TH_U表示一預定上臨限值。

在另一實施例中，分配可執行如下：

其中TH₀及TH₁表示預定下臨限值及上臨限值。

在另一實施例中，

其中TH_L表示一預定下臨限值。

上述實例展示如何自兩個預選數目M_f及M_a選擇各分組之碼字之數目。可(例如)透過窮舉搜尋、基於最佳化率失真來判定臨限值(例如TH_U或TH_L)。亦可基於量化參數值(QP)來調整臨限值。在一實施例中，針對B=10，臨限值可在1,000至10,000之間的範圍內。

在一實施例中，為加速處理，可利用一拉格朗日(Lagrangian)最佳化方法來自一組固定值(即，{2,000,3,000,4,000,5,000,6,000,7,000})判定一臨限值。例如，針對組中之各TH(i)值，利用預界定訓練截割，吾人可利用固定QP來運行壓縮測試，且計算界定為如下之一目標函數J之值：J(i)=D+λ R. (7)

接著，最佳臨限值可界定為其J(i)最小之組中之TH(i)值。

在一更一般實例中，吾人可預界定一查找表(LUT)。例如，在表1中，第一列界定將可能分組度量(例如var_bin(k)值)之全範圍分成若干分段之一組臨限值，且第二列界定各分段中所指派之碼字(CW)之對應數目。在一實施例中，用於構建此一LUT之一規則係：若分組方差太大，則吾人需要用大量位元來減小SSE，因此，吾人可指派小於M_a之碼字(CW)值。若分組方差非常小，則吾人可指派大於M_a之一CW值。

利用表1，臨限值至碼字中之映射可產生如下：

例如，鑑於兩個臨限值及三個碼字分配，在一實施例中，針對B=10，TH₀=3,000，CW₀=38，TH₁=10,000，CW₁=32及CW₂=28。

在另一實施例中，兩個臨限值TH₀及TH₁可選擇如下：a)考量TH₁為一非常大數目(甚至無窮大)且(例如)利用方程式(7)中之RDO最佳化來自一組預定值選擇TH₀。鑑於TH₀，現界定TH₁之一第二組可能值(例如組{10,000,15,000,20,000,25,000,30,000})，且應用方程式(7)來識別最佳值。可利用有限數目個臨限值來反覆執行方法或執行方法直至其收斂。

吾人應注意，在根據早先所界定之方案之任何者來將碼字分配給分組之後，M_k值之總和可超過可用碼字之最大值(2^B)或存在未用碼字。若存在未用碼字，則吾人可僅決定什麼也不做或將其分配給特定分組。另一方面，若演算法指派比可用碼字多之碼字，則吾人希望(例如)藉由再正規化CW值來再調整M_k值。替代地，吾人可利用既有M_k值來產生正向再成形函數，但接著藉由以(Σ _k M _k)/2^B換算來再調整再成形函數之輸出值。參考文獻[7]中亦描述碼字再分配技術之實例。

圖4描繪用於根據早先所描述之RDO技術來將碼字分配至再成形域中之一實例性程序。在步驟405中，將所要再成形動態範圍分成N個分組。在將輸入影像分成若干非重疊區塊(步驟410)之後，針對各區塊：

.步驟415計算其亮度特性(例如平均值及方差)

.步驟420將各影像區塊指派給N個分組之一者

.步驟425計算各分組之平均亮度方差

鑑於步驟425中所計算之值，在步驟430中，(例如)利用方程式(4)至(8)中所描繪之碼字分配演算法之任何者，根據一或多個臨限值來將若干碼字指派給各分組。最後，在步驟(435)中，可利用最後碼字分配來產生一正向再成形函數及/或一反再成形函數。

在一實施例中，作為一實例(但不限於)，可利用以下C代碼來構建正向LUT(FLUT)：

在一實施例中，反LUT可構建如下：

按照語法，吾人可再利用先前應用中所提出之語法，諸如參考文獻[5]及[6]中之分段多項式模式或參數模型。表2展示方程式(4)之N=32時之此一實例。

其中：reshaper_model_profile_type指定用於再成形器建構程序中之分佈類型。一給定分佈可提供關於所利用之預設值之資訊，諸如分組之數目、預設分組重要性或優先權值及預設碼字分配(例如M_a及/或M_f值)。

reshaper_model_scale_idx指定用於再成形器建構程序中之一換算因數(表示為ScaleFactor)之指數值。ScaleFactor之值允許改良再成形函數之控制以提高整體編碼效率。

reshaper_model_min_bin_idx指定用於再成形器建構程序中之最小分組指數。reshaper_model_min_bin_idx之值應在0至31之範圍內(含0及31)。

reshaper_model_max_bin_idx指定用於再成形器建構程序中之最大分組指數。reshaper_model_max_bin_idx之值應在0至31之範圍內(含0及31)。

reshaper_model_bin_profile_delta[i]指定用於在再成形器建構程序中調整第i分組之分佈之差量值。reshaper_model_bin_profile_delta[i]之值應在0至1之範圍內(含0及1)。

表3描繪利用一替代、更高效率語法表示之另一實施例。

其中： reshaper_model_delta_max_bin_idx設定為等於最大允許分組指數(例如31)減去用於再成形器建構程序中之最大分組指數。

reshaper_model_num_cw_minus1+1指定待傳信之碼字之數目。

reshaper_model_delta_abs_CW[i]指定第i絕對差量碼字值。

reshaper_model_delta_sign_CW[i]指定第i差量碼字之正負號。

接著：reshaper_model_delta_CW[i]=(1-2* reshaper_model_delta_sign_CW[i])* reshaper_model_delta_abs_CW[i]；reshaper_model_CW[i]=32+reshaper_model_delta_CW[i]。

reshaper_model_bin_profile_delta[i]指定用於在再成形器建構程序中調整第i分組之分佈之差量值。當reshaper_model_num_cw_minus1等於0時，reshaper_model_bin_profile_delta[i]之值應在0至1之範圍內。當reshaper_model_num_cw_minus1等於1時，reshaper_model_bin_profile_delta[i]之值應在0至2之範圍內。

當將reshaper_model_bin_profile_delta[i]設定為等於0時，CW=32，當將reshaper_model_bin_profile_delta[i]設定為等於1時，CW=reshaper_model_CW[0]；當將reshaper_model_bin_profile_delta[i]設定為等於2時，CW=reshaper_model_CW[1]。在一實施例中，允許reshaper_model_num_cw_minus1大於1以允許利用ue(v)來傳信給reshaper_model_num_cw_minus1及reshaper_model_bin_profile_delta[i]以使編碼更高效率。

在另一實施例中，如表4中所描述，可明確界定每分組碼字之數目。

reshaper_model_number_bins_minus1+1指定用於亮度分量之分組之數目。在一些實施例中，分組之數目係2之一冪可為更高效率的。接著，分組之總數可由其log2表示來表示，例如利用如log2_reshaper_model_number_bins_minus1之一替代參數。例如，針對32個分組，log2_reshaper_model_number_bins_minus1=4。

reshaper_model_bin_delta_abs_cw_prec_minus1+1指定用於語法reshaper_model_bin_delta_abs_CW[i]之表示之位元之數目。

reshaper_model_bin_delta_abs_CW[i]指定第i分組之絕對差量碼字值。

reshaper_model_bin_delta_sign_CW_flag[i]將reshaper_model_bin_delta_abs_CW[i]之正負號指定如下：

- 若reshaper_model_bin_delta_sign_CW_flag[i]等於0，則對應變數RspDeltaCW[i]具有一正值。

- 否則(reshaper_model_bin_delta_sign_CW_flag[i]不等於0)，對應變數RspDeltaCW[i]具有一負值。

當reshaper_model_bin_delta_sign_CW_flag[i]不存在時，其被推斷為等於0。

變數RspDeltaCW[i]=(1-2*reshaper_model_bin_delta_sign_CW[i])* reshaper_model_bin_delta_abs_CW[i]；變數OrgCW設定為等於(1<<BitDepth_Y)/(reshaper_model_number_bins_minus1+1)；變數RspCW[i]導出如下：若reshaper_model_min_bin_idx<=i<=reshaper_model_max_bin_idx

則RspCW[i]=OrgCW+RspDeltaCW[i]。

否則，RspCW[i]=0。

在一實施例中，假定根據早先實例之一者(例如方程式(4))之碼字分配，如何界定表2中之參數之一實例包括：首先假定吾人指派「分組重要性」如下：

如本文所利用，術語「分組重要性」係指派給N個碼字分組之各者以指示再成形程序中之該分組中之所有碼字相對於其他分組之重要性之一值。

在一實施例中，吾人可將自reshaper_model_min_bin_idx至reshaper_model_max_bin_idx之default_bin_importance設定為1。將 reshaper_model_min_bin_idx之值設定為最小分組指數，其使M_k不等於0。將reshaper_model_max_bin_idx之值設定為最大分組指數，其使M_k不等於0。[reshaper_model_min_bin_idx reshaper_model_max_bin_idx]內之各分組之reshaper_model_bin_profile_delta係bin_importance與default_bin_importance之間的差值。

如何利用所提出之參數模型來建構一正向再成形LUT(FLUT)及一反再成形LUT(ILUT)之一實例展示如下：1)將亮度範圍分成N個分組(例如N=32)；2)自語法導出各分組之分組重要性指數。例如：

3)基於分組重要性來自動預指派碼字：

4)藉由累積指派給各分組之碼字，基於各分組之碼字指派來構建正向再成形LUT。總和應小於或等於總碼字預算(例如對於10位元全範圍之1024)。(例如參閱最早C代碼)；5)構建反再成形LUT(例如參閱最早C代碼)。

自一語法觀點看，亦可應用替代方法。關鍵係明確或含蓄地指定各分組中碼字之數目(例如M_k，其中k=0、1、2、…、N-1)。在一實施例中，吾人可明確指定各分組中碼字之數目。在另一實施例中，吾人可有差別地指定碼字。例如，可利用當前分組與先前分組中碼字之數目差(例如M_Delta(k)=M(k)-M(k-1))來判定分組中碼字之數目。在另一實施例中，吾人可指定碼字之最常利用數目(即，M_M)且將各分組中碼字之數目表示為各分組中之碼字數目與此數目之差值(例如M_Delta(k)=M(k)-M_M)。

在一實施例中，支援兩個再成形方法。一方法表示為「預設再成形器」，其中將M_f指派給所有分組。表示為「適應性再成形器」之第二方法應用早先所描述之適應性再成形器。可利用適應性再成形器之一特殊旗標(例如sps_reshaper_adaptive_flag)(例如利用預設再成形器之sps_reshaper_adaptive_flag=0且利用sps_reshaper_adaptive_flag=1)來將兩種方法傳信至如參考文獻[6]中之一解碼器。

本發明可應用於參考文獻[6]中所提出之任何再成形架構，諸如一外部再成形器、僅迴路內框內再成形器、迴路內殘餘再成形器或迴路內混合再成形器。作為一實例，圖2A及圖2B描繪根據本發明之實施例之用於混合迴路內再成形之實例性架構。在圖2A中，架構組合來自一僅迴路內框內再成形架構(圖之頂部)及一迴路內殘餘架構(圖之底部)兩者之元件。在此架構下，針對框內片，將再成形應用於圖像像素，而針對框間片，將再成形應用於預測殘餘。在編碼器(200_E)中，將兩個新區塊新增至一基於區塊之傳統編碼器(例如HEVC)：用於估計正向再成形函數(例如根據圖4)之一區塊(205)、正向圖像再成形區塊(210-1)及正向殘餘再成形區塊(210-2)，其將正向再成形應用於輸入視訊(117)之色彩分量或預測殘餘之一或多者。在一些實施例中，此等兩個操作可執行為一單一影像再成形區塊之部分。與判定解碼器中之反再成形函數相關之參數(207)可傳至視訊編碼器之無損編碼器區塊(例如CABAC 220)，使得其可嵌入至編碼位元流(122)中。在框內模式中，框內預測(225-1)、變換及量化(T及Q)及反變換及反量化(Q^-1及T^-1)全部利用再成形圖像。在兩個模式中，DPB(215)中之儲存圖像總是在反再成形模式中，其在迴路濾波器(270-1、270-2)之前需要一反圖像再成形區塊(例如265-1)或一反殘餘再成形區塊(例如265-2)。如圖2A中所描繪，一框內/框間片開關允許取決於待編碼之片類型而切換於兩個架構之間。在另一實施例中，可在反再成形之前執行用於框內片之迴路內濾波。

在解碼器(200_D)中，將以下新正規區塊新增至一基於區塊之傳統解碼器；基於編碼再成形函數參數(207)來重建一正向再成形函數及一反再成形函數之一區塊(250)(再成形器解碼)、將反再成形函數應用於解碼資料之一區塊(265-1)及應用正向再成形函數及反再成形函數兩者來產生解碼視訊信號(162)之一區塊(265-2)。例如，在(265-2)中，重建值由Rec=ILUT(FLUT(Pred)+Res)給出，其中FLUT表示正向再成形LUT且ILUT表示反再成形LUT。

在一些實施例中，與區塊250及265相關之操作可組合成一單一處理區塊。如圖2B中所描繪，一框內/框間片開關允許在取決於編碼視訊圖像中之片類型而切換於兩個模式之間。

圖3A描繪根據本發明之一實施例之利用一再成形架構(例如200_E)來編碼視訊之一實例性程序(300_E)。若未啟用再成形(路徑 305)，則編碼(335)如先前技術編碼器(例如HEVC)中所知般進行。若啟用再成形(路徑310)，則一編碼器可具有應用一預定(預設)再成形函數(315)或基於一圖像分析(320)來適應性判定一新再成形函數(325)之選項(例如圖4中所描述)。在利用一再成形架構來編碼一圖像(330)之後，編碼之剩餘部分依循相同於傳統編碼管線(335)之步驟。若採用適應性再成形(312)，則產生與再成形函數相關之元資料作為「編碼再成形器」步驟(327)之部分。

圖3B描繪根據本發明之一實施例之利用一再成形架構(例如200_D)來解碼視訊之一實例性程序(300_D)。若未啟用再成形(路徑340)，則在解碼一圖像(350)之後，如同一傳統解碼管線般產生輸出圖框(390)。若啟用再成形(路徑360)，則解碼器判定應用一預定(預設)再成形函數(375)或基於所接收之參數(例如207)來適應性判定再成形函數(380)。在利用一再成形架構來解碼(385)之後，解碼之剩餘部分依循傳統解碼管線。

如參考文獻[6]及本說明書早先所描述，正向再成形LUT FwdLUT可藉由整合來構建，而反再成形LUT可利用正向再成形LUT(FwdLUT)基於一反向映射來構建。在一實施例中，可利用分段線性內插來構建正向LUT。在解碼器中，可藉由直接利用反向LUT或亦藉由線性內插來完成反再成形。基於輸入樞軸點及輸出樞軸點來構建分段線性LUT。

使(X1,Y1)、(X2,Y2)成為各分組之兩個輸入樞軸點及其對應輸出值。X1與X2之間的任何輸入值X可由以下方程式內插：Y=((Y2-Y1)/(X2-X1))*(X-X1)+Y1。

在一定點實施方案中，以上方程式可改寫為： Y=((m * X+2^FP_PREC-1)>>FP_PREC)+ｃ,其中m及c表示線性內插之純量及偏移且FP_PREC係與定點精度相關之一常數。

作為一實例，FwdLUT可構建如下：使變數lutSize=(1<<BitDepth_Y)。

使變數binNum=reshaper_model_number_bins_minus1+1，及binLen=lutSize/binNum。

針對第i分組，其兩個區間樞軸(例如X1及X2)可導出為X1=i*binLen及X2=(i+1)*binLen。接著：

FP_PREC界定變數之小數部分之定點精度(例如FP_PREC=14)。在一實施例中，binsLUT[]可以比FwdLUT之精度高之精度計算。例如，binsLUT[]值可計算為32位元整數，但FwdLUT可為以16個位元截割之binsLUT值。

適應性臨限值導算

如早先所描述，在再成形期間，可利用一或多個臨限值(例如TH、TH_U、TH_L及其類似者)來調整碼字分配。在一實施例中，可基於內容特性來適應性產生此等臨限值。圖5描繪用於根據一實施例之用於導出此等臨限值之一實例性程序。

1)在步驟505中，將一輸入影像之亮度範圍分成N個分組(例如N=32)。例如，使N亦表示為PIC_ANALYZE_CW_BINS。

2)在步驟510中，吾人執行一影像分析以計算各分組之亮度特性。例如，吾人可計算各分組中之像素之百分比(表示為BinHist[b]，b=1、2、…、N)，其中BinHist[b]=100*(分組中之總像素b)/(圖像中之總像素) (10)

如先前所討論，影像特性之另一良好度量係各分組中像素之平均方差(或標準偏差)(表示為BinVar[b])。在「區塊模式」中，BinVar[b]可在導致方程式(2)及(3)之段落中所描述之步驟中計算為var_bin(k)。替代地，基於區塊之計算可利用基於像素之計算來修正。例如，表示為vf(i)(與包圍一m×m相鄰窗(例如m=5)中之第i像素之一像素群組相關聯之方差，其中第i像素位於窗之中心處)。例如，若

表示包圍具有值x(i)之第i像素之一W_N=m*m窗(例如m=5)中之像素之平均值，則

一選用非線性映射(諸如vf(i)=log10(vf(i)+1))可用於抑制原始方差值之動態範圍。接著，方差因數可用於將各分組中之平均方差計算為：

其中K_b表示分組b中像素之數目。

3)在步驟515中，使平均分組方差(及其對應指數)(例如(但不限於))依遞降次序排序。例如，經排序之BinVar值可儲存於BinVarSortDsd[b]中且經排序之分組指數可儲存於BinIdxSortDsd[b]中。作為一實例，利用C代碼，程序可描述為：for(int b=0；b<PIC_ANALYZE_CW_BINS；b++

//初始化(未排序)

//排序(參閱附錄1中之實例代碼)

圖6A中描繪經排序之平均分組方差因數之一實例圖。

4)鑑於步驟510中所計算之分組直方圖值，在步驟520中，吾人根據經排序之平均分組方差之次序來計算及儲存一累積密度函數(CDF)。例如，若CDF儲存於陣列BinVarSortDsdCDF[b]中，則在一實施例中：

圖6B中描繪基於圖6A之資料之一經計算CDF之一實例圖(605)。CDF值與經排序平均分組方差之對({x=BinVarSortDsd[b],y=BinVarSortDsdCDF[b]})可解譯為：「圖像中存在具有大於或等於x之方差之y%像素」或「圖像中存在具有小於x之方差之(100-y)%像素」。

5)最後，在步驟525中，鑑於依據經排序之平均分組方差值而變化之CDF BinVarSortDsdCDF[BinVarSortDsd[b]]。吾人可基於分組方差及累積百分比來界定臨限值。

圖6C及圖6D中分別展示用於判定一單一臨限值或兩個臨限值之實例。當僅利用一個臨限值(例如TH)時，作為一實例，TH可界定為「平均方差，其中k%之像素具有vf

TH」。接著，可藉由找到CDF圖(605)在k%(例如610)(例如BinVarSortDsd[b]值，其中BinVarSortDsdCDF=k%)處之相交點來計算TH；例如，如圖6C中所描繪，針對k=50，TH=2.5。接著，吾人可將M_f個碼字指派給具有BinVar[b]<TH之分組及將M_a個碼字指派給具有BinVar[b]

TH之分組。根據經驗法則，較佳地將較大數目個碼字指派給具有較小方差之分組(例如針對具有32個分組之10位元視訊信號，M_f>32>M_a)。

當利用兩個臨限值時，圖6D中描繪選擇TH_L及TH_U之一實例。例如，在不失一般性之情況下，TH_L可界定為方差，其中80%像素具有vf

TH_L(接著，在本實例中，TH_L=2.3)，且TH_U可界定為方差，其中所有像素之10%具有vf

TH_U(接著，在本實例中，TH_U=3.5)。鑑於此等臨限值，吾人可將M_f個碼字指派給具有BinVar[b]<TH_L之分組及將M_a個碼字指派給具有BinVar[b]

TH_U之分組。針對具有TH_L至TH_U之間的BinVar之分組，吾人可利用每分組原始數目個碼字(例如，當B=10時，為32個碼字)。

以上技術可易於擴展至具有兩個以上臨限值之情況。關係亦可用於調整碼字之數目(M_f、M_a等等)。根據經驗法則，在低方差分組中，吾人應指派較多碼字以提高PSNR(及減小MSE)；針對高方差分組，吾人應指派較少碼字以節省位元。

在一實施例中，若(例如)透過一窮舉手動參數調諧來針對具體內容手動獲得參數組(例如TH_L、TH_U、M_a、M_f及其類似者)，則此自動方法可應用於設計一決策樹以分類各內容以自動設定最佳手動參數。例如，內容類別包含電影、電視、SDR、HDR、卡通、自然、動作及其類似者。

為減少複雜性，可利用各種方案來約束迴路內再成形。若在一視訊編碼標準中採用迴路內再成形，則此等約束應規範以保證解碼器簡化。例如，在一實施例中，可針對特定區塊編碼大小停用亮度再成形。例如，當nTbW*nTbH<TH時，吾人可在一框間片中停用框內及框間再成形器模式，其中變數nTbW指定變換區塊寬度且變數nTbH指定變換區塊高度。例如，針對TH=64，針對框間編碼片(或圖塊)之框內及框間兩種模式再成形停用具有大小4×4、4×8及8×4之區塊。

類似地，在另一實施例中，吾人可在框間編碼片(或圖塊)中停用框內模式中之基於亮度之色度殘餘換算，或當具有單獨亮度及色度時，啟用分割樹。

與其他編碼工具之相互作用

迴路濾波

在參考文獻[6]中，期望一迴路濾波器可在原始像素域或再成形像素域中操作。在一實施例中，建議在原始像素域中執行迴路濾波(在圖像再成形之後)。例如，在一混合迴路內再成形架構(200_E及200_D)中，針對框內圖像，吾人將需要在迴路濾波器(270-1)之前應用反再成形(265-1)。

圖2C及圖2D描繪替代解碼器架構(200B_D及200C_D)，其中在迴路濾波(270)之後、恰好在將解碼資料儲存至解碼圖像緩衝器(DPB)(260)之前執行反再成形(265)。在所提出之實施例中，相較於200_D中之架構而修改用於框間片之反殘餘再成形公式，在迴路濾波(270)之後執行反再成形(例如經由一InvLUT()函數或查找表)。依此方式，在迴路濾波之後對框內片及框間片兩者執行反再成形，且框內編碼CU及框間編碼CU兩者之迴路濾波之前之重建像素係在再成形域中。在反再成形(265)之後，儲存於參考DPB中之輸出樣本全部係在原始域中。此一架構允許用於迴路內再成形之基於片之適應及基於CTU之適應兩者。

如圖2C及圖2D中所描繪，在一實施例中，在再成形域中對框內編碼CU及框間編碼CU兩者執行迴路濾波(270)，且反圖像再成形(265)僅發生一次以因此呈現框內編碼CU及框間編碼CU兩者之一統一及較簡單架構。

為解碼框內編碼CU(200B_D)，對再成形相鄰像素執行框內預測(225)。鑑於殘餘Res及一預測樣本PredSample，重建樣本(227)導出為：RecSample=Res+PredSample (14)

鑑於重建樣本(227)，應用迴路濾波(270)及反圖像再成形(265)來導出儲存於DPB(260)中之RecSampleInDPB樣本，其中RecSampleInDPB=InvLUT(LPF(RecSample)))==InvLUT(LPF(Res+PredSample))), (15)

其中InvLUT()表示反再成形函數或反再成形查找表，且LPF()表示迴路濾波運算。

在傳統編碼中，框間/框內模式決策係基於計算原始樣本與預測樣本之間的一失真函數(dfunc())。此等函數之實例包含方差和(SSE)、絕對差值和(SAD)及其他。當利用再成形時，在編碼器側(圖中未展示)處，對再成形域執行CU預測及模式決策。即，針對模式決策，失真=dfunc(FwdLUT(SrcSample)-RecSample) (16)

其中FwdLUT()表示正向再成形函數(或LUT)且SrcSample表示原始影像樣本。

針對框間編碼CU，在解碼器側(例如200C_D)處，利用DPB中非再成形域中之參考圖像來執行框間預測。接著，在重建區塊275中，重建像素(267)導出為：RecSample=(Res+FwdLUT(PredSample)). (17)

鑑於重建樣本(267)，應用迴路濾波(270)及反圖像再成形(265)來導出儲存於DPB中之RecSampleInDPB樣本，其中RecSampleInDPB-InvLUT(LPF(RecSample))=InvLUT(LPF(Res+FwdLUT(PredSample)))). (18)

在編碼器側(圖中未展示)處，在用於預測之所有相鄰樣本(PredSample)已在再成形域中之假定下，框內預測在再成形域中執行為：Res=FwdLUT(SrcSample)-PredSample (19a)

在非再成形域中(即，直接利用來自DPB之參考圖像)執行框間預測(例如利用運動補償)，即：PredSample=MC(RecSampleinDPB) (19b)

其中MC()表示運動補償函數。針對其中未產生殘餘之運動估計及快速模式決策，吾人可利用以下方程式來計算失真：失真=dfunc(SrcSample-PredSample)。

然而，針對其中產生殘餘之全模式決策，在再成形域中執行模式決策。即，針對全模式決策，失真=dfunc(FwdLUT(SrcSample)-RecSample) (20)

區塊級調適

如先前所闡釋，所提出之迴路內再成形器允許在CU級處調適再成形以(例如)視需要將變數CU_reshaper設定為打開或關閉。在相同架構下，針對一框間編碼CU，當CU_reshaper=關閉時，重建像素需要在再成形域中，即使針對此框間編碼CU將CU_reshaper旗標設定為關閉。

RecSample=FwdLUT(Res+PredSample) (21)

使得框內預測總是具有再成形域中之相鄰像素。DPB像素可導出為：RecSampleInDPB=InvLUT(LPF(RecSample)))==InvLUT(LPF(FwdLUT(Res+PredSample))). (22)

針對一框內編碼CU，根據編碼程序來提出兩種替代方法：

1)利用CU_reshaper=打開來編碼所有框內編碼CU。在此情況中，無需額外處理，因為所有像素已在再成形域中。

2)可利用CU_reshaper=關閉來編碼一些框內編碼CU。在此情況中，針對CU_reshaper=關閉，當應用框內預測時，吾人需要將反再成形應用於相鄰像素，使得框內預測在原始域中執行且最終重建像素需要在再成形域中，即：RecSample=FwdLUT(Res+InvLUT(PredSample)). (23)

接著RecSampleInDPB=InvLUT(LPF(RecSample)))==InvLUT(LPF(FwdLUT(Res+InvLUT(PredSample))))). (24)

一般而言，所提出之架構可用於各種組合中，諸如僅迴路內框內再成形、僅用於預測殘餘之迴路內再成形或組合框內迴路內再成形及框間殘餘再成形兩者之一混合架構。例如，為減少硬體解碼管線之延時，針對框間片解碼，吾人可在反再成形之前執行框內預測(即，解碼一框間片中之框內CU)。圖2E中描繪此一實施例之一實例性架構(200D_D)。在重建模組(285)中，針對框間CU(例如，Mux啟用來自280及282之輸出)，自方程式(17)：RecSample=(Res+FwdLUT(PredSample))。

其中FwdLUT(PredSample)表示框間預測器(280)後接正向再成形(282)之輸出。否則，針對框內CU(例如，Mux啟用來自284之輸出)，重建模組(285)之輸出係：RecSample=(Res+IPredSample),其中IPredSample表示框內預測區塊(284)之輸出。反再成形區塊(265-3)產生：Y _CU=InvLUT[RecSample]。

將框內預測應用於再成形域中之框間片亦可應用於其他實施例，其包含圖2C(其中在迴路濾波之後執行反再成形)及圖2D中所描繪之實施例。在所有此等實施例中，需要特別關注組合框間/框內預測模式(即，當在重建期間，一些樣本係來自框間編碼區塊且一些樣本係來自框內編碼區塊時)，因為框間預測係在原始域中，但框內預測係在再成形域中。當組合來自框間預測編碼單元及框內預測編碼單元兩者之資料時，可在兩個域之任一者中執行預測。例如，當在再成形域中完成組合框間/框內預測模式時，PredSampleCombined=PredSampeIntra+FwdLUT(PredSampleInter)RecSample=Res+PredSampleCombined.

即，在增加之前使原始域中之框間編碼樣本再成形。否則，當在原始域中完成組合框間/框內預測模式時，PredSampleCombined=InvLUT(PredSampeIntra)+PredSampleInter RecSample=Res+FwdLUT(PredSampleCombined).

即，使框內預測樣本反再成形於原始域中。

類似考量亦可應用於對應編碼實施例，因為編碼器(例如200_E)包含匹配對應解碼器之一解碼器迴路。如早先所討論，方程式(20)描述其中在再成形域中執行模式決策之一實施例。在另一實施例中，可在原始域中執行模式決策，即：失真=dfunc(SrcSample-InvLUT(RecSample))。

針對基於亮度之色度QP偏移或色度殘餘換算，可為了最小延時而總是利用預測值(而非重建值)來計算平均CU亮度值(

)。

色度QP偏差

如參考文獻[6]中，吾人可應用所提出之相同chromaDQP偏差程序來平衡由再成形曲線引起之亮度及色度關係。在一實施例中，吾人可基於各分組之碼字指派來導出一分段chromaDQP值。例如：

編碼器最佳化

如參考文獻[6]中所描述，當啟用lumaDQP時，建議利用基於像素之加權失真。當利用再成形時，在一實例中，基於再成形函數(f(x))來調整所需加權。例如：W_rsp=f'(x)² (26)

其中f'(x)表示再成形函數f(x)之斜率。

在另一實施例中，吾人可直接基於各分組之碼字指派來導出分段加權。例如：針對第k分組，

針對一色度分量，可將加權設定為1或某個換算因數sf。為減少色度失真，可將sf設定為大於1。為增加色度失真，可將sf設定為大於1。在一些實施例中，sf可用於補償方程式(25)。由於可將chromaDQP僅設定為整數，所以吾人可利用sf來調節chromaDQP之小數部分：因此，sf=2^{((chromaDQP-INT(chromaDQP))/3)}。

在另一實施例中，吾人可明確設定圖像參數集(PPS)中之chromaQPOffset值或一片標頭以控制色度失真。

再成形器曲線或映射函數無需固定用於整個視訊序列。例如，其可基於量化參數(QP)或目標位元率來調適。在一實施例中，吾人可在位元率較低時利用一更積極再成形器曲線及在位元率相對較高時利用更不積極再成形。例如，鑑於10位元序列中之32個分組，各分組最初具有32個碼字。當位元率相對較低時，吾人可利用[28 40]之間的碼字來選擇各分組之碼字。當位元率較高時，吾人可選擇[31 33]之間的碼字用於各分組或吾人可僅利用一識別再成形器曲線。

鑑於一片(或一圖塊)，可依可權衡編碼效率與複雜性之各種方式執行片(或圖塊)級再成形，其包含：1)僅停用框內片中之再成形；2)停用特定框間片(諸如(若干)特定時間級上之框間片或不用於參考圖像之框間片或被視為不重要參考圖像之框間片)中之再成形。此片適應亦可為 QP/率相依的，使得不同適應規則可應用於不同QP或位元率。

在一編碼器中，在所提出之演算法下，計算各分組之一方差(例如方程式(13)中之BinVar(b))。基於該資訊，吾人可基於各分組方差來分配碼字。在一實施例中，BinVar(b)可反線性映射至各分組b中碼字之數目。在另一實施例中，非線性映射(諸如BinVar(b))²、sqrt(BinVar(b))及其類似者)可用於反映射分組b中之碼字之數目。本質上，此方法允許一編碼器將任意碼字應用於各分組(超出早先所利用之較簡單映射，其中編碼器利用兩個範圍上限值M_f及M_a(例如參閱圖6C)或三個範圍上限值M_f、32或M_a(例如參閱圖6D)來分配各分組中之碼字)。

作為一實例，圖6E描繪基於BinVar(b)值之兩個碼字分配方案，作圖610描繪利用兩個臨限值之碼字分配，而作圖620描繪利用反線性映射之碼字分配，其中分組之碼字分配與其BinVar(b)值成反比。例如，在一實施例中，可應用以下代碼來導出一特定分組中碼字(bin_cw)之數目：alpha=(minCW-maxCW)/(maxVar-minVar)；beta=(ma×CW*maxVar-minCW*minVar)/(ma×Var-minVar)；bin_cw=round(alpha * bin_var+beta)；,其中minVar表示所有分組之間的最小方差，maxVar表示所有分組之間的最大方差，且minCW、maxCW表示每分組之碼字之最小及最大數目，如由再成形模型所判定。

基於亮度之色度QP偏移修正

在參考文獻[6]中，為補償亮度與色度之間的相互作用，界定一額外色度QP偏移(表示為chromaDQP或cQPO)及一基於亮度之色度殘餘換算器(cScale)。例如： chromaQP=QP_luma+chromaQPOffset+cQPO, (28)

其中chromaQPOffset表示一色度QP偏移，且QP_luma表示編碼單元之亮度QP。如參考文獻[6]中所呈現，在一實施例中：

其中FwdLUT'表示FwdLUT()之斜率(一階導數)。針對一框間片，

表示CU之平均預測亮度值。針對一框內片，

表示CU之平均預測亮度值之反再成形值。當雙樹編碼用於一CU(即，亮度及色度分量具有兩個單獨編碼樹且亮度重建因此可用於色度編碼開始之前)時，CU之平均重建亮度值可用於導出cQPO值。cScale換算因數界定為：

其中y=pow(2,x)表示y=2^x函數。

鑑於亮度導出之QP值(表示為qPi)與最終色度QP值(表示為Qp_C)之間的非線性關係(例如參閱表8-10，參考文獻[4]中之「Specification of Qp_C as a function of qPi for ChromaArrayType equal to 1」)，在一實施例中，cQPO及cScale可進一步調整如下。

將經調整之亮度與色度QP值之間的一映射表示為f_QPi2QPc()(例如參考文獻[4]之表8-10中)，接著chromaQP_actual=f_QPi2QPc[chromaQP]==f_QPi2QPc[QP_luma+chromaQPOffset+cQPO] (31)

為換算色度殘餘，需要在應用cQPO之前及應用cQPO之後基於實際色度編碼QP之間的真實差值來計算比例：QPcBase=f_QPi2QPc[QP_luma+chromaQPOffset]；QPcFinal=f_QPi2QPc[QP_luma+chromaQPOffset+cQPO]；cQPO_refine=QPcFinal-QpcBase；cScale=pow(2,-cQPO_refine/6). (32)

在另一實施例中，吾人亦可將chromaQPOffset吸收至cScale中。例如：QPcBase=f_QPi2QPc[QP_luma]；QPcFinal=f_QPi2QPc[QP_luma+chromaQPOffset+cQPO]；cTotalQPO_refine=QPcFinal-QpcBase；cScale=pow(2,-cTotalQPO_refine/6). (33)

作為一實例，如參考文獻[6]中所描述，在一實施例中：使CSCALE_FP_PREC=16表示一精度參數

.正向換算：在產生色度殘餘之後，在變換及量化之前：

- C_Res=C_orig-C_pred

- C_Res_scaled=C_Res * cScale+(|<<(CSCALE_FP_PREC-1)))>>CSCALE_FP_PREC

.反換算：在色度反量化及反變換之後，但在重建之前：

- C_Res_inv=(C_Res_scaled<<CSCALE_FP_PREC)/cScale

- C_Reco=C_Pred+C_Res_inv；

在一替代實施例中，用於迴路內色度再成形之運算可表示如下。在編碼器側處，針對各CU或TU之色度分量Cx(例如Cb或Cr)之殘餘(CxRes=CxOrg-CxPred)，

其中CxResScaled係待變換及量化之CU之經換算Cb或Cr殘餘信號。在解碼器側處，CxResScaled係反量化及變換之後之經換算色度殘餘信號，且

色度分量之最終重建係：CxRec=CxPred+CxRes (36)

此方法允許解碼器開始反量化及變換運算以在語法剖析之後即時色度解碼。用於一CU之cScale值可由Cb及Cr分量共用，且其可自方程式(29)及(30)導出為：

其中

係框間片中當前CU之平均預測亮度值(其中未利用雙樹編碼且重建亮度因此不可用)，且

係框內片中當前CU之平均重建亮度值(其中利用雙樹編碼)。在一實施例中，以16位元定點整數計算及儲存比例且利用定點整數運算來實施編碼器側及解碼器側兩者處之換算運算。

表示正向再成形函數之一階導數。假定曲線之一分段線性表示，當Y屬於第k分組時，FwdLUT’(Y)=(CW[k]/32)。為減少硬體延時，在另一實施例(參閱圖2E)中，

可利用框內模式及框間模式兩者之當前CU之平均預測亮度值，不管片類型及是否利用雙樹。在另一實施例中，可利用框內及/或框間模式之重建CU(諸如當前CU之上列及/或左行中之CU)來導出

。在另一實施例中，可利用高階語法來在位元流中明確發送一基於區域之平均值、中值及其類似者、亮度值或cScale值。

利用cScale不受限於用於迴路內再成形之色度殘餘換算。相同方法亦可應用於迴路外再成形。在一迴路外再成形中，cScale可用於色度樣本換算。操作相同於迴路內方法。

在編碼器側處，當計算色度RDOQ時，亦需要基於修正偏移來計算用於色度調整之λ修正值(當利用QP偏移時或當利用色度殘餘換算時)：Modifier=pow(2,-cQPO_refine/3)；New_lambda=Old_lambda/Modifier. (38)

如方程式(35)中所提及，利用cScale需要解碼器中之一除法。為簡化解碼器實施方案，吾人可決定利用編碼器中之一除法來實施相同功能且在解碼器中應用一較簡單乘法。例如，使cScaleInv=(1/cScale)

接著，作為一實例，在一編碼器上cResScale=CxRes * cScale=CxRes/(1/cScale)=CxRes/cScaleInv,且在解碼器上CxRes=cResScale/cScale=CxRes *(1/cScale)=CxRes * cScaleInv。

在一實施例中，可針對分段線性(PWL)表示中之一對應亮度範圍而非針對各亮度碼字值計來算各亮度相依色度換算因數。因此，色度換算因數可儲存於一較小LUT(例如具有16或32個項目)(即，cScaleInv[binIdx])而非1024項目LUT(用於10位元亮度碼字)(即，cScale[Y])中。可利用定點整數運算來將編碼器側及解碼器側兩者處之換算運算實施如下：c’=sign(c)*((abs(c)* s+2^{CSCALE_FP_PREC-1})>>CSCALE_FP_PREC),其中c係色度殘餘，s係來自cScaleInv[binIdx]之色度殘餘換算因數，binIdx由對應平均亮度值決定，且CSCALE_FP_PREC係與精度相關之一恆定值。

在一實施例中，針對與色度殘餘換算相關之一更高效率實施方案，可啟用以下變動：.當利用單獨亮度/色度樹時，停用色度殘餘換算；.停用2×2色度之色度殘餘換算；及.將預測信號而非重建信號用於框內及框間編碼單元。

作為一實例，鑑於圖2E中所描繪之用於處理亮度分量之解碼器(200D_D)，圖2F描繪用於處理對應色度樣本之一實例性架構(200D_DC)。

如圖2F中所描繪，當處理色度時，相較於圖2E而進行以下改變：.不利用正向及反再成形區塊(282及265_3)；.存在一新色度殘餘換算區塊(288)以有效替換亮度之反再成形區塊(265_3)；及.修改重建區塊(285-C)以處置原始域中之色彩殘餘，如方程式(36)中所描述：CxRec=CxPred+CxRes。

自方程式(34)，在解碼器側處，使CxResScaled表示反量化及變換(在區塊288之前)之後之提取換算色度殘餘信號，且使CxRes=CxResScaled * C _ScaleInv

表示由重建單元(285-C)用於計算CxRec=CxPred+CxRes之色度殘餘換算區塊(288)產生之再換算色度殘餘，其中CxPred由框內預測區塊(284)或框間預測區塊(280)產生。

用於一變換單元(TU)之C_ScaleInv值可由Cb及Cr分量共用且可計算如下：.若在框內模式中，則計算框內預測亮度值之平均值；.若在框間模式中，則計算正向再成形框間預測亮度值之平均值。即，在再成形域中計算平均亮度值avgY' _TU；及.若在組合合併及框內預測中，則計算組合預測亮度值之平均值。例如，可根據附錄2，8.4.6.6節來計算組合預測亮度值。

.在一實施例中，吾人可應用一LUT以基於avgY' _TU來計算C_ScaleInv。替代地，鑑於再成形函數之一分段線性(PWL)表示，吾人可在反映射PWL中找到屬於值avgY' _TU之指數idx。

.接著，C _ScaleInv=cScaleInv[idx]。

當前在藉由ITU及ISO之發展下，可應用於多功能視訊編碼編解碼器(參考文獻[8])之一實例性實施方案可見於附錄2(例如參閱8.5.5.1.2節)中。

delta_qp應用

在AVC及HEVC中，允許參數delta_qp修改一編碼區塊之QP值。在一實施例中，吾人可利用再成形器中之亮度曲線來導出delta_qp值。吾人可基於各分組之碼字指派來導出一分段lumaDQP值。例如：for the k-th bin,scale _k=(M _k/M _a)；lumaDQP_k=INT(6*log2(scale _k)) (39)

其中INT()可為CEIL()、ROUND()或FLOOR()。編碼器可利用一亮度函數(例如average(luma)、min(luma)、max(luma)及其類似者)來找到該區塊之亮度值，接著將對應lumaDQP值用於該區塊。為自方程式(27)獲得率失真益處，吾人可在模式決策中利用加權失真且設定：

再成形及分組之數目考量

在典型10位元視訊編碼中，較佳地利用至少32個分組來再成形映射；然而，為簡化解碼器實施方案，在一實施例中，吾人可利用較少分組，即，16個或甚至8個分組。鑑於一編碼器可已利用32個分組來分析序列及導出分佈碼字，吾人可藉由在各32個分組內加入對應兩個16分組來再利用原始32分組碼字分佈及導出16分組碼字，即： for i=0 to 15

CWIn16Bin[i]=CWIn32Bin[2i]+CWIn32Bin[2i+1]。

針對色度殘餘換算因數，吾人可僅將碼字除以2，且指向32分組chromaScalingFactorLUT。例如，鑑於CWIn32Bin[32]={0 0 33 38 38 38 38 38 38 38 38 38 38 38 38 38 38 33 33 33 33 33 33 33 33 33 33 33 33 33 0 0},

對應16分組CW分配係CWIn16Bin[16]={0 71 76 76 76 76 76 76 71 66 66 66 66 66 66 0}。

此方法可經擴展以處置甚至更少分組(即，8個)，接著for i=0 to 7

CWIn8Bin[i]=CWIn16Bin[2i]+CWln16Bin[2i+1]。

作為一實例(但不限於)，附錄2提供一實例性語法結構及相關聯語法元素以根據利用圖2C、圖2E及圖2F中所描繪之架構之一實施例來支援ISO/ITU視訊多功能編解碼器(VVC)(參考文獻[8])中之再成形，其中正向再成形函數包括16個分段。

參考文獻

本文所列之各參考文獻之全部內容以引用的方式併入。

[1]「Exploratory Test Model for HDR extension of HEVC」，K.Minoo等人，MPEG輸出文件，JCTVC-W0092(m37732)，2016年，San Diego，USA。

[2]由G-M.Su於2016年3月30日申請之PCT申請案PCT/US2016/025082，「In-Loop Block-Based Image Reshaping in High Dynamic Range Video Coding」，亦公開為WO 2016/164235。

[3]由T.Lu等人於2017年1月19日申請之美國專利申請案15/410,563，「Content-Adaptive Reshaping for High Codeword representation Images」。

[4]ITU-T H.265，「High efficiency video coding」，ITU，2016年12月。

[5]由P.Yin等人於2016年7月14日申請之PCT申請案PCT/US2016/042229，「Signal Reshaping and Coding for HDR and Wide Color Gamut Signals」，亦公開為WO 2017/011636。

[6]由T.Lu等人於2018年6月29日申請之PCT專利申請案PCT/US2018/040287，「Integrated Image Reshaping and Video Coding」。

[7]J.Froehlich等人之「Content-Adaptive Perceptual Quantizer for High Dynamic Range Images」，美國公開專利申請案第2018/0041759號，2018年2月8日。

[8]B.Bross、J.Chen及S.Liu於2019年1月8日上傳之「Versatile Video Coding(Draft 3)」，JVET輸出文件，JVET-L 1001，v9。

實例性電腦系統實施方案

可利用以下各者來實施本發明之實施例：一電腦系統、組態於電子電路及組件中之系統、一積體電路(IC)器件(諸如一微控制器)、一場可程式化閘陣列(FPGA)或另一可組態或可程式化邏輯器件(PLD))、一離散時間或數位信號處理器(DSP)、一專用IC(ASIC)及/或包含此等系統、器件或組件之一或多者之裝置。電腦及/或IC可執行(perform)、控制或執行(execute)與影像之信號再成形及編碼(諸如本文所描述之信號再成形及編碼)相關之指令。電腦及/或IC可計算與本文所描述之信號再成形及編碼程序相關各種參數或值之任何者。影像及視訊實施例可實施於硬體、軟體、韌體及其等之各種組合中。

本發明之特定實施方案包括電腦處理器，其執行引起處理器執行本發明之一方法之軟體指令。例如，一顯示器、一編碼器、一視訊盒、一轉碼器或其類似者中之一或多個處理器可藉由執行處理器可存取之一程式記憶體中之軟體指令來實施與上文所描述之影像之信號再成形及編碼相關之方法。本發明亦可以一程式產品之形式提供。程式產品可包括載送包括指令之一組電腦可讀信號之任何非暫時性及有形媒體，指令在由一資料處理器執行時引起資料處理器執行本發明之一方法。根據本發明之程式產品可呈各種非暫時性及有形形式之任何者。程式產品可包括(例如)實體媒體，諸如磁性資料儲存媒體(其包含軟磁片、硬碟機)、光學資料儲存媒體(其包含CD ROM、DVD)、電子資料儲存媒體(其包含ROM、快閃RAM)或其類似者。可視情況壓縮或加密程式產品上之電腦可讀信號。

當一組件(例如一軟體模組、處理器、總成、器件、電路等等)係如上所述時，除非另有指示，否則參考該組件(其包含參考一「構件」)應被解譯為包含執行所描述之組件之功能之任何組件(例如，功能等效)作為該組件之等效物，其包含結構上不等效於所揭示之結構、執行本發明之所繪示之實例性實施例中之功能之組件。

等效、擴展、替代及其他

因此，描述與影像之高效率信號再成形及編碼相關之實例性實施例。在以上說明中，已參考可隨實施方案而變動之諸多具體細節來描述本發明之實施例。因此，為發明目的且申請人意欲將其視為發明之獨有指標係由本申請案以特定形式發佈之請求項集合，此等請求項以該特定形式發佈(其包含任何後續校正)。本文針對此等請求項中所含之術語所明確闡述之任何定義應管理請求項中所利用之此等術語之含義。因此(但不限於)，一請求項中未明確列舉之元素、性質、特徵、優點或屬性應依任何方式限制此請求項之範疇。因此，本說明書及圖式應被視為意在繪示而非限制。

枚舉例示性實施例

本發明可體現為本文所描述之形式之任何者，其包含(但不限於)描述本發明之一些部分之結構、特徵及功能之以下枚舉實例性實施例(EEE)。

EEE 1.一種用於利用一處理器來使一視訊序列適應性再成形之方法，該方法包括：利用一處理器來存取呈一第一碼字表示之一輸入影像；及產生將該輸入影像之像素映射至一第二碼字表示之一正向再成形函數，其中該第二碼字表示允許比該第一碼字表示更高效率之一壓縮，其中產生該正向再成形函數包括：將該輸入影像分成多個像素區域；根據各像素區域之一第一亮度特性來將該等像素區域之各者指派給多個碼字分組之一者；根據指派給各碼字分組之該等像素區域之各者之一第二亮度特性來計算該多個碼字分組之各者之分組度量；根據各碼字分組之該分組度量及一率失真最佳化準則來將呈該第二碼字表示之若干碼字分配給各碼字分組；及回應於將呈該第二碼字表示之碼字分配給該多個碼字分組之各者而產生該正向再成形函數。

EEE 2.如EEE1之方法，其中一像素區域之該第一亮度特性包括該像素區域之平均亮度像素值。

EEE 3.如EEE1之方法，其中一像素區域之該第二亮度特性包括該像素區域之亮度像素值之方差。

EEE 4.如EEE3之方法，其中計算一碼字分組之分組度量包括：計算指派給該碼字分組之所有像素區域之亮度像素值之方差之平均值。

EEE 5.如EEE1之方法，其中根據一碼字分組之分組度量來將呈該第二碼字表示之若干碼字分配給該碼字分組包括：若無像素區域指派給該碼字分組，則不指派碼字給該碼字分組；若該碼字分組之該分組度量低於一上臨限值，則指派第一數目個碼字；及否則將第二數目個碼字指派給至該碼字分組。

EEE 6.如EEE5之方法，其中針對具有B個位元之一深度之一第一碼字表示及具有B_o個位元及N個碼字分組之一深度之一第二碼字表示，該第一數目個碼字包括M _f=CEIL((2^Bo/(CW2-CW1))* M _a)且該第二數目個碼字包括M _a=2^B/N ₁，其中CW1<CW2表示[0 2^B-1]中之兩個碼字。

EEE 7.如EEE6之方法，其中CW1=16*2^(B-8)且CW2=235*2^(B-8)。

EEE 8.如EEE5之方法，其中判定該上臨限值包括：界定一組可能臨限值；針對該組臨限值中之各臨限值：基於該臨限值來產生一正向再成形函數；根據該再成形函數及一位元率R來編碼及解碼一組輸入測試圖框以產生一組輸出解碼測試圖框；及基於該等輸入測試圖框及該等解碼測試圖框來計算一總率失真最佳化(RDO)度量；及選擇使該RDO度量最小之該組可能臨限值中之臨限值作為該上臨限值。

EEE 9.如EEE8之方法，其中計算該RDO度量包括：計算J=D+λ R，其中D表示該等輸入測試圖框之像素值與該等解碼測試圖框中之對應像素值之間的一失真量測，且λ表示一拉格朗日乘數。

EEE 10.如EEE9之方法，其中D係該等輸入測試圖框及該等解碼測試圖框之對應像素值之間的方差和之一量測。

EEE 11.如EEE1之方法，其中根據一碼字分組之分組度量來將呈該第二碼字表示之若干碼字分配給該碼字分組係基於一碼字分配查找表，其中該碼字分配查找表界定將分組度量值之一範圍分成若干分段之兩個或兩個以上臨限值且將各分段內之分組度量提供給分配給分組之該若干碼字。

EEE 12.如EEE11之方法，其中鑑於給分組之一預設碼字分配，將比該預設碼字分配少之碼字指派給具有大分組度量之分組且將比該預設碼字分配多之碼字指派給具有小分組度量之分組。

EEE 13.如EEE12之方法，其中針對具有B個位元及N個分組之一第一碼字表示，每分組之該預設碼字分配由M _a=2^B/N給出。

EEE 14.如EEE1之方法，其進一步包括回應於該正向再成形函數而產生再成形資訊，其中該再成形資訊包括以下之一或多者：指示用於一再成形重建程序中之一最小碼字分組指數值之一旗標，指示用於該再成形建構程序中之一最大碼字分組指數值之一旗標，指示一再成形模型分佈類型之一旗標，其中各模型分佈類型與預設分組相關參數相關聯，或用於調整該等預設分組相關參數之一或多個差量值。

EEE 15.如EEE5之方法，其進一步包括將分組重要性值指派給各碼字分組，其中該分組重要性值係：0，若無碼字指派給該碼字分組；2，若將碼字之第一值指派給該碼字分組；及否則為1。

EEE 16.如EEE5之方法，其中判定該上臨限值包括：將該輸入影像中該等像素值之該亮度範圍分成數個分組；針對各分組，判定分組直方圖值及一平均分組方差值，其中針對分組，該分組直方圖值包括該影像中之像素總數中之該分組中之像素數目且該平均分組方差值提供該分組中之該等像素之平均像素方差之一度量；使該等平均分組方差值排序以產生平均分組方差值之一排序表及平均分組方差值指數之一排序表；基於該等分組直方圖值及平均分組方差值指數之該排序表來計算依據該等經排序平均分組方差值而變化之一累積密度函數；及基於由該累積密度函數之值滿足之一準則來判定該上臨限值。

EEE 17.如EEE16之方法，其中計算該累積密度函數包括計算：

其中b表示分組數目，PIC_ANALYZE_CW_BINS表示分組之總數，BinVarSortDsdCDF[b]表示分組b之CDF函數之輸出，BinHist[i]表示分組 i之分組直方圖值，及BinIdxSortDsd[]表示平均分組方差值指數之該排序表。

EEE 18.如EEE16之方法，其中在針對該輸入影像中之k%像素，該平均分組方差大於或等於該上臨限值之一準則下，將該上臨限值判定為使該CDF輸出為k%之該平均分組方差值。

EEE 19.如EEE18之方法，其中k=50。

EEE 20.在一解碼器中，一種用於重建一再成形函數之方法，該方法包括：在一編碼位元流中接收以一再成形模型為特徵之語法元素，其中該等語法元素包含以下之一或多者指示用於一再成形建構程序中之一最小碼字分組指數值之一旗標，指示用於一再成形建構程序中之一最大碼字分組指數值之一旗標，指示一再成形模型分佈類型之一旗標，其中該模型分佈類型與包含分組重要性值之預設分組相關參數相關聯，或指示用於調整該再成形模型分佈中所界定之該等預設分組重要性值之一或多個差量分組重要性值之一旗標；基於該再成形模型分佈來判定各分組之該等預設分組重要性值及根據該分組之重要性值來分配給各分組之若干預設碼字之一分配表；針對各碼字分組：藉由將其預設分組重要性值與其差量分組重要性值相加來判定其分組重要性值；基於該分組之分組重要性值及該分配表來判定分配給該碼字分組之碼字數目；及基於分配給各碼字分組之該碼字數目來產生一正向再成形函數。

EEE 21.如EEE20之方法，其中利用該分配表來判定M_k(分配給第k碼字分組之碼字數目)進一步包括：

其中M_a及M_f係該分配表之元素且bin_importance[k]表示第k分組之該分組重要性值。

EEE 22.在包括一或多個處理器之一解碼器中，一種用於重建編碼資料之方法，該方法包括：接收一編碼位元流(122)，該編碼位元流(122)包括呈一第一碼字表示之一或多個編碼再成形影像及與該等編碼再成形影像之再成形資訊相關之元資料(207)；基於與該再成形資訊相關之該元資料來產生(250)一反再成形函數，其中該反再成形函數將來自該第一碼字表示之該再成形影像之像素映射至一第二碼字表示；基於與該再成形資訊相關之該元資料來產生(250)一正向再成形函數，其中該正向再成形函數將來自該第二碼字表示之一影像之像素映射至該第一碼字表示；自該編碼位元流提取包括一或多個編碼單元之一編碼再成形影像，其中針對該編碼再成形影像中之一或多個編碼單元：針對該編碼再成形影像中之一框內編碼編碼單元(CU)：基於該CU中之再成形殘餘及第一再成形預測樣本來產生該CU之第一再成形重建樣本(227)；基於該等第一再成形重建樣本及迴路濾波器參數來產生(270)一再成形迴路濾波器輸出；將該反再成形函數應用(265)於該再成形迴路濾波器輸出以產生呈該第二碼字表示之該編碼單元之解碼樣本；及將呈該第二碼字表示之該編碼單元之該等解碼樣本儲存於一參考緩衝器中；針對該編碼再成形影像中之一框間編碼編碼單元：將該正向再成形函數應用於以該第二碼字表示儲存於該參考緩衝器中之預測樣本以產生第二再成形預測樣本；基於該編碼CU中之再成形殘餘及該等第二再成形預測樣本來產生該編碼單元之第二再成形重建樣本；基於該等第二再成形重建樣本及迴路濾波器參數來產生一再成形迴路濾波器輸出；將該反再成形函數應用於該再成形迴路濾波器輸出以產生呈該第二碼字表示之該編碼單元之樣本；及將呈該第二碼字表示之該編碼單元之該等樣本儲存於一參考緩衝器中；及基於該參考緩衝器中之該等儲存樣本來產生一解碼影像。

EEE 23.一種裝置，其包括一處理器且經組態以執行如EEE 1至22中任一項之方法。

EEE 24.一種非暫時性電腦可讀儲存媒體，其上儲存有根據EEE 1至22之任一項利用一或多個處理器來執行一方法之電腦可執行指令。

附錄1

泡式排序之實例性實施方案

附錄2

作為一實例，此附錄提供根據一實施例之一實例性語法結構及相關聯語法元素以在當前藉由ISO及ITU之發展下支援多功能視訊編解碼器(VVC)(參考文獻[8])中之再成形。突顯或明確提及既有草擬版本中之新語法元素。在最終說明中，方程式編號(如(8-xxx))表示視需要更新之佔位符。

在7.3.2.1序列參數集RBSP語法中

在7.3.3.1一般圖塊群組標頭語法中

新增一新語法表圖塊群組再成形器模型：

在一般序列參數集RBSP語意中，新增以下語意：sps_reshaper_enabled_flag等於1說明再成形器用於編碼視訊序列(CVS)中。sps_reshaper_enabled_flag等於0說明再成形器不用於CVS中。

在圖塊群組標頭語法中，新增以下語意：tile_group_reshaper_model_present_flag等於1說明tile_group_reshaper_model()存在於圖塊群組標頭中。tile_group_reshaper_model_present_flag等於0說明tile_group_reshaper_model()不存在於圖塊群組標頭中。當tile_group_reshaper_model_present_flag不存在時，推斷其等於0。

tile_group_reshaper_enabled_flag等於1說明針對當前圖塊群組啟用再成形器。tile_group_reshaper_enabled_flag等於0說明未針對當前圖塊群組啟用再成形器。當tile_group_reshaper_enable_flag不存在時，推斷其等於0。

tile_group_reshaper_chroma_residual_scale_flag等於1說明針對當前圖塊群組啟用色度殘餘換算。tile_group_reshaper_chroma_residual_scale_flag等於0說明未針對當前圖塊群組啟用色度殘餘換算。當tile_group_reshaper_chroma_residual_scale_flag不存在時，推斷其等於0。

新增tile_group_reshaper_model( )語法

reshaper_model_min_bin_idx指定用於再成形器建構程序中之最小分組(或段)指數。reshaper_model_min_bin_idx之值應在0至MaxBinIdx之範圍內(含0及MaxBinIdx)。MaxBinIdx之值應等於15。

reshaper_model_delta_max_bin_idx指定最大允許分組(或段)指數MaxBinIdx減去用於再成形器建構程序中之最大分組指數。將reshaper_model_max_bin_idx之值設定為等於MaxBinIdx-reshaper_model_delta_max_bin_idx。

- 若reshaper_model_bin_delta_sign_CW_flag[i]等於0，則對應變數RspDeltaCW[i]係一正值。

- 否則(reshaper_model_bin_delta_sign_CW_flag[i]不等於0)，對應變數RspDeltaCW[i]係一負值。

當reshaper_model_bin_delta_sign_CW_flag[i]不存在時，推斷其等於0。

變數RspDeltaCW[i]=(1-2*reshaper_model_bin_delta_sign_CW [i])* reshaper_model_bin_delta_abs_CW[i]；變數RspCW[i]按以下步驟導出：將OrgCW變數設定為等於(1<<BitDepth_Y)/(MaxBinIdx+1)。

- 若reshaper_model_min_bin_idx<=i<=reshaper_model_max_bin_idx，則RspCW[i]=OrgCW+RspDeltaCW[i]。

- 否則，RspCW[i]=0。

若BitDepth_Y之值等於10，則RspCW[i]之值應在32至2 * OrgCW-1之範圍內。

變數InputPivot[i](其中i在0至MaxBinIdx+1之範圍內(含0及MaxBinIdx+1))導出如下：InputPivot[i]=i * OrgCW

變數ReshapePivot[i](其中i在0至MaxBinIdx+1之範圍內(含0及MaxBinIdx+1))、變數ScaleCoef[i]及InvScaleCoeff[i](其中i在0至MaxBinIdx之範圍內(含0及MaxBinIdx))導出如下：

變數ChromaScaleCoef[i](其中i在0至MaxBinIdx之範圍內(含0及 MaxBinIdx))導出如下：

在用於組合合併及框內預測之加權樣本預測程序中新增以下。突顯新增。

8.4.6.6 用於組合合併及框內預測之加權樣本預測程序

此程序之輸入係：- 當前編碼區塊之寬度cbWidth，- 當前編碼區塊之高度cbHeight，- 兩個(cbWidth)×(cbHeight)陣列predSamplesInter及predSamplesIntra，- 框內預測模式predModeIntra，- 指定色彩分量指數之一變數cIdx。

此程序之輸出係預測樣本值之(cbWidth)×(cbHeight)陣列predSamplesComb。

變數bitDepth導出如下：

- 若cIdx等於0，則將bitDepth設定為等於BitDepth_Y。

- 否則，將bitDepth設定為等於BitDepth_C。

預測樣本predSamplesComb[x][y](其中x=0...cbWidth-1及y=0...cbHeight-1)導出如下：

- 加權w導出如下：

- 若predModeIntra係INTRA_ANGULAR50，則w指定於表8-10中，其中nPos等於y且nSize等於cbHeight。

- 否則，若predModeIntra係INTRA_ANGULAR18，則w指定於表8-10中，其中nPos等於x且nSize等於cbWidth。

- 否則，將w設定為等於4。

- 若cIdx等於0，則predSamplesInter導出如下：

- 若tile_group_reshaper_enabled_flag等於1，則shiftY=14

idxY=predSamplesInter[x][y]>>Log2(OrgCW)

predSamplesInter[x][y]=Clip1Y(ReshapePivot[idxY]+(ScaleCoeff[idxY]*(predSamplesInter[x][y]-InputPivot[idxY])+(1<<(shiftY-1)))>>shiftY) (8-xxx)

- 否則(tile_group_reshaper_enabled_flag等於0)

predSamplesInter[x][y]=predSamplesInter[x][y]

- 預測樣本predSamplesComb[x][y]導出如下：predSamplesComb[x][y]=(w * predSamplesIntra[x][y]+(8-w)* predSamplesInter[x][y])>>3) (8-740)

在圖像重建程序中新增以下

8.5.5 圖像重建程序

此程序之輸入係：- 指定相對於當前圖像分量之左上樣本之當前區塊之左上樣本之一位置(xCurr,yCurr)，- 分別指定當前區塊之寬度及高度之變數nCurrSw及nCurrSh，- 指定當前區塊之色彩分量之一變數cIdx，- 指定當前區塊之預測樣本之一(nCurrSw)×(nCurrSh)陣列predSamples，- 指定當前區塊之殘餘樣本之一(nCurrSw)×(nCurrSh)陣列resSamples。

根據色彩分量cIdx之值來進行以下指派：

- 若cIdx等於0，則recSamples對應於重建圖像樣本陣列S_L且函數clipCidx1對應於Clip1_Y。

- 否則，若cIdx等於1，則recSamples對應於重建色度樣本陣列S_Cb且函數clipCidx1對應於Clip1_C。

- 否則(cIdx等於2)，recSamples對應於重建色度樣本陣列S_Cr且函數clipCidx1對應於Clip1_C。

當tile_group_reshaper_enabled_flag之值等於1時，位置(xCurr,yCurr)處之重建樣本陣列recSamples之(nCurrSw)×(nCurrSh)區塊導出為條項8.5.5.1中所指定之映射程序。否則，位置(xCurr,yCurr)處之重建樣本陣列recSamples之(nCurrSw)×(nCurrSh)區塊導出如下：recSamples[xCurr+i][yCurr+j]=clipCidx1(predSamples[i][j]+resSamples[i][j]) (8-xxx)

其中i=0...nCurrSw-1，j=0...nCurrSh-1

8.5.5.1 利用映射程序之圖像重建

此條項指定利用映射程序之圖像重建。8.5.5.1.1中指定用於亮度樣本值之利用映射程序之圖像重建。8.5.5.1.2中指定用於色度樣本值之利用映射程序之圖像重建。

8.5.5.1.1 用於亮度樣本值之利用映射程序之圖像重建

此程序之輸入係：- 指定當前區塊之亮度預測樣本之一(nCurrSw)×(nCurrSh)陣列predSamples，- 指定當前區塊之亮度殘餘樣本之一(nCurrSw)×(nCurrSh)陣列resSamples。

此程序之輸出係：- 一(nCurrSw)×(nCurrSh)映射亮度預測樣本陣列predMapSamples，- 一(nCurrSw)×(nCurrSh)重建亮度樣本陣列recSamples。

predMapSamples導出如下：

- 若(CuPredMode[xCurr][yCurr]==MODE_INTRA)∥(CuPredMode[xCurr][yCurr]==MODE_INTER && mh_intra_flag[xCurr][yCurr])

則predMapSamples[xCurr+i][yCurr+j]=predSamples[i][j](8-xxx)

其中i=0...nCurrSw-1，j=0...nCurrSh-1

- 否則((CuPredMode[xCurr][yCurr]==MODE_INTER && ！mh_intra_flag[xCurr][yCurr]))，適用以下： shiftY=14 idxY=predSamples[i][j]>>Log2(OrgCW)predMapSamples[xCurr+i][yCurr+j]=ReshapePivot[idxY]+(ScaleCoeff[idxY]*(predSamples[i][j]-InputPivot[idxY])+(1<<(shiftY-1)))>>shiftY (8-xxx)

其中i=0...nCurrSw-1，j=0...nCurrSh-1

recSamples導出如下：recSamples[xCurr+i][yCurr+j]=Clip1_Y (predMapSamples[xCurr+i][yCurr+j]+resSamples[i][j]]) (8-xxx)

其中i=0...nCurrSw-1，j=0...nCurrSh-1

8.5.5.1.2 用於色度樣本值之利用映射程序之圖像重建

此程序之輸入係：- 指定當前區塊之映射亮度預測樣本之一(nCurrSwx2)×(nCurrShx2)陣列映射predMapSamples，- 指定當前區塊之色度預測樣本之一(nCurrSw)×(nCurrSh)陣列predSamples，- 指定當前區塊之色度殘餘樣本之一(nCurrSw)×(nCurrSh)陣列resSamples。

此程序之輸出係重建色度樣本陣列recSamples。

recSamples導出如下：

- 若(！tile_group_reshaper_chroma_residual_scale_flag∥((nCurrSw)x(nCurrSh)<=4))

則recSamples[xCurr+i][yCurr+j]=Clip1_C(predSamples[i][j]+resSamples[i][j]) (8-xxx)

其中i=0...nCurrSw-1，j=0...nCurrSh-1

- 否則(tile_group_reshaper_chroma_residual_scale_flag && ((nCurrSw)×(nCurrSh)>4))，適用以下：

變數varScale導出如下：

1. invAvgLuma=Clip1_Y((Σ_iΣ_jpredMapSamples[(xCurr<<1)+i][(yCurr<<1)+j]+nCurrSw * nCurrSh *2)/(nCurrSw * nCurrSh *4))

2.藉由涉及利用樣本值invAvgLuma之輸入識別條項8.5.6.2中所指定之分段函數指數來導出變數idxYInv。

3. varScale=ChromaScaleCoef[idxYInv]

recSamples導出如下：- 若tu_cbf_cIdx[xCurr][yCurr]等於1，則適用以下：shiftC=11 recSamples[xCurr+i][yCurr+j]=ClipCidx1(predSamples[i][j]+Sign(resSamples[i][j])*((Abs(resSamples[i][j])* varScale+(1<<(shiftC-1)))>>shiftC)) (8-xxx)

其中i=0...nCurrSw-1，j=0...nCurrSh-1

- 否則(tu_cbf_cIdx[xCurr][yCurr]等於0)

recSamples[xCurr+i][yCurr+j]=ClipCidx1(predSamples[i][j]) (8-xxx)

其中i=0...nCurrSw-1，j=0...nCurrSh-1

8.5.6 圖像反映射程序

當tile_group_reshaper_enabled_flag之值等於1時，調用此條項。輸入係重建圖像亮度樣本陣列S_L且輸出係反映射程序之後之經修改之重建圖像亮度樣本陣列S'_L。

8.4.6.1 中指定用於亮度樣本值之反映射程序。

8.5.6.1 亮度樣本值之圖像反映射程序

此程序之輸入係指定相對於當前圖像之左上亮度樣本之亮度樣本位置之一亮度位置(xP,yP)。

此程序之輸出係一反映射亮度樣本值invLumaSample。

藉由應用以下有序步驟來導出invLumaSample之值：

1.藉由調用利用亮度樣本值之輸入S_L[xP][yP]識別條項8.5.6.2中所指定之分段函數指數來導出變數idxYInv。

2. reshapeLumaSample之值導出如下：shiftY=14 invLumaSample=InputPivot[dxYInv]+(InvScaleCoeff[idxYInv]*(S_t[xP][yP]-ReshapePivot[idxYInv])+(1<<(shiftY-1)))>>ShiftY (8-xxx)

3. clipRange=((reshaper_model_min_bin_idx>0)&&(reshaper_model_max_bin_idx<MaxBinIdx))；當clipRange等於1時，適用以下：minVal=16<<(BitDepth_Y-8)

maxVal=235<<(BitDepth_Y-8)

invLumaSample=Clip3(maxVal,maxVal,invLumaSample)

否則(clipRange等於0)，適用以下：invLumaSample=ClipCidx1(invLumaSample)

8.5.6.2 用於亮度分量之分段函數指數之識別

此程序之輸入係一亮度樣本值S。

此程序之輸出係識別樣本S所屬之段之一指數idxS。變數idxS導出如下：

應注意，用於找到識別符idxS之一替代實施方案係如下：

200D_D‧‧‧架構

265-3‧‧‧反再成形函數

270‧‧‧迴路濾波

280‧‧‧框間預測器/框間預測區塊

282‧‧‧正向再成形函數

284‧‧‧框內預測區塊

285‧‧‧重建模組

Claims

一種利用一或多個處理器來重建編碼視訊資料之方法，該方法包括：接收一編碼位元流，該編碼位元流包括以一輸入碼字(codeword)表示之一或多個編碼再成形影像(reshaped images)；接收該編碼位元流中之該一或多個編碼再成形影像之再成形元資料(metadata)，其中該再成形元資料包括基於該再成形元資料來產生一正向再成形函數(forward reshaping function)之參數，其中該正向再成形函數將來自一第一碼字表示之一影像之像素映射(maps)至該輸入碼字表示，其中該再成形元資料包括：一第一參數，其指示用於再成形中之一最小分組指數(bin index)；一第二參數，其用以判定用於該再成形中之一有效(active)最大分組指數，其中該有效最大分組指數小於或等於一預定最大分組指數，且判定該有效最大分組指數包括計算該預定最大分組指數與該第二參數之間之一差；以該輸入碼字表示之各有效分組之絕對差量(delta)碼字值；及以該輸入碼字表示之各有效分組之該等絕對差量碼字值之正負號(signs)；基於該再成形元資料來產生一正向再成形函數；基於該再成形元資料或該正向再成形函數來產生一反再成形函數(inverse reshaping function)，其中該反再成形函數將來自該輸入碼字表示之一再成形影像之像素映射至該第一碼字表示；及基於該正向再成形函數及該反再成形函數來解碼該編碼位元流。
如請求項1之方法，其中該正向再成形函數重建為具有由該再成形元資料導出之線性分段之一分段(piece-wise)線性函數。
一種利用一處理器來使一視訊序列的適應性再成形(adaptive reshaping)之方法，該方法包括：利用一處理器來存取以一第一碼字表示之一輸入影像；及產生一正向再成形函數，該正向再成形函數將該輸入影像之像素映射至一第二碼字表示，其中產生該正向再成形函數包括：將該輸入影像分成多個像素區域；根據各像素區域之一第一亮度特性(luminance characteristic)來將該等像素區域之各者指派給多個碼字分組之一者；根據指派給該多個碼字分組之各者之該等像素區域之各者之一第二亮度特性來計算該多個碼字分組之各者之一分組度量(bin metric)；根據該多個碼字分組之各者之該分組度量及一率失真最佳化準則(rate distortion optimization criterion)來將以該第二碼字表示之一數目個碼字分配給該多個碼字分組之各者；回應於該將以該第二碼字表示之碼字分配給該多個碼字分組之各者而產生該正向再成形函數；及產生再成形參數以代表該正向再成形函數，其中該等再成形參數包括：一第一參數，其用以判定用於再成形之一有效最大碼字分組指數，其中該有效最大碼字分組指數小於或等於一預定最大碼字分組指數；一第二參數，其指示用於該再成形中之一最小碼字分組指數；以該第一碼字表示之各有效碼字分組之絕對差量碼字值；及以該第一碼字表示之各有效碼字分組之該等絕對差量碼字值之正負號。
如請求項3之方法，其中一像素區域之該第一亮度特性包括該像素區域中之平均亮度像素值。
如請求項3之方法，其中一像素區域之該第二亮度特性包括該像素區域中之亮度像素值之方差(variance)。
如請求項5之方法，其中計算一碼字分組之一分組度量包括計算指派給該碼字分組之所有像素區域之亮度像素值之方差之平均值。
如請求項3之方法，其中根據一碼字分組之分組度量來將以該第二碼字表示之一數目個碼字分配給該碼字分組包括：若未指派像素區域給該碼字分組，則不指派碼字給該碼字分組；若該碼字分組之該分組度量低於一上臨限值，則指派一第一數目個碼字；及否則將一第二數目個碼字指派給該碼字分組。
一種電子裝置，其包括一處理器且經組態以執行如請求項1之方法。
一種非暫時性電腦可讀儲存媒體，其上儲存有根據請求項1利用一或多個處理器來執行一方法之電腦可執行指令。
一種重建編碼視訊資料之方法，該方法包括：接收一編碼位元流，該編碼位元流包括以一輸入碼字表示之一或多個編碼再成形圖像(pictures)；接收該編碼位元流中之該一或多個編碼再成形圖像之再成形元資料；其中該再成形元資料包括：一第一參數，其用以判定用於再成形中之一最小分組指數；一第二參數，其用以判定用於該再成形中之一有效最大分組指數，其中該有效最大分組指數小於或等於一預定最大分組指數，且判定該有效最大分組指數包括計算該預定最大分組指數與該第二參數之間之一差；一第一組參數，其等指示以該輸入碼字表示之各有效分組之絕對差量碼字值；及一第二組參數，其等指示以該輸入碼字表示之各有效分組之該等差量碼字值之正負號；基於該再成形元資料來產生一正向再成形函數，其中該正向再成形函數將來自一第一碼字表示之一圖像之像素映射至該輸入碼字表示；基於該再成形元資料或該正向再成形函數來產生一反再成形函數，其中該反再成形函數將來自該輸入碼字表示之一再成形圖像之像素映射至該第一碼字表示；自該編碼位元流提取包括一或多個編碼單元之一編碼再成形圖像，其中：針對該編碼再成形圖像中之一框間編碼(inter-coded)CU(框間CU)：將該正向再成形函數應用於以該第一碼字表示儲存於一參考緩衝器中之框間預測樣本以產生以該輸入碼字表示之該框間CU之再成形預測樣本；基於該框間CU中之再成形殘餘及該框間CU之該等再成形預測樣本來產生該框間CU之再成形重建樣本；將該反再成形函數應用於該框間CU之該等再成形重建樣本以產生以該第一碼字表示之該框間CU之解碼樣本；將一迴路濾波器應用於該框間CU之該等解碼樣本以產生該框間CU之輸出樣本；及將該框間CU之該等輸出樣本儲存於該參考緩衝器中；及基於該參考緩衝器中之輸出樣本來產生以該第一碼字表示之一解碼圖像。
如請求項10之方法，其中產生該框間CU之一再成形重建樣本(RecSample)包括計算：RecSample=(Res+Fwd(PredSample)), 其中Res表示以該輸入碼字表示之該框間CU中之一再成形殘餘，Fwd()表示該正向再成形函數，且PredSample表示以該第一碼字表示之一框間預測樣本。
如請求項11之方法，其中產生儲存於該參考緩衝器中之一輸出樣本(RecSampleInDPB)包括計算：RecSampleInDPB=LPF(Inv(RecSample)),其中Inv()表示該反再成形函數且LPF()表示一迴路濾波器。
如請求項10之方法，其中針對呈該輸入碼字表示之該框間編碼CU(框間CU)中之色度殘餘樣本，該方法進一步包括：基於呈該輸入碼字表示之亮度像素值及該再成形元資料來判定一色度換算因數；使該框間CU中之該等色度殘餘樣本與該色度換算因數相乘以產生呈該第一碼字表示之該框間CU中之經換算色度殘餘樣本；基於該框間CU中之該等經換算色度殘餘及儲存於該參考緩衝器中之色度框間預測樣本來產生該框間CU之重建色度樣本以產生該框間CU之解碼色度樣本；將該迴路濾波器應用於該框間CU之該等解碼色度樣本以產生該框間CU之輸出色度樣本；及將該框間CU之該等輸出色度樣本儲存於該參考緩衝器中。
如請求項13之方法，其中在框間模式中，該色度換算因數係基於呈該輸入碼字表示之框間預測亮度值之一平均值。
如請求項10之方法，其中該正向再成形函數重建為具有由該再成形元資料導出之線性分段之一分段線性函數。