TW201918068A - 用於非4:4:4之格式視訊內容的彩色重映射 - Google Patents

用於非4:4:4之格式視訊內容的彩色重映射 Download PDF

Info

Publication number
TW201918068A
TW201918068A TW107123168A TW107123168A TW201918068A TW 201918068 A TW201918068 A TW 201918068A TW 107123168 A TW107123168 A TW 107123168A TW 107123168 A TW107123168 A TW 107123168A TW 201918068 A TW201918068 A TW 201918068A
Authority
TW
Taiwan
Prior art keywords
component
sample
samples
video
matrix
Prior art date
Application number
TW107123168A
Other languages
English (en)
Inventor
阿達許 克里許納 瑞瑪蘇布雷蒙尼安
喬爾 索爾 羅傑爾斯
丹姆裘 瑞斯諾斯基
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201918068A publication Critical patent/TW201918068A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一視訊解碼器經組態以重建構一當前圖像之一第一版本；藉由將一第一矩陣應用於包含第一、第二及第三分量之樣本的一三重組判定該第一分量之一變換樣本、該第二分量之一變換樣本及該第三分量之一變換樣本；將該等第一、第二及第三分量之該等變換樣本包括在該當前圖像之一第二版本中；基於該等第一、第二及第三分量之該等變換樣本及一第二矩陣之一第一列判定該第三分量之一組變換樣本，該第三分量之該組變換樣本包括該第三分量之緊鄰該第三分量之該變換樣本的樣本；及將該第三分量之該組變換樣本包括在該當前圖像之該第二版本中。

Description

用於非4:4:4之格式視訊內容的彩色重映射
本發明係關於經組態以執行視訊編碼及視訊解碼之裝置。
數位視訊能力可併入至廣泛範圍之裝置中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄裝置、數位媒體播放器、視訊遊戲裝置、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議裝置、視訊串流裝置及其類似者。數位視訊裝置實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、ITU-T H.265定義之標準、高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的彼等技術。視訊裝置可藉由實施此等視訊壓縮技術而更高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
本發明描述用於視訊編碼及視訊解碼之技術。更特定而言，本發明描述與色彩-空間轉換寫碼相關的技術。用於對諸如4:2:0或4:2:2視訊之非4:4:4視訊執行色彩-空間轉換之現有技術包括：在一第一色彩空間中將該視訊向上轉換至一4:4:4格式；在該4:4:4格式中將該視訊轉換至一第二色彩空間；及在該第二色彩空間中將該視訊資料自該4:4:4格式向下轉換至該非4:4:4格式。本發明之技術以使得視訊編碼及視訊解碼裝置能夠省略自4:2:0至4:4:4之上取樣及自4:4:4至4:2:0之下取樣步驟的方式，允許該等視訊編碼及視訊解碼裝置針對4:2:0內容執行彩色重映射。由於上取樣及下取樣通常需要相當多的記憶體及處理資源，且本發明之該色彩-空間轉換技術可允許視訊編碼及視訊解碼裝置獲得基於色彩-空間之寫碼工具的益處，而無現有色彩-空間轉換技術所需的該上取樣及下取樣所產生的硬體資源之高代價負擔。
在一個實例中，一種處理視訊資料之方法包括：接收包含該視訊資料之一經編碼表示之一位元串流；基於該位元串流重建構該視訊資料之一當前圖像之一第一版本，其中：根據一取樣格式將該當前圖像之該第一版本格式化，在該取樣格式中，一第一分量及一第二分量之樣本相比一第三分量之樣本較少，該當前圖像之該第一版本包括該第一分量之一樣本、該第二分量之一樣本及該第三分量之一樣本，及該第三分量之該樣本對應於該第一分量之該樣本及該第二分量之該樣本；藉由將一第一矩陣應用於包含該第一分量之該樣本、該第二分量之該樣本及該第三分量之該樣本的一三重組判定該第一分量之一變換樣本、該第二分量之一變換樣本及該第三分量之一變換樣本；將該第一分量之該變換樣本、該第二分量之該變換樣本及該第三分量之該變換樣本包括在該當前圖像之一第二版本中；基於該第一分量之該變換樣本、該第二分量之該變換樣本、該第三分量之該變換樣本及一第二矩陣之一第一列判定該第三分量之一組變換樣本，該第三分量之該組變換樣本包括該第三分量之緊鄰該第三分量之該變換樣本的樣本；及將該第三分量之該組變換樣本包括在該當前圖像之該第二版本中。
根據另一實例，一種用於處理視訊資料之裝置包括：一記憶體，其經組態以儲存包含該視訊資料之一經編碼表示之一位元串流；及一或多個處理器，其經組態以進行以下操作：基於該位元串流重建構該視訊資料之一當前圖像之一第一版本，其中根據一取樣格式將該當前圖像之該第一版本格式化，在該取樣格式中，一第一分量及一第二分量之樣本相比一第三分量之樣本較少，該當前圖像之該第一版本包括該第一分量之一樣本、該第二分量之一樣本及該第三分量之一樣本，及該第三分量之該樣本對應於該第一分量之該樣本及該第二分量之該樣本，藉由將一第一矩陣應用於包含該第一分量之該樣本、該第二分量之該樣本及該第三分量之該樣本的一三重組判定該第一分量之一變換樣本、該第二分量之一變換樣本及該第三分量之一變換樣本；將該第一分量之該變換樣本、該第二分量之該變換樣本及該第三分量之該變換樣本包括在該當前圖像之一第二版本中；基於該第一分量之該變換樣本、該第二分量之該變換樣本、該第三分量之該變換樣本及一第二矩陣之一第一列判定該第三分量之一組變換樣本，該第三分量之該組變換樣本包括該第三分量之緊鄰該第三分量之該變換樣本的樣本；及將該第三分量之該組變換樣本包括在該當前圖像之該第二版本中。
根據另一實例，一種電腦可讀儲存媒體儲存在由一或多個處理器執行時使得該一或多個處理器進行以下操作的指令：接收包含視訊資料之一經編碼表示之一位元串流；基於該位元串流重建構該視訊資料之一當前圖像之一第一版本，其中根據一取樣格式將該當前圖像之該第一版本格式化，在該取樣格式中，一第一分量及一第二分量之樣本相比一第三分量之樣本較少，該當前圖像之該第一版本包括該第一分量之一樣本、該第二分量之一樣本及該第三分量之一樣本，及該第三分量之該樣本對應於該第一分量之該樣本及該第二分量之該樣本；藉由將一第一矩陣應用於包含該第一分量之該樣本、該第二分量之該樣本及該第三分量之該樣本的一三重組判定該第一分量之一變換樣本、該第二分量之一變換樣本及該第三分量之一變換樣本；將該第一分量之該變換樣本、該第二分量之該變換樣本及該第三分量之該變換樣本包括在該當前圖像之一第二版本中；基於該第一分量之該變換樣本、該第二分量之該變換樣本、該第三分量之該變換樣本及一第二矩陣之一第一列判定該第三分量之一組變換樣本，該第三分量之該組變換樣本包括該第三分量之緊鄰該第三分量之該變換樣本的樣本；及將該第三分量之該組變換樣本包括在該當前圖像之該第二版本中。
根據另一實例，一種用於處理視訊資料之裝置包括：用於接收包含該視訊資料之一經編碼表示之一位元串流的構件；用於基於該位元串流重建構該視訊資料之一當前圖像之一第一版本的構件，其中該當前圖像之該第一版本根據一取樣格式進行格式化，在該取樣格式中，一第一分量及一第二分量之樣本相比一第三分量之樣本較少，該當前圖像之該第一版本包括該第一分量之一樣本、該第二分量之一樣本及該第三分量之一樣本，及該第三分量之該樣本對應於該第一分量之該樣本及該第二分量之該樣本；用於藉由將一第一矩陣應用於包含該第一分量之該樣本、該第二分量之該樣本及該第三分量之該樣本的一三重組判定該第一分量之一變換樣本、該第二分量之一變換樣本及該第三分量之一變換樣本的構件；用於將該第一分量之該變換樣本、該第二分量之該變換樣本及該第三分量之該變換樣本包括在該當前圖像之一第二版本中的構件；用於基於該第一分量之該變換樣本、該第二分量之該變換樣本、該第三分量之該變換樣本及一第二矩陣之一第一列判定該第三分量之一組變換樣本的構件，該第三分量之該組變換樣本包括該第三分量之緊鄰該第三分量之該變換樣本的樣本；及用於將該第三分量之該組變換樣本包括在該當前圖像之該第二版本中的構件。
在隨附圖式及以下描述中闡述本發明之一或多個態樣的細節。本發明中所描述之技術的其他特徵、目標及優點將自描述、圖式及申請專利範圍顯而易見。
本申請案主張2017年7月5日申請之美國臨時專利申請案第62/528,722號之權益，該申請案之全部內容特此以引用之方式併入。
本發明描述用於視訊編碼及視訊解碼之技術。最近定案之高效視訊寫碼(HEVC)標準的擴展及後續標準正經設計以潛在地支援高位元深度(例如，超過8位元)、廣色域(WCG)，及/或高色度取樣格式，且因此，正經設計以包括未包括於中基本HEVC標準中的新的寫碼工具。
一個此寫碼工具為色彩-空間轉換寫碼。在色彩-空間轉換寫碼中，視訊編碼器可將殘餘資料自第一色彩空間轉換至第二色彩空間，以便達成較佳寫碼品質(例如，較佳速率-失真取捨)。各種其他寫碼工具亦利用色彩-空間轉換在不同於原始視訊資料之色彩空間的一色彩空間中執行映射、截割、濾波及其他此等程序。用於對諸如4:2:0或4:2:2視訊之非4:4:4視訊執行色彩-空間轉換之現有技術包括：在第一色彩空間中將視訊向上轉換至4:4:4格式；在4:4:4格式中將視訊轉換至第二色彩空間；及在第二色彩空間中將視訊資料自4:4:4格式向下轉換至非4:4:4格式。兩個色彩空間可(例如)為YCbCr色彩空間及RGB色彩空間，或可為具有第一動態範圍之YCbCr色彩空間及具有第二動態範圍之YCbCr色彩空間。
本發明之技術以使得視訊編碼及視訊解碼裝置能夠省略自4:2:0至4:4:4之上取樣及自4:4:4至4:2:0之下取樣步驟的方式，藉由(例如)將3×3矩陣乘法應用至4:2:0內容，允許視訊編碼及視訊解碼裝置執行彩色重映射。由於上取樣及下取樣通常需要相當多的記憶體及處理資源，且本發明之色彩-空間轉換技術可允許視訊編碼及視訊解碼裝置獲得基於色彩-空間之寫碼工具的益處，而無現有色彩-空間轉換技術所需的上取樣及下取樣所產生的硬體資源之昂貴負擔。
圖1為說明可利用本發明之技術之實例視訊編碼及解碼系統10的方塊圖。如圖1中所示，系統10包括源裝置12，其提供稍後將由目的地裝置14解碼的經編碼視訊資料。特定言之，源裝置12經由電腦可讀媒體16將經編碼視訊資料提供至目的地裝置14。源裝置12及目的地裝置14可為廣泛範圍之裝置中之任一者，包括桌上型電腦、筆記型(例如，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」手機之電話手機、平板電腦、電視、攝影機、顯示裝置、數位媒體播放器、視訊遊戲控制台、視訊串流裝置或其類似者。在一些狀況下，源裝置12及目的地裝置14經裝備用於無線通信。因此，源裝置12及目的地裝置14可為無線通信裝置。可將本發明中所描述之技術應用於無線及/或有線應用。源裝置12為實例視訊編碼裝置(亦即，用於編碼視訊資料之裝置)。目的地裝置14為實例視訊解碼裝置(亦即，用於解碼視訊資料之裝置)。
圖1之所說明系統10僅係一個實例。用於處理視訊資料之技術可由任何數位視訊編碼及/或解碼裝置來執行。在一些實例中，該等技術可由視訊編碼器/解碼器(通常稱為「編解碼器」)執行。源裝置12及目的地裝置14為源裝置12產生經寫碼視訊資料用於傳輸至目的地裝置14之此類寫碼裝置的實例。在一些實例中，源裝置12及目的地裝置14以實質上對稱方式操作，使得源裝置12及目的地裝置14中的每一者包括視訊編碼及解碼組件。因此，系統10可支援源裝置12與目的地裝置14之間的單向或雙向視訊傳輸，例如用於視訊串流、視訊播放、視訊廣播或視訊電話。
在圖1之實例中，源裝置12包括視訊源18、經組態以儲存視訊資料之儲存媒體19、視訊編碼器20及輸出介面22。目的地裝置14包括輸入介面26、經組態以儲存經編碼視訊資料之儲存媒體28、視訊解碼器30及顯示裝置32。在其他實例中，源裝置12及目的地裝置14可包括其他組件或配置。舉例而言，源裝置12可自外部視訊源(諸如，外部攝影機)接收視訊資料。同樣地，目的地裝置14可與外部顯示裝置介接，而非包括整合式顯示裝置。
視訊源18為視訊資料之源。視訊資料可包括一系列圖像。視訊源18可包括視訊俘獲裝置，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊資料之視訊饋入介面。在一些實例中，視訊源18產生基於電腦圖形之視訊資料或實況視訊、存檔視訊及電腦產生之視訊之組合。儲存媒體19可經組態以儲存視訊資料。在每一狀況下，所俘獲、所預先俘獲或電腦產生之視訊可藉由視訊編碼器20編碼。
輸出介面22可將經編碼視訊資訊輸出至電腦可讀媒體16。輸出介面22可包括各種類型之組件或裝置。舉例而言，輸出介面22可包含無線傳輸器、數據機、有線網路連接組件(例如，乙太網路卡)或另一實體組件中之一或多者。在輸出介面22包括無線傳輸器的實例中，輸出介面22可經組態以傳輸根據諸如4G、4G-LTE、LTE高階、5G及其類似者之蜂巢式通信標準進行調變的資料，諸如經編碼視訊資料。在輸出介面22包括無線傳輸器之一些實例中，輸出介面22可經組態以傳輸根據其他無線標準調變的諸如經編碼視訊資料之資料，該等標準諸如IEEE 802.11規範、IEEE 802.15規範(例如，ZigBee™)、Bluetooth™標準及其類似者。在一些實例中，輸出介面22之電路整合於源裝置12之視訊編碼器20及/或其他組件之電路中。舉例而言，視訊編碼器20及輸出介面22可為系統單晶片(SoC)之部分。SoC亦可包括其他組件，諸如，通用微處理器、圖形處理單元等。
目的地裝置14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可為能夠將經編碼視訊資料自源裝置12移動目的地裝置14的任何類型之媒體或裝置。在一些實例中，電腦可讀媒體16可為允許源裝置12即時地將經編碼視訊資料直接傳輸至目的地裝置14的通信媒體。通信媒體可為任何無線或有線通信媒體或其組合，諸如射頻(RF)頻譜及/或一或多條實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或任何其他可用於促進自源裝置12至目的地裝置14的通信之設備。目的地裝置14可包括經組態以儲存經編碼視訊資料及經解碼視訊資料之一或多個資料儲存媒體。
在一些實例中，輸出介面22可將諸如經編碼視訊資料之資料輸出至中間裝置，諸如儲存裝置。類似地，目的地裝置14之輸入介面26可自中間裝置接收經編碼資料。中間裝置可包括多種分佈式或本端存取之資料儲存媒體中之任一者，諸如硬碟機、Blu-rayTM 光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在一些實例中，中間裝置對應於檔案伺服器。檔案伺服器之實例包括網頁伺服器、FTP伺服器、網路附接儲存(NAS)裝置或本機磁碟機。
目的地裝置14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)或兩者之組合。自儲存裝置的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。
電腦可讀媒體16可包括：暫時性媒體，諸如無線廣播或有線網路傳輸；或儲存媒體(例如，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、Blu-rayTM 光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(圖中未示)可自源裝置12接收經編碼視訊資料，且(例如)經由網路傳輸將經編碼視訊資料提供至目的地裝置14。類似地，媒體產生設施(諸如光碟衝壓設施)之計算裝置可自源裝置12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體16可理解為包括各種形式之一或多個電腦可讀媒體。
目的地裝置14之輸入介面26自電腦可讀媒體16接收資料。輸出介面26可包括各種類型之組件或裝置。舉例而言，輸出介面26可包括無線接收器、數據機、有線網路連接組件(例如，乙太網路卡)或另一實體組件。在輸入介面26包括無線接收器之實例中，輸入介面26可經組態以接收根據蜂巢式通信標準(諸如，4G、4G-LTE、進階LTE、5G及類似者)進行調變之資料，諸如位元串流。在輸入介面26包括無線接收器之一些實例中，輸入介面26可經組態以接收根據諸如IEEE 802.11規範、IEEE 802.15規範(例如，ZigBee™)、Bluetooth™標準及其類似者之其他無線標準而調變的資料，諸如位元串流。在一些實例中，輸入介面26之電路可整合於目的地裝置14之視訊解碼器30及/或其他組件之電路中。舉例而言，視訊解碼器30及輸入介面26可為SoC之部分。SoC亦可包括其他組件，諸如，通用微處理器、圖形處理單元等。
儲存媒體28可經組態以儲存經編碼視訊資料，諸如藉由輸入介面26接收之經編碼視訊資料(例如，位元串流)。顯示裝置32將經解碼視訊資料顯示給使用者。顯示裝置32可為多種顯示裝置之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示裝置。
視訊編碼器20及視訊解碼器30各自可實施為多種適合電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時，裝置可將用於軟體之指令儲存於適合的非暫時性電腦可讀媒體中，且可使用一或多個處理器在硬體中執行該等指令，以執行本發明之技術。視訊編碼器20及視訊解碼器30中的每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中的任一者可整合為各別裝置中的組合式編碼器/解碼器(編解碼器)之部分。
在一些實例中，視訊編碼器20及視訊解碼器30根據視訊寫碼標準或規範編碼及解碼視訊資料。舉例而言，視訊編碼器20及視訊解碼器30可根據ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦被稱作ISO/IEC MPEG-4 AVC)(包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展)或另一視訊寫碼標準或規範而編碼及解碼視訊資料。在一些實例中，視訊編碼器20及視訊解碼器30根據高效視訊寫碼(HEVC) (其被稱為ITU-T H.265)、其範圍及螢幕內容寫碼擴展、其3D視訊寫碼擴展(3D-HEVC)、其多視圖擴展(MV-HEVC)或其可調式擴展(SHVC)而編碼及解碼視訊資料。HEVC已由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)的視訊寫碼聯合協作小組(JCT-VC)開發。
ITU-T VCEG (Q6/16)及ISO/IEC MPEG (JTC 1/SC 29/WG 11)現正研究對於將具有顯著超過當前HEVC標準(包括其當前擴展及針對螢幕內容寫碼及高動態範圍寫碼的近期擴展)之壓縮能力的未來視訊寫碼技術標準化的潛在需要。該等群組正共同致力於聯合合作工作(被稱為聯合視訊探索小組(JVET))中之此探索活動，以評估由此領域中之專家建議的壓縮技術設計。
JVET在2015年10月19日至21日期間第一次會面。包括演算法描述的JVET參考軟體之一個版本闡述於J. Chen、E. Alshina、G. J. Sullivan、J.-R. Ohm、J. Boyce在2017年1月JVET-E1001 「Algorithm Description of Joint Exploration Test Model 5 (JEM 5)」的文件聯合探索模型5 (JEM 5)中。JVET參考軟體之另一個版本描述於J. Chen、E. Alshina、G. J. Sullivan、J.-R. Ohm、J. Boyce在2017年4月JVET-F1001 「Algorithm description of Joint Exploration Test Model 6 (JEM 6)」的文件聯合探索模型6 (Jem 6)中。JVET參考軟體之另一個版本描述於J. Chen、E. Alshina、G. J. Sullivan、J.-R. Ohm、J. Boyce在2017年7月JVET-G1001 「Algorithm description of Joint Exploration Test Model 7 (JEM 7)」的文件聯合探索模型7 (JEM 7)中。
本發明之某些技術可參考H.264及/或HEVC進行描述以輔助理解，但該等技術描述並不限於H.264或HEVC，且可結合另一寫碼標準及另一寫碼工具使用。經設想，例如，本文中描述之技術可與當前處於開發中的H.266標準及其擴展一起使用。
本發明通常可指「發信」某一資訊，諸如語法元素。術語「發信」可通常指用於解碼經編碼視訊資料的語法元素及/或其他資料之傳達。此通信可即時地或近乎即時地發生。替代地，可歷時一時間跨度而發生此通信，諸如此通信可在以下時候發生：在編碼時，將位元流中之語法元素儲存至電腦可讀儲存媒體，該等語法元素隨後可在儲存於此媒體之後由解碼裝置在任何時間進行擷取。
在HEVC及其他視訊寫碼規範中，視訊資料包括一系列圖像。圖像亦可被稱為「圖框」。圖像可包括一或多個樣本陣列。圖像之每一各別樣本陣列可包括各別色彩分量之樣本陣列。圖像可包括三個樣本陣列，指示為SL 、SCb 及SCr 。SL 為明度樣本之二維陣列(即，區塊)。SCb 為Cb色度樣本之二維陣列。SCr 為Cr色度樣本之二維陣列。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。
作為編碼視訊資料之部分，視訊編碼器20可編碼視訊資料之圖像。換言之，視訊編碼器20可產生視訊資料之圖像之經編碼表示。圖像之經編碼表示在本文中可被稱作「經寫碼圖像」或「經編碼圖像」。
為產生圖像之經編碼表示，視訊編碼器20可編碼圖像之區塊。視訊編碼器20可將視訊區塊之經編碼表示包括於位元串流中。在一些實例中，為編碼圖像之區塊，視訊編碼器20執行框內預測或框間預測以產生一或多個預測性區塊。此外，視訊編碼器20可產生用於區塊之殘餘資料。殘餘區塊包括殘餘樣本。每一殘餘樣本可指示所產生之預測性區塊中之一者之樣本與區塊之對應樣本之間的差異。視訊編碼器20可將變換應用於殘餘樣本之區塊以產生變換係數。此外，視訊編碼器20可量化變換係數。在一些實例中，視訊編碼器20可產生一或多個語法元素以表示變換係數。視訊編碼器20可熵編碼表示變換係數之語法元素中之一或多者。
更特定言之，當根據HEVC或其他視訊寫碼規範編碼視訊資料時，為產生圖像之經編碼表示，視訊編碼器20可將圖像之每一樣本陣列分割成寫碼樹型區塊(CTB)且編碼CTB。CTB可為圖像之樣本陣列中的樣本之N×N區塊。在HEVC主規範中，CTB之大小可介於16×16至64×64之範圍(儘管技術上可支援8×8 CTB大小)。
圖像之寫碼樹型單元(CTU)可包括一或多個CTB且可包括用以編碼該一或多個CTB之樣本的語法結構。舉例而言，每一CTU可包括明度樣本之CTB、色度樣本之兩個對應CTB，及用以編碼CTB之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包括單一CTB及用以編碼CTB之樣本的語法結構。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。在本發明中，「語法結構」可經定義為按指定次序一起在位元串流中呈現的零或多個語法元素。在一些編解碼器中，經編碼圖像為含有圖像之所有CTU的經編碼表示。
為編碼圖像之CTU，視訊編碼器20可將CTU之CTB分割成一或多個寫碼區塊。寫碼區塊為樣本之N×N區塊。在一些編解碼器中，為編碼圖像之CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞回地執行四分樹分割以將CTB分割成寫碼區塊，因此命名為「寫碼樹型單元」。寫碼單元(CU)可包括一或多個寫碼區塊及用以編碼一或多個寫碼區塊之樣本的語法結構。舉例而言，CU可包括具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊，及色度樣本之兩個對應寫碼區塊，及用於對該等寫碼區塊之樣本進行編碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包括單一寫碼區塊及用於寫碼該寫碼樹型區塊之樣本的語法結構。
另外，視訊編碼器20可編碼視訊資料之圖像之CU。在一些編解碼器中，作為編碼CU之部分，視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為供應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包括CU之一或多個預測區塊，及用以預測該一或多個預測區塊之語法結構。舉例而言，PU可包括明度樣本之預測區塊、色度樣本之兩個對應預測區塊，及用以對預測區塊進行預測之語法結構。在單色圖像或包含三個單獨色彩平面之圖像中，PU可包括單一預測區塊及用於對該預測區塊進行預測之語法結構。
視訊編碼器20可產生用於CU之PU的預測區塊(例如，明度、Cb及Cr預測區塊)之預測性區塊(例如，明度、Cb及Cr預測性區塊)。視訊編碼器20可使用框內預測或框間預測以產生預測性區塊。若視訊編碼器20使用框內預測以產生預測性區塊，則視訊編碼器20可基於包括CU的圖像之經解碼樣本產生預測性區塊。若視訊編碼器20使用框間預測以產生當前圖像之PU之預測性區塊，則視訊編碼器20可基於參考圖像(亦即，除當前圖像外之圖像)之經解碼樣本產生PU之預測性區塊。
視訊編碼器20可產生CU之一或多個殘餘區塊。舉例而言，視訊編碼器20可產生用於CU之明度殘餘區塊。CU之明度殘餘區塊中之每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中之每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。
此外，視訊編碼器20可將CU之殘餘區塊分解成一或多個變換區塊。舉例而言，視訊編碼器20可使用四分樹分割以將CU之殘餘區塊分解成一或多個變換區塊。變換區塊為應用相同變換之樣本的矩形(亦即，正方形或非正方形)區塊。CU之變換單元(TU)可包括一或多個變換區塊。舉例而言，TU可包括明度樣本之變換區塊、色度樣本之兩個對應變換區塊，及用以對變換區塊樣本進行變換之語法結構。因此，CU之每一TU可具有明度變換區塊、Cb變換區塊以及Cr變換區塊。TU之明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb轉變區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊之子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包括單一變換區塊及用於對該變換區塊之樣本進行變換之語法結構。
視訊編碼器20可將一或多個變換應用至TU之變換區塊，以產生TU之係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。在一些實例中，一或多個變換將變換區塊自像素域轉換至頻域。因此，在此等實例中，變換係數可為視為在頻域中的純量。變換係數位準係表示在按比例調整變換係數值之運算之前與解碼程序中之特定2維頻率索引相關聯之值的整數量。
在一些實例中，視訊編碼器20將變換之應用跳至變換區塊。在此等實例中，視訊編碼器20可以與變換係數相同之方式處理殘餘樣本值。因此，在視訊編碼器20跳過變換之應用的實例中，變換係數及係數區塊之以下論述可適用於殘餘樣本之變換區塊。
產生係數區塊之後，視訊編碼器20可量化係數區塊以可能地減小用以表示係數區塊之資料的量，潛在地提供進一步壓縮。量化通常係指其中值之範圍壓縮為單個值的程序。舉例而言，可藉由以常數除以值且接著捨入至最接近的整數進行量化。為量化係數區塊，視訊編碼器20可量化係數區塊之變換係數。量化可減小與變換係數中之一些或全部相關聯的位元深度。舉例而言，在量化期間，可將n 位元變換係數降值捨位至m 位元變換係數，其中n 大於m 。在一些實例中，視訊編碼器20跳過量化。
視訊編碼器20可產生指示一些或所有潛在地經量化的變換係數的語法元素。視訊編碼器20可熵編碼指示經量化變換係數之語法元素中之一或多者。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文適應性二進位算術寫碼(CABAC)。因此，經編碼區塊(例如，經編碼CU)可包括指示經量化變換係數之經熵編碼語法元素。
視訊編碼器20可輸出包括經編碼視訊資料之位元串流。換言之，視訊編碼器20可輸出包括視訊資料之經編碼表示的位元串流。視訊資料之經編碼表示可包括視訊資料之圖像之經編碼表示。舉例而言，位元串流可包括形成視訊資料及相關聯資料的經編碼圖像之表示的位元之序列。在一些實例中，經編碼圖像之表示可包括圖像之區塊之經編碼表示。
在一些實例中，位元串流可包括網路抽象層(NAL)單元之序列。NAL單元為含有NAL單元中的資料之類型之指示及含有彼資料的呈按需要穿插有仿真阻止位元之原始位元組序列有效負載(RBSP)之形式的位元組之語法結構。NAL單元中之每一者可包括NAL單元標頭且可囊封RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組之語法結構。在一些情況下RBSP包括零個位元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。如上文所提及，位元串流可包括視訊資料之經編碼表示。視訊解碼器30可解碼位元串流以重建構視訊資料之圖像。作為解碼位元串流之部分，視訊解碼器30可自位元串流獲得語法元素。視訊解碼器30可至少部分地基於自位元串流獲得之語法元素重建構視訊資料之圖像。重建構視訊資料之圖像的程序可大體上互逆於由視訊編碼器20執行以編碼圖像之程序。
舉例而言，作為解碼視訊資料之圖像之部分，視訊解碼器30可使用框間預測或框內預測以產生預測性區塊。此外，視訊解碼器30可基於自位元串流獲得的語法元素判定變換係數。在一些實例中，視訊解碼器30反量化經判定變換係數。反量化將經量化值映射至經重建構值。舉例而言，視訊解碼器30可藉由判定一值乘以量化步長而反量化該值。此外，視訊解碼器30可對經判定變換係數應用反變換以判定殘餘樣本之值。視訊解碼器30可基於殘餘樣本及所產生之預測性區塊之對應樣本重建構圖像之區塊。舉例而言，視訊解碼器30可將殘餘樣本與所產生之預測性區塊之對應樣本相加以判定區塊之經重建構樣本。
更特定言之，視訊解碼器30可使用框間預測或框內預測以產生當前CU之每一PU的一或多個預測性區塊。另外，視訊解碼器30可反量化當前CU之TU之係數區塊。視訊解碼器30可對係數區塊執行反變換，以重建構當前CU之TU的變換區塊。基於當前CU之PU之預測性區塊的樣本及當前CU之TU之變換區塊的殘餘樣本，視訊解碼器30可重建構當前CU之寫碼區塊。在一些實例中，藉由將當前CU之PU的預測性區塊之樣本與當前CU之TU的變換區塊之對應經解碼樣本相加，視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之各CU的寫碼區塊，視訊解碼器30可重建構圖像。
色彩視訊在多媒體系統中發揮主要作用，其中各種色彩空間用以高效地表示色彩。色彩空間使用多個分量利用數字值指定色彩。常用色彩空間為RGB色彩空間，其中將色彩表示為三原色分量值(即，紅色、綠色及藍色)的組合。對於色彩視訊壓縮，YCbCr色彩空間已被廣泛用作描述於1998年8月倫敦威斯敏斯特大學技術報告A. Ford及A. Roberts的「Colour space conversions」中。YCbCr可經由線性變換自RGB色彩空間轉換。YCbCr色彩空間中不同分量之間的冗餘(亦即，交叉分量冗餘)可顯著減少。YCbCr之另一優點係Y信號傳達明度資訊時的與黑白電視之回溯相容性。另外，可藉由在4:2:0色度取樣格式中子取樣Cb及Cr分量來縮減色度頻寬。相比於RGB色彩中之子取樣，YCbCr色彩空間中之子取樣通常對視訊品質產生顯著的不太主觀之影響。歸因於此等優勢，YCbCr已為視訊壓縮中之主要色彩空間。亦存在可用於視訊壓縮之其他色彩空間，諸如YCoCg。本發明描述參考YCbCr色彩空間之技術，但本文中描述之技術亦可與其他色彩空間一起使用。
色度子取樣格式通常表示為三部分比率J:a:b (例如，4:4:4、4:2:2、4:2:0)，其描述J像素寬且2像素高的概念區中之明度及色度樣本之數目。「J」表示水平取樣參考(亦即，概念區之寬度)，其在HEVC中通常為4。「a」表示第一列J像素中之色度樣本(Cr, Cb)的數目，且「b」表示第一列與第二列J像素之間的色度樣本(Cr, Cb)之變化的數目。
圖2展示圖像中之4:2:0明度及色度樣本之標稱垂直及水平位置的實例。在4:2:0取樣中，兩個色度陣列中之每一者的高度及寬度為明度陣列之高度及寬度的一半，其中高度及寬度係按照樣本之數目進行量測。因此，如圖2中之子區塊100的實例可見，在4:2:0取樣格式中，1×1色度樣本區塊對應於2×2明度樣本區塊，意謂著在4:2:0取樣格式中，色度區塊之解析度為其對應明度區塊之解析度的四分之一。
圖3A-圖3C為說明寫碼單元之明度分量(Y)及色度分量(U及V)的不同色彩樣本格式之概念圖。圖3A為說明4:2:0樣本格式之概念圖。如圖3A中所說明，對於4:2:0樣本格式，色度分量(U 104及V 106)為明度分量(Y 102)之大小的四分之一。因此，對於根據4:2:0樣本格式而經格式化之CU，對於針對色度分量之每一樣本而言存在四個明度樣本。圖3B為說明4:2:2樣本格式之概念圖。如圖3B中所說明，對於4:2:2樣本格式，色度分量(U 110及V 112)為明度分量(Y 108)之大小的二分之一。因此，對於根據4:2:2樣本格式而經格式化之CU，對於針對色度分量之每一樣本而言存在兩個明度樣本。圖3C為說明4:4:4樣本格式之概念圖。如圖3C中所說明，對於4:4:4樣本格式，色度分量(U 116及V 118)與明度分量(Y 114)具有相同大小。因此，對於根據4:4:4樣本格式進行格式化之CU，對於色度分量之每一樣本而言存在一個明度樣本。視訊編碼器20及視訊解碼器30可經組態以在4:2:0、4:2:2或4:4:4樣本格式中之任一者中對視訊資料進行寫碼。
在各種寫碼標準及其各種擴展中，補充增強資訊(SEI)含有對來自VCL NAL單元之經寫碼圖像之樣本進行解碼時可能不需要的資訊。此等SEI資訊包括於各種SEI訊息中。一個此等訊息為彩色重映射資訊(CRI) SEI訊息，其用以傳遞用以將一個色彩空間中之圖像映射至另一色彩空間的資訊。CRI SEI訊息之語法可包括三個部分：第一組三個1-D查找表(預LUT)，隨後為3×3矩陣，接著第二組三個1-D查找表(後LUT)。對於每一色彩分量(例如R、G、B或Y、Cb、Cr)，針對預LUT及後LUT兩者界定一獨立的LUT。
圖4展示彩色重映射程序之實例，包括預LUT程序120、色彩-空間轉換程序122及後LUT程序124。色彩-空間轉換程序可利用如本發明中所描述之3×3矩陣。執行彩色重映射處理所需的資訊可在CRI SEI訊息中發信。一組三個預LUT之應用可被稱為DRA (動態範圍調整)，但DRA亦可指代使用查找表(例如，分段線性或以其他方式)映射內容以將碼字值重佈於範圍內的普通想法。在一些實例中，可應用預LUT程序120及後LUT程序124將來自一個動態範圍之內容映射至另一動態範圍，或基於某些特性(例如，峰明度)調適內容。預LUT程序120及後LUT程序124之使用為在CRI SEI訊息中發信之程序的實例，且為可在色彩-空間轉換程序122前後發生之程序的實例。
應理解，可能不會始終應用預LUT程序120及後LUT程序124，此取決於CRI訊息得以設計之應用。舉例而言，若內容已位於線性空間中且使用3×3矩陣在線性空間中進行色彩-空間轉換，則可能不會應用LUT程序120。在另一實例中，若藉由3×3矩陣進行的映射定義於線性空間中而內容為非線性空間，則可在色彩-空間轉換程序122之前使用預LUT程序120將非線性內容轉換至線性內容(亦即，應用3×3矩陣)。在此實例中，可在藉由色彩-空間轉換程序122應用3×3矩陣轉換之後，應用後LUT程序124將內容帶回至非線性空間中。在其他實例中，預LUT程序120及後LUT程序124可由其他視訊處理演算法替換，且可使用不同機制應用3×3矩陣以供轉換。若此機制利用使用上取樣且隨後使用下取樣進行的內容至4:4:4格式之轉換，則本文中揭示之技術可有助於降低處理複雜性。
CRI SEI訊息之語法可為如下：
CRI SEI訊息之語義描述於ITU-T H.265，H系列：視聽與多媒體系統：視聽服務之基礎架構——移動視訊寫碼：高效視訊寫碼(12/2016)中，下文中被稱為H.265, H系列、H.265, H系列表述： 彩色重映射資訊之SEI訊息提供用以啟用輸出圖像之經重建構色彩樣本之重映射的資訊。彩色重映射資訊可直接應用至經解碼樣本值，不管其是否在明度域及色度域或RGB域中。在彩色重映射資訊SEI訊息中使用之彩色重映射模型由以下各者構成：應用於每一色彩分量(由本文中之語法元素之「預」集合指定)之第一分段線性函數、應用至三個色彩分量之三乘三矩陣、及應用於每一色彩分量(由本文中之語法元素之「後」集合指定)之第二分段線性函數。 註解1-輸出圖像之彩色重映射以供顯示係可選的，且並不影響本規範中所指定的解碼程序。
根據H.265, H系列，語法元素「colour_remap_id」含有可用以識別彩色重映射資訊之目的的識別編號。colour_remap_id之值可介於0至232 −2之範圍(包括端點)內。自0至255及自512至231 −1之colour_remap_id之值可用作藉由本申請案判定的。預留自256至511 (包括端點)及自231 至232 -2 (包括端點)的colour_remap_id之值以供ITU-T|ISO/IEC未來使用。解碼器可忽略含有介於256至511之範圍 (包括端點)內或介於231 至232 -2之範圍(包括端點)內的colour_remap_id之值的彩色重映射資訊SEI訊息，且位元串流可能不含有此等值。H.265，H系列表述： 註解2-colour_remap_id可用以支援適合於不同顯示情境之不同彩色重映射程序。舉例而言，colour_remap_id之不同值可對應於由顯示器支援之不同的經重映射色彩空間。 ……
根據H.265，H系列，語法元素「colour_remap_matrix_coefficients」與條目E.3.1中針對matrix_coeffs語法元素所指定的具有相同語義，除了colour_remap_matrix_coefficients指定重映射經重建構圖像之色彩空間，而非用於經寫碼逐層視訊序列之色彩空間。當不存在時，推斷colour_remap_matrix_coefficients之值等於matrix_coeffs之值。
根據H.265，H系列，出於解釋彩色重映射資訊SEI訊息之目的，語法元素「colour_remap_input_bit_depth」指定相關聯圖像之明度分量及色度分量或RGB分量之位元深度。當存在colour_remap_input_bit_depth之值不等於經寫碼明度及色度分量之位元深度或經寫碼RGB分量之位元深度的任何彩色重映射資訊SEI訊息時，SEI訊息指代經執行以將經寫碼視訊轉換成位元深渡等於colour_remap_input_bit_depth之經轉換視訊的轉碼操作之假設結果。colour_remap_input_bit_depth之值可介於8至16 之範圍(包括端點)內。預留自0至7 (包括端點)及自17至255 (包括端點)的colour_remap_input_bit_depth之值以供ITU-T|ISO/IEC未來使用。解碼器可忽略含有介於0至7之範圍(包括端點)內或介於17至255之範圍(包括端點)內的colour_remap_input_bit_depth之所有彩色重映射SEI訊息，且位元串流可能不含有此等值。
根據H.265，H系列，語法元素「colour_remap_bit_depth」指定由彩色重映射資訊SEI訊息描述之彩色重映射功能之輸出的位元深度。colour_remap_bit_depth之值可介於8至16之範圍(包括端點)內。預留自0至7 (包括端點)及自17至255 (包括端點)的colour_remap_bit_depth之值以供ITU-T|ISO/IEC未來使用。解碼器可忽略含有自0至7 (包括端點)或介於17至255之範圍(包括端點)內的colour_remap_bit_depth之值的彩色重映射SEI訊息。
根據H.265，H系列，語法元素「pre_lut_num_val_minus1[c]」之值加1指定第c個分量的分段線性重映射函數中之樞軸點之數目，其中c 等於0指代明度或G分量，c 等於1指代Cb或B分量，且c等於2指代Cr或R分量。對於第c個分量，當pre_lut_num_val_minus1[c]等於0時，輸入值之預設端點為0與2colour_remap_input_bit_depth -1，且輸出值之對應預設端點為0與2colour_remap_bit_depth -1。在符合H.265，H系列規範之位元串流中，pre_lut_num_val_minus1[c]之值可介於0至32之範圍(包括端點)內。
根據H.265，H系列，語法元素「pre_lut_coded_value[c][i]」指定第c個分量的第i個樞軸點之值。位元之數目用於表示pre_lut_coded_value[c][i]為((colour_remap_input_bit_depth+7)＞＞3 )＜＜3。
根據H.265，H系列，語法元素「pre_lut_target_value[c][i]」指定第c個分量的第i個樞軸點之值。位元之數目用於表示pre_lut_target_value[c][i]為((colour_remap_bit_depth+7)＞＞3 )＜＜3。
根據H.265，H系列，語法元素「colour_remap_matrix_present_flag」等於1指示對於介於0至2之範圍(包括端點)內的c及i，語法元素log2_matrix_denom及colour_remap_coeffs[c][i]存在。colour_remap_matrix_present_flag 等於0指示對於介於0至2之範圍(包括端點)內的c及i，語法元素log2_matrix_denom及colour_remap_coeffs[c][i]不存在。
根據H.265，H系列，語法元素「log2_matrix_denom」針對所有矩陣係數指定分母之以2為底的對數。log2_matrix_denom之值將在範圍0至15 (包括端點)內。當不存在時，推斷log2_matrix_denom之值等於0。
根據H.265，H系列，語法元素「colour_remap_coeffs[c][i]」指定三乘三彩色重映射矩陣係數之值。colour_remap_coeffs[c][i]之值可介於−215 至215 −1之範圍(包括端點)內。當colour_remap_coeffs[c][i]不存在時，其在c等於i之情況下推斷為等於1，否則推斷為等於0。當colour_remap_matrix_present_flag等於0時，彩色重映射矩陣被推斷為等於大小3×3之單位矩陣。
H.265，H系列進一步表述： 如下導出變數matrixOutput[c]，其中c=0、1及2： roundingOffset = log2_matrix_denom = = 0 ? 0 : 1 ＜＜ (log2_matrix_denom − 1) matrixOutput[ c ] = Clip3( 0, (1 ＜＜ colour_remap_output_bit_depth) − 1, (colour_remap_coeffs[c][0] * matrixInput[0] + colour_remap_coeffs[c][1] * matrixInput[1] + colour_remap_coeffs[c][2] * matrixInput[2] + roundingOffset) ＞＞ log2_matrix_denom) (D-50) 其中matrixInput[c]為第c色彩分量之輸入樣本值，且matrixOutput[c]為第c色彩分量之輸出樣本值。 ……
post_lut_num_val_minus[]、post_lut_coded_value[][]及post_lut_target_value[][]之語義分別類似於pre_lut_num_val_minus[]、pre_lut_coded_value[][]及pre_lut_target_value[][]之語義；用以表示post_lut_coded_value[][]及post_lut_target_value[][]之位元的數目等於colour_remap_bit_depth。
下一代視訊應用預期用表示具有高動態範圍(HDR)及WCG之所俘獲景物的視訊資料操作。當前針對AVC及HEVC在SEI訊息中發信CRI。SEI並非為必選的，意謂著即使未接收SEI或忽略SEI，亦可解碼視訊資料。然而，已觀察到，在編碼器之前適當應用CRI/DRA及在解碼器之後適當應用對應反向CRI/DRA可幫助改良HDR/WCG內容(或大體上，不具有典型最大至最小明度比率的內容)之寫碼效率。因此，吾人預期，類似CRI及/或DRA的技術可變為下一代視訊編解碼器之標稱部分，意謂著CRI及DRA可為壓縮程序之部分。因此，對CRI及DRA之改良可促成整體壓縮改良。
用於CRI之當前機制允許3×3矩陣僅僅應用於4:4:4內容。例如，HEVC規範具有以下限制： 除非藉由本規範中未指定的一些構件另外規定，否則當彩色重映射三乘三矩陣係數存在於SEI訊息中，且chroma_format_idc等於1 (4:2:0色度格式)或2 (4:2:2色度格式)時，在視需要將(未指定)上取樣轉換程序應用於4:4:4色彩取樣格式之後，所指示重映射程序的輸入為經解碼樣本值之集合。
此方法因為至3×3矩陣之輸入為每一色彩分量之樣本(其為YCbCr或RGB或其他者)而得以開發。該矩陣被應用於共置樣本(例如，Yi、Cbi及Cri)之三重組，如以下等式展示。(1)(2)
該等等式定義3×3矩陣及如何將3×3矩陣應用於視訊內容之三個分量。應用上取樣及下取樣以將4:2:0色度格式轉換成4:4:4色度格式涉及相當大的處理(例如，多分接頭濾波)及記憶體要求。因此，在「較小」色度格式(諸如，4:2:0、4:2:2)中執行3×3矩陣乘法可為較佳的，尤其在系統之輸入及輸出亦處於較小色度格式中的情況下。
在4:2:0視訊之狀況下，針對每一色度樣本存在四個明度樣本，因此無法應用相同機制，此係因為不存在與對應明度樣本分組在一起的足夠的色度樣本。程序可反向可為有益的，從而使得原始樣本(或原始樣本之未經壓縮版本)可恢復。大體而言，3×3矩陣係可反向的。在以下實例中，I3×3表示M3×3之反向矩陣。因此， 。隨後，達至量化誤差，輸入樣本(Yi, Cbi, Cri)可恢復如下：(3) 適用於4:2:0色度格式之許多問題亦適用於其他格式(例如，4:2:2色度格式)。
本發明描述允許3×3矩陣被應用於4:2:0內容之技術。因此，當實施本發明之技術時，視訊編碼器20及視訊解碼器30可以類似於矩陣當前如何應用於4:4:4內容的方式將矩陣應用於4:2:0內容，同時仍考慮並非每一明度樣本均具有唯一對應色度樣本的事實。又，本發明之技術係可倒轉的，意謂著可用輸出樣本及3×3矩陣恢復前向程序之輸入樣本(達至量化/壓縮誤差)。藉由實施本發明之技術，視訊編碼器20及視訊解碼器30在執行色彩-空間轉換時潛在地避免自4:2:0至4:4:4之上取樣及自4:4:4至4:2:0之下取樣的高代價程序。類似於下文描述之一系統的系統亦可應用於4:2:2內容或其他色度格式。
對於4:2:0色度格式內容，視訊編碼器20可實施前向程序。視訊編碼器20可如藉由等式4所示的，針對明度樣本Yi及對應/共置Cbi及Cri樣本應用前向3×3矩陣。對於等式4，Yi可對應於四個明度樣本中與色度樣本Cbi及Cri相關聯之左上樣本。(4) 對於四個明度樣本中之其他三個樣本，視訊編碼器20可如同等式5中僅僅應用3×3矩陣之第一列：(5) 以此方式，視訊編碼器20使用3×3矩陣產生4:2:0輸出。
視訊解碼器30可將反向程序應用於視訊編碼器20所應用的程序。為恢復Cbi及Cri，視訊解碼器30將反向3×3矩陣I3×3應用於共置Y樣本(或4個明度樣本中與色度相關聯之左上樣本)。I3×3可藉由視訊解碼器30推斷或在視訊資料之位元串流中發信。
視訊解碼器30可用反向3×3矩陣計算共置Y樣本。對於Y分量之其他三個樣本，可如下針對明度分量使用前向向量(此亦可應用於共置明度樣本)：(6)
前向3×3矩陣(3×1ForVec)之第一列可藉由視訊解碼器30計算，或為了避免判定前向3×3矩陣之第一列所需的計算，視訊解碼器30可基於在視訊資料之位元串流中所接收的發信對前向3×3矩陣之第一列進行解碼。若視訊解碼器30基於在視訊資料之位元串流中所接收的發信對前向3×3矩陣之第一列進行解碼，則可能不需要發信反向3×3矩陣之第一列。
應理解，上文針對視訊編碼器20及視訊解碼器30所描述之操作可能不會如上文所描述的始終耦接，且視訊編碼器20(或將應用前向處理之任何裝置)或視訊解碼器30(或將應用反向處理之任何裝置)可應用替代性程序。
在一些實例中，(例如)使用7×7矩陣(針對4:2:0狀況)將矩陣計算應用於2×2明度樣本區塊及對應色度樣本(4:2:0域中之一個Cb、一個Cr樣本，及4:2:2域中之兩個Cb、兩個Cr樣本)，且在解碼器側發信(完全或部分地)或導出反向矩陣以恢復輸入域中之樣本。在一些實例中，當使用3×3矩陣以將色彩-空間轉換應用於4:4:4內容時，可將3×3矩陣應用於每一Y-Cb-Cr三重組，且可藉由導出可應用於六重組(sextuplet) Y1-Y2-Y3-Y4-Cb-Cr的不同矩陣(例如，6×6矩陣)而將其應用於4:2:0內容，其中Y1-Y2-Y3-Y4表示四個明度樣本，且Cb及Cr表示對應色度樣本分量。可使用預定演算法自3×3矩陣導出此6×6矩陣，且可單獨地指定該矩陣。此矩陣之反向矩陣可被發信至解碼器，且在解碼器處導出。以此方式，YCbCr樣本無需進行上取樣，且可直接在4:2:0域中處理。
視訊解碼器30可經組態以執行Cbi及Cri重建構。為恢復Cbi及Cri，視訊解碼器30可將反向3×3矩陣應用於共置Y樣本(或4個明度樣本中與色度相關聯之左上樣本)。以下代碼說明視訊解碼器30可如何實施此技術之實例。 Cbi[j * widthC + i]= iClip((3x3Mat[1][0] * Yo[2 * j * width + 2 * i] + 3x3Mat[1][1] * Cbo [j * widthC + i] + 3x3Mat[1][2] * Cro[j * widthC + i] + rOffset) ＞＞ log2Den, 0, max_v); Cri[j * widthC + i] = iClip((3x3Mat[2][0] * Yo[2 * j * width + 2 * i] + 3x3Mat[2][1] * Cbo[j * widthC + i] + 3x3Mat[2][2] * Cro [j * widthC + i] + rOffset) ＞＞ log2Den, 0, max_v); 其中3×3Mat[3][3]為CRI之整數反向3×3矩陣，＞＞為向右移位位元操作，且iClip為第一自變量至第二自變量所給定之最小值及第三自變量所給定之最大值的截割函數。在上文實例中，widthC為色度樣本中之圖像的寬度，且width為明度樣本中之圖像的寬度。
視訊解碼器30可應用捨入偏移以獲得較佳效能。視訊解碼器30可如下計算捨入偏移： rOffset = 0; if (log2Den ＞ 0) { rOffset = 1 ＜＜ (log2Den - 1); } 其中log2Den為3×3矩陣之分母的log2。max_v(截割操作中之最大值)為輸入/輸出位深與遞增位深(inc_bd)之函數，以供獲得較佳精確度，可如下： inc_bd = 4; max_v = (1 ＜＜ ( inputBitdepth + inc_bd ) ) - 1;
如上文所引入，視訊解碼器30可計算前向3×3矩陣之第一列。以下代碼說明視訊解碼器30如何實施此用於計算「非共置」明度樣本之前向3×3矩陣係數(3×1ForVec)之技術的實例。向量(3×1ForVec)對應於前向3×3矩陣之第一列。 c1 = 3x3Mat[1][1] * 3x3Mat[2][2] - 3x3Mat[2][1] * 3x3Mat[1][2]; c2 = 3x3Mat[0][1] * 3x3Mat[2][2] - 3x3Mat[2][1] * 3x3Mat[0][2]; c3 = 3x3Mat[0][1] * 3x3Mat[1][2] - 3x3Mat[1][1] * 3x3Mat[0][2]; offset = 1 ＜＜ (2 * log2Den - 1); d = (3x3Mat[0][0] * c1 - 3x3Mat[1][0] * c2 + 3x3Mat[2][0] * c3 + offset) ＞＞ (2 * log2Den); 3x1ForVec[0] = floor(c1 / d + 0.5); 3x1ForVec[1] = -floor(c2 / d + 0.5); 3x1ForVec[2] = floor(c3 / d + 0.5); 其中floor(.)為向下捨入操作。
視訊解碼器30可經組態以恢復明度樣本。以下代碼說明視訊解碼器30可如何實施自「經重建構」色度樣本(Cbi, Cri)恢復明度樣本之此技術的實例，亦即，在應用反向3×3矩陣及前向3×3矩陣之第一列之後的色度樣本。 Yi[(2 * j) * width + (2 * i)] = iClip((Y0 - 3x1ForVec[1] * Cb - 3x1ForVec[2] * Cr) / 3x1ForVec[0], 0, max_v); Yi[(2 * j) * width + (2 * i + 1)] = iClip((Y1 - 3x1ForVec[1] * Cb - 3x1ForVec[2] * Cr) / 3x1ForVec[0], 0, max_v); Yi[(2 * j + 1) * width + (2 * i)] = iClip((Y2 - 3x1ForVec[1] * Cb - 3x1ForVec[2] * Cr) / 3x1ForVec[0], 0, max_v); Yi[(2 * j + 1) * width + (2 * i+1)] = iClip((Y3 - 3x1ForVec[1] * Cb - 3x1ForVec[2] * Cr) / 3x1ForVec[0], 0, max_v); 其中， Y0 = Yo[(2 * j) * width + (2 * i)] ＜＜ log2Den; Y1 = Yo[(2 * j) * width + (2 * i + 1)] ＜＜ log2Den; Y2 = Yo[(2 * j + 1) * width + (2 * i)] ＜＜ log2Den; Y3 = Yo[(2 * j + 1) * width + (2 * i + 1)] ＜＜ log2Den; 且 Cb = Cbi[j * widthC + i] Cr = Cri[j * widthC + i] 且width為明度樣本中之圖像的寬度。
本發明之所提議技術可用於在不同於輸入資料之原始色彩空間的色彩空間中進行處理的演算法中。
在一些實例中，呈YCbCr 4:2:0表示的視訊資料之動態範圍截割/夾持可應用於RGB 4:4:4表示中。因此，首先應用色度上取樣至4:4:4，繼之以3×3矩陣，其中強調RGB 4:4:4表示中之截割/夾持，繼之以反向3×3矩陣及自4:4:4表示至4:2:0之下取樣。本發明之實例可允許省略上取樣及下取樣處理。
在一些實例中，可將利用濾波(例如，去雜)、調整大小或重新按比例調整之某些程序應用於RGB 4:4:4表示中。因此，首先應用至4:4:4之色度上取樣，繼之以3×3矩陣，其中強調RGB 4:4:4表示中之濾波，繼之以反向3×3矩陣及自4:4:4表示至4:2:0之下取樣。本發明之實例可允許省略上取樣及下取樣處理，且在經子取樣RGB域中實現濾波。具有自ITU-R BT.709之YCbCr至RGB之轉換的此等程序之實例在圖3中描繪，用於針對以下矩陣定義之前向及反向轉換： M3x3 = [ 1.000000 0.000000 1.574800; 1.000000 -0.187330 -0.468130; 1.000000 1.8556300 0.000000 ]; I3x3 = [ 0.212600 0.715200 0.072200; -0.114572 -0.385428 0.500000; 0.500000 -0.454153 -0.045847 ]; 應注意，諸如SDR至HDR轉換的不同類型之轉換可利用不同矩陣值。
圖5為說明被應用於呈YCbCr 4:2:0格式之視訊資料的RGB域濾波的流程圖。儘管圖5及相關聯描述總體上描述解碼器側處理，但應理解，亦可藉由視訊編碼裝置應用相同技術。在圖5之實例中，描繪YCbCr及RGB的資料區塊之不同大小反映空間解析度之差。舉例而言，Y資料具有Cb及CR資料之四倍解析度，且G資料具有B及R資料之四倍解析度。類似地，Y'資料具有Cb'及Cr'資料之四倍解析度，且G'資料具有B'及R'資料之四倍解析度。根據圖5之技術,視訊處理裝置使用本發明之技術接收Y、Cb及Cr視訊資料(130)，且對資料執行前向轉換(132)。在執行前向轉換之後，視訊處理裝置輸出R、G及B資料(134)。視訊處理裝置對R、G及B資料執行濾波(136)，且輸出經濾波R、G及B資料(138)，在圖5中表示為R'、G'及B'。濾波可(例如)包括去雜、修勻、銳化或其他類型之濾波中之一或多者。視訊處理裝置對經濾波R、G及B資料執行反向轉換(140)，且輸出經濾波Y、Cb及Cr視訊資料，在圖5之實例中表示為Y'、Cb'及Cr'。
根據本發明之一個實例技術，視訊編碼器20或與視訊編碼器20結合之預處理或後處理裝置可經組態以產生視訊資料之當前圖像的第一版本。當前圖像之第一版本可根據諸如4:2:0取樣格式之取樣格式進行格式化，在該取樣格式中，第一分量(例如，第一色度分量)及第二分量(例如，第二色度分量)相比第三分量(例如，明度分量)具有較少樣本。當前圖像之第一版本可包括第一分量之樣本(例如，上文引入的Cbi)、第二分量之樣本(例如，上文引入的Cri)及第三分量之樣本(例如，上文引入的Yi)。第一分量之樣本(例如，Cbi)及第二分量之樣本(例如，Cri)可係共置，且第三分量之樣本(例如，Yi)可對應於第一分量之樣本(例如，Cbi)及第二分量之樣本(例如，Cri)。
視訊編碼器20可使用上文等式4，藉由將矩陣(例如，上文引入的M3×3)應用於三重組(例如，Yi, Cbi, Cri)，來判定(例如)第一分量之變換樣本(例如，上文引入的Cbo)、第二分量之變換樣本(例如，上文引入的Cro)及第三分量之變換樣本(例如，上文引入的Yo)。視訊編碼器20可將第一分量之變換樣本(例如，Cbo)、第二分量之變換樣本(例如，Cro)及第三分量之變換樣本(例如，Yo)包括在當前圖像之第二版本中。視訊編碼器20可使用上文等式5，(例如)基於第一分量之變換樣本(例如，Cbo)、第二分量之變換樣本(例如，Cro)、第三分量之變換樣本(例如，Yo)及矩陣之第一列(例如，上文引入的3×1ForVec)，判定第三分量之一組變換樣本(例如，一組Yo樣本)。第三分量之該組變換樣本(一組Yo樣本)可包括第三分量(例如，明度分量)中的位於第三分量之第一變換樣本(例如，Yo)右方、正下方及右下方的樣本。視訊編碼器20可將第三分量之該組變換樣本包括在當前圖像之第二版本中。
根據本發明之另一實例技術，視訊解碼器30或與視訊解碼器30結合之預處理或後處理裝置可經組態以接收包括視訊資料之經編碼表示之位元串流。視訊解碼器30可基於該位元串流重建構視訊資料之當前圖像之第一版本。當前圖像之第一版本可根據諸如4:2:0取樣格式之取樣格式進行格式化，在該取樣格式中，第一分量(例如，第一色度分量)及第二分量(例如，第二色度分量)相比第三分量(例如，明度分量)具有較少樣本。當前圖像之第一版本可包括第一分量之樣本(例如，上文引入的Cbo)、第二分量之樣本(例如，上文引入的Cro)及第三分量之樣本(例如，上文引入的Yo)，且第三分量之樣本(例如，Yo)可對應於第一分量之樣本(例如，Cbo)及第二分量之樣本(例如，Cro)。
視訊解碼器30可使用上文等式3，藉由將第一矩陣(例如，上文引入的I3×3)應用於三重組(例如，Yo、Cbo及Cro)，來判定(例如)第一分量之變換樣本(例如，上文引入的Cbi)、第二分量之變換樣本(例如，上文引入的Cri)及第三分量之變換樣本(例如，上文引入的Yi)。視訊解碼器30可將第一分量之變換樣本(Cbi)、第二分量之變換樣本(Cri)及第三分量之變換樣本(Yi)包括在當前圖像之第二版本中。視訊解碼器30可使用上文等式6，基於第一分量之變換樣本(Cbi)、第二分量之變換樣本(Cri)、第三分量之變換樣本(Yi)及第二矩陣(例如，上文引入的3×1ForVec)之第一列，判定第三分量之一組變換樣本(一組Yi樣本)。第三分量之一組變換樣本(一組Yi樣本)可包括第三分量(例如，明度分量)之緊鄰第三分量之變換樣本(Yi)的樣本。視訊解碼器30可將第三分量之一組變換樣本包括在當前圖像之第二版本中。
圖6為說明可實施本發明之技術之實例視訊編碼器20的方塊圖。出於解釋之目的而提供圖6，且不應將其視為對如本發明中廣泛例示及描述之技術的限制。本發明之技術可應用於各種寫碼標準或方法。
處理電路包括視訊編碼器20，且視訊編碼器20經組態以執行本發明中所描述之實例技術中之一或多者。舉例而言，視訊編碼器20包括積體電路，且圖6中說明之各種單元可形成為與電路匯流排互連之硬體電路區塊。此等硬體電路區塊可為單獨電路區塊或該等單元中之兩者或兩者以上可組合為共用硬體電路區塊。硬體電路區塊可形成為電力組件之組合，該等電力組件形成諸如算術邏輯單元(ALU)、基礎功能單元(EFU)之操作區塊，以及諸如AND、OR、NAND、NOR、XOR、XNOR及其他類似邏輯區塊的邏輯區塊。
在一些實例中，圖6中所說明之單元中之一或多者可為在處理電路上執行之軟體單元。在此等實例中，用於此等軟體單元之目標碼儲存於記憶體中。作業系統可使得視訊編碼器20擷取目的碼並執行目的碼，其使得視訊編碼器20執行實施實例技術之操作。在一些實例中，軟體單元可為視訊編碼器20在啟動處執行之韌體。因此，視訊編碼器20為具有執行實例技術之硬體或具有在硬體上執行以特化執行該等實例技術之硬體的軟體/韌體的結構性組件。
在圖6之實例中，視訊編碼器20包括預測處理單元200、視訊資料記憶體201、彩色重映射單元203、殘餘產生單元202、變換處理單元204、量化單元206、反量化單元208、反變換處理單元210、重建構單元212、濾波器單元214、經解碼圖像緩衝器216及熵編碼單元218。預測處理單元200包括框間預測處理單元220及框內預測處理單元226。框間預測處理單元220可包括運動估計單元及運動補償單元(圖中未示)。
視訊資料記憶體201可經組態以儲存待由視訊編碼器20之組件編碼之視訊資料。可(例如)自視訊源18獲得儲存於視訊資料記憶體201中之視訊資料。經解碼圖像緩衝器216可為儲存參考視訊資料以供用於視訊編碼器20(例如)在框內或框間寫碼模式中編碼視訊資料的參考圖像記憶體。視訊資料記憶體201及經解碼圖像緩衝器216可由多種記憶體裝置中之任一者形成，諸如動態隨機存取記憶體(DRAM)，包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體裝置。視訊資料記憶體201及經解碼圖像緩衝器216可由相同記憶體裝置或單獨記憶體裝置提供。在各種實例中，視訊資料記憶體201可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件而言在晶片外。視訊資料記憶體201可與圖1之儲存媒體19相同或係該儲存媒體之部分。
彩色重映射單元203重映射色彩資訊。舉例而言，彩色重映射單元203可應用本發明中所描述之技術，用於在無自4:2:0至4:4:4格式之上取樣的情況下將彩色重映射應用於4:2:0內容。儘管在圖6之實例中展示為視訊編碼器20之部分，但彩色重映射單元203之功能性亦可藉由不同於視訊編碼器20的視訊處理裝置實施。
視訊編碼器20接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之圖塊中的每一CTU。CTU中之每一者可與大小相等之明度CTB及圖像之對應CTB相關聯。作為編碼CTU之部分，預測處理單元200可執行分割以將CTU之CTB分割成逐漸較小的區塊。該等較小區塊可為CU之寫碼區塊。舉例而言，預測處理單元200可根據樹型結構分割與CTU相關聯的CTB。
視訊編碼器20可編碼CTU之CU以產生該等CU之經編碼表示(亦即，經寫碼CU)。作為編碼CU之部分，預測處理單元200可分割與CU之一或多個PU中的CU相關聯之寫碼區塊。因此，每一PU可與明度預測區塊及對應的色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測區塊的大小。
框間預測處理單元220可產生用於PU之預測性資料。作為產生用於PU之預測性資料之部分，框間預測處理單元220對PU執行框間預測。用於PU之預測性資料可包括PU之預測性區塊及用於PU之運動資訊。取決於PU係在I圖塊中、P圖塊中抑或B圖塊中，框間預測處理單元220可針對CU之PU執行不同操作。在I圖塊中，所有PU經框內預測。因此，若PU在I圖塊中，則框間預測處理單元220並不對PU執行框間預測。因此，對於在I模式中編碼之區塊，經預測之區塊係使用空間預測自相同圖框內的先前經編碼之相鄰區塊而形成。若PU在P圖塊中，則框間預測處理單元220可使用單向框間預測以產生PU之預測性區塊。若PU在B圖塊中，則框間預測處理單元220可使用單向或雙向框間預測以產生PU之預測性區塊。
框內預測處理單元226可藉由對PU執行框內預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及各種語法元素。框內預測處理單元226可對I圖塊、P圖塊及B圖塊中之PU執行框內預測。
為對PU執行框內預測，框內預測處理單元226可使用多個框內預測模式來產生用於PU之多組預測性資料。框內預測處理單元226可使用來自相鄰PU之樣本區塊的樣本以產生用於PU之預測性區塊。對於PU、CU及CTU，假定自左至右、自上而下之編碼次序，則該等相鄰PU可在PU上方、右上方、左上方或左邊。框內預測處理單元226可使用各種數目個框內預測模式，例如，33個定向框內預測模式。在一些實例中，框內預測模式之數目可取決於與PU相關聯之區的大小。
預測處理單元200可自由框間預測處理單元220針對PU產生的預測性資料或由框內預測處理單元226針對PU產生的預測性資料中選擇用於CU之PU的預測性資料。在一些實例中，預測處理單元200基於數組預測性資料之速率/失真量度而選擇用於CU之PU的預測性資料。選定之預測性資料的預測性區塊在本文中可被稱作選定之預測性區塊。
殘餘產生單元202可基於CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)及CU之PU的選定預測性區塊(例如，預測性明度區塊、預測性Cb區塊及預測性Cr區塊)而產生CU之殘餘區塊(例如，明度、Cb及Cr殘餘區塊)。舉例而言，殘差產生單元202可產生CU之殘餘區塊，以使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中的樣本與CU之PU之對應所選擇預測性樣本區塊中的對應樣本之間的差的值。
在一些實例中，變換處理單元204將CU之殘餘區塊分割成CU之TU的變換區塊。舉例而言，變換處理單元204可執行四分樹分割以將CU之殘餘區塊分割成CU之TU的變換區塊。因此，TU可與一明度變換區塊及兩個色度變換區塊相關聯。CU之TU的明度變換區塊及色度變換區塊的大小及定位可或可不基於CU之PU的預測區塊之大小及定位。被稱為「殘餘四分樹」(RQT)之四分樹結構可包括與區中之每一者相關聯的節點。CU之TU可對應於RQT之葉節點。在一些實例中，CU之殘餘區塊不分割成TU。在此等實例中，CU之變換區塊與CU之殘餘區塊共同延伸。
變換處理單元204可藉由將一或多個變換應用於殘餘資料(例如，TU之變換區塊)來產生變換係數區塊。變換處理單元204可將各種變換應用於變換區塊。舉例而言，變換處理單元204可將離散餘弦變換(DCT)、定向變換或概念上類似之變換應用至變換區塊。在一些實例中，變換處理單元204不將變換應用至變換區塊。在此等實例中，變換區塊可經處理為變換係數區塊。
量化單元206可將係數區塊中之變換係數量化。量化單元206可基於量化參數(QP)值量化係數區塊。視訊編碼器20可藉由調整QP值，來調整應用於係數區塊之量化程度。量化可引入資訊的損失。因此，經量化變換係數可具有比原始變換係數低的精度。
反量化單元208及反變換處理單元210可分別將反量化及反變換應用於係數區塊，以自係數區塊重建構殘餘區塊。重建構單元212可將經重建構殘餘區塊與來自由預測處理單元200產生之一或多個預測性區塊的對應樣本相加，以產生與TU相關聯的經重建構變換區塊。藉由以此方式重建構變換區塊，視訊編碼器20可重建構CU之寫碼區塊。
濾波器單元214可執行一或多個解區塊操作以減少與CU相關聯之寫碼區塊中的區塊假影。經解碼圖像緩衝器216可在濾波器單元214對經重建構寫碼區塊執行一或多個解區塊操作之後，儲存經重建構寫碼區塊。框間預測處理單元220可使用含有經重建構寫碼區塊之參考圖像，以對其他圖像之PU執行框間預測。另外，框內預測處理單元226可使用經解碼圖像緩衝器216中之經重建構寫碼區塊來對與CU位於相同圖像中的其他PU執行框內預測。
熵編碼單元218可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元218可自量化單元206接收係數區塊且可自預測處理單元200接收語法元素。熵編碼單元218可對資料執行一或多個熵編碼操作，以產生經熵編碼資料。舉例而言，熵編碼單元218可對資料執行CABAC操作、上下文自適應性可變長度寫碼(CAVLC)操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、概率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元218所產生之經熵編碼資料的位元串流。舉例而言，位元串流可包括表示用於CU之變換係數之值的資料。
圖7為說明經組態以實施本發明之技術之實例視訊解碼器30的方塊圖。出於解釋之目的而提供圖7，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明描述在HEVC寫碼之上下文中的視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
處理電路包括視訊解碼器30，且視訊解碼器30經組態以執行本發明中所描述之實例技術中之一或多者。舉例而言，視訊解碼器30包括積體電路，且圖7中所說明之各種單元可形成為與電路匯流排互連之硬體電路區塊。此等硬體電路區塊可為單獨電路區塊或該等單元中之兩者或兩者以上可組合為共用硬體電路區塊。硬體電路區塊可形成為電力組件之組合，該等電力組件形成諸如算術邏輯單元(ALU)、基礎功能單元(EFU)之操作區塊，以及諸如AND、OR、NAND、NOR、XOR、XNOR及其他類似邏輯區塊的邏輯區塊。
在一些實例中，圖7中所說明之單元中之一或多者可為在處理電路上執行之軟體單元。在此等實例中，用於此等軟體單元之目標碼儲存於記憶體中。作業系統可使得視訊解碼器30擷取目的碼並執行目的碼，其使得視訊解碼器30執行實施實例技術之操作。在一些實例中，軟體單元可為視訊解碼器30在啟動處執行之韌體。因此，視訊解碼器30為具有執行實例技術之硬體或具有在硬體上執行以特化執行該等實例技術之硬體的軟體/韌體的結構性組件。
在圖7之實例中，視訊解碼器30包括熵解碼單元250、視訊資料記憶體251、預測處理單元252、反量化單元254、反變換處理單元256、重建構單元258、濾波器單元260、經解碼圖像緩衝器262及彩色重映射單元263。預測處理單元252包括運動補償單元264及框內預測處理單元266。在其他實例中，視訊解碼器30可包括更多、更少或不同的功能組件。
視訊資料記憶體251可儲存待由視訊解碼器30之組件解碼之經編碼視訊資料(諸如，經編碼視訊位元串流)。可(例如)自電腦可讀媒體16、(例如)自諸如攝影機之本地視訊源，經由視訊資料之有線或無線網路通信，或藉由存取實體資料儲存媒體來獲得儲存於視訊資料記憶體251中之視訊資料。視訊資料記憶體251可形成儲存來自經編碼視訊位元流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器262可為儲存參考視訊資料以供用於視訊解碼器30在(例如)框內或框間寫碼模式中解碼視訊資料，或以供輸出的參考圖像記憶體。視訊資料記憶體251及經解碼圖像緩衝器262可藉由多種記憶體裝置中之任一者形成，諸如動態DRAM，包括SDRAM、MRAM、RRAM或其他類型之記憶體裝置。視訊資料記憶體251及經解碼圖像緩衝器262可由相同記憶體裝置或單獨記憶體裝置提供。在各種實例中，視訊資料記憶體251可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件而言在晶片外。視訊資料記憶體251可與圖1之儲存媒體28相同或為其部分。
視訊資料記憶體251接收並儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元250可自視訊資料記憶體251接收經編碼視訊資料(例如，NAL單元)，且可解析NAL單元以獲得語法元素。熵解碼單元250可對NAL單元中之經熵編碼語法元素進行熵解碼。預測處理單元252、反量化單元254、反變換處理單元256、重建構單元258及濾波器單元260可基於自位元串流提取之語法元素而產生經解碼視訊資料。熵解碼單元250可執行大體上與熵編碼單元218之彼程序互逆的程序。
除了自位元串流獲得語法元素之外，視訊解碼器30亦可對CU執行重建構操作。為對CU執行重建構操作，視訊解碼器30可重建構CU之殘餘區塊。作為執行重建構操作之部分，反量化單元254可將係數區塊反量化(亦即，解量化)。在反量化單元254將係數區塊反量化之後，反變換處理單元256可將一或多個反變換應用於係數區塊以便產生殘餘區塊。舉例而言，反變換處理單元256可將反DCT、反整數變換、反Karhunen-Loeve變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。
若諸如PU之區塊使用框內預測進行編碼，則框內預測處理單元266可執行框內預測以產生區塊之預測性區塊。框內預測處理單元266可使用框內預測模式來基於空間相鄰區塊中之樣本產生區塊之預測性區塊。框內預測處理單元266可基於自位元串流獲得的一或多個語法元素判定區塊之框內預測模式。
若諸如PU之區塊使用框間預測進行編碼，則熵解碼單元250可判定區塊之運動資訊。運動補償單元264可基於區塊之運動資訊而判定一或多個參考區塊。運動補償單元264可基於一或多個參考區塊產生區塊之預測性區塊(例如，預測性明度、Cb及Cr區塊)。
重建構單元258可使用殘餘區塊(例如，明度、Cb及Cr殘餘區塊)及預測性區塊(例如，明度、Cb及Cr區塊)來重建構CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)。舉例而言，重建構單元258可將該等殘餘區塊之樣本與該等預測性區塊之對應樣本相加以重建構CU之寫碼區塊。
濾波器單元260可執行解區塊操作以減少與CU之寫碼區塊相關聯的區塊假影。視訊解碼器30可將CU之寫碼區塊儲存於經解碼圖像緩衝器262中。經解碼圖像緩衝器262可提供參考圖像以用於後續運動補償、框內預測及在顯示裝置(諸如，圖1之顯示裝置32)上之呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器262中之區塊對其他CU之PU執行框內預測或框間預測操作。
彩色重映射單元263可將彩色重映射應用於經重建構圖像。舉例而言，彩色重映射單元263可應用本發明中所描述之技術，用於在無自4:2:0至4:4:4格式之上取樣的情況下將彩色重映射應用於4:2:0內容。儘管在圖7之實例中展示為視訊解碼器30之部分，但彩色重映射單元263之功能性亦可藉由不同於視訊解碼器30的視訊處理裝置實施。
圖8為說明在本發明中描述的實例視訊解碼技術之流程圖。將參考通用視訊處理裝置描述圖8之技術，諸如(但不限於)視訊解碼器30或位於視訊解碼器30外部的色彩映射單元。
在圖8之實例中，視訊處理裝置接收包括視訊資料之經編碼表示之位元串流(302)。視訊處理裝置基於位元串流重建構視訊資料之當前圖像之第一版本(304)。當前圖像之第一版本可根據取樣格式進行格式化，在該取樣格式中，第一分量及第二分量之樣本相比第三分量之樣本較少。取樣格式可(例如)為4:2:0格式。當前圖像之第一版本可包括第一分量之樣本、第二分量之樣本及第三分量之樣本。第一分量之樣本及第二分量之樣本可共置，且第三分量之樣本可對應於該等第一及第二分量之樣本。
視訊處理裝置藉由將第一矩陣應用於包括第一分量之樣本、第二分量之樣本及第三分量之樣本的三重組判定第一分量之變換樣本、第二分量之變換樣本及第三分量之變換樣本(306)。視訊處理裝置將第一分量之變換樣本、第二分量之變換樣本及第三分量之變換樣本包括在當前圖像之第二版本中(308)。視訊處理裝置基於第一分量之變換樣本、第二分量之變換樣本、第三分量之變換樣本及第二矩陣之第一列判定第三分量之一組變換樣本(310)。第三分量之一組變換樣本可包括第三分量中位於第二色彩分量之第一變換樣本右方、正下方及右下方的樣本。第一矩陣可為反向矩陣，且第二矩陣可為前向矩陣，其中反向矩陣為前向矩陣之反量。視訊處理裝置將第三分量之一組變換樣本包括在當前圖像之第二版本中(312)。
為了說明之目的，本發明之某些態樣已經關於HEVC標準之擴展而描述。然而，本發明中所描述之技術可用於其他視訊寫碼程序，包括尚未開發之其他標準或專有視訊寫碼程序。
如本發明中所描述，視訊寫碼器可指視訊編碼器或視訊解碼器。類似地，視訊寫碼單元可指視訊編碼器或視訊解碼器。同樣地，如適用，視訊寫碼可指視訊編碼或視訊解碼。在本發明中，片語「基於」可指示僅僅基於、至少部分地基於，或以某一方式基於。本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」以指代一或多個樣本區塊及用以寫碼樣本之一或多個區塊之樣本的語法結構。實例視訊單元類型可包括CTU、CU、PU、TU、巨集區塊、巨集區塊分割區等等。在一些情形中，PU之論述可與巨集區塊或巨集區塊分區之論述互換。視訊區塊之實例類型可包括寫碼樹型區塊、寫碼區塊及其他類型之視訊資料區塊。
本發明之技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行、可被添加、合併或完全省去(例如，並非所有所描述動作或事件為實踐該等技術所必要)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器同時而非依序執行動作或事件。在本發明中，諸如「第一」、「第二」、「第三」等之序數術語未必為次序內之指示符，而是可僅僅用以區分同一事物之不同個例。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而在一電腦可讀媒體上儲存或傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，該通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體可對應於(1)為非暫時形的有形電腦可讀儲存媒體，或(2)通信媒體，諸如，信號或載波。資料儲存媒體可為可藉由一或多個電腦或一或多個處理電路存取以擷取指令、程式碼及/或資料結構以用於實施本發明中描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
以實例說明而非限制，此等電腦可讀儲存媒體可包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器，或其他磁性儲存裝置、快閃記憶體、快取記憶體、或可用以儲存呈指令或資料結構形式之所要程式碼且可藉由電腦存取的任何其他媒體中之一或多者。而且，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術，自網站、伺服器或其他遠端源來傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為係關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。
本發明中所描述之功能可藉由固定功能及/或可編程處理電路執行。舉例而言，指令可藉由固定功能及/或可程式化處理電路執行。此處理電路系統可包括一或多個處理器，諸如一或多個DSP、通用微處理器、ASIC、FPGA或其他等效積體或離散邏輯電路系統。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。在此實例中此外，該等技術可完全實施於一或多個電路或邏輯元件中。處理電路可以各種方式耦接至其他組件。舉例而言，處理電路可經由內部裝置互連件、有線或無線網路連接或另一通信媒體耦接至其他組件。
本發明之技術可實施於廣泛多種裝置或設備中，包括無線手持機、積體電路(IC)或一組IC(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之裝置的功能態樣，但未必要求由不同硬體單元來實現。確切地說，如上文所描述，可將各種單元組合於可在編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合而結合與適合之合適軟體及/或韌體一起組合或由互操作硬體單元之集合來提供該等單元，該等硬件單元包括如上文所描述之一或多個處理器。
各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源裝置
14‧‧‧目的地裝置
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
19‧‧‧儲存媒體
20‧‧‧視訊編碼器
22‧‧‧輸出介面
26‧‧‧輸入介面
28‧‧‧儲存媒體
30‧‧‧視訊解碼器
32‧‧‧顯示裝置
100‧‧‧子區塊
102‧‧‧明度分量(Y)
104‧‧‧色度分量(U)
106‧‧‧色度分量(V)
108‧‧‧明度分量(Y)
110‧‧‧色度分量(U)
112‧‧‧色度分量(V)
114‧‧‧明度分量(Y)
116‧‧‧色度分量(U)
118‧‧‧色度分量(V)
120‧‧‧預查找表(LUT)程序
122‧‧‧色彩-空間轉換程序
124‧‧‧後查找表(LUT)程序
130‧‧‧Y、Cb及Cr視訊資料
132‧‧‧前向轉換
134‧‧‧R、G及B資料
136‧‧‧濾波
138‧‧‧經濾波R、G及B資料
140‧‧‧反向轉換
200‧‧‧預測處理單元
201‧‧‧視訊資料記憶體
202‧‧‧殘餘產生單元
203‧‧‧彩色重映射單元
204‧‧‧變換處理單元
206‧‧‧量化單元
208‧‧‧反量化單元
210‧‧‧反變換處理單元
212‧‧‧重建構單元
214‧‧‧濾波器單元
216‧‧‧經解碼圖像緩衝器
218‧‧‧熵編碼單元
220‧‧‧框間預測處理單元
226‧‧‧框內預測處理單元
250‧‧‧熵解碼單元
251‧‧‧視訊資料記憶體
252‧‧‧預測處理單元
254‧‧‧反量化單元
256‧‧‧反變換處理單元
258‧‧‧重建構單元
260‧‧‧濾波器單元
262‧‧‧經解碼圖像緩衝器
263‧‧‧彩色重映射單元
264‧‧‧運動補償單元
266‧‧‧框內預測處理單元
302‧‧‧步驟
304‧‧‧步驟
306‧‧‧步驟
308‧‧‧步驟
310‧‧‧步驟
312‧‧‧步驟
圖1為說明可使用本發明中所描述之一或多個技術之一實例視訊編碼及解碼系統的方塊圖。
圖2展示圖像中之4:2:0明度樣本及色度樣本之標稱垂直及水平位置的實例。
圖3A-圖3C為說明寫碼單元之明度分量及色度分量的不同色彩樣本格式之概念圖。
圖4展示由彩色重映射資訊(CRI)補充增強資訊(SEI)訊息使用的彩色重映射資訊/程序之結構。
圖5為說明被應用於呈YCbCr 4:2:0格式之視訊資料的RGB域濾波的流程圖。
圖6為說明可實施本發明中所描述之一或多種技術的一實例視訊編碼器之方塊圖。
圖7為說明可實施本發明中所描述之一或多個技術的一實例視訊解碼器之方塊圖。
圖8為說明在本發明中描述的實例視訊解碼技術之流程圖。

Claims (20)

  1. 一種處理視訊資料之方法，該方法包含： 接收包含該視訊資料之一經編碼表示之一位元串流； 基於該位元串流重建構該視訊資料之一當前圖像之一第一版本，其中： 該當前圖像之該第一版本根據一取樣格式進行格式化，在該取樣格式中，一第一分量及一第二分量之樣本相比一第三分量之樣本較少， 該當前圖像之該第一版本包括該第一分量之一樣本、該第二分量之一樣本及該第三分量之一樣本，且 該第三分量之該樣本對應於該第一分量之該樣本及該第二分量之該樣本， 藉由將一第一矩陣應用於包含該第一分量之該樣本、該第二分量之該樣本及該第三分量之該樣本的一三重組判定該第一分量之一變換樣本、該第二分量之一變換樣本及該第三分量之一變換樣本； 將該第一分量之該變換樣本、該第二分量之該變換樣本及該第三分量之該變換樣本包括在該當前圖像之一第二版本中； 基於該第一分量之該變換樣本、該第二分量之該變換樣本、該第三分量之該變換樣本及一第二矩陣之一第一列判定該第三分量之一組變換樣本，該第三分量之該組變換樣本包括該第三分量之緊鄰該第三分量之該變換樣本的樣本；及 將該第三分量之該組變換樣本包括在該當前圖像之該第二版本中。
  2. 如請求項1之方法，其中該第一分量包含一第一色度分量，該第二分量包含一第二色度分量，且該第三分量包含一明度分量。
  3. 如請求項1之方法，其中該第一分量之該樣本及該第二色彩分量之該樣本與該第三分量之該樣本共置。
  4. 如請求項1之方法，其進一步包含： 計算該第二矩陣之該第一列。
  5. 如請求項1之方法，其進一步包含： 接收該位元串流中之指示該第二矩陣之該第一列的資料。
  6. 如請求項1之方法，其中該第一矩陣及該第二矩陣為3×3矩陣，且其中該第二矩陣為該第一矩陣之一反量。
  7. 如請求項1之方法，其中該當前圖像之該第一版本處於一YCbCr色彩空間中，且該當前圖像之該第二版本處於一RGB色彩空間中。
  8. 如請求項1之方法，其中該當前圖像之該第一版本處於具有一第一動態範圍之一YCbCr色彩空間中，且該當前圖像之該第二版本處於具有一第二動態範圍之一YCbCr色彩空間中。
  9. 如請求項1之方法，其中該取樣格式包含一4:2:0格式。
  10. 一種用於處理視訊資料之裝置，該裝置包含： 一記憶體，其經組態以儲存包含該視訊資料之一經編碼表示之一位元串流；及 一或多個處理器，其經組態以進行以下操作： 基於該位元串流重建構該視訊資料之一當前圖像之一第一版本，其中： 該當前圖像之該第一版本根據一取樣格式進行格式化，在該取樣格式中，一第一分量及一第二分量之樣本相比一第三分量之樣本較少， 該當前圖像之該第一版本包括該第一分量之一樣本、該第二分量之一樣本及該第三分量之一樣本，且 該第三分量之該樣本對應於該第一分量之該樣本及該第二分量之該樣本， 藉由將一第一矩陣應用於包含該第一分量之該樣本、該第二分量之該樣本及該第三分量之該樣本的一三重組判定該第一分量之一變換樣本、該第二分量之一變換樣本及該第三分量之一變換樣本； 將該第一分量之該變換樣本、該第二分量之該變換樣本及該第三分量之該變換樣本包括在該當前圖像之一第二版本中； 基於該第一分量之該變換樣本、該第二分量之該變換樣本、該第三分量之該變換樣本及一第二矩陣之一第一列判定該第三分量之一組變換樣本，該第三分量之該組變換樣本包括該第三分量之緊鄰該第三分量之該變換樣本的樣本；及 將該第三分量之該組變換樣本包括在該當前圖像之該第二版本中。
  11. 如請求項10之裝置，其中該第一分量包含一第一色度分量，該第二分量包含一第二色度分量，且該第三分量包含一明度分量。
  12. 如請求項10之裝置，其中該第一分量之該樣本及該第二色彩分量之該樣本與該第三分量之該樣本共置。
  13. 如請求項10之裝置，其中該一或多個處理器經進一步組態以進行以下操作： 計算該第二矩陣之該第一列。
  14. 如請求項10之裝置，其中該一或多個處理器經進一步組態以進行以下操作： 接收該位元串流中之指示該第二矩陣之該第一列的資料。
  15. 如請求項10之裝置，其中該第一矩陣及該第二矩陣為3×3矩陣，且其中該第二矩陣為該第一矩陣之一反量。
  16. 如請求項10之裝置，其中該當前圖像之該第一版本處於一YCbCr色彩空間中，且該當前圖像之該第二版本處於一RGB色彩空間中。
  17. 如請求項10之裝置，其中該當前圖像之該第一版本處於具有一第一動態範圍之一YCbCr色彩空間中，且該當前圖像之該第二版本處於具有一第二動態範圍之一YCbCr色彩空間中。
  18. 如請求項10之裝置，其中該裝置包含一無線通信裝置，其進一步包含經組態以接收該視訊資料之該經編碼表示的一接收器。
  19. 如請求項18之裝置，其中該無線通信裝置包含一電話手機，且其中該接收器經組態以根據一無線通信標準解調變包含該經編碼視訊資料之一信號。
  20. 一種儲存指令之電腦可讀儲存媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器進行以下操作： 接收包含視訊資料之一經編碼表示之一位元串流； 基於該位元串流重建構該視訊資料之一當前圖像之一第一版本，其中： 該當前圖像之該第一版本根據一取樣格式進行格式化，在該取樣格式中，一第一分量及一第二分量之樣本相比一第三分量之樣本較少， 該當前圖像之該第一版本包括該第一分量之一樣本、該第二分量之一樣本及該第三分量之一樣本，且 該第三分量之該樣本對應於該第一分量之該樣本及該第二分量之該樣本， 藉由將一第一矩陣應用於包含該第一分量之該樣本、該第二分量之該樣本及該第三分量之該樣本的一三重組判定該第一分量之一變換樣本、該第二分量之一變換樣本及該第三分量之一變換樣本； 將該第一分量之該變換樣本、該第二分量之該變換樣本及該第三分量之該變換樣本包括在該當前圖像之一第二版本中； 基於該第一分量之該變換樣本、該第二分量之該變換樣本、該第三分量之該變換樣本及一第二矩陣之一第一列判定該第三分量之一組變換樣本，該第三分量之該組變換樣本包括該第三分量之緊鄰該第三分量之該變換樣本的樣本；及 將該第三分量之該組變換樣本包括在該當前圖像之該第二版本中。
TW107123168A 2017-07-05 2018-07-04 用於非4:4:4之格式視訊內容的彩色重映射 TW201918068A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762528722P 2017-07-05 2017-07-05
US62/528,722 2017-07-05
US16/027,185 US10574959B2 (en) 2017-07-05 2018-07-03 Color remapping for non-4:4:4 format video content
US16/027,185 2018-07-03

Publications (1)

Publication Number Publication Date
TW201918068A true TW201918068A (zh) 2019-05-01

Family

ID=64903588

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107123168A TW201918068A (zh) 2017-07-05 2018-07-04 用於非4:4:4之格式視訊內容的彩色重映射

Country Status (4)

Country Link
US (1) US10574959B2 (zh)
CN (1) CN110754085B (zh)
TW (1) TW201918068A (zh)
WO (1) WO2019010305A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10129558B2 (en) * 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
US10244249B2 (en) 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10728559B2 (en) * 2017-07-07 2020-07-28 Qualcomm Incorporated Precision of computation and signaling of dynamic range adjustment and color remapping information
US11151748B2 (en) * 2018-07-13 2021-10-19 Electronics And Telecommunications Research Institute 3D point cloud data encoding/decoding method and apparatus
CN110009013B (zh) * 2019-03-21 2021-04-27 腾讯科技（深圳）有限公司 编码器训练及表征信息提取方法和装置
US10742992B1 (en) 2019-03-26 2020-08-11 Electronic Arts Inc. Video compression for video games

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7158668B2 (en) * 2003-08-01 2007-01-02 Microsoft Corporation Image processing using linear light values and other image processing improvements
CN102045560B (zh) * 2009-10-23 2013-08-07 华为技术有限公司 一种视频编解码方法及设备
KR20140052743A (ko) * 2012-10-25 2014-05-07 삼성디스플레이 주식회사 색역 변환 장치 및 그 방법
WO2016168529A1 (en) * 2015-04-17 2016-10-20 Vid Scale, Inc. Chroma enhancement filtering for high dynamic range video coding
EP3113496A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions
EP3113495A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Methods and devices for encoding and decoding a hdr color picture
US10536695B2 (en) 2015-09-09 2020-01-14 Qualcomm Incorporated Colour remapping information supplemental enhancement information message processing
US10715816B2 (en) * 2015-11-11 2020-07-14 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
CN108293124B (zh) * 2015-11-30 2022-05-13 瑞典爱立信有限公司 视频中画面的编码
WO2017129793A1 (en) * 2016-01-28 2017-08-03 Koninklijke Philips N.V. Encoding and decoding hdr videos
US10397443B2 (en) 2016-03-01 2019-08-27 Qualcomm Incorporated Methods and systems for generating color remapping information supplemental enhancement information messages for video

Also Published As

Publication number Publication date
CN110754085B (zh) 2023-11-10
US10574959B2 (en) 2020-02-25
WO2019010305A1 (en) 2019-01-10
CN110754085A (zh) 2020-02-04
US20190014298A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
CN108028944B (zh) 用于处理经解码视频数据的方法、系统和存储介质
CN107950028B (zh) 用于处理视频数据的方法和设备
TWI701942B (zh) 用於視訊寫碼中可適性顏色轉換之量化參數推導及偏移
TWI666920B (zh) 用於視訊寫碼之具有執行長度碼之調色盤預測器信令
JP7369124B2 (ja) 結合されたピクセル／変換ベースの量子化を用いたビデオコーディングのための量子化パラメータ制御
TWI654875B (zh) 於多層視訊寫碼中用於色彩色域可擴展性之３ｄ查找表之發信色彩值
CN110754085B (zh) 用于非4:4:4格式视频内容的颜色重映射
JP6761045B2 (ja) ビデオのための色再マッピング情報補足エンハンスメント情報メッセージを生成するための方法およびシステム
TW201906406A (zh) 與視訊寫碼中之變換處理一起應用之內部濾波
TW201711470A (zh) 用於高動態範圍及廣色域視訊寫碼之自適應常數照度方法
TWI650004B (zh) 於多層視訊寫碼中用於色彩色域可擴展性之３ｄ查找表之發信分割區資訊
TW201729594A (zh) 用於高動態範圍及廣色域視訊寫碼之補充增強資訊（ｓｅｉ）訊息
TW201711473A (zh) 針對視訊寫碼處理高動態範圍及廣色域視訊資料
TWI713354B (zh) 用於顯示器調適之色彩重映射資訊ｓｅｉ信息發信號
TWI826487B (zh) 用於視訊寫碼中之適應性運動向量差解析度及增加的運動向量儲存精確度的運動向量捨位
TWI669949B (zh) 用於色域可擴展性的３ｄ色彩預測之信令位元深度值
TW201811028A (zh) 用於循環樣本處理之視訊寫碼工具
TW201946454A (zh) 經解碼圖像緩衝器管理及動態範圍調整
TW202044833A (zh) 使用不同色度格式之三角預測單元模式中之視訊寫碼
TW201944780A (zh) 在視訊寫碼中之基於變換之量化及動態範圍調整尺度推導之協調
EP2887672A1 (en) Method for coding a sequence of pictures and method for decoding a bitstream and corresponding devices
TW202027507A (zh) 在視訊寫碼中框內區塊複本之預測限制
TWI771693B (zh) 視訊編碼及解碼中之空間延展性支援
CN114731447B (zh) 用于视频解码的方法和设备
US20240340452A1 (en) Encoding mehtod for video data, decoding method for video data, computing device, and medium