TW201711463A - 判定用於視訊寫碼之照明補償狀態之系統及方法 - Google Patents

判定用於視訊寫碼之照明補償狀態之系統及方法 Download PDF

Info

Publication number
TW201711463A
TW201711463A TW105118218A TW105118218A TW201711463A TW 201711463 A TW201711463 A TW 201711463A TW 105118218 A TW105118218 A TW 105118218A TW 105118218 A TW105118218 A TW 105118218A TW 201711463 A TW201711463 A TW 201711463A
Authority
TW
Taiwan
Prior art keywords
current block
block
illumination compensation
compensation parameters
video
Prior art date
Application number
TW105118218A
Other languages
English (en)
Inventor
劉鴻彬
陳盈
陳建樂
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201711463A publication Critical patent/TW201711463A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本文提供用於寫碼視訊資料之技術及系統。舉例而言，一種寫碼視訊資料之方法包括判定一當前區塊之一或多個照明補償參數及使用該一或多個照明補償參數將該當前區塊寫碼為一經編碼位元串流之一部分。在一些情況下，該方法可包括判定該當前區塊之一或多個空間相鄰樣本及基於該一或多個空間相鄰樣本中之至少一者推導該當前區塊之該一或多個照明補償參數。該方法可進一步包括針對該當前區塊將一照明補償狀態單獨地傳信於該經編碼位元串流中。該方法可進一步包括將該當前區塊之該一或多個照明補償參數中之至少一者傳信於該經編碼位元串流中。

Description

判定用於視訊寫碼之照明補償狀態之系統及方法
本發明大體上係關於視訊寫碼。更特定而言，本發明係關於用於執行用於視訊寫碼之照明補償之系統及方法。
數位視訊能力可併入至廣泛範圍之器件中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)定義之標準、高效率視訊寫碼(HEVC)標準及此等標準的擴展中所描述之技術。視訊器件可藉由實施此類視訊寫碼技術來更有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊，對於一些技術，視訊區塊亦可被稱作寫碼樹型區塊、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預 測來編碼圖像之經框內寫碼(I)圖塊中的視訊區塊。圖像之經框間寫碼(P或B)圖塊中的視訊區塊可使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測導致用於待寫碼之區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料來編碼經框間寫碼區塊。經框內寫碼之區塊係根據框內寫碼模式及殘餘資料來編碼。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而引起殘餘變換係數，可接著量化殘餘變換係數。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至較多壓縮。
在一些實施例中，描述用於基於一或多個空間相鄰樣本推導或傳信一或多個照明補償參數的技術及系統。視訊編碼器可使用照明補償以有效地補償一或多個圖像之間的照明的變化。視訊編碼器可判定用於經編碼寫碼區塊或用於寫碼單元、預測單元、子預測單元或其他寫碼區塊、寫碼單元或預測單元之一或多個照明補償參數。照明補償參數可包括偏移、一或多個比例因子、轉移數目或其他適合之照明補償參數。照明補償參數可在位元串流中傳信或可基於參考區塊、相鄰區塊、特定樣本(例如，像素)或其他資訊中之一或多者而判定。視訊解碼器可利用照明補償參數及/或其他資料來建構用於解碼當前區塊之預測性資料。
根據至少一個實例，提供一種寫碼視訊資料之方法，該方法包括確定當前區塊之一或多個照明補償參數及使用該一或多個照明補償參數將當前區塊寫碼為經編碼位元串流之一部分。
在另一實例中，提供一種裝置，該裝置包括經組態以儲存視訊資料之記憶體及處理器。該處理器經組態以並可判定當前區塊之一或多個照明補償參數。處理器經進一步組態以並可使用該一或多個照明補償參數將當前區塊寫碼為經編碼位元串流之一部分。
在另一實例中，提供一種電腦可讀媒體，其具有儲存於其上之指令，當藉由處理器執行該等指令時執行包括以下各者之方法：判定當前區塊之一或多個照明補償參數；及使用該一或多個照明補償參數將當前區塊寫碼為經編碼位元串流之一部分。
在另一實例中，提供一種裝置，該裝置包括用於判定當前區塊之一或多個照明補償參數之構件及用於使用該一或多個照明補償參數將當前區塊寫碼為經編碼位元串流之一部分之構件。
在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體可進一步包括判定當前區塊之一或多個照明補償參數及使用該一或多個照明補償參數將當前區塊寫碼為經編碼位元串流之一部分。
在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體可進一步包括：判定當前區塊之一或多個空間相鄰樣本；基於該一或多個空間相鄰樣本中之至少一者推導該當前區塊之該一或多個照明補償參數；使用該一或多個照明補償參數將當前區塊寫碼為經編碼位元串流之一部分；及針對當前區塊將照明補償狀態單獨地傳信於經編碼位元串流中。
在一些態樣中，該一或多個空間相鄰樣本為以下各者中之至少一或多者：當前區塊之一或多個經重建構空間相鄰樣本；及/或藉由與當前區塊相關聯之運動資訊所識別之參考圖像中之當前區塊之一或多個經重建構空間相鄰樣本的一或多個相對應樣本。
在一些態樣中，當基於子PU之時間或空間預測模式用於當前區塊時，用於識別一或多個相對應樣本之與當前區塊相關聯之運動資訊 包括當前區塊之代表運動資訊。
在一些態樣中，一或多個空間相鄰樣本包含複數個相鄰樣本，且其中空間相鄰樣本中之至少一者包括小於複數個相鄰樣本之全部。
在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體可進一步包括將當前區塊之一或多個照明補償參數中之至少一者傳信於經編碼位元串流中。
在一些態樣中，使用自候選區塊複製或推導運動資訊之框間預測模式來寫碼當前區塊，且一或多個照明補償參數經推導與候選區塊之一或多個照明補償參數相同。
在一些態樣中，使用合併模式寫碼當前區塊，且當前區塊之一或多個照明補償參數經推導與候選區塊之一或多個照明補償參數相同。
在一些態樣中，候選區塊為空間合併候選、時間合併候選或雙預測性合併候選中之至少一或多者。
在一些態樣中，當使用將當前區塊之運動資訊明確地傳信於經編碼位元串流中之框間預測模式來寫碼當前區塊時，當前區塊之照明補償狀態經明確地傳信於經編碼位元串流中。
在一些態樣中，當前區塊之一或多個照明補償參數經明確地傳信於經編碼位元串流中。
在一些態樣中，當前區塊之兩個參考圖像清單(參考圖像清單0及參考圖像清單1)之一或多個照明補償參數經聯合地傳信於經編碼位元串流中。舉例而言，索引經傳信以指示用於兩個參考圖像清單(清單0及清單1)之照明補償參數之值。
在一些態樣中，當使用進階運動向量預測(AMVP)模式寫碼當前區塊時，當前區塊之一或多個照明補償參數經明確地傳信於經編碼位元串流中。
在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體可進一步包括推導當前區塊之一或多個照明補償參數之多個集合之清單，其中傳信一或多個照明補償參數包含傳信多個集合中之一者之選擇。
在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體可進一步包括傳信圖塊標頭中包含當前區塊的圖塊之照明補償參數。在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體可進一步包括傳信包含當前區塊之CTU之照明補償參數。在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體可進一步包括傳信包含當前區塊之區塊之群組，或包含當前區塊之另一其他區塊層級之照明補償參數。
在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體可進一步包括單獨地傳信用於色度及明度之照明補償參數。
在一些態樣中，一或多個照明補償參數包括標度或偏移中之至少一或多者。
在一些態樣中，該方法可在無線通信器件上執行。無線通信器件包含經組態以儲存視訊資料之記憶體、經組態以執行指令從而處理儲存於記憶體中之視訊資料之處理器，及經組態以接收經編碼位元串流之接收器。在一些態樣中，無線通信器件為蜂巢式電話，且經編碼視訊位元串流係根據蜂巢式通信標準來調變。
此發明內容並不意欲識別所主張之標的物之關鍵或基本特徵，亦不意欲孤立使用以判定所主張之標的物之範疇。應參照本專利之整個說明書之合適部分、任何或所有圖式及每一申請專利範圍來理解標的物。
當參考以下說明書、申請專利範圍及隨附圖式時，前述內容連同其他特徵及實施例將變得更顯而易見。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
38‧‧‧視訊資料記憶體
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
68‧‧‧視訊資料記憶體
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
76‧‧‧反量化單元
78‧‧‧反變換單元
80‧‧‧求和器
82‧‧‧參考圖像記憶體
902‧‧‧區塊
904‧‧‧區塊
906‧‧‧區塊
908‧‧‧區塊
910‧‧‧區塊
912‧‧‧區塊
914‧‧‧區塊
1100‧‧‧過程
1102‧‧‧區塊
1104‧‧‧區塊
1200‧‧‧過程
1202‧‧‧區塊
1204‧‧‧區塊
1206‧‧‧區塊
下文參考如下圖式詳細描述本發明之說明性實施例： 圖1為說明可實施本發明之技術的實例視訊編碼及解碼系統之方塊圖。
圖2為說明寫碼單元之分割模式之實例之方塊圖。
圖3為說明可實施本發明之技術的視訊編碼器之實例的方塊圖。
圖4為說明可實施本發明之技術的視訊解碼器之實例的方塊圖。
圖5A及圖5B為說明用於合併模式及進階運動向量預測(AMVP)模式之實例空間相鄰運動向量候選的概念圖。
圖6A及圖6B為說明實例時間運動向量預測符(TMVP)候選及運動向量按比例調整之概念圖。
圖7為說明基於範本匹配之解碼器側運動向量推導(DMVD)之實例的概念圖。
圖8為說明DMVD中的基於鏡像之雙向運動向量推導之實例的概念圖。
圖9為說明使用DMVD解碼預測單元(PU)之實例的流程圖。
圖10為用於推導當前區塊之照明補償(IC)參數之樣本之說明。
圖11為說明根據一些實施例的寫碼視訊資料之過程之實施例的流程圖。
圖12為說明根據一些實施例的寫碼視訊資料之過程之實施例的流程圖。
下文提供本發明之某些態樣及實施例。此等態樣及實施例中之一些可獨立地應用並且其中之一些可以組合應用，如將對熟習此項技術者顯而易見。在以下描述中，出於解釋之目的，闡述特定細節以便提供對本發明之實施例之透徹理解。然而，各種實施例可在無此等特定細節之情況下得以實踐將是顯而易見的。圖式及描述不意欲為限定性的。
隨後描述僅提供例示性實施例且並不意欲限制本發明之範疇、可應用性或組態。相反地，例示性實施例之隨後描述將為熟習此項技術者提供用於實施例示性實施例之能夠實現之描述。應理解，可在不脫離如所附申請專利範圍中所闡述之本發明之精神及範疇的情況下對元件之功能及配置做出各種變化。
在以下描述中給定特定細節從而提供實施例之透徹理解。然而，一般技術者應瞭解，實施例可在無此等具體細節之情況下實踐。舉例而言，電路、系統、網路、過程及其他組件可以方塊圖形式展示為組件以免在不必要細節下與實施例混淆。在其他情況下，可在無不必要之細節的情況下展示熟知電路、過程、演算法、結構及技術以便避免混淆實施例。
又，應注意，個別實施例可描述為經描繪為流程圖、作業圖、資料流程圖、結構圖或方塊圖之過程。儘管流程圖可能將操作描述為順序處理程序，但許多操作可並行地或同時來執行。另外，可重新配置操作之次序。當其操作完成時終止過程，但可具有不包括於圖中之額外步驟。處理程序可對應於方法、函式、程序、次常式、子程式等。當處理程序對應於函式時，其終止可對應於函式返回至呼叫函式或主函式。
術語「電腦可讀媒體」包括但不限於攜帶型或非攜帶型儲存器件、光學儲存器件及能夠儲存、含有或攜載指令及/或資料之各種其他媒體。電腦可讀媒體可包括非暫時性媒體，其中可儲存資料並且不包括載波及/或無線地或經由有線連接傳播之暫時電子信號。非暫時性媒體之實例可包括(但不限於)磁碟或磁帶、光學儲存媒體，諸如緊密光碟(CD)或數位化通用光碟(DVD)、快閃記憶體、記憶體或記憶體器件。電腦可讀媒體可具有儲存於其上之碼及/或機器可執行指令，該等碼及/或機器可執行指令可表示程序、函式、子程式、程式、常 式、次常式、模組、軟體套件、種類或指令、資料結構或程式語句之任何組合。碼段可藉由傳遞及/或接收資訊、資料、論證、參數或記憶體內容耦接至另一碼段或硬體電路。資訊、論證、參數、資料等可經由包括記憶體共用、訊息傳遞、符記傳遞、網路傳輸或類似者之任何合適的方式傳遞、轉發或傳輸。
此外，可由硬體、軟體、韌體、中間軟體、微碼、硬體描述語言或其任何組合實施實施例。當以軟體、韌體、中間軟體或微碼實施時，用以執行必要任務之程式碼或碼段(例如，電腦程式產品)可儲存於電腦可讀或機器可讀媒體中。處理器可以執行必要任務。
本文中描述使用視訊編碼器及解碼器之視訊寫碼之若干系統及方法。舉例而言，寫碼之一或多個系統及方法係針對應用基於區塊之視訊寫碼中之照明補償(IC)。該等技術可應用於現存視訊編解碼器(例如，高效率視訊寫碼(HEVC)、進階視訊寫碼(AVC)或其他適合之現存視訊編解碼器)中之任一者，或可為用於任何將來視訊寫碼標準之有效寫碼工具。
視訊寫碼器件實施視訊壓縮技術以有效地編碼及解碼視訊資料。視訊壓縮技術可包括應用空間預測(例如，圖框內預測或框內預測)、時間預測(例如，圖框間預測或框間預測)及/或其他預測技術以減小或移除視訊序列中之固有冗餘。視訊編碼器通常將原始視訊序列之每一圖像分割成被稱作視訊區塊或寫碼單元(下文更詳細地描述)之矩形區域。可使用特定預測模式來編碼此等視訊區塊。
如本文進一步所描述，可以一或多種方式將視訊區塊分割成一或多組較小區塊(例如，寫碼樹型區塊(CTB)、預測區塊(PB)、變換區塊(TB))，每一群組單獨地表示整個視訊區塊。因此，如將藉由一般熟習此項技術者理解，對區塊之大體參考(除非另外規定)可指代此等視訊區塊(例如，寫碼樹型區塊(CTB)、寫碼區塊等)、預測區塊、變 換區塊或其他適合之區塊或子區塊。另外，此等區塊中之每一者亦可互換地在本文中稱作「單元」(例如，寫碼樹型單元(CTU)、寫碼單元、預測單元(PU)、變換單元(TU)等)。一般熟習此項技術者將認識到，單元可指示在位元串流中經編碼之寫碼邏輯單元，而區塊可指示過程所瞄準之視訊圖框緩衝器之一部分。
對於框間預測模式，視訊編碼器通常搜尋類似於在位於另一時間位置之圖框(被稱作參考圖框)中經編碼之區塊的區塊，。視訊編碼器可將搜尋限於自待編碼之區塊的某一空間移位。可使用包括水平移位分量及垂直移位分量之二維(2D)運動向量來定位最佳匹配。對於框內預測模式，視訊編碼器可基於來自同一圖像內之先前經編碼相鄰區塊的資料使用空間預測技術而形成預測區塊。
視訊編碼器可判定預測誤差。舉例而言，可判定預測為經編碼區塊與預測區塊中之像素值之間的差。預測誤差亦可被稱作殘餘。視訊編碼器亦可將變換應用於預測誤差(例如，離散餘弦變換(DCT)或其他適合之變換)從而產生變換係數。在變換之後，視訊編碼器可量化變換係數。可使用語法元素來表示經量化變換係數及運動向量，且其連同控制資訊一起形成視訊序列之經寫碼表示。在一些情況下，視訊編碼器可熵寫碼語法元素，藉此進一步減少其表示所需之位元數目。
視訊解碼器可使用上文所論述之語法元素及控制資訊來建構用於解碼當前圖框之預測性資料(例如，預測性區塊)。舉例而言，視訊解碼器可將預測區塊與經壓縮預測誤差相加。視訊解碼器可藉由使用經量化係數而加權變換基底函數來判定經壓縮預測誤差。經重建構圖框與原始圖框之間的差被稱作重建構誤差。
在一些情況下，視訊編碼器可使用照明補償(IC)有效地寫碼一或多個圖像之間的照明(例如，亮度)的變化。視訊編碼器可判定經編碼寫碼區塊或寫碼單元、預測單元、子預測單元或其他寫碼區塊、寫碼 單元或預測單元之一或多個IC參數(例如，偏移、一或多個比例因子、轉移數目(可為固定的)或其他適合之IC參數)。可基於參考區塊、相鄰區塊、特定樣本(例如，像素)或其他資訊中之一或多者來判定IC參數。視訊編碼器可包括經編碼位元串流中之經編碼區塊之指示符(例如，一或多個位元)及/或IC參數。指示符亦可被稱作旗標。指示符及/或IC參數可經編碼為經編碼位元串流中之語法元素之一部分。視訊解碼器可利用旗標、IC參數及/或其他資料來建構用於解碼當前區塊之預測性資料。
根據本發明之態樣，視訊寫碼器(例如，視訊編碼器或視訊解碼器)可推導IC參數及/或傳信當為位元串流寫碼時區塊是否使用IC。舉例而言，視訊寫碼器可插入包括如何使用IC之指示、所使用IC參數之指示、經編碼位元串流中之IC參數自身或其任何組合中之至少一或多者的IC資訊。視訊寫碼器可進一步基於經編碼位元串流中之IC資訊來解碼經編碼位元串流。
圖1為說明可利用用於推導運動資訊、執行區塊分割、執行照明補償(IC)及/或執行其他寫碼操作之技術的實例視訊編碼及解碼系統10的方塊圖。如圖1中所展示，系統10包括源器件12，其提供稍後時間將由目的地器件14解碼的經編碼視訊資料。特定而言，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手機(諸如所謂的「智慧型」電話)、所謂的「智慧型」平板電腦、電視機、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流傳輸器件或類似者。在一些情況下，源器件12及目的地器件14可能經裝備以用於無線通信。
目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊 資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任一類型之媒體或器件。在一個實例中，電腦可讀媒體16可包含通信媒體以使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將其傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路，諸如網際網路)的一部分。通信媒體可包括路由器、交換器、基地台或任何其他可適用於有助於自源器件12至目的地器件14的通信之設備。
在一些實例中，經編碼資料可自輸出介面22輸出至儲存器件。類似地，可由輸入介面28自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取式資料儲存媒體中的任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料的任何其他合適之數位儲存媒體。在再一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件存取儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之任何類型的伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此資料連接可包括適於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)，或兩者之結合。自儲存器件的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。
本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應性串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存在資料儲存媒體上的數位視訊之解碼或其它應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援應用(諸如，視訊串流、視訊播放、視訊廣播及/或視訊電話之應用)。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。根據本發明，源器件12之視頻編碼器20可經組態以應用用於推導運動資訊、執行區塊分割及/或執行IC之技術。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18(諸如外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件32介接，而非包括整合式顯示器件。
圖1之所說明系統10僅為一個實例。用於推導運動資訊、執行區塊分割及/或執行IC之技術可藉由任何數位視訊編碼及/或解碼器件執行。儘管本發明之技術一般由視訊編碼器件執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編碼解碼器」)執行。此外，本發明之技術亦可由視訊預處理器執行。源器件12及目的地器件14僅為源器件12產生經寫碼視訊資料用於傳輸至目的地器件14的此等寫碼器件之實例。在一些實例中，器件12、14可以實質上對稱之方式操作，使得器件12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸以用於(例如)視訊串流、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源18可包括視訊俘獲器件，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用以自視訊內容提供者接收視 訊的視訊饋送介面。作為另一替代，視訊源18可產生基於電腦圖形之資料，作為源視訊或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些情況下，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明所描述之技術一般可適用於視訊寫碼，且可適用於無線及/或有線應用。在每一情況下，俘獲、預先俘獲或電腦產生之視訊可由視訊編碼器20編碼。經編碼視訊資訊可接著由輸出介面22輸出至電腦可讀媒體16上。
電腦可讀媒體16可包括瞬時媒體，諸如無線廣播或有線網路傳輸，或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位影音光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未展示)可自源器件12接收經編碼視訊資料，且(例如)經由網路傳輸將經編碼視訊資料提供至目的地器件14。類似地，媒體產生設施(諸如光碟衝壓設施)之計算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，可理解電腦可讀媒體16包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊(其亦由視訊解碼器30使用)，所述語法資訊包括描述區塊及其他經寫碼單元(例如，圖片群組(GOP))之特性及/或處理的語法元素。顯示器件32將經解碼視訊資料顯示給使用者，且可包含多種顯示器件中之任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
在一些態樣中，儘管圖1中未展示，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及 視訊兩者的編碼。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30各自可實施為多種合適的編碼器電路中的任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時，器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中的組合式編碼器/解碼器(編碼解碼器)之部分。
本發明可大體上係指將某些資訊「傳信」至另一器件(諸如，視訊解碼器30)的視訊編碼器20。術語「傳信」可大體上指代可用以解碼經壓縮(經編碼)視訊資料之語法元素及/或其他資料之通信。此通信可即時地或近即時地發生。替代地，可歷時時間跨度發生此通信，諸如可在當編碼時在經編碼位元串流中將語法元素儲存至電腦可讀儲存媒體時發生，接著，在儲存至此媒體之後可由解碼器件在任何時間擷取該等語法元素。
視訊編碼器20及視訊解碼器30可根據視訊寫碼標準操作。藉由ITU-T視訊寫碼專家群(VCEG)及ISO/IEC運動圖像專家群(MPEG)之視訊寫碼聯合協作小組(JCT-VC)以及3D視訊寫碼擴充開發聯合協作小組(JCT-3V)開發的實例視訊寫碼標準包括高效視訊寫碼(HEVC)或ITU-T H.265，包括其範圍擴充、多視圖擴充(MV-HEVC)及可調式擴充(SHVC)。定案之HEVC標準文件作為「ITU-T H.265，H系列：視聽服務之視聽及多媒體系統基礎設施-移動視訊之寫碼-高效率視訊寫碼」，國際電信聯合會(ITU)之電信標準化部門2013年4月發表。替代 地，視訊編碼器20及視訊解碼器30可根據其他專屬或工業標準(諸如，ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)擴充及多視圖視訊寫碼(MVC)擴充)而操作。然而，本發明之技術不限於任何特定寫碼標準。舉例而言，本發明之技術可與多種其他專屬或非專屬視訊寫碼技術或後續標準(諸如，ITU-T H.266)一起使用。
如上文所提到，對於框間預測模式，視訊編碼器20可在另一時間位置之圖像(被稱作參考圖像)中搜尋類似於正經編碼之區塊(「當前區塊」)的區塊。用以識別參考圖像之資訊可被稱作運動資訊。舉例而言，對於每一區塊，運動資訊集合可為可用的。運動資訊之集合含有用於前向及後向預測方向之運動資訊。在此，前向及後向預測為雙向預測模式之兩個預測方向。術語「前向」及「後向」不必具有幾何意義，而是可對應於當前圖像之參考圖像清單0(RefPicList0)及參考圖像清單1(RefPicList1)。當僅僅一個參考圖像清單可供用於圖像或圖塊時，僅僅RefPicList0為可用的，且該圖塊之每一區塊之運動資訊可始終為前向預測方向。
對於每一預測方向，運動資訊含有參考索引及運動向量。在一些情況下，為簡單起見，可以假設運動向量自身具有相關聯參考索引的方式參考該運動向量。參考索引用於識別當前參考圖像清單(RefPicList0或RefPicList1)中之參考圖像。運動向量具有水平分量及垂直分量。
在一些情況下，運動向量連同其參考索引用於解碼過程。具有相關聯參考索引之此類運動向量可表示為單預測性運動資訊集合。
視訊寫碼標準中廣泛使用圖像次序計數(POC)以識別圖像之顯示次序。儘管可存在一個經寫碼視訊序列內之兩個圖像可具有相同POC值的情況，但經寫碼視訊序列內通常不發生此類情況。當位元串流中 存在多個經寫碼視訊序列時，就解碼次序而言，具有同一POC值之圖像可更接近於彼此。圖像之POC值可用於參考圖像清單建構、參考圖像集之推導(例如，如在HEVC中)、運動向量按比例調整或其他適合之用途。
在H.264/AVC中，每一框間巨集區塊(MB)可以四種不同方式分割，包括：一個16×16MB分區；兩個16×8MB分區；兩個8×16MB分區；及四個8×8MB分區。一個MB中之不同MB分區針對每一方向可具有不同參考索引值(RefPicList0或RefPicList1)。當MB不被分割成四個8×8MB分區時，MB在每一方向上之每一MB分區僅具有一個運動向量。當MB被分割成四個8×8MB分區時，每一8×8MB分區可進一步被分割成子區塊，該等子區塊中之每一者在每一方向可具有不同運動向量。存在自8×8MB分區得到子區塊之四種不同方式，包括：一個8×8子區塊；兩個8×4子區塊；兩個4×8子區塊；及四個4×4子區塊。每一子區塊在每一方向上可具有不同運動向量。因此，運動向量可存在於等於高於子區塊之層級中。
在H.264/AVC中，可在B圖塊中針對跳過或直接模式而在MB或MB分區層級啟用時間直接模式。對於每一MB分區，與當前區塊之RefPicList1[0]中之當前MB分區同置的區塊之運動向量可用以推導運動向量。同置區塊中之每一運動向量基於POC距離而按比例調整。在AVC中，直接模式亦可自空間相鄰者預測運動資訊，其可被稱作空間直接模式。
在HEVC中，為產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)之集合。寫碼樹型區塊(CTB)為圖塊中之最大寫碼單元，且含有具有寫碼單元之四分樹作為節點。舉例而言，CTU可包含明度樣本之CTB、色度樣本之兩個對應CTB，及用以寫碼CTB之樣本之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU 可包含單一CTB區塊及用以寫碼該CTB之樣本的語法結構。
CTB可為樣本之N×N區塊。CTB之大小可介於HEVC主規範中之16×16至64×64的範圍(儘管技術上可支援8×8 CTB大小)。寫碼單元(CU)可與CTB大小相同且可小至8×8。使用一個預測模式寫碼每一CU。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括在光柵掃描次序中連續定序之整數數目個CTU。
為產生經寫碼CTU，視訊編碼器20可對CTU之CTB遞回地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，之後命名為「寫碼樹型單元」。寫碼區塊可為樣本之N×N區塊。CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像之明度樣本之寫碼區塊及色度樣本之兩個對應寫碼區塊。CU可進一步包括用於寫碼寫碼區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單一寫碼區塊及用於寫碼該寫碼區塊之樣本的語法結構。
視訊編碼器20可將CU之寫碼區塊分割為一或多個預測區塊。預測區塊為供應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含明度樣本之預測區塊、色度樣本之兩個對應的預測區塊及用於預測該等預測區塊之語法結構。在單色圖像或具有三個包含單獨色彩顏色平面之圖像中，PU可包含單一預測區塊及用以預測該預測區塊的語法結構。視訊編碼器20可針對CU之每一PU的明度預測區塊、Cb預測區塊及Cr預測區塊而產生預測性明度區塊、Cb區塊及Cr區塊。
視訊編碼器20可使用框內預測或框間預測來產生用於PU之預測性區塊。若視訊編碼器20使用框內預測產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之經解碼樣本產生PU之預測性 區塊。若視訊編碼器20使用框間預測以產生PU之預測性區塊，則視訊編碼器20可基於除與PU相關聯之圖像外的一或多個圖像之經解碼樣本產生PU之預測性區塊。當CU經框間預測(或經框間寫碼)時，CU可進一步分割成兩個或四個PU。在一些情況下，當CU經框間預測時，當不應用進一步分割時CU可變為僅一個PU。當兩個PU存在於一個CU中時，該兩個PU在一些情況下可為一半大小的矩形或具有CU之四分之一或四分之三大小的兩個矩形大小。圖2為說明使用框間預測模式之用於CU之分割模式之實例的方塊圖。如所展示，分割模式包括PART_2N×2N、PART_2N×N、PART_N×2N、PART_N×N、PART_2N×nU、PART_2N×nD、PART_nL×2N及PART_nR×2N。CU可根據不同分割模式分割成PU。因此，可使用分割模式中之一或多者來預測CU。
在視訊編碼器20產生CU之一或多個PU的預測性明度、Cb及Cr區塊之後，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差。另外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差。
此外，視訊編碼器20可使用四分樹分割以將CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊分解為一或多個明度變換區塊、Cb變換區塊及Cr變換區塊。變換區塊為供應用相同變換之樣本的矩形(亦即，正方形或非正方形)區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊及用於對變換區塊樣本進行 變換之語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊之子區塊。Cb變換區塊可為CU之Cb殘餘區塊的子區塊。Cr變換區塊可為CU之Cr殘餘區塊之子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單一變換區塊及用於變換該變換區塊之樣本的語法結構。
視訊編碼器20可將一或多個變換應用於TU之明度變換區塊，以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊，以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊以產生TU之Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可將係數區塊量化。量化大體上指變換係數經量化以可能減少用以表示變換係數的資料之量從而提供進一步壓縮之過程。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化之變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文自適應性二進位算術寫碼(CABAC)。
視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。位元串流可包含網路抽象層(NAL)單元的序列。NAL單元為含有NAL單元中的資料之類型之指示及含有彼資料的呈按需要穿插有仿真阻止位元之原始位元組序列有效負載(RBSP)之形式的位元組之語法結構。NAL單元中之每一者包括NAL單元標頭且封裝RBSP。
不同類型之NAL單元可封裝不同類型之RBSP。舉例而言，第一類型之NAL單元可封裝圖像參數集合(PPS)之RBSP，第二類型之NAL 單元可封裝經寫碼圖塊之RBSP，第三類型之NAL單元可封裝SEI之RBSP，等等。封裝視訊寫碼資料之RBSP(相反於參數集及SEI訊息之RBSP)的NAL單元可被稱作視訊編碼層(VCL)NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。此外，視訊解碼器30可剖析位元串流以自該位元串流獲得語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素而重建構視訊資料之圖像。重建構視訊資料之過程可大體上與由視訊編碼器20執行之過程互逆。另外，視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反變換以重建構與當前CU之TU相關聯的變換區塊。藉由將當前CU之PU之預測性區塊的樣本添加至當前CU之TU之變換區塊的對應樣本，視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。
當CU經框間寫碼時，針對每一CU及/或PU存在一個運動資訊集合。此外，每一CU及/或PU藉由唯一框間預測模式寫碼以推導運動資訊集合。在HEVC標準中，存在用於預測單元(PU)之兩個框間預測模式，包括合併模式及進階運動向量預測(AMVP)模式。跳過預測模式被視為合併預測模式之特殊情況。
在AMVP或合併模式中，為多個運動向量預測符維持運動向量(MV)候選清單。當前PU之運動向量(以及合併模式中之參考索引)藉由自MV候選者清單獲取一個候選者而產生。在一些實例中，MV候選清單含有針對合併模式的至多五個候選及針對AMVP模式的兩個候選。一般熟習此項技術者將瞭解，其他數目個候選可包括於針對合併或AMVP模式之MV候選清單中。合併候選可含有對應於兩個參考圖像清單(清單0及清單1)之運動資訊(例如，運動向量)之集合及參考索引。若合併候選藉由合併索引識別，則與合併候選相關聯之參考圖像 用於當前區塊之預測，並判定相關聯運動向量。在AMVP模式下，對於自清單0或清單1之每一可能預測方向，需要明確地將參考索引連同針對MV候選清單之MVP索引一起用信號發送，此係因為AMVP候選僅含有運動向量。在AMVP模式中，可進一步改進經預測運動向量。因此，合併候選對應於運動資訊之整個集合，而AMVP候選僅含有用於特定預測方向之一個運動向量及參考索引。如下文關於圖5A、圖5B、圖6A及圖6B所描述，針對兩個模式之候選自相同空間及/或時間相鄰區塊類似地推導。
根據本發明之態樣，如下文更詳細地描述，視訊編碼器20及/或視訊解碼器30可經組態以執行本文中所描述之用於推導運動資訊、執行區塊分割及/或執行照明補償(IC)的技術之任何組合。
圖3為說明可實施用於推導運動資訊、執行區塊分割及/或執行照明補償(IC)之技術的視訊編碼器20之實例的方塊圖。視訊編碼器20可執行視訊圖塊內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之相鄰圖框或圖像內之視訊中之時間冗餘。框內模式(I模式)可指代若干基於空間之寫碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之寫碼模式中的任一者。
如圖3中所示，視訊編碼器20接收待編碼之視訊圖框內之當前視訊區塊。在圖3之實例中，視訊編碼器20包括視訊資料記憶體38、模式選擇單元40、參考圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。為了達成視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。亦可包括解區塊濾波器(圖3中未展示)至濾波器區塊邊界以將區 塊效應偽影自經重建構視訊移除。若需要，解區塊濾波器將通常濾波求和器62之輸出。除瞭解區塊濾波器外，亦可使用額外濾波器(迴路中或迴路後)。為簡潔起見未展示此等濾波器，但若需要，此等濾波器可濾波求和器50之輸出(作為迴路內濾波器)。
在編碼過程期間，視訊編碼器20接收待寫碼之視訊圖框或圖塊。可將該圖框或圖塊劃分成多個視訊區塊。視訊資料記憶體38可儲存待由視訊編碼器20之組件編碼的視訊資料。可(例如)自視訊源18獲得儲存於視訊資料記憶體38中之視訊資料。參考圖像記憶體64可被稱為儲存參考視訊資料(例如，參考圖像)以供用於由視頻編碼器20編碼視訊資料(例如，以框內或框間寫碼模式)之經解碼圖像緩衝器(DPB)。視訊資料記憶體38及參考圖像記憶體64可由多種記憶體器件中之任一者形成，諸如動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。視訊資料記憶體38及參考圖像記憶體64可由同一記憶體器件或單獨記憶體器件來提供。在各種實例中，視訊資料記憶體38可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。
運動估計單元42及運動補償單元44執行所接收視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性寫碼以提供時間預測。框內預測單元46可可替代地執行所接收視訊區塊相對於作為待寫碼區塊之相同圖框或圖塊中之一或多個相鄰區塊之框內預測性寫碼以便提供空間預測。視訊編碼器20可執行多個寫碼遍次(例如，以選擇用於視訊資料之每一區塊的適當寫碼模式)。
此外，分割單元48可基於對先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割為子區塊。舉例而言，分割單元48可初始地將一圖框或圖塊分割成多個LCU，且基於位元率-失真分析(例 如，位元率-失真最佳化)來將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示將LCU分割為子CU之四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可選擇框內或框間寫碼模式(例如，基於誤差結果或其他適合之因素)中之一者，且可將所得經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料並提供至求和器62以重建構經編碼區塊以供用作參考圖像或圖框。模式選擇單元40亦將語法元素(諸如，運動向量、框內模式指示符、分割資訊及其他此類語法資訊)提供至熵編碼單元56。
運動估計單元42及運動補償單元44可高度整合，但出於概念目的而單獨說明。藉由運動估計單元42執行之運動估計為產生運動向量之過程。如本文進一步所描述，運動向量針對視訊區塊估計運動。舉例而言，運動向量可指示在當前視訊圖框或圖像內之視訊區塊的PU相對於在參考圖像(或其他經寫碼單元)內的預測性區塊相對於在該當前圖像(或其他經寫碼單元)內正經寫碼的當前區塊之位移。預測性區塊為經發現以緊密地匹配待寫碼區塊(就像素差而言)之區塊，該區塊可由以下各者判定：絕對差總和(SAD)、平方差總和(SSD)、平方誤差總和(SSE)、絕對變換差總和(SATD)或其他差度量。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64中的參考圖像之子整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼圖塊中之視訊區塊的PU的運動向量。參考圖像可係選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)， 其中的每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將所計算運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量提取或產生預測性區塊。再次，在一些實例中，運動估計單元42與運動補償單元44可在功能上整合。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。求和器50藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。在一些實例中，運動估計單元42相對於明度分量而執行運動估計，且運動補償單元44將基於該等明度分量所計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊過程中使用。
根據本發明之態樣，如本文中所描述，視頻編碼器20可經組態以執行本文所描述之用於執行照明補償(IC)之技術的任何組合。特定而言，本發明之某些技術可藉由運動估計單元42、運動補償單元44及/或模式選擇單元40執行。舉例而言，可藉由運動估計單元42及/或運動補償單元42推導IC參數及/或IC狀態。另外，模式選擇單元40可產生與視訊區塊、圖塊、圖像、序列等相關聯之IC旗標且可將其包括於經編碼位元串流中以供視訊解碼器30在解碼視訊區塊時使用。
如上文所描述，作為由運動估計單元42及運動補償單元44執行之框間預測的替代，框內預測單元46可對當前區塊進行框內預測。特定而言，框內預測單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元46可(例如，在單獨編碼遍次期間)使用各種框內預測模式編碼當前區塊，且框內預測單元46(或在一些 實例中為模式選擇單元40)可自所測試模式中選擇適當框內預測模式來使用。
舉例而言，框內預測單元46可使用對於各種所測試之框內預測模式的速率-失真分析來計算速率-失真值，且在所測試之模式之中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始、未編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測單元46可根據各種經編碼區塊之失真及速率來計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。
在針對區塊選擇框內預測模式之後，框內預測單元46可將指示用於該區塊之所選框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可編碼指示該所選定之框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括以下各者：組態資料，其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦稱作碼字映射表)；各種區塊之編碼上下文的定義；及待用於該等上下文中之每一者的最有可能之框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
視訊編碼器20藉由自正經寫碼之原始視訊區塊減去(自模式選擇單元40所接收)之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將變換(諸如離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用小波變換、整數變換、子頻帶變換或其他類型之變換。在任何情況下，變換處理單元52將變換應用於殘餘區塊，從而產生殘餘變換係數區塊。該變換可將殘差資訊自像素值域變換至變換域，諸如頻域。變換處理單元52可將所得變換係數發送至量化單元 54。量化單元54量化變換係數以進一步減少位元速率。量化處理可減少與一些或所有係數相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。替代性地，熵編碼單元56可執行掃描。
在量化之後，熵編碼單元56熵寫碼經量化變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的情況下，上下文可基於相鄰區塊。在由熵編碼單元56進行熵寫碼之後，可將經編碼位元串流傳輸至另一器件(例如，視訊解碼器30)或加以存檔以供稍後傳輸或擷取。
反量化單元58及反變換單元60分別應用反量化及反變換以在像素域中重建構殘餘區塊(例如以供稍後用作參考區塊)。運動補償單元44可藉由將殘餘區塊添加至參考圖像記憶體64之圖框中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構之殘餘區塊以計算用於在運動估計中使用之子整數像素值。求和器62將經重建構之殘餘區塊添加至由運動補償單元44產生之經運動補償的預測區塊，以產生經重建構之視訊區塊以用於儲存於參考圖像記憶體64中。經重建構之視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間寫碼後續視訊圖框中之區塊。
圖4為說明可實施用於推導運動資訊、執行區塊分割及/或內插視訊資料之技術的視訊解碼器30之實例的方塊圖。在圖4之實例中，視訊解碼器30包括視訊資料記憶體68、熵解碼單元70、運動補償單元72、框內預測單元74、反量化單元76、反變換單元78、參考圖像記憶體82及求和器80。在一些實例中，視訊解碼器30可執行大體上與關於視訊編碼器20(圖3)所描述之編碼遍次互逆的解碼遍次。運動補償單 元72可基於自熵解碼單元70接收之運動向量產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符產生預測資料。
在解碼過程期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。可(例如)自電腦可讀媒體(例如，自本端視訊源(諸如，攝影機))經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體而獲得儲存於視訊資料記憶體68中之視訊資料。視訊資料記憶體68可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。參考圖像記憶體82可被稱作儲存參考視訊資料以供視訊解碼器30(例如在框內或框間寫碼模式中)在解碼視訊資料時使用的DPB。視訊資料記憶體68及參考圖像記憶體82可由多種記憶體器件中之任一者形成，諸如動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。視訊資料記憶體68及參考圖像記憶體82可由同一記憶體器件或單獨記憶體器件來提供。在各種實例中，視訊資料記憶體68可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。
視訊解碼器30之熵解碼單元70熵解碼位元串流以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可在視訊圖塊層級及/或視訊區塊層級接收語法元素。
當視訊圖塊經寫碼為框內寫碼(I)圖塊時，框內預測單元74可基於所傳信之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊片段之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即，B、P或GPB)圖塊時，運動補償單元72基於運動 向量及自熵解碼單元70接收之其他語法元素產生用於當前視訊圖塊之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單中之一者內的參考圖像中之一者產生。視訊解碼器30可基於儲存於參考圖像記憶體82中之參考圖像使用預設建構技術來建構參考圖框清單：清單0及清單1。
運動補償單元72藉由剖析運動向量及其他語法元素來判定當前視訊圖塊之視訊區塊的預測資訊，且使用該預測資訊產生正經解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元72使用所接收之語法元素中之一些以判定用於寫碼視訊圖塊之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測圖塊類型(例如，B圖塊、P圖塊或GPB圖塊)、圖塊之參考圖像清單中之一或多者之建構資訊、圖塊之每一框間編碼視訊區塊之運動向量、圖塊之每一框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。
運動補償單元72亦可基於內插濾波器執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間所使用的內插濾波器，以計算參考區塊之子整數像素的內插值。在此情況下，運動補償單元72可根據接收之語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。
根據本發明之態樣，視訊解碼器30可經組態以執行本文所描述之用於執行照明補償(IC)之技術之任何組合。特定而言，運動補償單元72可經組態以針對預測性區塊推導及/或應用IC狀態及/或IC參數。
反量化單元76反量化(亦即，解量化)位元串流中所提供並由熵解碼單元70解碼的經量化之變換係數。反量化處理可包括使用由視訊解碼器30針對視訊圖塊中之每一視訊區塊計算之量化參數QPY以判定應進行應用的量化程度及(同樣地)反量化程度。
反變換單元78將反變換(例如，反DCT、反整數變換或在概念上類似的反變換程序)應用於變換係數，以便在像素域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊後，視訊解碼器30藉由對來自反變換單元78之殘餘區塊與由運動補償單元72產生之對應預測性區塊求和而形成經解碼之視訊區塊。求和器80表示執行此求和運算之該或該等組件。若需要，亦可應用解區塊濾波器來對經解碼區塊濾波以便移除區塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路中抑或在寫碼迴路之後)以使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體82中，該參考圖像記憶體儲存用於後續運動補償之參考圖像。參考圖像記憶體82亦儲存經解碼視訊以用於稍後在顯示器件(諸如，圖1之顯示器件32)上呈現。
如先前所描述，兩個框間預測模式(包括合併模式及AMVP模式)可用於框間預測。在一些實例中，合併模式允許經框間預測PU以自包括選自空間相鄰運動資料位置之群組及兩個時間共置運動資料位置中之一者的運動資料位置的經框間預測PU繼承相同一或多個運動向量、預測方向及一或多個參考圖像索引。對於AMVP模式，PU之一或多個運動向量可關於自藉由編碼器所建構之AMVP候選清單的一或多個運動向量預測符(MVP)來預測寫碼。在一些情況下，對於PU之單個方向框間預測，編碼器可產生單個AMVP候選清單。在一些情況下，對於PU之雙向預測，編碼器可產生兩個AMVP候選清單，一者使用自前向預測方向之空間及時間相鄰PU之運動資料且一者使用自後向預測方向之空間及時間相鄰PU之運動資料。用於兩個模式之候選可自空間及/或時間相鄰區塊推導。舉例而言，圖5A及圖5B包括說明HEVC中之空間相鄰候選之概念圖。圖5A說明用於合併模式之空間相 鄰運動向量(MV)候選。圖5B說明用於AMVP模式之空間相鄰運動向量(MV)候選。儘管方法自針對合併及AMVP模式不同之區塊產生候選，但空間MV候選自特定PU(PU0)之相鄰區塊推導。
在合併模式中，編碼器可藉由考慮自各種運動資料位置之合併候選而形成合併候選清單。舉例而言，如圖5A中所展示，可具有關於圖5A中之數字0至4所展示之空間相鄰運動資料位置來推導達四個空間MV候選。MV候選可按藉由數字0至4所展示之次序在合併候選清單中定序。舉例而言，位置及次序可包括：左位置(0)、上位置(1)、右上位置(2)、左下位置(3)及左上位置(4)。
在圖5B中所展示之AVMP模式中，相鄰區塊被分成兩個群組：包括區塊0及1之左群組及包括區塊2、3及4之上群組。對於每一群組，參考與由用信號發送之參考索引指示之相同參考圖像的相鄰區塊中之潛在候選具有待選擇之最高優先權以形成該群組之最終候選。有可能所有相鄰區塊均不含指向相同參考圖像的運動向量。因此，若無法發現此候選，則將按比例調整第一可用候選以形成最終候選，因此可補償時間距離差。
圖6A及圖6B包括說明HEVC中之時間運動向量預測的概念圖。時間運動向量預測符(TMVP)候選在經啟用且可用時在空間運動向量候選之後被添加至MV候選清單中。對於合併及AMVP模式兩者，TMVP候選之運動向量推導之程序為相同的。但是，在一些情況下，對於合併模式中之TMVP候選，目標參考索引可設定成零或可自相鄰區塊之彼索引推導。
用於TMVP候選推導之主要區塊位置為共置PU底部右側區塊外部(在圖6A中展示為區塊「T」)以補償用於產生空間相鄰候選之上方及左側區塊的偏差。然而，若彼區塊位於當前CTB(或LCU)列之外部或運動資訊不可用，則區塊被PU之中心區塊所取代。用於TMVP候選之 運動向量自圖塊層級中所指示之共置圖像之共置PU推導。與AVC中之時間直接模式類似，TMVP候選之運動向量可經受運動向量按比例調整，其經執行以補償距離差。
運動預測之其他態樣涵蓋於HEVC標準中。舉例而言，合併及AMVP模式之若干其他態樣經涵蓋。一個態樣包括運動向量按比例調整。可假定在呈現時間上運動向量之值與圖像之距離成比例。運動向量與兩個圖像相關聯，參考圖像及含有運動向量之圖像(即含有圖像)。當利用一運動向量預測另一運動向量時，基於圖像次序計數(POC)值計算含有圖像與參考圖像之距離。對於待預測之運動向量，其相關聯之含有圖像及參考圖像兩者可不同。因此，新距離(基於POC)經計算，且基於此等兩個POC距離按比例調整運動向量。對於空間相鄰候選，用於兩個運動向量之含有圖像相同，而參考圖像不同。在HEVC中，對於空間及時間相鄰候選，運動向量按比例調整適用於TMVP及AMVP兩者。
另一態樣包括人工運動向量候選產生。舉例而言，若運動向量候選清單並不完整，則人工運動向量候選可產生於並插入於清單之末端直至獲得所有候選。在合併模式中，存在兩種類型之人工MV候選：僅針對B圖塊推導之合併候選，及若第一類型並未提供足夠人工候選僅針對AMVP使用之零候選。對於已在候選清單中且具有必需運動資訊之每一對候選，雙向組合之運動向量候選藉由參考清單0中之圖像之第一候選的運動向量與參考清單1中之圖像之第二候選的運動向量之組合推導。
合併及AMVP模式之另一態樣包括用於候選插入之修整程序。舉例而言，來自不同區塊之候選可恰巧相同，此降低合併及/或AMVP候選清單之效率。可應用修整程序以解決此問題。修整程序將一個候選與當前候選清單中之其他者相比較以避免插入在某些程度上相同之候 選。為減小複雜度，僅可應用有限數目個修整程序，而不是將每一潛在候選與所有其他現存候選相比較。
在一些情況下，解碼器可推導運動向量。舉例而言，在進階視訊編解碼器存在的情況下，位元串流中之運動資訊之位元百分比已經增大。為了減小運動資訊之位元成本，提出解碼器側運動向量推導(DMVD)。圖7為說明基於範本匹配之DMVD之實例之概念圖。基於範本匹配之DMVD展示良好的寫碼效率改良。在基於範本匹配之DMVD情況下，而不是搜尋對預測目標之最佳匹配，其為解碼器處之當前區塊，在參考圖框中搜尋範本之最佳匹配。假定範本及預測目標來自同一物件，則範本之運動向量可用作預測目標之運動向量。由於在編碼器及解碼器兩者處進行範本匹配，因此可在解碼器側處推導運動向量以避免傳信成本。
DMVD之另一類別為基於鏡像之雙向MV推導。圖8為說明DMVD中的基於鏡像之雙向運動向量推導之實例的概念圖。基於鏡像之雙向MV推導類似於圖框速率向上轉換中之雙邊運動估計。基於鏡像之MV推導藉由搜尋中心周圍之中心對稱運動估計以分數樣本精確性而應用。搜尋窗之大小及/或位置可為預定義的且可在位元串流中傳信。圖8中之dMV為添加至PMV0並自PMV1減去之偏移，以產生MV對，MV0及MV1。
將檢查搜尋窗內部之dMV之所有值，並且L0與L1參考區塊之間的絕對差總和(SAD)用作中心對稱運動估計之量測。具有最小值SAD之MV對經選擇為中心對稱運動估計之輸出。由於該方法需要未來參考(在晚於當前圖框之時間位置處的參考)及較早參考(在早於當前圖框之時間位置處的參考)以用於SAD匹配，因此其無法應用於P圖框或低延遲B圖框，在該等圖框中僅前者參考可用。
圖9為說明使用DMVD解碼預測單元(PU)之實例的流程圖。已經 提出將基於鏡像之雙向MV推導與HEVC中之合併模式組合。舉例而言，可針對B圖塊之PU添加被稱為pu_dmvd_flag之旗標以指示是否將DMVD模式應用於當前PU。由於DMVD模式不在位元串流中明確地傳輸任何MV資訊，因此提出將pu_dmvd_flag與HEVC寫碼過程中之合併模式之語法相整合之解碼過程，如圖9中展示。
舉例而言，在902處，解碼器可開始解碼PU。在904處，解碼器可判定合併模式是否啟用。若合併未啟動，則在906處，解碼器針對非合併PU執行常規程序。在合併啟用之情況下，在908處，解碼器可判定pu_dmvd_flag是否存在或是否包括指示將應用DMVD模式之某一值(例如，0或1)。若pu_dmvd_flag存在或包括指示將應用DMVD模式之值，則在912處解碼器執行DMVD程序。否則，解碼器可針對合併PU執行常規合併程序。程序結束於914處。
另外，如上文所提到，區塊/PU可基於任何運動推導方法分裂成一或多個(非重疊)子PU或子區塊。當將PU分裂成多個較小大小之子PU時，每一子PU可推導運動資訊之唯一集合。舉例而言，32×32PU可分裂成16個8×8子PU，且8×8子PU中之每一者可具有不同參考索引及/或運動向量。子PU之此大小可甚至為4×4、2×2或1×1那麼小。應注意，此處術語PU可與區塊互換使用，且術語子PU可與子區塊互換使用。
無論區塊及/或PU之大小如何，子區塊及/或子PU之大小可經預定義及固定。可替代地，分裂深度D及最小子PU及/或子區塊大小經預定義或傳信以指示當前區塊或PU應分裂成的子區塊或子PU之目標大小。目標大小為最小子PU或子區塊大小與藉由以四分樹之方式將當前區塊分裂D次獲得之大小之間的較大者。
對於每一子PU，其唯一運動資訊之搜尋可包括將整個區塊之運動資訊作為搜尋中心(起始搜尋點)及改進子區塊之運動。在一些情況 下，可自開始點候選之清單推導每一子PU之搜尋中心。
其他特性亦應用於子PU及/或子區塊。舉例而言，運動向量之改進可單獨地逐個適用於子區塊。另外，可針對子PU執行運動向量濾波以校正隔離之錯誤運動向量。舉例而言，可使用當前子PU之運動向量及(達)四個相鄰子PU之運動向量作為輸入之中值濾波器。又，當應用變換時，整個PU可被視為整個區塊以使得變換可越過子PU邊界。在一些情況下，將變換應用於每一子PU使得變換大小並不大於子PU大小。
在本文中描述用於執行視訊寫碼中之照明補償(IC)之技術及系統。舉例而言，描述用於基於經重建構空間相鄰樣本推導每一寫碼單元、預測單元(PU)及/或子PU之IC參數之技術及系統。在一些實施例中，可在一或多個預測方向上推導IC參數。根據一些實施例，視訊寫碼器(例如，視訊編碼器或視訊解碼器)可推導IC參數及/或傳信當在位元串流中寫碼時區塊是否使用IC。舉例而言，視訊寫碼器可插入包括如何使用IC之指示、所使用IC參數之指示、經編碼位元串流中之IC參數自身或其任何組合中之至少一或多者的IC資訊。視訊寫碼器可進一步基於經編碼位元串流中之IC資訊來解碼經編碼位元串流。本文所描述之技術可單獨地應用，或本文所描述之技術之任何組合可一起應用。
根據一些態樣，IC是否用於圖像或圖像之一部分(例如，區塊、圖塊、寫碼單元、PU、子PU或類似者)及IC如何用於圖像或圖像之一部分可在經編碼位元串流中以複數個不同方式來指示，其中每一者指示IC用於圖像或圖像之部分之不同方式。因此，本文所論述之技術可能夠處置本端照明變化，並且可不需要在某些情境下明確傳信之IC旗標，藉此增大寫碼效率。在一些態樣中，IC旗標針對使用AMVP模式寫碼之CU、PU及/或區塊明確地傳信。當CU、PU及/或區塊經使用合 併模式寫碼時，CU、PU及/或區塊之IC參數是自藉由合併索引指示之相鄰區塊之彼/彼等參數複製。
可使用本文所描述之一或多種不同技術或以此項技術中已知之其他方式推導IC參數。如下文更詳細地描述，IC參數可包括比例因子及偏移中之一或多者，或比例因子及偏移。在一些態樣中，可基於當前區塊(例如，含有當前CU、PU、子PU或其他區塊之CU)之相鄰樣本(例如，像素)中之一或多者及藉由當前區塊之運動資訊所識別之參考圖像中之相對應樣本(對應於當前區塊之相鄰樣本)來推導區塊(例如，CU、PU、子PU或其他區塊)之IC參數。在一些實例中，可針對每一預測方向推導區塊之IC參數。在一些實例中，相鄰樣本可包括經重建構空間相鄰樣本，該等樣本可使用諸如基於分割之照明補償(PBIC)之技術來選擇。
在一些態樣中，在使用基於子PU之時間及/或空間預測模式之情況下，代表運動資訊(例如，預測方向，及每一預測方向上之參考索引及運動向量)針對使用其他合併候選修整子PU時間及/或空間合併候選而自子PU之時間及/或空間相鄰區塊產生。因此，代表運動資訊用於識別參考圖像中之相對應樣本(對應於當前區塊之相鄰樣本)。可替代地，在一些態樣中，每一子PU使用其自身運動資訊來識別參考圖像中之相對應樣本(對應於當前區塊之相鄰樣本)。
在一些態樣中，當前區塊(例如，PU、子PU或類似者)之IC參數可自當前區塊之經重建構及/或預測空間相鄰樣本及參考圖像中之其相對應樣本(例如，藉由當前區塊之運動資訊所識別)而推導。
在其他態樣中，當前區塊(例如，PU、子PU)之IC參數僅可自當前區塊之已經重建構空間相鄰樣本推導。舉例而言，已經重建構之當前PU或子PU之空間相鄰樣本可為當前CU及當前PU或子PU之共同空間相鄰樣本。
在又一態樣中，對於用於推導IC參數之上文所描述態樣中之任一者，僅相鄰樣本之子集及/或參考圖像中之其相對應樣本用於推導區塊之IC參數。舉例而言，僅可使用上相鄰樣本、左相鄰樣本及/或僅屬於當前CTU列之樣本。可在區塊(例如，CU及/或PU)層級處於經編碼位元串流中指示(例如，使用一或多個位元)所使用相鄰樣本之子集。可替代地，所使用相鄰樣本可以更高層級語法(例如，CTB、圖塊、圖框等)經預定義或傳信。
在一些態樣中，可用於框間預測之IC模型如下：p(i,j)=a×r(i+dvx,j+dvy+b)，其中(i,j) PUc (1)
在此，PUc為當前PU，(i,j)為PUc中之像素之座標，(mvx,mvy)為PUc之運動向量，p(i,j)為PUc之預測，r為PU之參考圖像，且a及b為線性IC模型之IC參數。舉例而言，a為比例因子且b為偏移。
在一些態樣中，為了估計PU或其他區塊之參數a及b，使用像素之兩個集合。圖10展示用於估計IC參數之相鄰像素。用於估計PU之IC參數a及b之像素之兩個集合經展示於圖10中。像素之兩個集合包括第一集合，其包括當前CU(含有當前PU之CU)之左行及上列中之可用經重建構相鄰像素；及第二集合，其包括當前CU之參考區塊之相對應相鄰像素。當前CU之參考區塊藉由使用當前PU之運動向量(等式1中經展示為(mvx,mvy)而發現。在一些情況下，等式1之IC模型可用於本端框間照明變化。
為了處置更全域比例之照明變化(不僅本端框間照明變化)，IC參數a及b可經計算為：
在此，Rec neig 及Rec refneig 分別表示所使用之當前CU之相鄰像素集合及當前CU之參考區塊之相鄰像素集合，且2N表示Rec neig 及Rec refneig 中之像素數目。
在一些實例中，僅a用於線性模型中，且b始終設定為等於0。在一些實例中，僅使用b且a始終設定為等於1。在一些實例中，使用a及b兩者。在一些態樣中，IC參數及/或IC狀態(指示使用IC或不使用IC寫碼之區塊之狀態)可針對區塊單獨地明確傳信。舉例而言，區塊之a及b IC參數可在其中發送區塊之經編碼位元串流中傳信。在一些實例中，僅區塊之比例因子IC參數可在其中發送區塊之經編碼位元串流中傳信。在一些實例中，僅區塊之偏移b IC參數可在其中發送區塊之經編碼位元串流中傳信。
如上文所論述，在一些態樣中，可基於區塊之相鄰樣本推導IC參數。另外地或可替代地，在一些其他態樣中，IC參數可經明確地傳信(例如，在位元串流中經編碼)及/或自相鄰區塊繼承。在一些態樣中，針對使用AMVP模式寫碼之CU、PU及/或區塊明確地傳信IC參數(例如，一或多個比例因子a及偏移b或僅其中之一者)。當CU、PU及/或區塊經使用合併模式寫碼時，CU、PU及/或區塊之IC參數自藉由合併索引指示之相鄰區塊之IC參數複製。在一些此等態樣中，其中針對區塊所推導之IC參數之方式可經明確地傳信，諸如使用索引(例如，以區塊層級)。舉例而言，當判定IC為針對區塊所使用時(例如，經明確地傳信或基於其他資訊而推導)，可產生IC參數之清單及/或在經編碼位元串流中經傳信以指示哪一IC參數候選用於當前區塊之索引。IC參數候選之清單可包括以下各者中之一或多者：藉由使用相鄰樣本所推導之IC參數、相鄰區塊之IC參數、藉由使用相鄰區塊之子集所推導 之IC參數或其任何組合。在一些態樣中，可基於量測(例如，絕對差總和(SAD)、平方差總和(SSE)、絕對變換差總和(SATD)、平方差總和(SSD)或其他適合之量測)基於使用IC之經重建構區塊及經寫碼之實際區塊而選擇選自該清單之IC參數。
在一些態樣中，IC參數及/或索引可以區塊層級(例如，CU、PU、子PU)傳信。在一些態樣中，另外地或可替代地，IC參數及/或索引可以圖塊層級傳信並且用於其中空間相鄰樣本不可用之區塊。
在一些態樣中，IC可以一或多個語法層級(例如，圖塊層級、圖像層級、區塊層級或其他適合之語法層級)而傳信。舉例而言，一或多個IC旗標可包括於一或多個參數集(例如，序列參數集、圖像參數集或與特定語法層級相關聯之其他標頭或資料結構)中以指示與參數集相關聯之語法層級的IC之支援。舉例而言，一個IC旗標可用於指示是否針對整個語法層級(例如，圖塊)啟用IC。另外地或可替代地，在一些態樣中，不同IC旗標可用於單獨地指示是否針對整個語法層級而啟用IC用於樣本之不同組件(例如，一個旗標用於明度，一個旗標用於色度)。
另外地或可替代地，在一些態樣中，預測是否應由具有或不具有IC之參考圖像作出可在語法層級(例如，圖塊、圖像、區塊或類似者)之一或多個參數集中指示。舉例而言，若圖塊包括N個參考圖像(或可用於當前圖像之參考圖像集(RPS)中之M個圖像)，則可傳信N(或M)個語法元素(例如，一或多個位元)以指示參考圖像中之每一者當藉由圖塊之特定區塊所指代時是否可啟用IC。因此，在區塊層級，IC旗標是否應明確地存在(例如，類似於傳信參考索引之AMVP模式)可取決於N(或M)個語法元素(位元)存在，因此潛在地避免額外傳信。
圖11說明寫碼視訊資料之過程1100之實施例。過程1100經實施以 推導一或多個照明補償參數並傳信照明補償參數。在一些態樣中，過程1100可藉由計算器件或裝置執行，諸如，圖1或圖3中所展示之源器件12或視訊編碼器20。舉例而言，計算器件或裝置可包括編碼器或處理器、微處理器、微電腦或經組態以執行過程1100之步驟之編碼器之其他組件。
過程1100經說明為邏輯流程圖，其操作表示可以硬體、電腦指令或其組合實施之操作之序列。在電腦指令之情況下，操作表示儲存於一或多個電腦可讀儲存媒體上之電腦可執行指令，該等指令在藉由一或多個處理器執行時執行所敍述之操作。通常，電腦可執行指令包括執行特定功能或實施特定資料類型之常式、程式、對象、組件、資料結構及其類似者。描述操作之次序並不意欲被理解為限制，且任何數目個經描述操作可按任何次序及/或並行地組合以實施該等過程。
另外，過程1100可在經組態有可執行指令之一或多個電腦系統之控制下執行且可被實施為藉由硬體或其組合共同執行於一或多個處理器上之碼(例如，可執行指令、一或多個電腦程式或一或多個應用程式)。如上文所提到，碼可儲存於電腦可讀或機器可讀儲存媒體上，例如，呈包含可由一或多個處理器執行之複數個指令之電腦程式的形式。電腦可讀或機器可讀儲存媒體可為非暫時性的。
在1102處，過程1100包括判定當前區塊之一或多個照明補償參數。在一些實例中，一或多個照明補償參數包括標度或偏移中之至少一或多者。
可使用等式2判定當前區塊之照明補償參數，在下文重現該等式：
在1104處，過程1100包括使用該一或多個照明補償參數將當前區塊寫碼為經編碼位元串流之一部分。舉例而言，編碼器(例如，視訊編碼器20)可使用照明補償參數來補償當前區塊與至少一個預測區塊之間的照明(例如，亮度)的變化。在一些實施例中，可將照明補償參數編碼為經編碼位元串流中之一或多個語法元素之一部分。解碼器(例如，視訊解碼器30)可至少部分基於經編碼位元串流中之照明補償參數解碼該經編碼位元串流。
在一些態樣中，過程1100包括判定當前區塊之一或多個空間相鄰樣本及基於該一或多個空間相鄰樣本中之至少一者推導當前區塊之一或多個照明補償參數。在此等態樣中，過程1100包括使用一或多個照明補償參數將當前區塊寫碼為經編碼位元串流之一部分，及針對當前區塊將照明補償狀態單獨地傳信於經編碼位元串流中。在一些實例中，照明補償狀態可包括是否使用照明補償寫碼當前區塊之旗標或其他指示。
在一些態樣中，一或多個空間相鄰樣本包括當前區塊之一或多個經重建構空間相鄰樣本。在一些態樣中，一或多個空間相鄰樣本包括一或多個與藉由與當前區塊相關聯之運動資訊所識別之參考圖像中之當前區塊之一或多個經重建構空間相鄰樣本相對應之樣本。在一些態樣中，當基於子PU之時間或空間預測模式用於當前區塊時，用於識別一或多個相對應樣本之與當前區塊相關聯之運動資訊包括當前區塊之代表運動資訊。舉例來說，當使用基於子PU之時間及/或空間預測模式時，代表運動資訊(例如，預測方向，及每一預測方向上之參考索引及運動向量)可針對使用其他合併候選修整子PU時間及/或空間合併候選而自子PU之時間及/或空間相鄰區塊產生。在此等情況下，代表運動資訊可用於識別參考圖像中之相對應樣本(對應於當前區塊之相鄰樣本)。可替代地，在一些情況下，每一子PU使用其自身運動 資訊來識別參考圖像中之相對應樣本(對應於當前區塊之相鄰樣本)。在一些實例中，運動資訊可包括一或多個運動向量。在一些態樣中，一或多個空間相鄰樣本包括當前區塊之一或多個經重建構空間相鄰樣本及藉由與當前區塊相關聯之運動資訊所識別之參考圖像中之一或多個相對應樣本。如先前所提及，參考圖像之參考區塊中之一或多個相對應樣本對應於當前區塊之一或多個經重建構空間相鄰樣本。舉例而言，可使用與當前區塊相關聯之一或多個運動向量來識別參考圖像之參考區塊中之相對應樣本。
在一些實例中，一或多個空間相鄰樣本包括複數個相鄰樣本。在此等實例中，空間相鄰樣本中之至少一者包括小於複數個相鄰樣本之全部。舉例而言，用於推導當前區塊之一或多個照明補償參數之至少一個空間相鄰樣本可小於當前區塊之空間相鄰樣本之總數。
在一些態樣中，過程1100進一步包括在經編碼位元串流中傳信當前區塊之一或多個照明補償參數中之至少一者。舉例而言，過程1100可針對當前區塊單獨地傳信一或多個照明補償參數中之至少一者。在一些態樣中，過程1100包括在經編碼位元串流中聯合地傳信用於當前區塊之參考圖像清單0及參考圖像清單1之一或多個照明補償參數中之一者。舉例來說，用於當前區塊之兩個參考圖像清單(清單0及清單1)之一或多個照明補償參數可在經編碼位元串流中聯合地傳信。在一個說明性實例中，索引經傳信以指示用於兩個參考圖像清單(清單0及清單1)之照明補償參數之值。在一些態樣中，使用自候選區塊複製或推導運動資訊之框間預測模式來寫碼當前區塊，在此情況下，一或多個照明補償參數經推導與候選區塊之一或多個照明補償參數相同。在一個實例中，使用合併模式寫碼當前區塊，且當前區塊之一或多個照明補償參數經推導與候選區塊之一或多個照明補償參數相同。在一些實例中，候選區塊為空間合併候選、時間合併候選、雙預測性合併候選 或任何其他合適合併候選中之至少一或多者。
在一些態樣中，當使用將當前區塊之運動資訊明確地傳信於經編碼位元串流中之框間預測模式來寫碼當前區塊時，用於當前區塊之照明補償狀態經明確地傳信於經編碼位元串流中。
在一些態樣中，當使用進階運動向量預測(AMVP)模式寫碼當前區塊時，當前區塊之一或多個照明補償參數經明確地傳信於經編碼位元串流中。
在一些實例中，過程1100包括推導當前區塊之一或多個照明補償參數之多個集合之清單。在此等實例中，傳信一或多個照明補償參數包含傳信多個集合中之一者之選擇。舉例而言，當判定照明補償為針對當前區塊所使用時，可產生一或多個照明補償參數之多個集合之清單以用於當前區塊。在一些實例中，可在經編碼位元串流中傳信索引以指示哪一照明補償參數候選用於當前區塊。一或多個照明補償參數之多個集合之清單可包括候選清單，且可包括以下各者中之一或多者：藉由使用相鄰樣本所推導之照明補償參數、相鄰區塊之照明補償參數、藉由使用相鄰區塊之子集所推導之照明補償參數或其任何組合。
在一些實例中，過程1100包括傳信在圖塊標頭中包含當前區塊之圖塊的照明補償參數。在一些實例中，過程1100包括分別地針對色度及明度傳信照明補償參數。在一些實例中，過程1100包括針對包含當前區塊之CTU傳信照明補償參數。在一些實例中，過程1100包括針對包含當前區塊之區塊之群組或包含當前區塊之另一其他區塊層級而傳信照明補償參數。
在一些實施例中，當使用解碼器側運動向量推導(DMVD)時，可傳信照明補償(IC)使用。另外，當使用DMVD模式(或以基於子PU之DMVD模式)時，候選運動向量之可靠度可由藉由候選運動向量所識 別之兩個相對應區域(例如，類似區域)之間的差來量測。在一些實例中，兩個相對應區域可包括當前區塊中之範本及參考區塊或圖框中之範本(例如，如上文關於圖7所描述之基於範本之DMVD模式)。可使用絕對差總和(SAD)、平方差總和(SSD)、平方誤差總和(SSE)、絕對變換差總和(SATD)或其他適合之差量測來判定該差。在一些態樣中，當當前區塊(例如，CU、PU、子PU)之IC狀態為正確(指示IC用於當前區塊)時，可在計算兩個相對應區域之間的差之前首先移除兩個相對應區域之平均值以便量測候選運動向量之可靠度。在計算兩個區域之平均值的實例中，對於每一區塊，該區塊之每一樣本之平均明度、色度或其他特性經計算，且平均值自每一樣本減去。在此等態樣中，計算兩個相對應區域之間的差可包括執行平均值經移除差，諸如，平均值經移除SAD、SSD、SSE、SATD或其他平均值經移除量測。移除兩個相對應區域之平均值可部分消除由於將藉由IC計算之相對應區域之間的照明差的差。IC參數及/或IC狀態可隨後在經編碼位元串流中經傳信。
在一些態樣中，可替代地，相對應區域中之一者可被視為「當前區域」並且其他相對應區域可被視為「參考區域」。可基於當前區域之相鄰樣本及參考區域之相鄰樣本推導IC參數，且接著將其應用於參考區域(產生經照明補償之參考區域)。當前區域與經照明補償之參考區域之間的差可隨後用於量測候選運動向量之可靠度。IC參數及/或IC狀態可隨後在經編碼位元串流中經傳信。
在一些態樣中，可替代地，針對使用DMVD模式寫碼之區塊，IC可始終禁用。
圖12說明寫碼視訊資料之過程1200之實施例。過程1100經實施以量測候選運動向量之可靠度。在一些態樣中，過程1200可藉由計算器件或裝置執行，諸如，圖1或圖3中所展示之源器件12或視訊編碼器 20。舉例而言，計算器件或裝置可包括編碼器或處理器、微處理器、微電腦或經組態以執行過程1200之步驟之編碼器之其他組件。在一些態樣中，過程1200可藉由計算器件或裝置(諸如，圖1或圖4中所展示之目的地器件14或視訊解碼器30)執行。舉例而言，計算器件或裝置可包括解碼器或處理器、微處理器、微電腦或經組態以執行過程1200之步驟之解碼器之其他組件。
過程1200經說明為邏輯流程圖，其操作表示可以硬體、電腦指令或其組合實施之操作之序列。在電腦指令之情況下，操作表示儲存於一或多個電腦可讀儲存媒體上之電腦可執行指令，該等指令在藉由一或多個處理器執行時執行所敍述之操作。通常，電腦可執行指令包括執行特定功能或實施特定資料類型之常式、程式、對象、組件、資料結構及其類似者。描述操作之次序並不意欲被理解為限制，且任何數目個經描述操作可按任何次序及/或並行地組合以實施該等過程。
另外，過程1200可在經組態有可執行指令之一或多個電腦系統之控制下執行且可被實施為藉由硬體或其組合共同執行於一或多個處理器上之碼(例如，可執行指令、一或多個電腦程式或一或多個應用程式)。如上文所提到，碼可儲存於電腦可讀或機器可讀儲存媒體上，例如，呈包含可由一或多個處理器執行之複數個指令之電腦程式的形式。電腦可讀或機器可讀儲存媒體可為非暫時性的。
在1202處，過程1200包括將對應於當前區塊中之範本之第一區域與對應於參考圖框中之範本之第二區域相匹配。舉例而言，基於範本匹配之DMVD可用於將第一區域與第二區域相匹配。
在1204處，過程1200包括基於識別第一區域及第二區域之匹配而產生候選運動向量。
在1206處，過程1200包括以下各者中之至少一或多者：將一或多個照明補償參數應用於第一區域及第二區域中之一者且接著計算第 一區域與第二區域之間的差以指示候選運動向量之可靠度；及計算第一區域與第二區域之間的平均值經移除差以指示候選運動向量之可靠度。如先前所提及，移除兩個相對應區域之平均值可部分消除由於將藉由IC所計算之相對應區域之間的照明差的差。當前區域與經照明補償之參考區域之間的差可用於量測候選運動向量之可靠度。IC參數及/或IC狀態可隨後在經編碼位元串流中經傳信。
在一些實施例中，經加權預測(WP)可在運動補償中使用。舉例而言，WP可包括將比例因子(a)、轉移數目(s)及偏移(b)應用於運動補償中之樣本值。在一個實例中，假設參考圖像之位置(x,y)中之樣本值為p(x,y)，則值P'(x,y)(基於a、s及b，p(x,y)之按比例調整、經移位、偏移值)可代替p(x,y)用作運動補償之預測值。舉例而言，P'(x,y)=((a*p(x,y)+(1<<(s-1)))>>s)+b
在一些態樣中，對於當前圖塊之每一參考圖像，旗標經傳信以指示WP是否適用於參考圖像。若WP適用於參考圖像，則WP參數之集合(例如，a、s及b)可作為經編碼位元串流之一部分自參考圖像發送至待用於運動補償之解碼器。在一些態樣中，針對參考圖像之明度及色度分量可存在WP之獨立旗標及參數。
在一些態樣中，可啟用IC及WP兩者(例如，針對圖塊、圖像、序列等)。可替代地，在一些態樣中，IC及WP不為兩者都啟用。因此，在此等態樣中，若IC經明確啟用，則WP經禁用，或若IC經明確地禁用，則WP經啟用。可替代地，在一些態樣中，WP並不針對特定量變曲線啟用或根本不被使用。
在一些態樣中，當IC及WP兩者經啟用(例如，針對圖塊、圖像、序列)時，對於任何給定區塊(例如，CU、PU、子PU)，僅IC或WP經啟用，但不是兩者同時。在一些態樣中，無論WP是否針對自其預測當前區塊之參考圖像經啟用，IC狀態經傳信(或推導)。因此，在一些 態樣中，當區塊之IC狀態為正確時，僅IC適用於區塊，而不考慮WP是否針對自其預測當前區塊之參考圖像經啟用。另外，在一些態樣中，當區塊之IC狀態為錯誤時，當WP經啟用之情況下自一或多個參考圖像預測當前區塊時WP可僅適用。
在一些態樣中，可替代地，當IC及WP兩者經啟用(例如，針對圖塊、圖像、序列)時，當當前區塊在WP經啟用之情況下自一或多個參考圖像預測時，除WP外(例如，另外)可使用IC，並且當前區塊之IC狀態為正確的。舉例而言，WP可首先應用於參考區塊及當前區塊及參考區塊之相鄰樣本。使用WP參數處理之樣本可被稱為經修改樣本。可隨後基於當前區塊及參考區塊之經修改相鄰樣本來推導IC參數，並且隨後該等參數應用於經修改參考區塊以用於產生預測區塊。
在一些態樣中，可替代地，當IC及WP兩者經啟用(例如，針對圖塊、圖像、序列)時，IC可僅當針對當前區塊自其預測之一或多個參考圖像WP經禁用時而使用。舉例而言，當區塊僅自具有經WP啟用之參考圖框而預測時，IC狀態不經傳信(或自相鄰區塊複製)並且針對區塊始終設定為錯誤的。因此，僅當區塊自具有經加權預測禁用之至少一個參考圖像預測(或在一些態樣中部分預測)時，IC狀態可為正確的(經傳信或推導)。
因此，根據本發明之態樣，視訊編碼器20或視訊解碼器30可判定如何將照明補償傳信並應用於視訊區塊，或視訊之其他部分。舉例而言，視訊編碼器20或視訊解碼器30可基於相鄰樣本判定視訊區塊之IC參數。另外，視訊編碼器20或視訊解碼器30可基於與所使用框間預測模式之區塊及/或類型(例如，AVMP、DMVD、合併(例如，包括空間、時間、雙預測性、虛擬單方向等的類型)、OBMC等)相關聯之運動資訊來判定區塊之IC狀態。在另一實例中，視訊編碼器20或視訊解碼器30可使用除合併模式外之框間預測模式明確地傳信經編碼區塊之 IC之使用。在另一實例中，視訊編碼器20或視訊解碼器30可指示複數個IC參數之哪些待用於區塊。在另一實例中，視訊編碼器20或視訊解碼器30可基於區塊之IC狀態判定針對DMVD之基於候選運動向量之可靠度。在又一實例中，視訊編碼器20或視訊解碼器30可指示圖塊層級或與參數集相關聯之層級處的IC狀態。在其他實例中，視訊編碼器20或視訊解碼器30可結合WP使用IC。
在前述描述中，參考其具體實施例描述申請案之態樣，但熟習此項技術者將認識到本發明不限於此。因此，儘管申請案之說明性實施例已經在本文中詳細地描述，但應理解，本發明概念可以其他方式不同地實施並採用，且意欲解釋所附申請專利範圍以包括除先前技術所限制外的此等變化。上文所描述之發明之各種特徵及態樣可單獨地或聯合地使用。另外，實施例可用於超出本文所描述之彼等環境及應用之任何數目個環境及應用，而不脫離本說明書之更廣精神及範疇。因此，本說明書及圖式被視為說明性而不是限定性。出於說明之目的，以特定次序描述方法。應瞭解，在替代實施例中，可以與所描述之次序不同之次序來執行該等方法。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行、可添加、合併或完全省略該等動作或事件(例如，並非所有所描述動作或事件對於該等技術之實踐係必要的)。此外，在某些實例中，動作或事件可(例如)經由多線緒處理、中斷處理或多個處理器同時而非依序地執行。
在組件被描述為「經組態以」執行某些操作之情況下，舉例而言，藉由設計電子電路或其他硬體以執行操作，藉由程式化可程式化電子電路(例如，微處理器、或其他適合之電子電路)以執行操作或其任何組合之方式可完成此等組態。
結合本文所揭示之實施例而描述之各種說明性邏輯區塊、模 組、電路及演算法步驟可被實施為電子硬體、電腦軟體、韌體或其組合。為了清楚地說明硬體與軟體之此可互換性，各種說明性組件、區塊、模組、電路及步驟已在上文大體按其功能性加以描述。此功能性實施為硬體抑或軟體取決於特定應用及強加於整個系統上之設計約束。熟習此項技術者可針對每一特定應用以不同方式實施所描述之功能性，但不應將此等實施決策解釋為導致脫離本發明之範疇。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體或(例如)根據通信協定包括促進電腦程式自一位置傳送另一位置之任何媒體的通信媒體。以此方式，電腦可讀媒體大體可對應於(1)非暫時性之有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。另外，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其 他暫時性媒體，而是針對非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟使用雷射以光學方式再現資料。以上之組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效積體或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或合併於組合式編解碼器中。此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以多種器件或裝置予以實施，該等器件或裝置包括無線手機、積體電路(IC)或IC之集合(例如，晶片集合)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適之軟體及/或韌體來提供該等單元。
各種實例已予以描述。此等及其他實例係在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件

Claims (58)

  1. 一種寫碼視訊資料之方法，該方法包含：判定一當前區塊之一或多個照明補償參數；及使用該一或多個照明補償參數將該當前區塊寫碼為一經編碼位元串流之一部分。
  2. 如請求項1之方法，其進一步包含：判定該當前區塊之一或多個空間相鄰樣本；基於該一或多個空間相鄰樣本中之至少一者推導該當前區塊之該一或多個照明補償參數；使用該一或多個照明補償參數將該當前區塊寫碼為該經編碼位元串流之一部分；及針對該當前區塊將一照明補償狀態單獨地傳信於該經編碼位元串流中。
  3. 如請求項2之方法，其中該一或多個空間相鄰樣本為以下各者中之至少一或多者：該當前區塊之一或多個經重建構空間相鄰樣本；或藉由與該當前區塊相關聯之運動資訊所識別之一參考圖像中之該當前區塊之該一或多個經重建構空間相鄰樣本的一或多個相對應樣本。
  4. 如請求項3之方法，其中當基於一子PU之時間或空間預測模式用於該當前區塊時，與用於識別該一或多個相對應樣本之與該當前區塊相關聯之該運動資訊包括該當前區塊之代表運動資訊。
  5. 如請求項2之方法，其中該一或多個空間相鄰樣本包含複數個相鄰樣本，且其中該等空間相鄰樣本中之該至少一者包括小於該複數個相鄰樣本之全部。
  6. 如請求項1之方法，其進一步包含：將該當前區塊之該一或多個照明補償參數中之至少一者傳信於該經編碼位元串流中。
  7. 如請求項6之方法，其進一步包含：將該當前區塊之參考圖像清單0及參考圖像清單1之該一或多個照明補償參數中之一者聯合地傳信於該經編碼位元串流中。
  8. 如請求項6之方法，其中使用自一候選區塊複製或推導運動資訊之一框間預測模式來寫碼該當前區塊，且其中該一或多個照明補償參數經推導與該候選區塊之一或多個照明補償參數相同。
  9. 如請求項8之方法，其中使用一合併模式來寫碼該當前區塊，且其中該當前區塊之該一或多個照明補償參數經推導與該候選區塊之該一或多個照明補償參數相同。
  10. 如請求項9之方法，其中該候選區塊為一空間合併候選、一時間合併候選或一雙預測性合併候選中之至少一或多者。
  11. 如請求項6之方法，其中當該當前區塊是使用將該當前區塊之該運動資訊明確地傳信於該經編碼位元串流中之一框間預測模式來寫碼時，該當前區塊之該照明補償狀態經明確地傳信於該經編碼位元串流中。
  12. 如請求項6之方法，其中當使用一進階運動向量預測(AMVP)模式寫碼該當前區塊時，該當前區塊之該一或多個照明補償參數經明確地傳信於該經編碼位元串流中。
  13. 如請求項6之方法，其進一步包含推導該當前區塊之一或多個照明補償參數之多個集合之一清單，其中傳信該一或多個照明補償參數包含傳信該多個集合中之一者之一選擇。
  14. 如請求項1之方法，其進一步包含傳信一圖塊標頭中包含該當前區塊的一圖塊之照明補償參數。
  15. 如請求項1之方法，其進一步包含分別針對色度及明度傳信照明補償參數。
  16. 如請求項1之方法，其中該一或多個照明補償參數包括一標度或一偏移中之至少一或多者。
  17. 一種裝置，其包含：一記憶體，其經組態以儲存視訊資料；及一處理器，其經組態以：判定一當前區塊之一或多個照明補償參數；及使用該一或多個照明補償參數將該當前區塊寫碼為一經編碼位元串流之一部分。
  18. 如請求項17之裝置，其中該處理器進一步經組態以：判定該當前區塊之一或多個空間相鄰樣本；基於該一或多個空間相鄰樣本中之至少一者推導該當前區塊之該一或多個照明補償參數；使用該一或多個照明補償參數將該當前區塊寫碼為該經編碼位元串流之一部分；及針對該當前區塊將一照明補償狀態單獨地傳信於該經編碼位元串流中。
  19. 如請求項18之裝置，其中該一或多個空間相鄰樣本為以下各者中之至少一或多者：該當前區塊之一或多個經重建構空間相鄰樣本；或藉由與該當前區塊相關聯之運動資訊所識別之一參考圖像中之該當前區塊之該一或多個經重建構空間相鄰樣本的一或多個相對應樣本。
  20. 如請求項18之裝置，其中該一或多個空間相鄰樣本包含複數個相鄰樣本，且其中該等空間相鄰樣本中之該至少一者包括小於 該複數個相鄰樣本之全部。
  21. 如請求項17之裝置，其中該處理器進一步經組態以：將該當前區塊之該一或多個照明補償參數中之至少一者傳信於該經編碼位元串流中。
  22. 如請求項21之裝置，其中使用自一候選區塊複製或推導運動資訊之一框間預測模式來寫碼該當前區塊，且其中該一或多個照明補償參數經推導與該候選區塊之一或多個照明補償參數相同。
  23. 如請求項22之裝置，其中使用一合併模式來寫碼該當前區塊，且其中該當前區塊之該一或多個照明補償參數經推導與該候選區塊之該一或多個照明補償參數相同。
  24. 如請求項23之裝置，其中該候選區塊為一空間合併候選、一時間合併候選或一雙預測性合併候選中之至少一或多者。
  25. 如請求項21之裝置，其中當該當前區塊是使用將該當前區塊之該運動資訊明確地傳信於該經編碼位元串流中之一框間預測模式來寫碼時，該當前區塊之該照明補償狀態經明確地傳信於該經編碼位元串流中。
  26. 如請求項21之裝置，其中當使用一進階運動向量預測(AMVP)模式寫碼該當前區塊時，該當前區塊之該一或多個照明補償參數經明確地傳信於該經編碼位元串流中。
  27. 如請求項21之裝置，其中該處理器經進一步組態以推導該當前區塊之一或多個照明補償參數之多個集合之一清單，其中傳信該一或多個照明補償參數包含傳信該多個集合中之一者之一選擇。
  28. 如請求項17之裝置，其中該處理器經進一步組態以傳信一圖塊標頭中包含該當前區塊的一圖塊之該等照明補償參數。
  29. 如請求項17之裝置，其中該處理器經進一步組態以分別針對色度及明度傳信照明補償參數。
  30. 如請求項17之裝置，其中該一或多個照明補償參數包括一標度或一偏移中之至少一或多者。
  31. 一種其上儲存有當藉由一處理器執行時執行一方法之指令的電腦可讀媒體，其包括：判定一當前區塊之一或多個照明補償參數；及使用該一或多個照明補償參數將該當前區塊寫碼為一經編碼位元串流之一部分。
  32. 如請求項31之電腦可讀媒體，其進一步包含：判定該當前區塊之一或多個空間相鄰樣本；基於該一或多個空間相鄰樣本中之至少一者推導該當前區塊之該一或多個照明補償參數；使用該一或多個照明補償參數將該當前區塊寫碼為該經編碼位元串流之一部分；及針對該當前區塊將一照明補償狀態單獨地傳信於該經編碼位元串流中。
  33. 如請求項32之電腦可讀媒體，其中該一或多個空間相鄰樣本為以下各者中之至少一或多者：該當前區塊之一或多個經重建構空間相鄰樣本；或藉由與該當前區塊相關聯之運動資訊所識別之一參考圖像中之該當前區塊之該一或多個經重建構空間相鄰樣本的一或多個相對應樣本。
  34. 如請求項32之電腦可讀媒體，其中該一或多個空間相鄰樣本包含複數個相鄰樣本，且其中該等空間相鄰樣本中之該至少一者包括小於該複數個相鄰樣本之全部。
  35. 如請求項31之電腦可讀媒體，其進一步包含：將該當前區塊之該一或多個照明補償參數中之至少一者傳信於該經編碼位元串流中。
  36. 如請求項35之電腦可讀媒體，其中使用自一候選區塊複製或推導運動資訊之一框間預測模式來寫碼該當前區塊，且其中該一或多個照明補償參數經推導與該候選區塊之一或多個照明補償參數相同。
  37. 如請求項36之電腦可讀媒體，其中使用一合併模式來寫碼該當前區塊，且其中該當前區塊之該一或多個照明補償參數經推導與該候選區塊之該一或多個照明補償參數相同。
  38. 如請求項37之電腦可讀媒體，其中該候選區塊為一空間合併候選、一時間合併候選或一雙預測性合併候選中之至少一或多者。
  39. 如請求項35之電腦可讀媒體，其中當該當前區塊是使用將該當前區塊之該運動資訊明確地傳信於該經編碼位元串流中之一框間預測模式來寫碼時，該當前區塊之該照明補償狀態經明確地傳信於該經編碼位元串流中。
  40. 如請求項35之電腦可讀媒體，其中當使用一進階運動向量預測(AMVP)模式寫碼該當前區塊時，該當前區塊之該一或多個照明補償參數經明確地傳信於該經編碼位元串流中。
  41. 如請求項35之電腦可讀媒體，其進一步包含推導該當前區塊之一或多個照明補償參數之多個集合之一清單，其中傳信該一或多個照明補償參數包含傳信該多個集合中之一者之一選擇。
  42. 如請求項31之電腦可讀媒體，其進一步包含傳信一圖塊標頭中包含該當前區塊的一圖塊之該等照明補償參數。
  43. 如請求項31之電腦可讀媒體，其進一步包含分別針對色度及明 度傳信照明補償參數。
  44. 如請求項31之電腦可讀媒體，其中該一或多個照明補償參數包括一標度或一偏移中之至少一或多者。
  45. 一種裝置，其包含：用於判定一當前區塊之一或多個照明補償參數之構件；及用於使用該一或多個照明補償參數將該當前區塊寫碼為一經編碼位元串流之一部分之構件。
  46. 如請求項45之裝置，其進一步包含：判定該當前區塊之一或多個空間相鄰樣本；基於該一或多個空間相鄰樣本中之至少一者推導該當前區塊之該一或多個照明補償參數；使用該一或多個照明補償參數將該當前區塊寫碼為該經編碼位元串流之一部分；及針對該當前區塊將一照明補償狀態單獨地傳信於該經編碼位元串流中。
  47. 如請求項46之裝置，其中該一或多個空間相鄰樣本為以下各者中之至少一或多者：該當前區塊之一或多個經重建構空間相鄰樣本；或藉由與該當前區塊相關聯之運動資訊所識別之一參考圖像中之該當前區塊之該一或多個經重建構空間相鄰樣本的一或多個相對應樣本。
  48. 如請求項46之裝置，其中該一或多個空間相鄰樣本包含複數個相鄰樣本，且其中該等空間相鄰樣本中之該至少一者包括小於該複數個相鄰樣本之全部。
  49. 如請求項45之裝置，其進一步包含：將該當前區塊之該一或多個照明補償參數中之至少一者傳信 於該經編碼位元串流中。
  50. 如請求項49之裝置，其中使用自一候選區塊複製或推導運動資訊之一框間預測模式來寫碼該當前區塊，且其中該一或多個照明補償參數經推導與該候選區塊之一或多個照明補償參數相同。
  51. 如請求項50之裝置，其中使用一合併模式來寫碼該當前區塊，且其中該當前區塊之該一或多個照明補償參數經推導與該候選區塊之該一或多個照明補償參數相同。
  52. 如請求項51之裝置，其中該候選區塊為一空間合併候選、一時間合併候選或一雙預測性合併候選中之至少一或多者。
  53. 如請求項49之裝置，其中當該當前區塊是使用將該當前區塊之該運動資訊明確地傳信於該經編碼位元串流中之一框間預測模式來寫碼時，該當前區塊之該照明補償狀態經明確地傳信於該經編碼位元串流中。
  54. 如請求項49之裝置，其中當使用一進階運動向量預測(AMVP)模式寫碼該當前區塊時，該當前區塊之該一或多個照明補償參數經明確地傳信於該經編碼位元串流中。
  55. 如請求項49之裝置，其進一步包含推導該當前區塊之一或多個照明補償參數之多個集合之一清單，其中傳信該一或多個照明補償參數包含傳信該多個集合中之一者之一選擇。
  56. 如請求項45之裝置，其進一步包含傳信一圖塊標頭中包含該當前區塊的一圖塊之該等照明補償參數。
  57. 如請求項45之裝置，其進一步包含分別針對色度及明度傳信照明補償參數。
  58. 如請求項45之裝置，其中該一或多個照明補償參數包括一標度或一偏移中之至少一或多者。
TW105118218A 2015-06-09 2016-06-08 判定用於視訊寫碼之照明補償狀態之系統及方法 TW201711463A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562173234P 2015-06-09 2015-06-09
US15/174,820 US10887597B2 (en) 2015-06-09 2016-06-06 Systems and methods of determining illumination compensation parameters for video coding

Publications (1)

Publication Number Publication Date
TW201711463A true TW201711463A (zh) 2017-03-16

Family

ID=56203961

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105118218A TW201711463A (zh) 2015-06-09 2016-06-08 判定用於視訊寫碼之照明補償狀態之系統及方法

Country Status (8)

Country Link
US (1) US10887597B2 (zh)
EP (1) EP3308544A1 (zh)
JP (1) JP6746620B2 (zh)
KR (1) KR20180016389A (zh)
CN (1) CN107710764B (zh)
AU (1) AU2016274480A1 (zh)
TW (1) TW201711463A (zh)
WO (1) WO2016200777A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111527750A (zh) * 2018-01-26 2020-08-11 交互数字Vc控股公司 用于视频编码和解码中的自适应照明补偿的方法和装置
CN111630855A (zh) * 2018-01-16 2020-09-04 Vid拓展公司 基于局部照明补偿的运动补偿双向预测

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10356416B2 (en) 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
CN116708783A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
WO2018068264A1 (zh) * 2016-10-13 2018-04-19 富士通株式会社 图像编码/解码方法、装置以及图像处理设备
KR20180074000A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
EP3560202A4 (en) * 2016-12-27 2020-07-29 MediaTek Inc. METHOD AND DEVICE FOR BILATERAL TEMPLATE MV REFINING FOR VIDEO CODING
US10542280B2 (en) * 2017-01-09 2020-01-21 QUALCOMM Incorpated Encoding optimization with illumination compensation and integer motion vector restriction
US10628165B2 (en) * 2017-08-17 2020-04-21 Agora Lab, Inc. Gain control for multiple description coding
WO2019061537A1 (en) * 2017-09-30 2019-04-04 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR DERIVING CANDIDATES FROM TIME MOVEMENT DATA IN VIDEO CODING
EP3468194A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Decoupled mode inference and prediction
EP3468198A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Method and apparatus for video encoding and decoding based on illumination compensation
EP3692716A1 (en) * 2017-10-05 2020-08-12 InterDigital VC Holdings, Inc. Method and apparatus for adaptive illumination compensation in video encoding and decoding
EP3468193A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Method and apparatus for adaptive illumination compensation in video encoding and decoding
US11057640B2 (en) 2017-11-30 2021-07-06 Lg Electronics Inc. Image decoding method and apparatus based on inter-prediction in image coding system
US10931963B2 (en) 2017-12-07 2021-02-23 Tencent America LLC Method and apparatus for video coding
WO2019110132A1 (en) * 2017-12-08 2019-06-13 Huawei Technologies Co., Ltd. Template matching function for bi-predictive mv refinement
WO2019110120A1 (en) * 2017-12-08 2019-06-13 Huawei Technologies Co., Ltd. Template matching function for bi-predictive mv refinement
US11082708B2 (en) * 2018-01-08 2021-08-03 Qualcomm Incorporated Multiple-model local illumination compensation
EP3738310A4 (en) * 2018-01-11 2021-08-11 Qualcomm Incorporated VIDEO ENCODING USING LOCAL LIGHTING COMPENSATION
KR20200100656A (ko) 2018-01-16 2020-08-26 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
US10652571B2 (en) * 2018-01-25 2020-05-12 Qualcomm Incorporated Advanced motion vector prediction speedups for video coding
EP3518543A1 (en) * 2018-01-26 2019-07-31 Thomson Licensing Illumination compensation flag in frame rate up-conversion with template matching
US10715810B2 (en) 2018-02-20 2020-07-14 Qualcomm Incorporated Simplified local illumination compensation
EP3554080A1 (en) 2018-04-13 2019-10-16 InterDigital VC Holdings, Inc. Methods and devices for picture encoding and decoding
US11343541B2 (en) * 2018-04-30 2022-05-24 Hfi Innovation Inc. Signaling for illumination compensation
CN112385226A (zh) * 2018-06-18 2021-02-19 交互数字Vc控股公司 视频编码中的照度补偿
CN110662043B (zh) 2018-06-29 2021-12-21 北京字节跳动网络技术有限公司 一种用于处理视频数据的方法、装置和计算机可读介质
SG11202012293RA (en) 2018-06-29 2021-01-28 Beijing Bytedance Network Technology Co Ltd Update of look up table: fifo, constrained fifo
EP3791586A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
EP3791585A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Partial/full pruning when adding a hmvp candidate to merge/amvp
EP4322533A3 (en) 2018-06-29 2024-03-06 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in lut
TWI731360B (zh) 2018-06-29 2021-06-21 大陸商北京字節跳動網絡技術有限公司 查找表的使用條件
CN110662052B (zh) 2018-06-29 2022-07-08 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
TWI728390B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 查找表尺寸
WO2020008349A1 (en) 2018-07-02 2020-01-09 Beijing Bytedance Network Technology Co., Ltd. Merge index coding
US20210185352A1 (en) * 2018-07-06 2021-06-17 Mitsubishi Electric Corporation Video encoder, video decoder, video encoding method, video decoding method
KR20200010113A (ko) * 2018-07-18 2020-01-30 한국전자통신연구원 지역 조명 보상을 통한 효과적인 비디오 부호화/복호화 방법 및 장치
WO2020053800A1 (en) 2018-09-12 2020-03-19 Beijing Bytedance Network Technology Co., Ltd. How many hmvp candidates to be checked
EP3854098A1 (en) * 2018-09-19 2021-07-28 InterDigital VC Holdings, Inc. Method and device for picture encoding and decoding
KR20210058856A (ko) * 2018-09-19 2021-05-24 인터디지털 브이씨 홀딩스 인코포레이티드 저장된 파라미터들을 사용하는 비디오 인코딩 및 디코딩을 위한 로컬 조명 보상
US11146800B2 (en) * 2018-09-24 2021-10-12 Tencent America LLC Low latency local illumination compensation
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
WO2020084475A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Utilization of refined motion vector
CN112868239B (zh) * 2018-10-23 2023-05-30 北京字节跳动网络技术有限公司 并置的局部照明补偿和帧内块复制编解码
WO2020084502A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Video processing using local illumination compensation
CN111436230A (zh) 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 仿射预测的带宽控制方法
MX2021005032A (es) * 2018-11-20 2021-06-15 Huawei Tech Co Ltd Un codificador, un decodificador y metodos correspondientes para modo de fusion.
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
CN113170171B (zh) 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
US11184633B2 (en) 2018-11-27 2021-11-23 Qualcomm Incorporated Simplification of history-based motion vector prediction
CN111263147B (zh) 2018-12-03 2023-02-14 华为技术有限公司 帧间预测方法和相关装置
WO2020116242A1 (ja) 2018-12-07 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
BR112021006547A2 (pt) * 2018-12-25 2021-07-06 Guangdong Oppo Mobile Telecommunications Corp Ltd método de previsão para decodificação, dispositivo de previsão para decodificação e mídia de armazenamento de computador que armazena um programa de previsão para decodificação
US11272201B2 (en) * 2019-01-03 2022-03-08 Qualcomm Incorporated Block size restriction for illumination compensation
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Ｌｕｔ更新の起動
CN113273216B (zh) * 2019-01-12 2022-09-13 北京字节跳动网络技术有限公司 Mmvd改进
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147747A1 (en) 2019-01-15 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Weighted prediction in video coding
EP3895418A4 (en) 2019-01-16 2022-02-23 Huawei Technologies Co., Ltd. ENCODER, DECODER AND RELATED LOCAL LIGHTING COMPENSATION METHODS
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
CN113316933A (zh) 2019-01-17 2021-08-27 北京字节跳动网络技术有限公司 使用运动预测进行去方块滤波
US11172195B2 (en) * 2019-01-26 2021-11-09 Qualcomm Incorporated Excluding intra coded reference samples from local illumination compensation parameter derivation
CN113424531A (zh) * 2019-02-08 2021-09-21 交互数字Vc控股公司 用于使用照明补偿进行图片编码和解码的方法和设备
WO2020164575A1 (en) 2019-02-14 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Decoder side motion derivation based on processing parameters
WO2020180043A1 (ko) * 2019-03-01 2020-09-10 엘지전자 주식회사 Lmcs에 기반한 영상 코딩 방법 및 그 장치
WO2020180044A1 (ko) * 2019-03-01 2020-09-10 엘지전자 주식회사 Lmcs에 기반한 영상 코딩 방법 및 그 장치
JP7477066B2 (ja) * 2019-03-04 2024-05-01 ホアウェイ・テクノロジーズ・カンパニー・リミテッド Ｉｂｃマージリストを使用するエンコーダ、デコーダ、及び対応する方法
KR102647497B1 (ko) * 2019-03-05 2024-03-13 엘지전자 주식회사 인터 예측을 위한 비디오 신호의 처리 방법 및 장치
JP2022521554A (ja) 2019-03-06 2022-04-08 北京字節跳動網絡技術有限公司 変換された片予測候補の利用
EP3709648A1 (en) * 2019-03-12 2020-09-16 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding with subblock based local illumination compensation
EP3918804A4 (en) 2019-03-14 2023-02-08 HFI Innovation Inc. METHODS AND APPARATUS FOR VIDEO PROCESSING USING MOTION DECOMPOSITION AND SUB-PARTITION BASE FILLING
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
EP3922014A4 (en) 2019-04-02 2022-04-06 Beijing Bytedance Network Technology Co., Ltd. DECODER SIDE MOTION VECTOR BYPASS
CN110033488B (zh) * 2019-04-09 2023-09-15 深圳市梦网视讯有限公司 一种基于压缩信息的自适应光源方向分析方法及系统
CN112073734B (zh) * 2019-06-10 2023-02-28 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
EP3751853A1 (en) * 2019-06-12 2020-12-16 InterDigital VC Holdings, Inc. Method and apparatus for encoding a block and decoding based on illumination compensation
WO2020251930A1 (en) * 2019-06-12 2020-12-17 Interdigital Vc Holdings, Inc. Illumination compensation for video encoding and decoding
CN112118452B (zh) * 2019-06-20 2022-09-09 腾讯美国有限责任公司 视频解码的方法和装置、计算机设备
JP2022537222A (ja) * 2019-06-21 2022-08-24 インターデジタル ヴイシー ホールディングス フランス，エスエーエス 局所照明補正フラグインヘリタンス
WO2021057946A1 (en) * 2019-09-27 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering between different video units
CN114747218A (zh) * 2019-12-06 2022-07-12 北京字节跳动网络技术有限公司 Hmvp表的更新
US20240187567A1 (en) * 2021-04-09 2024-06-06 Beijing Bytedance Network Technology Co., Ltd. Adaptive motion candidate list
US11968356B2 (en) * 2022-03-16 2024-04-23 Qualcomm Incorporated Decoder-side motion vector refinement (DMVR) inter prediction using shared interpolation filters and reference pixels

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0866611A1 (en) * 1997-03-21 1998-09-23 CANAL+ Société Anonyme Broadcast receiving system comprising a computer and a decoder
US8275047B2 (en) 2001-09-20 2012-09-25 Xilinx, Inc. Method and device for block-based conditional motion compensation
WO2006033953A1 (en) 2004-09-16 2006-03-30 Thomson Licensing Video codec with weighted prediction utilizing local brightness variation
US7817865B2 (en) * 2006-01-12 2010-10-19 Lg Electronics Inc. Processing multiview video
US9456223B2 (en) * 2006-10-18 2016-09-27 Thomson Licensing Local illumination and color compensation without explicit signaling
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
BRPI0906413A2 (pt) * 2008-01-10 2015-07-14 Thomson Licensing Métodos e equipamento para compensação de iluminação de vídeo intra predito
US20110176741A1 (en) 2008-09-24 2011-07-21 Kazushi Sato Image processing apparatus and image processing method
KR20110071047A (ko) 2009-12-20 2011-06-28 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
US20110176611A1 (en) 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
CN102215389B (zh) 2010-04-09 2013-04-17 华为技术有限公司 一种局部亮度补偿的视频编解码方法及装置
JP2014501091A (ja) * 2010-12-17 2014-01-16 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート インター予測方法及びその装置
WO2013095180A1 (en) 2011-12-22 2013-06-27 Intel Corporation Complexity scalable frame rate up-conversion
US9948951B2 (en) 2012-12-26 2018-04-17 Sharp Kabushiki Kaisha Image decoding device which generates a predicted image of a target prediction unit
US9615090B2 (en) 2012-12-28 2017-04-04 Qualcomm Incorporated Parsing syntax elements in three-dimensional video coding
CA2896810C (en) 2013-04-10 2017-12-19 Mediatek Inc. Method and apparatus for bi-prediction of illumination compensation
WO2014166104A1 (en) 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Removal of parsing dependency for illumination compensation
US9860529B2 (en) 2013-07-16 2018-01-02 Qualcomm Incorporated Processing illumination compensation for video coding
US9924191B2 (en) 2014-06-26 2018-03-20 Qualcomm Incorporated Filters for advanced residual prediction in video coding
US10356416B2 (en) 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111630855A (zh) * 2018-01-16 2020-09-04 Vid拓展公司 基于局部照明补偿的运动补偿双向预测
US11962759B2 (en) 2018-01-16 2024-04-16 Vid Scale, Inc. Motion compensated bi-prediction based on local illumination compensation
CN111527750A (zh) * 2018-01-26 2020-08-11 交互数字Vc控股公司 用于视频编码和解码中的自适应照明补偿的方法和装置

Also Published As

Publication number Publication date
WO2016200777A1 (en) 2016-12-15
US20160366415A1 (en) 2016-12-15
EP3308544A1 (en) 2018-04-18
CN107710764A (zh) 2018-02-16
AU2016274480A1 (en) 2017-11-30
KR20180016389A (ko) 2018-02-14
JP6746620B2 (ja) 2020-08-26
US10887597B2 (en) 2021-01-05
CN107710764B (zh) 2021-02-09
JP2018522466A (ja) 2018-08-09

Similar Documents

Publication Publication Date Title
TWI736872B (zh) 基於解碼器側運動向量推導之運動向量預測推導之限制
CN112823517B (zh) 基于历史的运动矢量预测子的改进
CN111602399B (zh) 改进的解码器侧运动矢量推导
CN110915214B (zh) 用于运动向量推导的基于部分重构建的模板匹配
TW201711463A (zh) 判定用於視訊寫碼之照明補償狀態之系統及方法
CN107690810B (zh) 确定用于视频译码的照明补偿状态的系统及方法
TWI705703B (zh) 於視訊寫碼中針對子區塊推導運動資訊
CN111567043B (zh) 对视频数据进行译码的方法、装置和计算机可读存储介质
US20200344482A1 (en) Simplified local illumination compensation
US10542280B2 (en) Encoding optimization with illumination compensation and integer motion vector restriction
CN113039787A (zh) 解码器侧运动矢量细化
WO2018175756A1 (en) Decoder-side motion vector derivation
TW201906414A (zh) 用於在視訊寫碼中之候選列表之建構的以運動為基礎之優先級
JP2019534626A (ja) ビデオコーディングのための適応的な動きベクトル精度
TW201924345A (zh) 寫碼用於視頻寫碼之仿射預測移動資訊
CN111492662A (zh) 生成的仿射运动向量
KR20220051426A (ko) 크로스-검포넌트 선형 모델에 대한 간단화
US20210014524A1 (en) Motion vector prediction with motion information collecting buffer
JP2024508216A (ja) ビデオコーディングのためのモデルベースの動きベクトル差分導出およびテンプレート照合予測
CN112534820A (zh) 信令通知子预测单元运动矢量预测器