TWI705694B - 片級內部區塊複製及其他視訊寫碼改善 - Google Patents

片級內部區塊複製及其他視訊寫碼改善 Download PDF

Info

Publication number
TWI705694B
TWI705694B TW105116745A TW105116745A TWI705694B TW I705694 B TWI705694 B TW I705694B TW 105116745 A TW105116745 A TW 105116745A TW 105116745 A TW105116745 A TW 105116745A TW I705694 B TWI705694 B TW I705694B
Authority
TW
Taiwan
Prior art keywords
segment
ibc
video
syntax element
video data
Prior art date
Application number
TW105116745A
Other languages
English (en)
Other versions
TW201711461A (zh
Inventor
法迪姆 塞瑞金
克里序納坎斯 拉帕卡
成鄭 謝
瑞珍 雷克斯曼 喬許
王益魁
龐超
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201711461A publication Critical patent/TW201711461A/zh
Application granted granted Critical
Publication of TWI705694B publication Critical patent/TWI705694B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本發明揭示一種用於解碼視訊資料的器件，其包括：一記憶體，其經組態以儲存該視訊資料；及一或多個處理器，其經組態以：接收該視訊資料之一片段；解析一內部區塊複製(IBC)語法元素以判定一IBC模式經啟用用於該片段；解析與該片段相關聯的一片段類型語法元素以判定該片段為一I片段；及藉由使用內部預測寫碼模式解碼該片段的所有區塊而將該片段解碼為一I片段。

Description

片級內部區塊複製及其他視訊寫碼改善
本申請案主張2015年5月29日申請之美國臨時專利申請案第62/168,396號之權利，該申請案之全部內容特此以引用之方式併入。
本發明係關於視訊寫碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲機、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、ITU-T H.265定義之標準、高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的技術。視訊器件可藉由實施此等視訊壓縮技術更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視訊片段(亦即，視訊圖框或視訊圖框之一部分)分割為視訊區塊(其亦可 被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。圖像之經內部寫碼(I)片段中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之經框間寫碼(P或B)片段中之視訊區塊可使用相對於同一圖像中之相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測產生用於待寫碼區塊之預測性區塊。殘餘資料表示待寫碼原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料經編碼。經內部寫碼區塊係根據內部寫碼模式與殘餘資料經編碼。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致殘餘變換係數，可接著量化該等殘餘變換係數。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更大程度壓縮。
本發明描述可改善現有視訊寫碼技術且更特定言之可改善現有內部區塊複製(IBC)相關視訊寫碼技術的技術。在一些寫碼情景中，本發明之技術可藉由例如實現片級上的IBC實現對IBC之使用的較精細控制。
在一個實例中，一種用於解碼視訊資料的方法包括：接收視訊資料之片段；解析內部區塊複製(IBC)語法元素以判定IBC模式經啟用用於該片段；解析與該片段相關聯的片段類型語法元素以判定該片段為I片段；及將該片段解碼為I片段，其中將該片段解碼為I片段包含使用至少一個內部預測寫碼模式解碼該片段之所有區塊。
在另一實例中，一種用於解碼視訊資料的器件包括：記憶體， 其經組態以儲存視訊資料；及一或多個處理器，其經組態以執行以下操作：接收視訊資料之片段；解析內部區塊複製(IBC)語法元素以判定IBC模式經啟用用於該片段；解析與該片段相關聯的片段類型語法元素以判定該片段為I片段；及將該片段解碼為I片段，其中為將該片段解碼為I片段，該一或多個處理器經組態以使用至少一個內部預測寫碼模式解碼該片段之所有區塊。
在另一實例中，提供一種用於解碼視訊資料的裝置，該裝置包含：用於接收視訊資料之片段的構件；用於解析內部區塊複製(IBC)語法元素以判定IBC模式經啟用用於該片段的構件；用於解析與該片段相關聯的片段類型語法元素以判定該片段為I片段的構件；及用於將該片段解碼為I片段的構件，其中用於將該片段解碼為I片段的構件包含用於使用至少一個內部預測寫碼模式解碼該片段之所有區塊的構件。
在另一實例中，一種電腦可讀儲存媒體儲存當由一或多個處理器執行時導致該一或多個處理器執行以下操作的指令：接收視訊資料之片段；解析內部區塊複製(IBC)語法元素以判定IBC模式經啟用用於該片段；解析與該片段相關聯的片段類型語法元素以判定該片段為I片段；及將該片段解碼為I片段，其中為將該片段解碼為I片段，該一或多個處理器使用至少一個內部預測寫碼模式解碼該片段之所有區塊。
在附圖及以下描述中闡明本發明之一或多個實例的細節。其他特徵、目標及優勢自描述、圖式及申請專利範圍將係顯而易見的。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧連結
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
26‧‧‧儲存器件
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
33‧‧‧視訊資料記憶體
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧內部預測處理單元
48‧‧‧IBC單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧濾波器單元
66‧‧‧經解碼圖像緩衝器
78‧‧‧視訊資料記憶體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧內部預測處理單元
85‧‧‧IBC單元
86‧‧‧反量化單元
88‧‧‧反變換處理單元
90‧‧‧求和器
92‧‧‧濾波器單元
94‧‧‧經解碼圖像緩衝器
102‧‧‧當前視訊資料區塊
103‧‧‧當前圖像
104‧‧‧預測性視訊區塊
106‧‧‧二維區塊向量
108‧‧‧預期區
110‧‧‧垂直位移分量
112‧‧‧水平位移分量
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統之方塊圖。
圖2為說明根據本發明之技術用於預測當前圖像內的當前視訊資 料區塊之當前圖像內的實例預測性視訊資料區塊的概念圖。
圖3為說明可實施本發明中所描述之技術的實例視訊編碼器之方塊圖。
圖4為說明可實施本發明中所描述之技術之實例視訊解碼器的方塊圖。
圖5為展示根據本發明之技術的編碼視訊資料之方法的流程圖。
圖6為展示根據本發明之技術的解碼視訊資料之方法的流程圖。
圖7為展示根據本發明之技術的解碼視訊資料之方法的流程圖。
視訊序列通常表示為圖像序列。通常，基於區塊之寫碼技術用以寫碼個別圖像中之每一者。亦即，將每一圖像劃分成區塊，且個別地寫碼該等區塊中之每一者。寫碼視訊資料區塊通常涉及形成區塊的預測值及寫碼殘餘值，該殘餘值表示原始區塊與預測值之間的差。特定地，原始視訊資料區塊包括像素值矩陣，且預測值包括預測像素值矩陣。殘餘值對應於原始區塊之像素值與經預測像素值之間的逐像素差，以使得殘餘值與經預測值加起來接近於原始值。
用於視訊資料區塊的預測技術通常分類為內部預測及框間預測。內部預測或空間預測通常涉及自為在與被預測區塊相同之圖像中的先前經寫碼區塊之部分的相鄰像素值預測區塊。內部預測或時間預測通常涉及自經先前經寫碼圖像(例如，圖框或片段)之像素值預測區塊。
諸多應用(諸如遠端桌面、遠端遊戲、無線顯示器、車用資訊娛樂、雲計算等)在日常生活中逐漸普及。此等應用中之視訊內容通常為固有內容、文字、人工圖形及其他內容之組合。在文字及人工圖形區中，重複圖案(諸如字符、圖標、符號等)常常存在。
自同一圖像內的預測性視訊資料區塊內部預測視訊資料區塊(其 可被稱為內部區塊複製(縮寫為IntraBC或IBC)，且有時亦稱作內部運動補償(IntraMC或IMC))為可使得視訊寫碼器能夠移除冗餘並改善圖框內寫碼效率的技術。在典型內部預測寫碼中，視訊寫碼器(例如，視訊編碼器及視訊解碼器)使用在同一圖像中的當前視訊資料區塊正上方或正下方或與該當前區塊正好水平地成一條線的先前經重建構視訊資料區塊來預測該當前視訊區塊。換言之，若圖像或視訊資料之圖框強加於2-D柵格，則每一視訊資料區塊佔據x值及y值的唯一範圍。因此，一些視訊寫碼器可基於同一圖像中僅共用同一組x值(亦即，與當前視訊區塊垂直地成一條線)或同一組y值(亦即，與當前視訊區塊水平地成一條線)的經先前寫碼視訊資料區塊而預測當前視訊資料區塊。
視訊寫碼器自同一圖框或圖像中未必在當前視訊資料區塊正上方或正左邊(或在正右邊或正下方)的先前經重建構視訊資料區塊預測當前視訊區塊可為有利的。藉由在預測性集合中包括更多視訊區塊，視訊寫碼器可達成對當前視訊區塊的更準確預測，藉此增加寫碼效率。
大體而言，本發明描述用於寫碼視訊資料的技術，該技術包括自同一圖像內的預測性視訊資料區塊內部預測視訊資料區塊的模式，其可被稱為IBC模式。本發明之IBC技術可包括識別用於當前視訊資料區塊的預測性視訊資料區塊。舉例而言，預測性視訊資料區塊可對應於與當前視訊資料區塊在同一圖像內之經重建構視訊資料區塊。預測性視訊資料區塊可來自圖像內的預期區內。預期區亦可被稱作IBC預測區。舉例而言，預期區可對應於在當前視訊資料區塊上方、右上方、左上方及/或左邊的區。預測性視訊資料區塊不限於在當前視訊區塊正上方或正左方，且因此用以識別相對於當前區塊之預測性區塊的向量未必係一維向量。替代地，為了識別或判定預測性視訊資料區 塊，視訊寫碼器可寫碼界定包括相對於當前視訊資料區塊的水平位移分量及垂直位移分量的二維向量的一或多個語法元素。二維向量可被稱為區塊向量、偏移向量或運動向量，且可例如用以識別相對於當前區塊之左上方拐角的預測性區塊。
本發明描述可改善現有視訊寫碼技術且更特定言之可改善現有IBC相關視訊寫碼技術的技術。在一些寫碼情景中，本發明之技術可藉由例如實現片級上的IBC實現對IBC之使用的較精細控制。所提出技術可與任何位元深度、色度取樣格式及/或諸如此類一起使用。
如本文所使用，術語「視訊寫碼器」大體上係指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可大體上係指視訊編碼或視訊解碼。因此，除非另外說明，否則應假定，參考寫碼所描述的技術可由視訊編碼器或視訊解碼器執行。在本申請案的一些部分中，可參考視訊解碼或參考視訊解碼器來描述某些技術。然而，不應假定此類技術不適用於視訊編碼或不可由視訊編碼器執行。舉例而言，此類技術可作為判定如何編碼視訊資料的部分而執行，或可作為視訊編碼器中之視訊解碼迴路的部分而執行。
如本發明中所使用，術語當前區塊係指當前正被寫碼的區塊，與已經寫碼或尚未寫碼的區塊相對。類似地，當前寫碼單元、預測單元或變換單元係指當前正被寫碼的寫碼單元、預測單元或變換單元。
圖1為說明可利用本發明中所描述的技術的實例視訊編碼及解碼系統10的方塊圖。如圖1中所展示，系統10包括源器件12，其產生稍後由目的地器件14解碼之經編碼視訊資料。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手機(諸如，所謂的「智慧型」電話)、所謂的「智慧型」平板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲機、視訊串流器件或其類似者。在一些情 況下，源器件12及目的地器件14可經裝備以用於無線通信。
目的地器件14可經由連結16接收待解碼的經編碼視訊資料。連結16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一個實例中，連結16可包含使源器件12能夠即時將經編碼視訊資料直接傳輸至目的地器件14之通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將其傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路，諸如網際網路)的部分。通信媒體可包括路由器、交換器、基地台或任何其他可適用於有助於自源器件12至目的地器件14的通信之設備。
替代地，可將經編碼資料自輸出介面22輸出至儲存器件26。類似地，可藉由輸入介面自儲存器件26存取經編碼資料。儲存器件26可包括各種分散式或本端存取式資料儲存媒體(諸如，硬碟、藍光碟片、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體)中之任一者。在另一實例中，儲存器件26可對應於可保持由源器件12產生的經編碼視訊之檔案伺服器或另一中間儲存器件。目的地器件14可經由串流傳輸或下載而自儲存器件26存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料並將彼經編碼視訊資料傳輸至目的地器件14之任何類型的伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件及本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼之視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)，或兩者的組合。經編碼視訊資料自儲存器件26之 傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術不必限於無線應用或設定。該等技術可適用於支援多種多媒體應用(諸如，(例如)經由網際網路之空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸)中之任一者的視訊寫碼、供儲存於資料儲存媒體上之數位視訊的編碼、儲存於資料儲存媒體上之數位視訊的解碼，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些情況下，輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。在源器件12中，視訊源18可包括諸如視訊俘獲器件(例如，視訊攝影機)、含有先前所俘獲視訊之視訊檔案庫、用以自視訊內容提供者接收視訊之視訊饋入介面及/或用於產生作為源視訊之電腦圖形資料的電腦圖形系統或此等源之組合的源。作為一個實例，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，本發明中所描述的技術可大體上適用於視訊寫碼，且可應用於無線及/或有線應用。
經俘獲、預先俘獲或電腦產生之視訊可由視訊編碼器20編碼。可經由源器件12之輸出介面22將經編碼視訊資料直接傳輸至目的地器件14。經編碼視訊資料亦可(或替代地)儲存至儲存器件26上以稍後由目的地器件14或其他器件存取，以進行解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些情況下，輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由連結16接收經編碼視訊資料。經由連結16傳達或在儲存器件26上所提供之經編碼視訊資料可包括由視訊編碼器20所產生之多種語法元素，其供諸如視訊解碼器30之視訊解碼器在解碼該視 訊資料時使用。此等語法元素可與在通信媒體上傳輸、儲存於儲存媒體上或儲存於檔案伺服器上之經編碼視訊資料包括在一起。
顯示器件32可與目的地器件14整合或在目的地器件14的外部。在一些實例中，目的地器件14可包括整合式顯示器件且亦可經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。一般而言，顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中的任一者，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據諸如最近定案的高效率視訊寫碼(HEVC)標準之視訊壓縮標準操作。替代地，視訊編碼器20及視訊解碼器30可根據其他專有或行業標準(諸如，ITU-T H.264標準，或者被稱作MPEG-4，第10部分，進階視訊寫碼(AVC))或此類標準之擴展而操作。然而，本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。
對HEVC之各種擴展(諸如，用於3D、多視圖、可調式及螢幕內容的擴展)當前在開發中。另外，對HEVC之範圍擴展(亦即，HEVC RExt)亦正由JCT-VC開發。範圍擴展之最近工作草案(WD)(下文中被稱作RExt WD7)可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1005-v4.zip獲得。
在本發明中，如在JCTVC-Q1003中之HEVC規範文字常常被稱作HEVC版本1。本發明之技術可利用HEVC術語，以易於解釋。然而，不應假定本發明之技術限於HEVC，且實際上明確地預期本發明之技術可實施於HEVC之後續標準中，後續標準包括HEVC之擴展以及下一代標準。
儘管圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX 單元或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則在一些實例中，MUX-DEMUX單元可符合ITU H.223多工器協定或其他協定(諸如，使用者資料報協定(UDP))。
視訊編碼器20及視訊解碼器30各自可實施為各種適合之編碼器電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時，器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中的組合式編碼器/解碼器(編碼解碼器)之部分。
如上文介紹，JCT-VC最近已定案HEVC標準ITU-T H.265之開發。HEVC根據(例如)ITU-T H.264/AVC實現視訊寫碼器件相對於現有器件之若干額外能力。舉例而言，儘管H.264提供九個內部預測編碼模式，但HEVC支援多達三十五個內部預測編碼模式。
在HEVC及其他視訊寫碼規範中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括三個樣本陣列，表示為SL、SCb及SCr。SL為明度樣本之二維陣列(亦即，區塊)。SCb係Cb色訊樣本之二維陣列。SCr係Cr色訊樣本之二維陣列。色訊(chrominance)樣本亦可在本文中被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。
為了產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)之集合。CTU中之每一者可包含亮度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊及用以寫碼該等寫碼樹型區塊之樣 本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包含單一寫碼樹型區塊及用以寫碼該寫碼樹型區塊之樣本的語法結構。寫碼樹型區塊可為N×N樣本區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可大致類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。片段可包括以光柵掃描次序連續定序之整數數目個CTU。
為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名為「寫碼樹型單元」。寫碼區塊可為N×N樣本區塊。CU可包含具有亮度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本寫碼區塊，及兩個對應的色度樣本寫碼區塊，及用於寫碼該等寫碼區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單一寫碼區塊及用於寫碼該寫碼區塊之樣本的語法結構。
視訊編碼器20可將CU之寫碼區塊分割為一或多個預測區塊。預測區塊為供應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含明度樣本預測區塊、兩個對應的色度樣本預測區塊及用於預測該等預測區塊之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，PU可包含單一預測區塊及用以預測該預測區塊的語法結構。視訊編碼器20可產生用於CU之每一PU的明度預測區塊、Cb預測區塊及Cr預測區塊之預測性明度、預測性Cb區塊及預測性Cr區塊。
視訊編碼器20可使用內部預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用內部預測產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之經解碼樣本產生PU之預測性區塊。若視訊編碼器20使用框間預測來產生PU之預測性區塊，則視訊 編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本而產生PU之預測性區塊。
在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、預測性Cb區塊及預測性Cr區塊之後，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。
此外，視訊編碼器20可使用四分樹分割以將CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊分解為一或多個明度變換區塊、Cb變換區塊及Cr變換區塊。變換區塊為供應用相同變換之矩形(亦即，正方形或非正方形)樣本區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、兩個對應的色度樣本變換區塊及用於變換該等變換區塊樣本之語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯的明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb變換區塊可為CU之Cb殘餘區塊的子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單一變換區塊及用於變換該變換區塊之樣本的語法結構。
視訊編碼器20可將一或多個變換應用於TU之明度變換區塊，以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用至TU之Cb變換 區塊，以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用至TU之Cr變換區塊，以產生TU之Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化係數區塊。量化大體上係指量化變換係數以可能減少用以表示變換係數的資料之量從而提供進一步壓縮之程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文自適應性二進位算術寫碼(CABAC)。
視訊編碼器20可輸出包括形成對經寫碼圖像及相關聯資料之表示的位元序列之位元串流。位元串流可包含NAL單元序列。NAL單元為含有對NAL單元中之資料類型之指示的語法結構及含有呈視需要穿插有模擬阻止位元之RBSP形式之資料的位元組。NAL單元中之每一者包括NAL單元標頭且囊封RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封於NAL單元內之整數數目個位元組的語法結構。在一些情況下，RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封用於PPS之RBSP，第二類型之NAL單元可囊封用於經寫碼片段之RBSP，第三類型之NAL單元可囊封用於SEI訊息之RBSP等。囊封用於視訊寫碼資料之RBSP(與用於參數集及SEI訊息之RBSP相對)的NAL單元可被稱作VCL NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。此外，視訊解碼器30可解析位元串流以自該位元串流獲得語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素而重建構視訊資料之圖像。重建構視訊資料之程序可大體上與由視訊編碼器20執行之程 序互逆。另外，視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反變換，以重建構與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將當前CU之PU之預測性區塊的樣本添加至當前CU之TU之變換區塊的對應樣本，來重建構當前CU之寫碼區塊。視訊解碼器30可藉由重建構圖像之每一CU的寫碼區塊，來重建構圖像。
最近，請求用於諸如文字及運動圖形之螢幕內容材料之新的寫碼工具之調查，且已提出改善螢幕內容之寫碼效率的技術。由於有跡象表明在一些寫碼情景中，可藉由新穎的專用寫碼工具，使用螢幕內容之特性獲得寫碼效率之顯著改善，因此發佈以包括用於螢幕內容寫碼(SCC)之特定工具的高效率視訊寫碼(HEVC)標準的可能在開發中之未來擴展為標的之提案(CfP)。在MPEG文獻N14174中描述此CfP之使用情況及要求。在第17次JCT-VC會議期間，建立了SCC測試模型(SCM)。SCC之最近工作草案(WD)可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/20_Geneva/wg11/JCTVC-T1005-v2.zip獲得。
在當前SCC中，IBC發信藉由將當前圖像添加至參考圖像清單而與框間預測發信統一。在解碼當前片段之前，視訊解碼器30將當前圖像標記為長期參考圖像。接著，在對當前圖像之解碼完成之後，當前圖像轉換回至短期參考圖像。除IBC模式的運動向量需要為整數運動向量的差異外，發信及寫碼方法(包括合併/AMVP發信、AMVP推導及MVD寫碼)與框間情況相同。IBC區塊可藉由檢查對應參考圖像而與習知框間區塊區分。若僅當前圖像用作參考圖像，則當前區塊為IBC區塊。否則，當前區塊為框間區塊。SPS級語法元素curr_pic_as_ref_enabled_flag可用於指示當前圖像之已經寫碼部分是否可作為參考圖像用於寫碼當前圖像之區塊。換言之，視訊解碼器30 可接收語法元素curr_pic_as_ref_enabled_flag，且回應於語法元素curr_pic_as_ref_enabled_flag等於1，視訊解碼器30可使用IBC解碼與SPS相關聯的片段之一些區塊。
圖2為說明根據本發明用於根據用於自同一圖像內的視訊資料之預測性區塊對視訊資料區塊的內部預測的模式(例如，根據本發明之技術根據IBC模式)預測當前圖像103內的當前視訊資料區塊102的實例技術之概念圖。圖2說明當前圖像103內之預測性視訊區塊104。視訊寫碼器(例如，視訊編碼器20及/或視訊解碼器30)可使用預測性視訊區塊104根據本發明之技術根據IBC模式預測當前視訊區塊102。
視頻編碼器20自先前經重建構視訊資料區塊之集合選擇預測性視訊區塊104用於預測當前視訊區塊102。視訊編碼器20藉由反量化及反變換亦包括於經編碼視訊位元串流中之視訊資料且將所得殘餘區塊與用以預測經重建構視訊資料區塊的預測性區塊求和而重建構視訊資料區塊。在圖2之實例中，圖像103內之預期區108(其亦可被稱作「預期區域」或「光柵區域」)包括先前經重建構之視訊區塊的集合。視訊編碼器20可以多種方式界定圖像103內之預期區108，如下文更詳細描述。視訊編碼器20可根據基於預期區108內之各種視訊區塊對預測及寫碼當前視訊區塊102的相對效率及準確度的分析而自預期區108中之視訊區塊當中選擇預測性視訊區塊104以預測當前視訊區塊102。
視訊編碼器20判定表示預測性視訊區塊104相對於當前視訊區塊102的位置或位移的二維向量106。二維區塊向量106包括水平位移分量112及垂直位移分量110，其分別表示預測性視訊區塊104相對於當前視訊區塊102的水平及垂直位移。視訊編碼器20可包括經編碼視訊位元串流中之識別或界定二維區塊向量106(例如，界定水平位移分量112及垂直位移分量110)的一或多個語法元素。視訊解碼器30可解碼該一或多個語法元素以判定二維區塊向量106，且使用經判定向量來 識別用於當前視訊區塊102之預測性視訊區塊104。
在一些實例中，二維區塊向量106之空間解析度可為整數像素解析度，例如被約束為具有整數像素解析度。在此等實例中，水平位移分量112及垂直位移分量110之空間解析度可為整數像素解析度。在此等實例中，視訊編碼器20及視訊解碼器30無需內插預測性視訊區塊104之像素值以判定用於當前視訊區塊102之預測符。
在其他實例中，水平位移分量112及垂直位移分量110中之一者或兩者的解析度可為子像素。舉例而言，分量110及分量112中的一者可具有整數像素解析度，而另一者具有子像素解析度。在一些實例中，水平位移分量112及垂直位移分量110兩者之解析度皆可為子像素，但水平位移分量112及垂直位移分量110可具有不同解析度。
在一些實例中，視訊寫碼器(例如，視訊編碼器20及/或視訊解碼器30)基於特定級調適水平位移分量112及垂直位移分量110之解析度，例如區塊級、片級或圖像級調適。舉例而言，視訊編碼器20可在片級(例如在片段標頭中)用信號發出一旗標，該旗標指示水平位移分量112及垂直位移分量110之解析度為整數像素解析度抑或不為整數像素解析度。若旗標指示水平位移分量112及垂直位移分量110之解析度不為整數像素解析度，則視訊解碼器30可推斷解析度係子像素解析度。在一些實例中，可傳輸針對每一片段或其他視訊資料單元之一或多個語法元素(其不一定係旗標)，以指示水平位移分量112及/或垂直位移分量110的共同或個別解析度。
在另外其他實例中，替代旗標或語法元素，視訊編碼器20可基於解析度上下文資訊而設定，且視訊解碼器30可自解析度上下文資訊推斷水平位移分量112及/或垂直位移分量110的解析度。解析度上下文資訊可包括例如包括當前視訊區塊102之圖像或圖像序列的色彩空間(例如YUV、RGB等)、特定色彩格式(例如4：4：4、4：2：2、4：2：0等)、 圖框大小、圖框速率或量化參數(QP)。在至少一些實例中，視訊寫碼器可基於與經先前寫碼圖框或圖像相關的資訊判定水平位移分量112及/或垂直位移分量110之解析度。以此方式，水平位移分量112之解析度及垂直位移分量110之解析度可經預定義或發信，可自其他旁側資訊(例如，解析度上下文資訊)推斷，或可基於已經寫碼之圖框。
當前視訊區塊102可為CU，或CU之PU。在一些實例中，視訊寫碼器(例如，視訊編碼器20及/或視訊解碼器30)可將根據IBC預測的CU分成若干PU。在此等實例中，視訊寫碼器可判定CU的PU中之每一者的各別(例如，不同)二維向量106。舉例而言，視訊寫碼器可將2N×2N CU分為兩個2N×N PU、兩個N×2N PU，或四個N×N PU。作為其他實例，視訊寫碼器可將2N×2N CU分為((N/2)×N+(3N/2)×N)PU、((3N/2)×N+(N/2)×N)PU、(N×(N/2)+N×(3N/2))PU、(N×(3N/2)+N×(N/2))PU、四個(N/2)×2N PU或四個2N×(N/2)PU。在一些實例中，視訊寫碼器可使用2N×2N PU預測2N×2N CU。
當前視訊區塊102可為明度視訊區塊，或對應於明度視訊區塊之色度視訊區塊。在一些實例中，視訊編碼器20可僅將界定明度視訊區塊之二維向量106的一或多個語法元素編碼至經編碼視訊位元串流中。在此等實例中，視訊解碼器30可基於針對明度區塊發信的二維向量推導出對應於該明度區塊之一或多個色度區塊中之每一者的二維向量106。
取決於色彩格式(例如色彩取樣格式或色度取樣格式)，視訊寫碼器可相對於明度視訊區塊降取樣對應色度視訊區塊。色彩格式4：4：4不包括降取樣，此意味著色度區塊在水平及垂直方向中包括與明度區塊相同數目的樣本。色彩格式4：2：2意味著色度在水平方向中降取樣，以使得在水平方向中存在為相對於明度區塊的一半的色度區塊之樣本。色彩格式4：2：0意味著色度在水平及垂直方向中降取樣，以使得，在水 平及垂直方向中存在為相對於明度區塊的一半的色度區塊之樣本。
在其中視訊寫碼器基於對應明度區塊之向量106判定色度視訊區塊之向量106的實例中，視訊寫碼器可需要修改明度向量。舉例而言，若明度向量106具有整數解析度，其中水平位移分量112及/或垂直位移分量110為奇數數目個像素，且色彩格式為4：2：2或4：2：0，則經轉換明度向量可不指向對應色度區塊中之整數像素位置。在此等實例中，視訊寫碼器可按比例縮放明度向量以用作色度向量以預測對應色度區塊。在一些實例中，視訊編碼器20可界定預期區108，或按比例縮放經轉換向量，以使得用於預測色度區塊之經轉換明度向量106可不指向未經重建構之或經迴路內濾波的預測性色度區塊。在本發明中，若未明確提及色度區塊之向量的按比例縮放，則不應假定未發生此按比例縮放。即使本發明中所描述的實例中未明確描述，色度區塊的向量之按比例縮放亦可發生(但可不係每種情況下皆必需的)。
本發明描述用於啟用IBC之I片段的技術。在HEVC的SCC擴展之當前草案文字規範中，當IBC經啟用時(例如，當語法元素curr_pic_as_ref_enabled_flag等於1時)不可使用I片段。特定地，當curr_pic_as_ref_enabled_flag等於1時，slice_type語法元素之值不可等於2，其中slice_type值0、1及2分別對應於B片段、P片段及I片段。此提供一些可能缺點。舉例而言，習知經內部寫碼片段(在不使用任一圖像(包括當前圖像)用於參考的情況下寫碼)可不經由slice_type語法元素發信，此可在一些情景中用以例如如下文所描述節省一些發信額外負荷。
本發明描述即使當IBC經啟用時仍允許I片段使用的技術。當IBC經啟用時允許I片段使用在一些實例中可即使當curr_pic_as_ref_enabled_flag等於1(指示IBC經啟用)時仍允許slice_type語法元素之值等於2(指示給定片段之寫碼類型為I片段)。在此情況下，I片段為習知經內部寫碼片 段，其在不使用任一圖像(包括當前圖像)用於參考的情況下被寫碼，且使用用於所有經寫碼區塊之正常內部預測模式而被寫碼。換言之，不使用框間預測或IBC寫碼習知I片段之區塊，且用於習知I片段之唯一寫碼模式為內部模式。
舉例而言，視訊編碼器20可經組態以藉由經組態以將視訊資料之片段編碼為I片段並產生具有用以指示IBC模式經啟用用於該片段之值的IBC語法元素(例如curr_pic_as_ref_enabled_flag)而實施此功能性。視訊編碼器20可另外產生片段類型語法元素(例如slice_type)並將彼語法元素設定為指示片段為I片段之值。舉例而言，視訊編碼器20可包括在SPS中的IBC語法元素及/或包括在片段標頭中之片段類型語法元素。
舉例而言，視訊解碼器30可經組態以藉由經組態以接收視訊資料之片段並解析IBC語法元素(例如curr_pic_as_ref_enabled_flag)以判定IBC模式經啟用用於該片段而實施此功能性。舉例而言，若視訊解碼器30判定curr_pic_as_ref_enabled_flag之值等於1，則視訊解碼器30可判定IBC模式經啟用，而若curr_pic_as_ref_enabled_flag等於0，則視訊解碼器30可判定IBC模式被禁用。視訊解碼器30亦可解析與片段相關聯之片段類型語法元素以判定片段為I片段且待經解碼為I片段。為將片段解碼為I片段，視訊解碼器30可僅使用內部預測且在不使用框間預測模式及不使用IBC模式情況下解碼片段之區塊。
替代地，本發明提出引入另一片段類型。舉例而言，IBC片段可用於指示在除了當前圖像不需具有任何其他參考圖像情況下使用IBC模式。換言之，對於IBC片段，視訊寫碼器可使用內部模式或IBC模式而不使用框間模式來寫碼IBC片段之區塊。在此實例中，語法元素slice_type之值可等於0、1、2或3，其中新允許值3指定IBC片段。如下文在表1中所示，其他值之語義可保持不變。當slice_type設定成 IBC片段時，可避免用於P及B片段之框間模式的某一發信。舉例而言，若視訊解碼器30判定片段為IBC片段，則諸如cu_skip_flag語法元素、CU標頭中之pred_mode_flag語法元素、片段標頭中之參考圖像管理資訊及其他此等資訊的資訊不需要包括於經編碼視訊資料之位元串流中。
Figure 105116745-A0101-12-0020-1
根據上文介紹之技術，視訊解碼器30可經組態以接收視訊資料之片段並解析與視訊資料之片段相關聯的片段類型語法元素。回應於片段類型語法元素具有指示片段為IBC片段的值(例如slice_type等於3)，則視訊解碼器30可將片段解碼為IBC片段，其可包括使用IBC模式解碼片段之一些區塊及/或使用內部模式解碼片段之一些區塊。視訊解碼器30可將其他片段解碼為I片段(例如slice_type等於2)、P片段(slice_type等於1)或B片段(slice_type等於0)。解碼其他片段類型可涉及接收未經接收用於經解碼為IBC片段之片段的一些不同語法元素，且同樣，解碼IBC片段可涉及接收未經接收用於其他片段的一些不同語法元素。
本發明亦描述用於片級IBC控制旗標之技術。使用現有技術，是否啟用IBC係僅由SPS旗標curr_pic_as_ref_enabled_flag控制(亦即，基於SPS旗標curr_pic_as_ref_enabled_flag而判定IBC之啟用)。允許例如在片級對IBC之較精細控制可具有若干可能益處。作為一個實例，片級IBC控制可指定當前片段內之區塊是否可使用當前圖像作為你參考。IBC模式可在迴路內濾波之前需要對樣本的額外儲存。當在片級禁用IBC時，智慧型解碼器可避免儲存此等額外樣本，藉此減少平均 頻寬及平均功率使用。作為另一實例，片級IBC控制允許片段不使用IBC以具有更多分配至時間參考圖像之參考索引，其允許更多權重待在加權預測中發信以用於在某些情景中潛在地改善寫碼效率。
現將更詳細地描述用於實現片級IBC控制之技術。視訊編碼器20可在IBC經啟用(例如curr_pic_as_ref_enabled_flag等於1)時在片段標頭中發信片級IBC控制旗標(例如slice_curr_pic_as_ref_enabled_flag)。另外，視訊解碼器30可在未發信情況下推斷(亦即，在不接收顯式發信的情況下判定)slice_curr_pic_as_ref_enabled_flag之值等於0。片級控制旗標可經發信僅用於P片段及B片段且被推斷具有用於I片段之0值。舉例而言，此片級IBC旗標可指示當前圖像是否作為參考圖像用於預測片段之區塊。在其他實施中，片級IBC旗標可指示當前圖像是否添加至當前圖像之參考圖像清單中以用於自我參考，在此情況下當前圖像可供作為參考圖像用於預測片段之區塊，但對於一些片段，當前圖像可實際上不用於預測。另外，若禁用slice_curr_pic_as_ref_enabled_flag(亦即，該值經明確地發信為等於0或經推斷等於0)，則視訊解碼器30不將IBC模式用於彼特定片段，且可啟用I片段類型發信(如上文關於啟用用於IBC之I片段所描述)。
slice_curr_pic_as_ref_enabled_flag語法元素之語義可為如下：slice_curr_pic_as_ref_enabled_flag等於1指定當解碼當前片段時，當前圖像可包括於當前圖像之參考圖像清單中。slice_curr_pic_as_ref_enabled_flag等於0指定當解碼當前片段時，當前圖像從未包括於當前圖像之參考圖像清單中。當不存在時，推斷slice_curr_pic_as_ref_enabled_flag之值等於0。
大體而言，slice_curr_pic_as_ref_enabled_flag可在片段標頭層級之下的語法結構、語義及解碼過程中(例如，在參考圖像清單構造、DPB管理等中)替換在slice_curr_pic_as_ref_enabled_flag之後的片段標頭語法 中之curr_pic_as_ref_enabled_flag。語法元素curr_pic_as_ref_enabled_flag可視為用於slice_curr_pic_as_ref_enabled_flag發信之閘控旗標。舉例而言，可基於片級控制旗標slice_curr_pic_as_ref_enabled_flag推導出NumPicTotalCurr之值。
另外，以下條件可適用(當不應用如上文所描述之用於啟用I片段的技術時)：當當前圖像為BLA或CRA圖像時，NumPicTotalCurr之值應等於slice_curr_pic_ref_enabled_flag。
在另一替代例中，視訊解碼器30可經組態以在無顯式發信的情況下推導出slice_curr_pic_as_ref_enabled_flag的值。作為推導之部分，視訊解碼器30可檢查參考圖像清單RefPicList0及RefPicList1多達片段標頭中發信的參考圖像之最大數目(例如分別針對RefPicList0及RefPicList1的num_ref_idx_l0_active_minus1及num_ref_idx_l1_active_minus1)，且若無參考圖像等於當前圖像，則視訊解碼器30可推導出slice_curr_pic_as_ref_enabled_flag為0。否則，視訊解碼器30可推導出slice_curr_pic_as_ref_enabled_flag等於1。舉例而言，可在解碼過程及其他相關使用中使用所推導出的旗標而非經發信片級IBC旗標。
為實施上文所描述的片級IBC控制旗標，視訊解碼器30可經組態以接收視訊資料之片段並解析片級語法元素(例如slice_curr_pic_as_ref_enabled_flag)以判定IBC模式經啟用用於該片段。視訊解碼器30可經組態以建構用於視訊資料之片段的參考圖像清單，且包括於參考圖像清單中的圖像之數目可取決於片級語法元素指示IBC是經啟用還是經禁用。視訊解碼器30可解析片級語法元素以判定IBC模式經啟用用於該片段，回應於判定該片段為P片段或B片段中之一者而執行IBC模式。對於經判定為I片段之片段，視訊解碼器30可推斷片級語法元素之值以指示IBC模式被禁用。視訊解碼器30可建構 用於視訊資料之片段的參考圖像清單，且回應於指示IBC模式經啟用的片級語法元素，將含有該片段之圖像添加至參考圖像清單。
本發明亦描述對片級IBC控制旗標及slice_type之使用的可能約束條件。下文介紹的約束條件或態樣中之任一者可獨立地或結合此章節或本發明中之其他章節中的其他約束條件中之一或多者而應用。
在一些實例中，位元串流符合性可具有以下要求：當僅currPic可供用於參考時，slice_curr_pic_as_ref_enabled_flag之值對於P片段及B片段不應等於0。
當nal_unit_type具有在BLA_W_LP至RSV_IRAP_VCL23範圍內的值(包括性(亦即，圖像為IRAP圖像))時，slice_curr_pic_as_ref_enabled_flag之值對於P片段及B片段不應等於0。RefPicList0應含有僅指當前圖像的一或多個項目。
替代地，當僅currPic可供用於參考(亦即，當DPB含有僅一個為當前圖像之參考圖像時)且值被推斷時，slice_curr_pic_as_ref_enabled_flag不應經發信用於P片段及B片段。
現將論述解碼過程之改變。解碼過程可如所示以帶底線的文字改變。所示變化可單獨地或聯合地應用。
當在當前圖像中之至少一個片段具有等於1之slice_curr_pic_as_ref_enabled_flag時，DPB中之圖像儲存緩衝器經分配用於當前圖像，且當前圖像標記為「用於長期參考」。
條項8.4、8.5、8.6及8.7中之程序指定使用所有語法結構層中之語法元素的解碼程序。位元串流符合性的要求係圖像之經寫碼片段應含有用於圖像之每一寫碼樹單元的片段分段資料，以使得圖像成片段之劃分、片段成片段分段之劃分及片段分段成寫碼樹單元之劃分各自形成圖像的分割。當在當前圖像中之至少一個片段具有等於1之slice_curr_pic_as_ref_enabled_flag時，在迴路內濾波之前的當前圖像 之經解碼樣本值經儲存至經分配用於當前圖像的圖像儲存緩衝器中。
註解2-當在當前圖像中之至少一個片段具有等於1的slice_curr_pic_as_ref_enabled_flag時，一個額外圖像儲存緩衝器(未視為DPB之部分)需要用於儲存在迴圈內濾波之後的當前圖像之樣本值。
本發明亦描述共置圖像約束條件。在當前WD中，存在當前圖像不可用作共置圖像的約束條件。此約束條件的原因為若共置圖像為當前圖像，則將不存在仍經指派用於待用於運動預測的共置區塊之運動欄位。
舉例而言，可藉由在處理當前圖像之前初始化當前圖像之運動欄位而移除此約束條件。舉例而言，當前圖像可經初始化具有根據內部寫碼之所有區塊，此意謂不存在運動欄位資訊。替代地，運動欄位可經初始化具有預設運動欄位，其中預設運動欄位為編碼器及解碼器兩者所已知，例如，在與RefPicList0或RefPicList1或兩者相關聯的至少一個框間方向中為零運動(具有零參考索引之零運動向量)。另外，經指派給片段的預設運動欄位可取決於片段類型。舉例而言，對於I片段，彼片段中之所有區塊經初始化具有內部模式，對於P片段，RefPicList0相關運動欄位經設定成零運動，對於B片段，在與RefPicList0及RefPicList1相關聯的兩個方向中指派零運動。
另外，上文所提及之約束條件(當前圖像不可用作共置圖像)係呈編碼器約束條件或位元串流約束條件之形式指定，該約束條件可被一些編碼器違反，使得位元串流可能被破壞。
本發明描述用於藉由例如修改語法以使得不滿足約束條件的語法元素之值不可在位元串流中發信而使此約束條件更嚴格的技術。
首先，TMVP使得在片段僅具有當前圖像作為參考圖像之情況下在片段標頭中發信的旗標必須被禁用，此係由於當前圖像不可用作共 置圖像。可存在一個以上參考圖像，其中所有參考圖像皆可為當前圖像。
替代地，TMVP使得可在用於片段之參考圖像的數目(例如，num_ref_idx_l0_active_minus1及num_ref_idx_l1_active_minus1)的發信之後移動及置放旗標發信，且可執行檢查以判定所有參考圖像是否皆為當前圖像。若所有參考圖像皆為當前圖像，則TMVP使得旗標不被發信且經推導出為被禁用(亦即，等於0)。
在另一替代例中，代替推導出所有參考圖像是否為當前圖像，而是可在片段標頭中發信旗標以指示此情況。
另外，對於collocated_ref_idx的發信，指向當前圖像之參考索引可排除被collocated_ref_idx參考，且collocated_ref_idx之值減少了指向存在於所要共置圖像之前的當前參考圖像的參考索引之數目。以類似方式，在解析之後，所解析collocated_ref_idx增加了指向在經發信collocated_ref_idx之前的當前參考圖像的參考索引之數目。
根據一個實例，假定RefPicList={Pic0,Curr,Pic1,Curr,Pic2}。
為使Pic0為共置圖像，發信collocated_ref_idx=0。
為使Pic1為共置圖像，發信collocated_ref_idx=1，且collocated_ref_idx遞增1，從而使collocated_ref_idx等於2。
為使Pic2為共置圖像，發信collocated_ref_idx=2，且collocated_ref_idx遞增2，從而使collocated_ref_idx等於4。
舉例而言，假定所要collocated_ref_idx等於N，編碼部分可被實施為以下偽碼。
Figure 105116745-A0101-12-0025-2
Figure 105116745-A0101-12-0026-3
舉例而言，解碼部分可被實施為以下偽碼，其中collocated_ref_idx為待更新的經解析值。
Figure 105116745-A0101-12-0026-4
在所提供實例中，collocated_ref_idx不可能等於當前圖像(Curr)，此係因為解碼器將遞增collocated_ref_idx之值，因此使得當前圖像不可能為共置圖像。
另外，發信collocated_ref_idx所根據之條件可經修改以排除collocated_ref_idx可僅具有一個值的情況。在此情況下，可計數包括於RefPicList0及RefPic1List1中之參考圖像的數目(本文中表示為numCurrRef0及numCurrRef1)，且參考圖像之數目(例如num_ref_idx_l0_active_minus1及num_ref_idx_l1_active_minus1)可減少了等於RefPicList0及RefPicList1之當前圖像的參考索引之數目。參考索引之此經修改數目可替代片段標頭中的參考索引之發信數目用於解碼過程，例如用於發信collocated_ref_idx中。
舉例而言，實施可實現如下。
Figure 105116745-A0101-12-0026-6
Figure 105116745-A0101-12-0027-7
僅當可能的共置索引之數目大於1時發信共置參考索引，例如
Figure 105116745-A0101-12-0027-10
其中帶底線的部分經添加至當前草案文字規範頂部。
實例：RefPicList0={Curr,Pic0,Curr}
發信num_ref_idx_l0_active_minus1等於2，且numCurrRef0等於2(由於參考圖像清單中存在2個當前參考圖像)。
num_ref_idx_l0_active_minus1-numCurrRef0等於0，且collocated_ref_idx並不被發信，但被推斷等於0，然而真實值為1(零索引指向當前圖像)。
在推斷為0之後，使用上文所描述的共置索引修改
Figure 105116745-A0101-12-0027-9
}
其將產生等於1之collocated_ref_idx，此係由於一增加將由於第一參考圖像等於參考圖像清單中之當前圖像而發生。
在此實例中，與當前草案文字規範相比較(在其中collocated_ref_idx被發信)，節省了collocated_ref_idx發信，但需要collocated_ref_idx等於1。本文中關於共置圖像約束條件及共置參考索引發信所描述的任何技術可獨立地或以任何組合使用。
本發明亦描述用於基於主動參考圖像之數目禁用清單修改的技術。在當前WD中，可在NumPicTotalCurr>1且lists_modification_present_flag=1時調用ref_pic_list_modification程序。本發明提出當num_ref_idx_l0_active_minus1=0(亦即，可用於解碼片段的參考圖像清單0之最大參考索引等於0)且上文關於片級IBC控制旗標所描述的片級IBC控制旗標等於1時，清單修改資訊係冗餘的且可被推斷。換言之，在一些實施中，當IBC模式經啟用而不需清單修改程序時，當前圖像可始終被添加至參考圖像清單。
本發明描述在num_ref_idx_l0_active_minus1=0且slice_curr_pic_as_ref_enabled_flag=1時不發信清單修改資訊的技術。清單修改程序可經推斷以包括作為RefPicList0中之第一項目的curPic。換言之，在一些實施中，當IBC模式經啟用而不需清單修改程序時，當前圖像可始終被添加至參考圖像清單。
舉例而言，若視訊編碼器20判定IBC經啟用用於IBC片段，則用於片段的參考圖像清單中之唯一參考圖像為包括彼片段之當前圖像。因此，回應於判定用於視訊資料之片段的參考圖像清單中之參考圖像的數目等於一個及回應於IBC模式經啟用用於該片段，視訊編碼器20可經組態以禁用參考圖像清單修改且不將用於該片段的參考圖像清單修改資訊包括於經編碼位元串流中。類似地，視訊解碼器30可經組態 以接收指示用於視訊資料之片段的參考圖像清單中之參考圖像的數目的語法元素(例如num_ref_idx_l0_active_minus1)，且回應於該語法元素指示用於視訊資料之片段的參考圖像清單中之參考圖像的數目等於一個(例如num_ref_idx_l0_active_minus1等於0)及回應於IBC模式經啟用用於該片段(例如slice_curr_pic_as_ref_enabled_flag=1及/或curr_pic_as_ref_enabled_flag=1)，視訊解碼器30可禁用參考圖像清單修改。舉例而言，視訊解碼器30可藉由在不接收參考圖像清單修改資訊情況下建構參考圖像清單而禁用參考圖像清單修改。在一個實例中，禁用參考圖像清單修改可意謂與參考圖像清單修改資訊相關聯的資訊(例如，語法元素)未在位元串流中發信，因此潛在地改善壓縮並減少解碼器側複雜度。
儘管已關於RefPicList0描述上文之實例，但應瞭解上述技術亦同樣適用於RefPicList1。
Figure 105116745-A0101-12-0029-11
在第一實例實施中，當num_ref_idx_l0_active_minus1=0(亦即，可用於解碼片段的參考圖像清單0之最大參考索引等於1)且如在當前草案規範中之SPS級IBC控制旗標(curr_pic_as_ref_enabled_flag)等於1時，可不發信清單修改。清單修改程序經推斷以包括作為RefPicList0中之第一項目的curPic。
上述內容亦可擴展至RefPicList1。
Figure 105116745-A0101-12-0030-12
本發明亦描述用於將迴路內濾波實施為後處理的技術。換言之，如在一些寫碼情景中經應用為迴路內濾波器的濾波器可在其他寫碼情景中應用為迴路後濾波器。當使用IBC模式時，不濾波用於IBC預測的當前圖像之參考樣本。換言之，諸如解塊濾波器及SAO之迴路內濾波器可不應用於IBC參考樣本。然而，迴路內濾波又可應用於規律預測的經重建構之樣本。此等技術可出於多個原因改善總體寫碼效率及器件效能。作為一個實例，濾波可不為用於圖形內容之良好預測符，且因此與濾波相關聯的計算複雜度可向某些類型視訊內容提供最小益處或無益處。作為另一實例，歸因於儲存當前圖像之未經濾波及經濾波樣本(用於IBC及規律框間模式)的需要，迴路內濾波可增加用於寫入及讀取樣本的頻寬並增加所需要儲存容量。
在一個實例中，視訊解碼器30可僅當圖像被輸出或顯示時應用迴路內濾波器且將與參考圖像相關聯的未經濾波像素用於IBC及規律框間模式兩者。對於此實例，視訊解碼器30可經組態以使用IBC模式重建構視訊資料區塊並輸出包括該區塊之圖像，其中所輸出圖像中之區塊係使用一或多個迴路濾波器濾波。然而，視訊解碼器30可將具有區塊之未經濾波版本的圖像儲存為用於將來區塊之參考圖像。
此可減少頻寬，此係由於僅未經濾波像素需要被儲存且其可藉 由保持可藉由濾波器移除的細節使對圖形內容之預測更好。然而，迴路內濾波器又可應用於經輸出用於顯示之圖像。
IBC控制旗標或新的旗標可用以推導出迴路內濾波器是應用作後濾波器還是應用於輸出圖像的濾波器。舉例而言，視訊解碼器30可經組態以回應於判定IBC模式經啟用而接收指示迴路濾波器操作是迴路內還是迴路後應用的語法元素。另外，新的旗標可在IBC模式處於使用中時發信。舉例而言，此旗標可在不存在於位元串流中時經推導出為等於0。
在另一實例中，IBC模式可在經濾波影像可用時使用經濾波樣本(例如，經解塊濾波、經SAO濾波或經ALF濾波)。對於濾波器，可能需要在正被濾波區塊外部的一些像素，但該等像素不可用。當此等外部像素可用(亦即，已經重建構)時，則經濾波像素可用於IBC模式中之預測。若濾波所需要的至少一個像素不可用，則未經濾波樣本用於IBC預測。在此情況下，可減少頻寬，此係由於待儲存用於IBC預測的未經濾波像素之數量減少。替代地，IBC可僅參考經濾波樣本；在此情況下，未經濾波樣本(例如，需要尚未經重建構之至少一個像素的樣本)可不需要經儲存用於IBC預測。可(例如)藉由用以推導出預測區塊之MV不應包括此等樣本的編碼器或位元串流約束條件實現此限制。
在以上實例中，對於待與IBC預測一起使用的經濾波或未經濾波像素的檢查可係複雜的，此係由於相鄰CU可用於預測。為簡化推導程序，含有當前區塊之當前CTU的未經濾波樣本可用於IBC預測，且位於當前CTU外部的經濾波樣本(若可用)用於IBC預測。在此情況下，與未經濾波像素之儲存相關聯的頻寬可減少，此係由於當前CTU樣本可儲存於快取記憶體中且不需要儲存於編碼器20或解碼器30之外部記憶體中。
可引入旗標以指示是否在用於IBC預測的經濾波樣本或未經濾波樣本之間應用選擇。此旗標可在IBC模式被使用時發信且經推導為在不存在於位元串流中的情況下被禁用。
替代地，指示在用於IBC預測的經濾波樣本或未經濾波樣本之間的選擇之發信可就延遲(以CTU、片段、圖塊為單位)而言。舉例而言，在延遲值之前自區塊的IBC預測可僅使用經濾波樣本且在延遲值之後可使用未經濾波樣本。上文之實例中的所描述態樣可獨立地或以與其他描述方法任一組合之方式使用。
本發明描述可引起頻寬減少的技術。對於IBC模式之現有實施，視訊解碼器不濾波預測樣本；因此，若IBC經啟用，則除經濾波樣本以外，額外未經濾波樣本亦需要被儲存，導致若使用IBC模式，則儲存頻寬至少加倍。
根據本發明之技術，為了減少由未經濾波樣本引起的頻寬增加，視訊解碼器30可儲存經濾波樣本與未經濾波樣本之間的差，而非儲存未經濾波樣本。由於濾波器操作(例如，解塊、SAO)僅導致小的值改變，因此經濾波樣本與未經濾波樣本之間的差可不需要完整位元深度用於儲存，此可有助於減少儲存與IBC模式一起使用之經濾波及未經濾波樣本兩者所需要的儲存頻寬。此外，可應用一些壓縮方案(其在一個實例中可為無損壓縮，如自相鄰者之預測及可變長度寫碼)以進一步減少頻寬及儲存空間。在此實施中，視訊解碼器30可經組態以對視訊資料的經重建構區塊執行迴路濾波操作以產生經濾波之經重建構區塊，儲存指示經濾波之經重建構區塊與經重建構之區塊之間的差之差值，並至少部分地基於所儲存差值預測區塊。
本發明亦描述用於將濾波應用於預測樣本的技術。如在上述章節中所提及，在IBC模式之當前設計中，預測樣本為當前圖像之未經濾波之經重建構樣本(預先SAO或解塊)。除發送至顯示器之經濾波樣 本以外亦需要儲存此等未經濾波樣本。在此章節中，提出一些方法以避免對於未經濾波樣本之額外儲存的需要。
根據本發明之第一技術，視訊寫碼器(例如，視訊編碼器20或視訊解碼器30)可將SAO及解塊應用於預測樣本而非經重建構樣本。下文提供實例實施。實例實施比較當前設計與在本發明中提出之設計的一個實例。
當前設計：最後重建構=濾波(預測+殘餘)
所提出設計：最後重建構=濾波(預測)+殘餘。
其中，濾波：表示程序SAO及解塊中的任一者或兩者
預測：表示未經濾波預測樣本。
關於上文所描述的第一技術，視訊寫碼器可將SAO及解塊應用於任何模式(例如，框間、IBC、內部)之預測樣本。根據第二技術，視訊寫碼器可應用上文描述用於將SAO及解塊應用於IBC模式之預測樣本的技術。除JCTVC-T0045中描述之技術以外亦可應用此技術。在T0045中，禁用濾波用於可作為參考用於IBC的CTU。此可引入客觀及主觀品質降級。因此，本發明引入用於僅將濾波應用於IBC模式之預測樣本的技術。
現將描述實例實施。本發明描述用於將SAO及解塊應用於預測樣本而非IBC模式之經重建構樣本的技術。另外，若CTU用作IBC之參考區域，則可在位元串流中發信旗標，在此情況下，該旗標切斷用於彼CTU的迴路內後處理(解塊及SAO)，因此避免額外儲存。
當前設計：最後重建構=濾波(預測+殘餘)
所提出設計：用於IBC模式之最後重建構=濾波(預測)+殘餘。
用於非IBC模式之最後重建構=濾波(預測+殘餘)
其中，濾波：表示程序SAO及解塊中的任一者或兩者
預測：表示未經濾波之預測樣本。
作為如上文所描述將濾波應用於預測樣本的一部分，視訊解碼器30可經組態以判定用於視訊資料區塊的預測區塊，濾波該預測區塊以產生經濾波預測區塊，及將殘餘資料添加至經濾波預測區塊以產生重建構之區塊。為濾波預測區塊，視訊解碼器30可執行SAO濾波、解塊濾波或ALF濾波中之一或多者。視訊解碼器30可回應於正使用IBC模式寫碼視訊資料區塊而濾波預測區塊以產生經濾波預測區塊。對於以除IBC模式以外的寫碼模式寫碼的第二視訊資料區塊，視訊解碼器30可將殘餘資料添加至第二區塊之第二預測區塊以產生第二經重建構區塊並濾波該第二經重建構區塊。
圖3為說明可實施本發明中所描述之技術之實例視訊編碼器20的方塊圖。視訊編碼器20可執行對視訊片段內之視訊區塊的內部寫碼及框間寫碼。內部寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之相鄰圖框或圖像內之視訊中的時間冗餘。內部模式(I模式)可指代若干基於空間之壓縮模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之壓縮模式中的任一者。
在圖3之實例中，視訊編碼器20包括視訊資料記憶體33、分割單元35、預測處理單元41、求和器50、變換處理單元52、量化單元54、熵編碼單元56。預測處理單元41包括運動估計單元(MEU)42、運動補償單元(MCU)44、內部預測處理單元46及IBC單元48。儘管為了易於解釋在圖3中單獨地展示，但應理解MEU 42、MCU 44、內部預測處 理單元46及IBC單元48可實際上經高度整合。對於視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換處理單元60、求和器62、濾波器單元64及經解碼圖像緩衝器(DPB)66。
如圖3中所展示，視訊編碼器20接收視訊資料並將所接收之視訊資料儲存於視訊資料記憶體33中。視訊資料記憶體33可儲存待由視訊編碼器20之組件編碼的視訊資料。可例如自視訊源18獲得儲存於視訊資料記憶體33中之視訊資料。DPB 66可為儲存參考視訊資料以用於由視訊編碼器20編碼視訊資料(例如在內部或框間寫碼模式中)的參考圖像記憶體。視訊資料記憶體33及DPB 66可由諸如動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件的各種記憶體器件中之任一者形成。視訊資料記憶體33及DPB 66可由同一記憶體器件或單獨記憶體器件提供。在各種實例中，視訊資料記憶體33可與視訊編碼器20之其他組件在晶片上，或相對於彼等組件在晶片外。
分割單元35自視訊資料記憶體33擷取視訊資料並結合預測處理單元41將視訊資料分割成視訊區塊。此分割亦可包括分割成片段、圖塊或其他較大單元，以及例如根據LCU及CU的四分樹結構的視訊區塊分割。儘管出於實例之目的單獨地展示，但分割單元35及預測處理單元41可高度整合，且分割單元35及預測處理單元41兩者可執行判定如何分割視訊之圖像的程序之態樣。視訊編碼器20大體上說明編碼待編碼視訊片段內之視訊區塊的組件。可將片段劃分為多個視訊區塊(且可能劃分為被稱作圖塊之視訊區塊集合)。預測處理單元41可基於誤差結果(例如，寫碼速率及失真位準)選擇用於當前視訊區塊的複數個可能寫碼模式中之一者，諸如複數個內部寫碼模式中之一者或複數個框間寫碼模式中之一者。預測處理單元41可將所得經內部或框間寫碼區塊提供至求和器50以產生殘餘區塊資料並提供至求和器62以重建 構經編碼區塊以用作參考圖像。
預測處理單元41內之內部預測處理單元46可執行當前視訊區塊相對於與待寫碼的當前區塊在相同圖框或片段中的一或多個相鄰區塊之內部預測性寫碼，以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊之框間預測性寫碼，以提供時間壓縮。由運動估計單元42執行之運動估計為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示當前視訊圖框或圖像內之視訊區塊的PU相對於參考圖像內之預測性區塊的位移。
預測性區塊為被發現就像素差而言緊密地匹配待寫碼的視訊區塊之PU的區塊，該像素差可由絕對差和(SAD)、平方差和(SSD)或其他差度量判定。在一些實例中，視訊編碼器20可計算儲存於DPB 66中之參考圖像的子整數像素位置的值。舉例而言，視訊編碼器20可內插該參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼片段中之視訊區塊的PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，其中之每一者識別儲存於DPB 66中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於藉由運動估計判定之運動向量提取或產生預測性區塊，可能執行內插以達成子像素精確度。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。視訊編碼器20藉由自正經寫碼之當前視訊區塊的像素值減去預測性區 塊之像素值來形成殘餘視訊區塊，從而形成像素差值。像素差值形成用於區塊之殘餘資料，且可包括明度及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊片段相關聯之語法元素以供視訊解碼器30在解碼視訊片段之視訊區塊時使用。
在一些實例中，IBC單元48可以類似於上文關於運動估計單元42及運動補償單元44描述之方式的方式產生二維向量且提取預測性區塊，但其中預測性區塊與當前區塊在同一圖像或圖框中。在其他實例中，IBC單元48可使用運動估計單元42及運動補償單元44以完整或部分地執行根據本文中所描述之技術的IBC預測之此等功能。在任一情況下，對於IBC，預測性區塊可為被發現就像素差而言緊密地匹配待寫碼區塊的區塊，該像素差可由SAD、SSD或其他差度量判定，且對區塊之識別可包括對子整數像素位置之值的計算。
在預測處理單元41經由內部預測、框間預測或IBC產生用於當前視訊區塊之預測性區塊之後，視訊編碼器20藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且被應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似之變換的變換將殘餘視訊資料變換成殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域(諸如，頻域)。
變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減少位元速率。量化處理可減少與一些或所有係數相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。替代性地，熵編碼單元56可執行掃描。
在量化之後，熵編碼單元56熵編碼經量化變換係數。舉例而 言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在藉由熵編碼單元56之熵編碼之後，經編碼位元串流可被傳輸至視訊解碼器30，或經存檔以供視訊解碼器30稍後傳輸或擷取。熵編碼單元56亦可熵編碼正被寫碼之當前視訊片段的運動向量及其他語法元素。
反量化單元58及反變換處理單元60分別應用反量化及反變換以重建構像素域中之殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像清單中之一者內的參考圖像中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構殘餘區塊，以計算子整數像素值以用於運動估計中。求和器62將經重建構殘餘區塊添加至由運動補償單元44產生之經運動補償預測區塊以產生經重建構區塊。
濾波器單元64對經重建構區塊(例如，求和器62之輸出)進行濾波且將經濾波之經重建構區塊儲存於DPB 66中用作參考區塊。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以對後續視訊圖框或圖像中之區塊進行框間預測。濾波器單元64可應用解塊濾波、樣本自適應性偏移(SAO)濾波、自適應性迴路濾波(ALF)或其他類型之迴路濾波中之一或多者。濾波器單元64可應用解塊濾波以過濾區塊邊界以自經重建構視訊移除區塊效應偽影，且可應用其他類型之濾波以改善總體寫碼品質。亦可使用額外迴路濾波器(迴路內或迴路後)。
視訊編碼器20表示可執行本發明之技術的視訊編碼器之一個但非唯一實例。視訊編碼器20(例如IBC單元48)可例如將視訊資料之片段編碼為I片段。視訊編碼器20可(例如)針對經寫碼視訊序列執行若干寫碼遍次並判定將片段寫碼為I片段提供所需要寫碼特性，諸如所需 要速率失真折衷。對於片段，視訊編碼器20(例如IBC單元48及熵編碼單元56)亦可產生IBC語法元素以指示IBC模式經啟用用於片段。對於片段，視訊編碼器20(例如IBC單元48)可使用IBC模式編碼片段之至少一個區塊，且視訊編碼器20(例如內部預測處理單元46)可使用內部模式編碼片段之至少一個區塊。視訊編碼器20(例如熵編碼單元56)可包括SPS中之IBC語法元素。回應於判定用於視訊資料之片段的參考圖像清單中之參考圖像的數目等於一個及回應於IBC模式經啟用用於該片段，視訊編碼器20(例如預測處理單元41)可禁用參考圖像清單修改。作為禁用參考圖像清單修改之部分，視訊編碼器20可使用於該片段之參考圖像清單修改資訊不包括在經編碼位元串流中。
圖4為說明可實施本發明中所描述之技術的實例視訊解碼器30之方塊圖。在圖4之實例中，視訊解碼器30包括視訊資料記憶體78、熵解碼單元80、預測處理單元81、反量化單元86、反變換處理單元88、求和器90、濾波器單元92及DPB 94。預測處理單元81包括運動補償單元82、內部預測處理單元84及IBC單元85。在一些實例中，視訊解碼器30可執行通常可逆於關於自圖3之視訊編碼器20所描述之編碼遍次的解碼遍次。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊片段之視訊區塊及相關聯之語法元素的經編碼視訊位元串流。視訊解碼器30將所接收之經編碼視訊位元串流儲存於視訊資料記憶體78中。視訊資料記憶體78可儲存待由視訊解碼器30之組件解碼的視訊資料，諸如經編碼視訊位元串流。儲存於視訊資料記憶體78中之視訊資料可(例如)經由連結16自儲存器件26或自本端視訊源(諸如攝影機)或藉由存取實體資料儲存媒體獲得。視訊資料記憶體78可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。DPB 94可為儲存用於(例如)藉由視訊解碼器30以內部或框間 寫碼模式解碼視訊資料之參考視訊資料的參考圖像記憶體。視訊資料記憶體78及DPB 94可由多種記憶體器件中之任一者形成，該等記憶體器件諸如DRAM、SDRAM、MRAM、RRAM或其他類型之記憶體器件。視訊資料記憶體78及DPB 94可由同一記憶體器件或單獨記憶體器件提供。在各種實例中，視訊資料記憶體78可與視訊解碼器30之其他組件在晶片上，或相對於彼等組件在晶片外。
視訊解碼器30之熵解碼單元80熵解碼儲存於視訊資料記憶體78中之視訊資料以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。視訊解碼器30可接收視訊片級及/或視訊區塊級之語法元素。
當視訊片段經寫碼為經內部寫碼(I)片段時，預測處理單元81之內部預測處理單元84可基於來自當前圖框或圖像之先前經解碼區塊的所經發信內部預測模式及資料來產生用於當前視訊片段之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼時，預測處理單元81的運動補償單元82基於運動向量及自熵解碼單元80接收之其他語法元素產生用於當前視訊片段之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單中之一者內的參考圖像中之一者產生。視訊解碼器30可基於儲存於DPB 94中之參考圖像使用預設建構技術來建構參考圖框清單，清單0及清單1。
運動補償單元82及/或IBC單元85藉由解析運動向量及其他語法元素判定用於當前視訊片段之視訊區塊的預測資訊，並使用預測資訊產生用於正經解碼的當前視訊區塊之預測性區塊。舉例而言，運動補償單元82使用所接收之語法元素中的一些語法元素判定用以寫碼視訊片段之視訊區塊的預測模式(例如，內部或框間預測或IBC)、用於片段之參考圖像清單中之一或多者的建構資訊、用於片段之每一經框間編碼視訊區塊的運動向量、用於片段之每一經框間寫碼視訊區塊的框間 預測狀態，以及用以解碼當前視訊片段中之視訊區塊的其他資訊。
運動補償單元82及/或IBC單元85亦可基於內插濾波器執行內插。運動補償單元82及/或IBC單元85可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之子整數像素的內插值。在此情況下，運動補償單元82及/或IBC單元85可自所接收之語法元素判定由視訊編碼器20使用的內插濾波器，並使用該等內插濾波器以產生預測性區塊。
反量化單元86反量化(亦即，解量化)位元串流中所提供並由熵解碼單元80解碼之經量化變換係數。反量化程序可包括使用由視訊編碼器20針對視訊片段中之每一視訊區塊計算的量化參數，以判定量化程度及同樣地應被應用之反量化程度。反變換處理單元88將反變換(例如，反DCT、反整數變換或概念上類似之反變換程序)應用於變換係數以便在像素域中產生殘餘區塊。
在預測處理單元使用例如內部或框間預測產生當前視訊區塊之預測性區塊後，視訊解碼器30藉由將來自反變換處理單元88之殘餘區塊與由運動補償單元82產生之對應預測性區塊求和而形成經重建構之視訊區塊。求和器90表示執行此求和運算之該或該等組件。濾波器單元92使用(例如)解塊濾波、SAO濾波、ALF濾波或其他類型之濾波中之一或多者對經重建構視訊區塊進行濾波。亦可使用其他迴路濾波器(在寫碼迴路中抑或在寫碼迴路之後)以使像素轉變平滑，或以其他方式改善視訊品質。給定圖框或圖像中之經解碼視訊區塊接著儲存於DPB 94中，該DPB 94儲存用於後續運動補償之參考圖像。DPB 94可為額外記憶體的部分或與其分離，該額外記憶體儲存用於稍後呈現於顯示器件(諸如圖1之顯示器件32)上之經解碼視訊。
視訊解碼器30表示可執行本發明之技術的視訊解碼器之一個但非唯一實例。視訊解碼器30(例如視訊資料記憶體78及熵解碼單元80) 可接收視訊資料之片段。視訊解碼器30(例如熵解碼單元80及預測處理單元81)可解析IBC語法元素以判定IBC模式經啟用用於該片段。視訊解碼器30(例如熵解碼單元80及預測處理單元81)可解析與該片段相關聯的片段類型語法元素以判定該片段為I片段。視訊解碼器30(例如，內部預測處理單元84及IBC單元85)可將片段解碼為I片段。為將片段解碼為I片段，視訊解碼器30可僅使用內部預測且不使用框間預測模式或IBC模式來解碼片段之區塊。視訊解碼器30(例如熵解碼單元80)可接收SPS中之IBC語法元素。為執行用於片段之至少一個區塊的IBC，視訊解碼器30(例如IBC單元85)可使用包含該片段之當前圖像作為參考圖像。
視訊解碼器30(例如預測處理單元及DPB 94)可例如建構用於視訊資料之片段的參考圖像清單。包括於參考圖像清單中的圖像之數目可取決於正被啟用的IBC。視訊解碼器30(例如預測處理單元81)可建構用於視訊資料之片段的參考圖像清單。回應於IBC模式經啟用，視訊解碼器30(例如預測處理單元及DPB 94)可將含有片段之圖像添加至參考圖像清單。
視訊解碼器30(例如熵解碼單元80及預測處理單元81)可接收指示用於視訊資料之片段的參考圖像清單中的參考圖像之數目的語法元素。回應於語法元素指示用於視訊資料之片段的參考圖像清單中的參考圖像之數目等於一個及回應於IBC模式經啟用用於該片段，視訊解碼器30(例如預測處理單元及DPB 94)可建構用於視訊資料之片段的參考圖像清單，該視訊資料包括作為參考圖像清單中之第一項目的包含該片段之當前圖像。
視訊解碼器30(例如熵解碼單元80及預測處理單元81)可接收指示用於視訊資料之片段的參考圖像清單中的參考圖像之數目的語法元素。回應於語法元素指示用於視訊資料之片段的參考圖像清單中的參 考圖像之數目等於一個及回應於IBC模式經啟用用於該片段，視訊解碼器30(例如預測處理單元81)可禁用參考圖像清單修改。作為禁用參考圖像清單修改之部分，視訊解碼器30(例如預測處理單元81)可建構參考圖像清單而不需接收參考圖像清單修改資訊。
圖5為展示根據本發明之技術的編碼視訊資料之方法的流程圖。將參考一般視訊編碼器描述圖5。在圖5之實例中，視訊編碼器將視訊資料之片段編碼為I片段(150)。對於該片段，視訊編碼器亦產生IBC語法元素以指示IBC模式經啟用用於該片段(152)。對於該片段，視訊編碼器可使用IBC模式編碼該片段之至少一個區塊且亦可使用內部模式編碼該片段之至少一個區塊。視訊編碼器可產生IBC語法元素以用於包括於與該片段相關聯的SPS中。回應於判定用於視訊資料之片段的參考圖像清單中的參考圖像之數目等於一個及回應於IBC模式經啟用用於該片段，視訊編碼器可禁用參考圖像清單修改。作為禁用參考圖像清單修改之部分，視訊編碼器可使用於該片段之參考圖像清單修改資訊不包括在經編碼位元串流中。
圖6為展示根據本發明之技術的編碼視訊資料之方法的流程圖。將參考一般視訊解碼器描述圖6。一般視訊解碼器可例如對應於視訊解碼器30，但本發明之技術不限於任何特定類型之視訊解碼器。視訊解碼器接收視訊資料之片段(160)。視訊解碼器解析IBC語法元素以判定IBC模式經啟用用於該片段(162)。視訊解碼器解析與片段相關聯的片段類型語法元素以判定片段為I片段(164)。視訊解碼器將片段解碼為I片段(166)。為將片段解碼為I片段，視訊解碼器可例如使用內部預測寫碼模式解碼片段之所有區塊。視訊解碼器可接收SPS中之IBC語法元素。為將片段解碼為I片段，視訊解碼器僅使用內部預測解碼片段之區塊。換言之，為將片段解碼為I片段，視訊解碼器在不使用框間預測模式及不使用IBC模式的情況下解碼片段之區塊。
IBC語法元素可例如為上文所描述的curr_pic_as_ref_enabled_flag，且為了解析IBC語法元素以判定IBC模式經啟用用於片段，視訊解碼器可判定curr_pic_as_ref_enabled_flag之值等於1。片段類型語法元素可例如為上文所描述的slice_type語法元素，且為了解析與片段相關聯的片段類型語法元素以判定片段為I片段，視訊解碼器可判定slice_type語法元素之值等於2。
根據圖6之實例，視訊解碼器亦可接收視訊資料之第二片段，接收指示用於視訊資料之第二片段的參考圖像清單中的參考圖像之數目的語法元素，並回應於語法元素指示用於視訊資料之第二片段的參考圖像清單中的參考圖像之數目等於一個及回應於IBC模式經啟用用於該第二片段，視訊解碼器可建構用於包括包含該第二片段之當前圖像的視訊資料之該片段的參考圖像清單。在另一實例中，視訊解碼器可接收視訊資料之第二片段，建構用於視訊資料之第二片段的參考圖像清單，並回應於IBC模式經啟用，將含有第二片段之圖像添加至參考圖像清單。
圖7為展示根據本發明之技術的編碼視訊資料之方法的流程圖。將參考一般視訊解碼器描述圖7。圖7之技術可結合圖6之技術使用或可獨立地使用。一般視訊解碼器可例如對應於視訊解碼器30，但本發明之技術不限於任何特定類型之視訊解碼器。視訊解碼器接收視訊資料之片段(170)。視訊解碼器接收指示用於視訊資料之片段的參考圖像清單中的參考圖像之數目的語法元素(172)。回應於語法元素指示用於視訊資料之片段的參考圖像清單中的參考圖像之數目等於一個及回應於IBC模式經啟用用於第二片段，視訊解碼器禁用用於該第二片段之參考圖像清單的參考圖像清單修改(174)。為禁用參考圖像清單修改，視訊解碼器可例如在不接收參考圖像清單修改資訊的情況下建構參考圖像清單，並將包含該片段之當前圖像添加於參考圖像清單中 作為第一項目。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或代碼而在電腦可讀媒體上儲存或傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於有形媒體(諸如資料儲存媒體)，或包括有助於將電腦程式自一處傳送至另一處(例如，根據通信協定)的任何媒體之通信媒體。以此方式，電腦可讀媒體通常可對應於(1)為非暫時性的有形電腦可讀儲存媒體，或(2)通信媒體，諸如信號或載波。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、代碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。另外，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則該同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是實際上有關非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟使用雷射以光學方式再現資料。以上之組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，包括固定功能及/或可程式化處理電路，諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以多種器件或裝置實施，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片集)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適之軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。

Claims (19)

  1. 一種用於解碼視訊資料之方法，該方法包含：接收該視訊資料之一當前圖像之一第一片段；接收指示用於該視訊資料之該第一片段之一參考圖像清單中之參考圖像數量之一語法元素；判定一內部區塊複製(IBC)模式經啟用用於該第一片段判定該參考圖像清單中之該參考圖像數量係等於1；及判定與該參考圖像清單之修改相關聯之資訊並未在該視訊資料中發信(signaled)；回應於該參考圖像清單中之該參考圖像數量係等於1、該IBC模式經啟用用於該第一片段之該判定、及與該參考圖像清單之修改相關聯之資訊並未在該視訊資料中發信之該判定，在該參考圖像清單之建構期間將包含該第一片段之該當前圖像添加至該參考圖像清單。
  2. 如請求項1之方法，其進一步包含：回應於該參考圖像清單中之該參考圖像數量係等於1之值之該判定，添加包含該第一片段之該當前圖像作為該參考圖像清單中之一第一項目。
  3. 如請求項1之方法，其進一步包含：接收該視訊資料之該當前圖像之一第二片段；解析一IBC語法元素以判定該IBC模式經啟用用於該第二片段；解析與該第二片段相關聯的一片段類型語法元素以判定該第二片段為一I片段；將該第二片段解碼為一I片段，其中將該第二片段解碼為一I片 段包含使用至少一個內部預測寫碼模式解碼該第二片段之所有區塊，其中該IBC語法元素包含一curr_pic_as_ref_enabled_flag語法元素，且其中解析該IBC語法元素以判定該IBC模式經啟用用於該第二片段包含判定該curr_pic_as_ref_enabled_flag語法元素之值等於1。
  4. 如請求項3之方法，其中將該第二片段解碼為一I片段包含僅使用內部預測解碼該第二片段之區塊。
  5. 如請求項3之方法，其中將該第二片段解碼為一I片段包含在不使用一框間預測模式及不使用該IBC模式的情況下解碼該第二片段之區塊。
  6. 如請求項3之方法，其中該片段類型語法元素包含一slice_type語法元素，且其中解析與該第二片段相關聯的該片段類型語法元素以判定該第二片段為一I片段包含判定該slice_type語法元素之值等於2。
  7. 一種用於解碼視訊資料之器件，該器件包含：一記憶體，其經組態以儲存該視訊資料；及一或多個處理器，其經組態以：接收該視訊資料之一當前圖像之一第一片段；接收指示用於該視訊資料之該第一片段之一參考圖像清單中之參考圖像數量之一語法元素；判定一內部區塊複製(IBC)模式經啟用用於該第一片段；判定該參考圖像清單中之該參考圖像數量係等於1；判定與該參考圖像清單之修改相關聯之資訊並未在該視訊資料中發信；及回應於該參考圖像清單中之該參考圖像數量係等於1、該 IBC模式經啟用用於該第一片段之該判定、及與該參考圖像清單之修改相關聯之資訊並未在該視訊資料中發信之該判定，在該參考圖像清單之建構期間將包含該第一片段之該當前圖像添加至該參考圖像清單。
  8. 如請求項7之器件，其中該一或多個處理器係進一步經組態以：回應於該參考圖像清單中之該參考圖像數量係等於1之值之該判定，添加包含該第一片段之該當前圖像作為該參考圖像清單中之一第一項目。
  9. 如請求項7之器件，其中該一或多個處理器係進一步經組態以：接收該視訊資料之該當前圖像之一第二片段；解析一IBC語法元素以判定該IBC模式經啟用用於該第二片段；解析與該第二片段相關聯的一片段類型語法元素以判定該第二片段為一I片段；將該第二片段解碼為一I片段，其中將該第二片段解碼為一I片段包含使用至少一個內部預測寫碼模式解碼該第二片段之所有區塊，其中該IBC語法元素包含一curr_pic_as_ref_enabled_flag語法元素，且其中為解析該IBC語法元素以判定該IBC模式經啟用用於該第二片段，該一或多個處理器經進一步組態以判定該curr_pic_as_ref_enabled_flag語法元素之值等於1。
  10. 如請求項9之器件，其中為將該第二片段解碼為一I片段，該一或多個處理器經進一步組態以僅使用內部預測解碼該第二片段之區塊。
  11. 如請求項9之器件，其中為將該第二片段解碼為一I片段，該一或多個處理器經進一步組態以在不使用一框間預測模式及不使用 該IBC模式的情況下解碼該第二片段之區塊。
  12. 如請求項9之器件，其中該片段類型語法元素包含一slice_type語法元素，且其中為解析與該第二片段相關聯的該片段類型語法元素以判定該第二片段為一I片段，該一或多個處理器經進一步組態以判定該slice_type語法元素之值等於2。
  13. 如請求項7之器件，其中該器件包含以下各者中之至少一者：一積體電路；一微處理器；或一無線通信器件，其包含一經組態以接收經編碼視訊資料的接收器。
  14. 一種用於解碼視訊資料之裝置，該裝置包含：用於接收該視訊資料之一當前圖像之一第一片段的構件；用於接收指示用於該視訊資料之該第一片段之一參考圖像清單中之參考圖像數量之一語法元素的構件；用於判定一內部區塊複製(IBC)模式經啟用用於該第一片段的構件；用於判定該參考圖像清單中之該參考圖像數量係等於1的構件；及用於判定與該參考圖像清單之修改相關聯之資訊並未在該視訊資料中發信的構件；用於回應於該參考圖像清單中之該參考圖像數量係等於1、該IBC模式經啟用用於該第一片段之該判定、及與該參考圖像清單之修改相關聯之資訊並未在該視訊資料中發信而在該參考圖像清單之建構期間將包含該第一片段之該當前圖像添加至該參考圖像清單的構件。
  15. 如請求項14之裝置，其進一步包含： 用於回應於該參考圖像清單中之該參考圖像數量係等於1之值之該判定而添加包含該第一片段之該當前圖像作為該參考圖像清單中之一第一項目的構件。
  16. 如請求項14之裝置，其進一步包含：用於接收該視訊資料之該當前圖像之一第二片段的構件；用於解析一IBC語法元素以判定該IBC模式經啟用用於該第二片段的構件；用於解析與該第二片段相關聯的一片段類型語法元素以判定該第二片段為一I片段的構件；用於將該第二片段解碼為一I片段的構件，其中將該第二片段解碼為一I片段包含使用至少一個內部預測寫碼模式解碼該第二片段之所有區塊，其中該IBC語法元素包含一curr_pic_as_ref_enabled_flag語法元素，且其中用於解析該IBC語法元素以判定該IBC模式經啟用用於該第二片段的該構件包含用於判定該curr_pic_as_ref_enabled_flag語法元素之值等於1的構件。
  17. 一種儲存指令之電腦可讀儲存媒體，該等指令在由一或多個處理器執行時導致該一或多個處理器：接收該視訊資料之一當前圖像之一第一片段；接收指示用於該視訊資料之該第一片段之一參考圖像清單中之參考圖像數量之一語法元素；判定一內部區塊複製(IBC)模式經啟用用於該第一片段；判定該參考圖像清單中之該參考圖像數量係等於1；判定與該參考圖像清單之修改相關聯之資訊並未在該視訊資料中發信；及回應於該參考圖像清單中之該參考圖像數量係等於1、該IBC 模式經啟用用於該第一片段之該判定、及與該參考圖像清單之修改相關聯之資訊並未在該視訊資料中發信，在該參考圖像清單之建構期間將包含該第一片段之該當前圖像添加至該參考圖像清單。
  18. 如請求項17之電腦可讀儲存媒體，其進一步儲存指令在由一或多個處理器執行時導致該一或多個處理器：回應於該參考圖像清單中之該參考圖像數量係等於1之值之該判定，添加包含該第一片段之該當前圖像作為該參考圖像清單中之一第一項目。
  19. 如請求項17之電腦可讀儲存媒體，其進一步儲存指令在由一或多個處理器執行時導致該一或多個處理器：接收該視訊資料之該當前圖像之一第二片段；解析一IBC語法元素以判定該IBC模式經啟用用於該第二片段；解析與該第二片段相關聯的一片段類型語法元素以判定該第二片段為一I片段；將該第二片段解碼為一I片段，其中將該第二片段解碼為一I片段包含使用至少一個內部預測寫碼模式解碼該第二片段之所有區塊，其中該IBC語法元素包含一curr_pic_as_ref_enabled_flag語法元素，且其中為解析該IBC語法元素以判定該IBC模式經啟用用於該第二片段，該等指令導致該一或多個處理器判定該curr_pic_as_ref_enabled_flag語法元素之值等於1。
TW105116745A 2015-05-29 2016-05-27 片級內部區塊複製及其他視訊寫碼改善 TWI705694B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562168396P 2015-05-29 2015-05-29
US62/168,396 2015-05-29
US15/158,741 US10638140B2 (en) 2015-05-29 2016-05-19 Slice level intra block copy and other video coding improvements
US15/158,741 2016-05-19

Publications (2)

Publication Number Publication Date
TW201711461A TW201711461A (zh) 2017-03-16
TWI705694B true TWI705694B (zh) 2020-09-21

Family

ID=57397716

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105116745A TWI705694B (zh) 2015-05-29 2016-05-27 片級內部區塊複製及其他視訊寫碼改善

Country Status (20)

Country Link
US (1) US10638140B2 (zh)
EP (1) EP3304908B1 (zh)
JP (1) JP6716611B2 (zh)
KR (1) KR102310752B1 (zh)
CN (1) CN107660341B (zh)
AR (1) AR106864A1 (zh)
AU (1) AU2016270043A1 (zh)
BR (1) BR112017025634A2 (zh)
CA (1) CA2983886A1 (zh)
CL (1) CL2017002954A1 (zh)
CO (1) CO2017011983A2 (zh)
ES (1) ES2845673T3 (zh)
MX (1) MX2017014657A (zh)
PH (1) PH12017501987A1 (zh)
RU (1) RU2017140987A (zh)
SA (1) SA517390407B1 (zh)
SG (1) SG11201708683WA (zh)
TW (1) TWI705694B (zh)
WO (1) WO2016196043A1 (zh)
ZA (1) ZA201708069B (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
WO2015054811A1 (en) 2013-10-14 2015-04-23 Microsoft Corporation Features of intra block copy prediction mode for video and image coding and decoding
US10116933B2 (en) * 2013-10-14 2018-10-30 Mediatek Inc. Method of lossless mode signaling for video system with lossless and lossy coding
BR112016015080A2 (pt) 2014-01-03 2017-08-08 Microsoft Technology Licensing Llc Predição de vetor de bloco em codificação / decodificação de vídeo e imagem
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10785486B2 (en) 2014-06-19 2020-09-22 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
CA3171803A1 (en) 2014-09-30 2016-04-07 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
CN107615763B (zh) * 2015-05-28 2020-09-11 寰发股份有限公司 一种管理解码图像缓存器的方法及装置
CN115134609A (zh) 2015-06-11 2022-09-30 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
US10542258B2 (en) * 2016-01-25 2020-01-21 Google Llc Tile copying for video compression
FR3068558A1 (fr) 2017-07-05 2019-01-04 Orange Procede de codage et decodage d'images,dispositif de codage et decodage et programmes d'ordinateur correspondants
FR3068557A1 (fr) * 2017-07-05 2019-01-04 Orange Procede de codage et decodage d'images,dispositif de codage et decodage et programmes d'ordinateur correspondants
FR3062010A1 (fr) 2017-07-05 2018-07-20 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'une sequence d'images
GB2575121B (en) * 2018-06-29 2022-12-28 Imagination Tech Ltd Guaranteed data compression
US10798376B2 (en) * 2018-07-17 2020-10-06 Tencent America LLC Method and apparatus for video coding
EP4336832A3 (en) * 2018-08-17 2024-05-22 Huawei Technologies Co., Ltd. Reference picture management in video coding
CN110858986A (zh) * 2018-08-23 2020-03-03 中兴通讯股份有限公司 带宽调整方法、装置、通信设备及计算机可读存储介质
WO2020056247A1 (en) * 2018-09-14 2020-03-19 Vid Scale, Inc. Methods and apparatus for flexible grid regions
US10848782B2 (en) * 2018-09-21 2020-11-24 Tencent America LLC Method and apparatus for video coding
AU2019354653B2 (en) * 2018-10-02 2023-04-27 Interdigital Vc Holdings, Inc. Generalized bi-prediction and weighted prediction
KR20200040179A (ko) 2018-10-08 2020-04-17 에스케이텔레콤 주식회사 현재 픽처 참조 모드를 이용한 예측 방법 및 영상 복호화 장치
WO2020076034A1 (ko) * 2018-10-08 2020-04-16 에스케이텔레콤 주식회사 현재 픽처 참조 모드를 이용한 예측 방법 및 영상 복호화 장치
US11758164B2 (en) * 2018-10-23 2023-09-12 Tencent America LLC Method and apparatus for video coding
WO2020108650A1 (en) 2018-11-29 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Flag indication method in intra block copy mode
BR112021010326A2 (pt) * 2018-11-30 2021-08-24 Sharp Kabushiki Kaisha Método de decodificar dados de vídeo, método de codificar dados de vídeo e dispositivo para decodificar dados de vídeo
CN109743576B (zh) * 2018-12-28 2020-05-12 杭州海康威视数字技术股份有限公司 编码方法、解码方法及装置
US11310523B2 (en) * 2019-01-15 2022-04-19 Tencent America LLC Method and apparatus for block vector prediction with integer offsets in intra picture block compensation
US10958904B2 (en) 2019-02-01 2021-03-23 Tencent America LLC Method and apparatus for video coding
US11240516B2 (en) 2019-03-20 2022-02-01 Tencent America LLC Coding mode signaling for small blocks
WO2020197264A1 (ko) * 2019-03-25 2020-10-01 엘지전자 주식회사 비디오 신호를 처리하기 위한 방법 및 장치
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
US11134275B2 (en) * 2019-06-04 2021-09-28 Tencent America LLC Method and apparatus for performing primary transform based on filtering of blocks
US11553197B2 (en) * 2019-08-05 2023-01-10 Tencent America LLC Method and apparatus for intra picture block compensation
EP4011076A4 (en) 2019-09-09 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. INTRA-BLOCK COPY ENCODING AND DECODING
CN117615155A (zh) 2019-09-19 2024-02-27 北京字节跳动网络技术有限公司 视频编解码中的参考样点位置推导
CN114503574A (zh) 2019-09-19 2022-05-13 北京字节跳动网络技术有限公司 视频编解码中的缩放窗口
BR112022006453A2 (pt) 2019-10-05 2022-09-27 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento não transitório legível por computador e meio de gravação não transitório legível por computador
CN114556918A (zh) 2019-10-12 2022-05-27 北京字节跳动网络技术有限公司 细化视频编解码工具的使用和信令
WO2021073488A1 (en) 2019-10-13 2021-04-22 Beijing Bytedance Network Technology Co., Ltd. Interplay between reference picture resampling and video coding tools
EP4044598A4 (en) * 2019-11-05 2022-12-07 LG Electronics Inc. METHOD AND DEVICE FOR PROCESSING IMAGE INFORMATION FOR IMAGE/VIDEO CODING
KR20220113379A (ko) * 2019-12-27 2022-08-12 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 픽처 헤더의 슬라이스 유형의 시그널링
US11930208B2 (en) 2020-01-10 2024-03-12 Tencent America LLC Method and apparatus for signaling skip mode flag
US20230103405A1 (en) * 2021-10-04 2023-04-06 Tencent America LLC Method and apparatus for intra block copy prediction with sample padding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130114742A1 (en) * 2011-11-08 2013-05-09 Nokia Corporation Reference picture handling

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL1724892T3 (pl) 2003-08-29 2017-01-31 Quanta Services Przeciąganie przewodu pod napięciem i sposoby łączenia przez splatanie
EP1962513A1 (en) * 2007-02-26 2008-08-27 Vestel Elektronik Sanayi ve Ticaret A.S. Methods and apparatus for processing of a digital image
US9066102B2 (en) 2010-11-17 2015-06-23 Qualcomm Incorporated Reference picture list construction for generalized P/B frames in video coding
SG10201408609SA (en) 2011-06-30 2015-02-27 Microsoft Technology Licensing Llc Reducing latency in video encoding and decoding
US9503715B2 (en) 2013-08-30 2016-11-22 Qualcomm Incorporated Constrained intra prediction in video coding
KR20150026927A (ko) * 2013-09-03 2015-03-11 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US10785486B2 (en) * 2014-06-19 2020-09-22 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
US10051277B2 (en) * 2014-11-06 2018-08-14 Mediatek Inc. Method for sub-block based palette coding
CN104539949B (zh) 2014-12-12 2018-02-06 北方工业大学 Hevc屏幕编码中基于边缘方向的快速分块的方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130114742A1 (en) * 2011-11-08 2013-05-09 Nokia Corporation Reference picture handling

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Non-SCCE1: Unification of intra BC and inter modes" Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 18th Meeting: Sapporo, JP, 30 June – 9 July 2014 *
G. J. Sullivan, J. Ohm, W. Han and T. Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard," in IEEE Transactions on Circuits and Systems for Video Technology, vol. 22, no. 12, pp. 1649-1668, Dec. 2012 *

Also Published As

Publication number Publication date
EP3304908B1 (en) 2020-10-28
CN107660341B (zh) 2020-08-18
CN107660341A (zh) 2018-02-02
RU2017140987A (ru) 2019-07-02
SG11201708683WA (en) 2017-12-28
ES2845673T3 (es) 2021-07-27
CL2017002954A1 (es) 2018-05-18
JP6716611B2 (ja) 2020-07-01
CO2017011983A2 (es) 2017-11-30
KR102310752B1 (ko) 2021-10-07
US20160353117A1 (en) 2016-12-01
CA2983886A1 (en) 2016-12-08
JP2018520581A (ja) 2018-07-26
PH12017501987A1 (en) 2018-03-26
MX2017014657A (es) 2018-01-24
AU2016270043A1 (en) 2017-11-16
EP3304908A1 (en) 2018-04-11
KR20180013918A (ko) 2018-02-07
ZA201708069B (en) 2020-01-29
SA517390407B1 (ar) 2020-09-21
US10638140B2 (en) 2020-04-28
AR106864A1 (es) 2018-02-28
BR112017025634A2 (pt) 2018-08-07
TW201711461A (zh) 2017-03-16
WO2016196043A1 (en) 2016-12-08

Similar Documents

Publication Publication Date Title
TWI705694B (zh) 片級內部區塊複製及其他視訊寫碼改善
US11431968B2 (en) Variable number of intra modes for video coding
JP7055833B2 (ja) 並列処理のためのイントラブロックコピー予測制限
CN109691102B (zh) 跨分量滤波器
JP6141386B2 (ja) 深度範囲パラメータのシグナリング
TWI719053B (zh) 內區塊複製合併模式及不可用內區塊複製參考區域之填充
TWI705698B (zh) 適應性跨組件殘差預測
US10477232B2 (en) Search region determination for intra block copy in video coding
TWI701942B (zh) 用於視訊寫碼中可適性顏色轉換之量化參數推導及偏移
CN106464877B (zh) 在视频译码中确定将解块滤波应用于经调色板译码块
TWI663869B (zh) 區塊可適性顏色空間轉換寫碼
JP6396439B2 (ja) 残差差分パルスコード変調（ｄｐｃｍ）拡張ならびに変換スキップ、回転、および走査との調和
TW201803348A (zh) 用於在視頻寫碼中之並列參考指標的一致性約束
TW202005399A (zh) 基於區塊之自適應迴路濾波器(alf)之設計及發信令
JP2018521539A (ja) ビデオデータの特定のピクチャ内のインターコーディングのための探索範囲決定
TW201926991A (zh) 色度量化參數偏移
JP2017519447A (ja) ビデオコーディングのためのイントラブロックコピーブロックベクトルシグナリング
JP2017523685A (ja) イントラブロックコピーイングのためのブロックベクトルコーディング
JP2015524216A (ja) 映像コーディングにおけるロスレスコーディングモード及びパルスコード変調（ｐｃｍ）モードのシグナリングの統一
JP2019509669A (ja) スクリーンコンテンツコーディングおよびマルチレイヤコーディングのための重み付け予測
JP2018514985A (ja) ビデオデータを処理するためのデバイスおよび方法
JP2019534631A (ja) ピークサンプル適応オフセット
TW201921938A (zh) 具有在用於視訊寫碼之隨機存取組態中之未來參考訊框之可調適圖像群組結構