TWI714565B - 視訊寫碼中運動向量推導 - Google Patents

視訊寫碼中運動向量推導 Download PDF

Info

Publication number
TWI714565B
TWI714565B TW105109637A TW105109637A TWI714565B TW I714565 B TWI714565 B TW I714565B TW 105109637 A TW105109637 A TW 105109637A TW 105109637 A TW105109637 A TW 105109637A TW I714565 B TWI714565 B TW I714565B
Authority
TW
Taiwan
Prior art keywords
motion vector
block
motion
candidate
video
Prior art date
Application number
TW105109637A
Other languages
English (en)
Other versions
TW201639369A (zh
Inventor
李想
陳盈
章立
劉鴻彬
陳建樂
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201639369A publication Critical patent/TW201639369A/zh
Application granted granted Critical
Publication of TWI714565B publication Critical patent/TWI714565B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在一實例中，一種處理視訊資料之方法包括判定用於推導視訊資料之一當前區塊之運動資訊的一候選運動向量，其中該運動資訊指示該當前區塊相對於參考視訊資料之運動。該方法亦包括基於該經判定之候選運動向量而判定該當前區塊之一所推導出之運動向量，其中判定該所推導出之運動向量包含針對對應於該當前區塊外部之一第二參考資料集合的一第一參考資料集合執行一運動搜尋。

Description

視訊寫碼中運動向量推導
本申請案主張2015年3月27日申請之美國臨時申請案第62/139,572號及2015年6月19日申請之美國臨時申請案第62/182,367號的權利，該等申請案之全部內容以引用之方式併入本文中。
本發明係關於視訊寫碼。
數位視訊能力可併入至廣泛範圍之裝置中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄裝置、數位媒體播放器、視訊遊戲裝置、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型手機」、視訊電話會議裝置、視訊串流裝置及其類似者。數位視訊裝置實施視訊寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)定義之標準、高效率視訊寫碼(HEVC)標準及此類標準的擴展中所描述之技術。視訊裝置可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視訊截塊(例如，視訊圖框或視訊圖框之一部分)分割為視訊區塊，對於一些技術，視訊區塊亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼 節點。可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(1)截塊中的視訊區塊。圖像之經框間寫碼(P或B)截塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測產生待寫碼之區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料來編碼。經框內寫碼區塊係根據框內寫碼模式及殘餘資料來編碼。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生可接著經量化之殘餘變換係數。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
本發明之技術係關於在視訊寫碼中推導運動資訊。舉例而言，視訊寫碼器(視訊編碼器或視訊解碼器)可產生不包括於位元串流中之運動資訊以寫碼包括於位元串流中之視訊資料。藉由在編碼或解碼迴路中推導運動資訊，相對於將運動資訊包括於位元串流中之技術(諸如，傳統的框間預測技術)，可達成位元節省。
在一個實例中，一種解碼視訊資料之方法包括：自用於判定一當前區塊之運動資訊的複數個運動資訊推導模式中選擇一運動資訊推導模式，其中該複數個運動資訊推導模式中之每一運動資訊推導模式包含針對對應於該當前區塊外部之一第二參考資料集合的一第一參考資料集合執行一運動搜尋，且其中該運動資訊指示該當前區塊相對於參考視訊資料之運動；使用該選定的運動資訊推導模式判定該當前區塊之該運動資訊；及使用該經判定運動資訊且在不解碼表示該運動資 訊之語法元素的情況下解碼該當前區塊。
在另一實例中，一種編碼視訊資料之方法包括：自用於判定一當前區塊之運動資訊的複數個運動資訊推導模式中選擇一運動資訊推導模式，其中該複數個運動資訊推導模式中之每一運動資訊推導模式包含針對對應於該當前區塊外部之一第二參考資料集合的一第一參考資料集合執行一運動搜尋，且其中該運動資訊指示該當前區塊相對於參考視訊資料之運動；使用該選定的運動資訊推導模式判定該當前區塊之該運動資訊；及使用該經判定運動資訊且在不編碼表示該運動資訊之語法元素的情況下編碼該當前區塊。
在另一實例中，一種用於寫碼視訊資料之裝置包括：一記憶體，其經組態以儲存視訊資料之一當前區塊；及一或多個處理器，其經組態以進行以下操作：自用於判定該當前區塊之運動資訊的複數個運動資訊推導模式中選擇一運動資訊推導模式，其中該複數個運動資訊推導模式中之每一運動資訊推導模式包含針對對應於該當前區塊外部之一第二參考資料集合的一第一參考資料集合執行一運動搜尋，且其中該運動資訊指示該當前區塊相對於參考視訊資料之運動；使用該選定的運動資訊推導模式判定該當前區塊之該運動資訊；及使用該經判定運動資訊且在不寫碼表示該運動資訊之語法元素的情況下寫碼該當前區塊。
在另一實例中，一種用於寫碼視訊資料之設備包括：用於自用於判定一當前區塊之運動資訊的複數個運動資訊推導模式中選擇一運動資訊推導模式的構件，其中該複數個運動資訊推導模式中之每一運動資訊推導模式包含針對對應於該當前區塊外部之一第二參考資料集合的一第一參考資料集合執行一運動搜尋，且其中該運動資訊指示該當前區塊相對於參考視訊資料之運動；用於使用該選定的運動資訊推導模式判定該當前區塊之該運動資訊的構件；及使用該經判定運動資 訊且在不解碼表示該運動資訊之語法元素的情況下寫碼該當前區塊的構件。
在另一實例中，一種非暫時性電腦可讀媒體具有儲存於其上之指令，該等指令在經執行時使一或多個處理器進行以下操作：自用於判定一當前區塊之運動資訊的複數個運動資訊推導模式中選擇一運動資訊推導模式，其中該複數個運動資訊推導模式中之每一運動資訊推導模式包含針對對應於該當前區塊外部之一第二參考資料集合的一第一參考資料集合執行一運動搜尋，且其中該運動資訊指示該當前區塊相對於參考視訊資料之運動；使用該選定的運動資訊推導模式判定該當前區塊之該運動資訊；及使用該經判定運動資訊且在不解碼表示該運動資訊之語法元素的情況下寫碼該當前區塊。
在另一實例中，一種處理視訊資料之方法包括：判定用於推導視訊資料之一當前區塊之運動資訊的一候選運動向量，其中該運動資訊指示該當前區塊相對於參考視訊資料之運動；及基於該經判定之候選運動向量而判定該當前區塊之一所推導出之運動向量，其中判定該所推導出之運動向量包含針對對應於該當前區塊外部之一第二參考資料集合的一第一參考資料集合執行一運動搜尋。
在另一實例中，一種用於處理視訊資料之裝置包括：一記憶體，其經組態以儲存視訊資料之一當前區塊；及一或多個處理器，其經組態以進行以下操作：判定用於推導視訊資料之一當前區塊之運動資訊的一候選運動向量，其中該運動資訊指示該當前區塊相對於參考視訊資料之運動；及基於該經判定之候選運動向量而判定該當前區塊之一所推導出之運動向量，其中判定該所推導出之運動向量包含針對對應於該當前區塊外部之一第二參考資料集合的一第一參考資料集合執行一運動搜尋。
在另一實例中，一種用於視訊資料之處理包括用於判定用於推 導視訊資料之一當前區塊之運動資訊的一候選運動向量的構件，其中該運動資訊指示該當前區塊相對於參考視訊資料之運動；及用於基於該經判定之候選運動向量而判定該當前區塊之一所推導出之運動向量的構件，其中該用於判定該所推導出之運動向量的構件包含針對對應於該當前區塊外部之一第二參考資料集合的一第一參考資料集合執行一運動搜尋。
在另一實例中，一種非暫時性電腦可讀媒體具有儲存於其上之指令，該等指令在經執行時使一或多個處理器進行以下操作：判定用於推導視訊資料之一當前區塊之運動資訊的一候選運動向量，其中該運動資訊指示該當前區塊相對於參考視訊資料之運動；及基於該經判定之候選運動向量而判定該當前區塊之一所推導出之運動向量，其中為判定該所推導出之運動向量，該等指令使該一或多個處理器針對對應於該當前區塊外部之一第二參考資料集合的一第一參考資料集合執行一運動搜尋。
在另一實例中，一種處理視訊資料之方法包括：將視訊資料之一當前區塊分裂成複數個子區塊以供推導該當前區塊之運動資訊，其中該運動資訊指示該當前區塊相對於參考視訊資料之運動；分別針對該複數個子區塊中之每一各別子區塊推導運動資訊，該推導包含針對對應於每一各別子區塊外部之一第二參考資料集合的一第一參考資料集合執行一運動搜尋；及基於該所推導出之運動資訊且在不解碼表示該運動資訊之語法元素的情況下解碼該複數個子區塊。
在另一實例中，一種處理視訊資料之方法包括：將視訊資料之一當前區塊分裂成複數個子區塊以供推導該當前區塊之運動資訊，其中該運動資訊指示該當前區塊相對於參考視訊資料之運動；分別針對該複數個子區塊中之每一各別子區塊推導運動資訊，該推導包含針對對應於每一各別子區塊外部之一第二參考資料集合的一第一參考資料 集合執行一運動搜尋；及基於該所推導出之運動資訊且在不編碼表示該運動資訊之語法元素的情況下編碼該複數個子區塊。
在另一實例中，一種用於處理視訊資料之裝置包括：一記憶體，其經組態以儲存視訊資料之一當前區塊；及一或多個處理器，其經組態以進行以下操作：將視訊資料之一當前區塊分裂成複數個子區塊以供推導該當前區塊之運動資訊，其中該運動資訊指示該當前區塊相對於參考視訊資料之運動；分別針對該複數個子區塊中之每一各別子區塊推導運動資訊，該推導包含針對對應於每一各別子區塊外部之一第二參考資料集合的一第一參考資料集合執行一運動搜尋；及基於該所推導出之運動資訊且在不寫碼表示該運動資訊之語法元素的情況下寫碼該複數個子區塊。
在另一實例中，一種非暫時性電腦可讀媒體具有儲存於其上之指令，該等指令在經執行時使一或多個處理器進行以下操作：將視訊資料之一當前區塊分裂成複數個子區塊以供推導該當前區塊之運動資訊，其中該運動資訊指示該當前區塊相對於參考視訊資料之運動；分別針對該複數個子區塊中之每一各別子區塊推導運動資訊，該推導包含針對對應於每一各別子區塊外部之一第二參考資料集合的一第一參考資料集合執行一運動搜尋；及基於該所推導出之運動資訊且在不解碼表示該運動資訊之語法元素的情況下解碼該複數個子區塊。
在另一實例中，一種用於處理視訊資料之裝置包括：一記憶體，其經組態以儲存一當前圖像；及一或多個處理器，其經組態以進行以下操作：獲得含有複數個經寫碼圖像之一經編碼位元串流；內插不包括於該經編碼位元串流中之一或多個參考圖像；及基於該等經內插之一或多個參考圖像而解碼該經編碼位元串流之一當前圖像的視訊資料。
在附圖及以下描述中闡明本發明之一或多個實例的細節。其他 特徵、目標及優勢自描述、圖式及申請專利範圍將係顯而易見的。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源裝置
14‧‧‧目的地裝置
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示裝置
38‧‧‧視訊資料記憶體
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
49‧‧‧推導單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
68‧‧‧視訊資料記憶體
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
75‧‧‧推導單元
76‧‧‧反量化單元
78‧‧‧反變換單元
80‧‧‧求和器
82‧‧‧參考圖像記憶體
84‧‧‧時間運動向量預測子(TMVP)候選者
86‧‧‧當前區塊
88‧‧‧當前圖像
90‧‧‧共置預測單元(PU)
92‧‧‧共置圖像
100‧‧‧當前圖框
102‧‧‧參考圖框
104‧‧‧經內插圖框
106A‧‧‧區塊
106B‧‧‧最佳匹配區塊
106C‧‧‧區塊
108‧‧‧經內插區塊
110‧‧‧經內插圖框
112‧‧‧當前區塊
114‧‧‧當前圖框
116‧‧‧參考區塊
118‧‧‧參考圖框
120‧‧‧當前圖像
122‧‧‧預測目標
124‧‧‧範本
126‧‧‧參考圖像
128‧‧‧共置範本
130‧‧‧最佳匹配
132‧‧‧移位向量
140‧‧‧當前圖像
142‧‧‧當前區塊
144‧‧‧第一範本區塊
146‧‧‧第一參考圖像
148‧‧‧第二範本區塊
150‧‧‧第二參考圖像
152‧‧‧第一參考區塊
154‧‧‧搜尋窗口
156‧‧‧第二參考區塊
158‧‧‧搜尋窗口
160‧‧‧當前圖像
162‧‧‧當前區塊
164‧‧‧第一參考圖像(Ref0)
166‧‧‧第一參考區塊
168‧‧‧第二參考圖像(Ref1)
170‧‧‧第二參考區塊
180‧‧‧步驟
182‧‧‧步驟
184‧‧‧步驟
186‧‧‧步驟
188‧‧‧步驟
190‧‧‧步驟
192‧‧‧步驟
200‧‧‧步驟
202‧‧‧步驟
204‧‧‧步驟
206‧‧‧步驟
210‧‧‧步驟
212‧‧‧步驟
214‧‧‧步驟
216‧‧‧步驟
220‧‧‧步驟
222‧‧‧步驟
224‧‧‧步驟
226‧‧‧步驟
D‧‧‧分裂深度
MV0‧‧‧運動向量
MV1‧‧‧運動向量
PMV0‧‧‧第一候選運動向量
PMV1‧‧‧第二候選運動向量
TD0‧‧‧時間距離
TD1‧‧‧時間距離
圖1為說明可實施本發明之技術的實例視訊編碼及解碼系統之方塊圖。
圖2為說明可實施本發明之技術的視訊編碼器之實例的方塊圖。
圖3為說明可實施本發明之技術的視訊解碼器之實例的方塊圖。
圖4A及圖4B為說明用於合併模式及進階運動向量預測(AMVP)模式之實例空間相鄰運動向量候選者的概念圖。
圖5A及圖5B為說明實例時間運動向量預測子(TMVP)候選者及運動向量按比例調整之概念圖。
圖6為說明圖框速率向上轉換(FRUC)中之單側運動估計(ME)之實例的概念圖。
圖7為說明FRUC中之雙側運動估計(ME)之實例的概念圖。
圖8為說明基於範本匹配之解碼器側運動向量推導(DMVD)之實例的概念圖。
圖9為說明DMVD中的基於鏡像之雙向運動向量推導之實例的概念圖。
圖10為說明基於擴展雙側匹配之運動向量推導的概念圖。
圖11為說明使用DMVD解碼預測單元(PU)之實例的流程圖。
圖12為說明用於判定運動資訊推導模式以供寫碼視訊資料之區塊的實例程序之流程圖。
圖13為說明用於推導運動向量以供寫碼視訊資料之區塊的實例程序之流程圖。
圖14為說明用於針對視訊資料之區塊之子區塊推導運動資訊的實例程序之流程圖。
本發明之技術係關於基於區塊之視訊寫碼中的解碼器側運動資訊推導、區塊分割及/或視訊資料內插。該等技術可應用於現存視訊編碼解碼器中之任一者(諸如，高效視訊寫碼(HEVC))，或可為用於任何未來視訊寫碼標準之高效寫碼工具。
視訊寫碼裝置實施視訊壓縮技術以高效地編碼及解碼視訊資料。視訊壓縮技術可包括應用空間預測(例如，圖框內預測)、時間預測(例如，圖框間預測)及/或其他預測技術以減少或移除視訊序列中固有之冗餘。視訊編碼器通常將原始視訊序列之每一圖像分割成被稱作視訊區塊或寫碼單元(下文更詳細地描述)之矩形區。可使用特定預測模式來編碼此等視訊區塊。
對於框間預測模式，視訊編碼器通常在另一時間位置中之圖框(其被稱作參考圖框)中搜尋與正經編碼之區塊類似的區塊。視訊編碼器可將搜尋限於自待編碼之區塊的某一空間移位。可使用包括水平移位分量及垂直移位分量之二維(2D)運動向量來定位最佳匹配。對於框內預測模式，視訊編碼器可基於來自同一圖像內之先前經編碼相鄰區塊的資料使用空間預測技術而形成預測區塊。
視訊編碼器可判定預測誤差，亦即，正經編碼之區塊與預測區塊中之像素值之間的差(亦被稱作殘餘)。視訊編碼器亦可將諸如離散餘弦變換(DCT)之變換應用於預測誤差以產生變換係數。在變換之後，視訊編碼器可量化變換係數。可使用語法元素來表示經量化變換係數及運動向量，且其連同控制資訊一起形成視訊序列之經寫碼表示。在一些情況下，視訊編碼器可熵寫碼語法元素，藉此進一步減少其表示所需之位元數目。
視訊解碼器可使用上文所論述之語法元素及控制資訊來建構用於解碼當前圖框之預測性資料(例如，預測性區塊)。舉例而言，視訊解碼器可將預測區塊與經壓縮預測誤差相加。視訊解碼器可藉由使用 經量化係數對變換基底函數進行加權來判定經壓縮預測誤差。經重建構圖框與原始圖框之間的差被稱為重建構誤差。
在一些情況下，視訊解碼器或後處理裝置可基於一或多個參考圖像而內插圖像。此類經內插圖像不包括於經編碼位元串流中。視訊解碼器或後處理裝置可內插圖像以向上轉換經編碼位元串流之原始圖框速率。此程序可被稱作圖框速率向上轉換(FRUC)。替代地，視訊解碼器或後處理裝置可內插圖像以插入被視訊編碼器跳過之一或多個圖像，從而以減小之圖框速率編碼視訊序列。在任一狀況下，視訊解碼器或後處理裝置內插不包括於已由視訊解碼器接收之經編碼位元串流中的圖框。視訊解碼器或後處理裝置可使用數種內插技術中之任一者內插圖像，例如，使用經運動補償圖框內插、圖框重複或圖框平均化。
雖然已出於向上轉換之目的而使用用於內插圖像之某些技術，但此類技術尚未廣泛地用於視訊寫碼期間以(例如)寫碼包括於經編碼位元串流中之視訊資料。舉例而言，用於內插圖像之技術可為相對時間密集的及/或需要相對大量處理功率。因此，在解碼視訊資料時此類技術通常尚未在迴路內執行。
根據本發明之態樣，視訊寫碼器(例如，視訊編碼器或視訊解碼器)可在寫碼位元串流時推導運動資訊。舉例而言，視訊寫碼器可產生不包括於位元串流中之運動資訊以寫碼包括於位元串流中之視訊資料。藉由在編碼或解碼迴路中推導運動資訊，相對於將運動資訊包括於位元串流中之技術(諸如，上文所提到之框間預測技術)，可達成位元節省。
根據本發明之一些態樣，視訊寫碼器可在寫碼期間利用複數種運動資訊推導技術。在此類實例中，視訊寫碼器可判定運動資訊推導模式以判定在判定當前區塊之運動資訊時使用哪些運動資訊推導技 術。一般而言，使用運動資訊推導模式來推導運動資訊可包括針對對應於當前區塊外部之一第二參考資料集合的一第一參考資料集合執行運動搜尋。舉例而言，使用運動資訊推導模式(例如，雙側匹配技術、範本匹配技術或另一技術，如下文更詳細地描述)，視訊寫碼器可在運動向量候選者之清單中選擇運動向量候選者。視訊寫碼器可基於識別參考圖像中相對緊密地匹配當前圖像之資料之參考資料(其可被稱作判定參考資料之「最佳匹配」)的運動向量候選者而選擇運動向量候選者。
在一些情況下，視訊寫碼器可使用選定運動向量候選者來在參考圖像中識別搜尋窗口。視訊寫碼器可基於搜尋窗口中相對緊密地匹配當前圖像中之對應資料的參考資料而改進運動向量候選者。亦即，視訊寫碼器可基於搜尋窗口中緊密地匹配當前圖像中之資料的參考資料之間的運動而推導當前區塊之新運動資訊。視訊寫碼器可接著使用所推導出之運動資訊來對當前區塊執行運動補償。以此方式，視訊寫碼器可在運動資訊未在經編碼位元串流中用信號發送之情況下推導當前區塊之運動資訊。
根據本發明之態樣，在一些實例中，視訊寫碼器可在推導運動資訊時將視訊資料區塊分裂成子區塊。舉例而言，視訊寫碼器可分別針對較大區塊之每一子區塊推導運動資訊。在一些情況下，視訊寫碼器可最初針對子區塊中之每一者判定區塊之運動資訊，且使用所推導出之運動資訊作為候選運動資訊。視訊寫碼器可接著針對子區塊中之每一者(例如)使用運動資訊推導模式(例如，雙側匹配技術、範本匹配技術或另一技術，如下文更詳細地描述)進一步改進所推導出之運動資訊。
本發明之技術亦可包括用於內插圖像之技術。在一些情況下，以上技術之任何組合可用以內插不包括於位元串流中之圖像，例如， 類似於圖框速率向上轉換。然而，替代簡單地將經內插圖像添加至視訊序列，視訊解碼器可在寫碼期間使用經內插圖框。舉例而言，視訊解碼器可基於經內插圖像之至少一部分而解碼當前圖像之資料。在一些情況下，視訊解碼器可將經內插圖像設定為等於當前圖像。舉例而言，視訊解碼器可解碼包括於位元串流中之用於當前圖像的語法資料(例如，截塊標頭資料及其類似者)，內插圖像且將經內插圖像設定為當前圖像。在其他情況下，視訊解碼器可內插圖像，且相對於經內插圖像解碼當前圖像之資料。在此情況下，出於預測之目的，視訊解碼器可將經內插圖像添加至參考圖像記憶體。
因此，在一些實例中，本文中參考FRUC所描述之某些技術可用以判定運動資訊(例如，在解碼器側運動資訊推導程序中)。在其他實例中，本文中參考FRUC所描述之技術可用以內插視訊資料，(例如)以用於寫碼視訊資料之參考或用於輸出。
圖1為說明可利用用於推導運動資訊、執行區塊分割及/或內插視訊資料之技術的實例視訊編碼及解碼系統10之方塊圖。如圖1中所展示，系統10包括提供稍後將由目的地裝置14解碼之經編碼視訊資料的源裝置12。詳言之，源裝置12經由電腦可讀媒體16將視訊資料提供至目的地裝置14。源裝置12及目的地裝置14可包含廣泛範圍之裝置中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手機(諸如，所謂的「智慧型」手機)、所謂的「智慧型」襯墊、電視、攝影機、顯示裝置、數位媒體播放器、視訊遊戲控制台、視訊串流裝置或其類似者。在一些狀況下，源裝置12及目的地裝置14可經裝備以用於無線通信。
目的地裝置14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源裝置12移動至目的地裝置14的任何類型之媒體或裝置。在一個實例中，電腦可讀 媒體16可包含通信媒體以使源裝置12能夠即時地將經編碼視訊資料直接傳輸至目的地裝置14。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將其傳輸至目的地裝置14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或全球網路，諸如網際網路)的部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源裝置12至目的地裝置14之通信的任何其他裝備。
在一些實例中，經編碼資料可自輸出介面22輸出至儲存裝置。類似地，可由輸入介面自儲存裝置存取經編碼資料。儲存裝置可包括多種分散式或本端存取式資料儲存媒體中之任一者，諸如硬碟機、藍光(Blu-ray)光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在另一實例中，儲存裝置可對應於檔案伺服器或可儲存由源裝置12產生之經編碼視訊的另一中間儲存裝置。目的地裝置14可經由串流傳輸或下載自儲存裝置存取所儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地裝置14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)裝置或本端磁碟機。目的地裝置14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)或兩者之組合。經編碼視訊資料自儲存裝置之傳輸可為串流傳輸、下載傳輸或其組合。
本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP 之動態自適應性串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援應用(諸如，視訊串流、視訊播放、視訊廣播及/或視訊電話)。
在圖1之實例中，源裝置12包括視訊源18、視訊編碼器20及輸出介面22。目的地裝置14包括輸入介面28、視訊解碼器30及顯示裝置32。根據本發明，源裝置12之視訊編碼器20可經組態以應用用於推導運動資訊、執行區塊分割及/或內插視訊資料的技術。在其他實例中，源裝置及目的地裝置可包括其他組件或配置。舉例而言，源裝置12可自外部視訊源18(諸如，外部攝影機)接收視訊資料。同樣地，目的地裝置14可與外部顯示裝置介接，而非包括整合式顯示裝置。
圖1之所說明系統10僅為一個實例。用於推導運動資訊、執行區塊分割及/或內插視訊資料的技術可由任何數位視訊編碼及/或解碼裝置執行。儘管本發明之技術一般由視訊編碼裝置執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編碼解碼器」)執行。此外，本發明之技術亦可由視訊預處理器執行。源裝置12及目的地裝置14僅為源裝置12產生經寫碼視訊資料以供傳輸至目的地裝置14的此類寫碼裝置之實例。在一些實例中，裝置12、14可以實質上對稱之方式操作，使得裝置12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊裝置12、14之間的單向或雙向視訊傳輸以用於(例如)視訊串流、視訊播放、視訊廣播或視訊電話。
源裝置12之視訊源18可包括視訊俘獲裝置，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋送介面。作為另一替代例，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源18為視訊攝影機，則源裝置12及目的地 裝置14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明所描述之技術一般可適用於視訊寫碼，且可適用於無線及/或有線應用。在每一狀況下，俘獲、預先俘獲或電腦產生之視訊可由視訊編碼器20編碼。經編碼視訊資訊可接著由輸出介面22輸出至電腦可讀媒體16上。
電腦可讀媒體16可包括暫態媒體，諸如無線廣播或有線網路傳輸，或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位影音光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未圖示)可自源裝置12接收經編碼視訊資料，且(例如)經由網路傳輸將經編碼視訊資料提供至目的地裝置14。類似地，媒體產生設施(諸如，光碟衝壓設施)之計算裝置可自源裝置12接收經編碼視訊資料且產生含有經編碼視訊資料之光碟。因此，在各種實例中，可理解電腦可讀媒體16包括各種形式之一或多個電腦可讀媒體。
目的地裝置14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊，該語法資訊亦供視訊解碼器30使用，其包括描述區塊及其他經寫碼單元(例如，GOP)之特性及/或處理的語法元素。顯示裝置32將經解碼視訊資料顯示給使用者，且可包含多種顯示裝置中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示裝置。
儘管圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30各自可實施為多種合適編碼器電 路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分地以軟體實施時，裝置可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別裝置中之組合式編碼器/解碼器(編碼解碼器)之部分。
本發明可大體上參考將某些資訊「用信號發送」至諸如視訊解碼器30之另一裝置的視訊編碼器20。術語「用信號發送」可大體上指語法元素及/或用以解碼經壓縮視訊資料之其他資料的通信。此通信可即時地或近乎即時地發生。替代地，此通信可在一時間跨度內發生，諸如可能在編碼時在經編碼位元串流中將語法元素儲存至電腦可讀儲存媒體時發生，接著在儲存至此媒體之後可藉由解碼裝置在任何時間擷取該等語法元素。
視訊編碼器20及視訊解碼器30可根據視訊寫碼標準操作。藉由ITU-T視訊寫碼專家群(VCEG)及ISO/IEC運動圖像專家群(MPEG)之視訊寫碼聯合協作小組(JCT-VC)以及3D視訊寫碼擴充開發聯合協作小組(JCT-3V)開發的實例視訊寫碼標準包括高效視訊寫碼(HEVC)或ITU-T H.265，包括其範圍擴充、多視圖擴充(MV-HEVC)及可調式擴充(SHVC)。定案之HEVC標準文件作為「ITU-T H.265，H系列：視聽服務之視聽及多媒體系統基礎設施-移動視訊之寫碼-高效視訊寫碼」由國際電信聯合會(ITU)之電信標準化部門在2013年4月公佈。替代地，視訊編碼器20及視訊解碼器30可根據其他專屬或工業標準(諸如，ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)擴充及多視圖視訊寫碼(MVC)擴 充)而操作。然而，本發明之技術不限於任何特定寫碼標準。舉例而言，本發明之技術可與多種其他專屬或非專屬視訊寫碼技術或後續標準(諸如，ITU-T H.266)一起使用。
如上文所提到，對於框間預測模式，視訊編碼器20可在另一時間位置之圖像(被稱作參考圖像)中搜尋類似於正經編碼之區塊(「當前區塊」)的區塊。用以識別參考圖像之資訊可被稱作運動資訊。舉例而言，對於每一區塊，運動資訊集合可為可用的。該運動資訊集合含有用於前向及後向預測方向之運動資訊。此處，前向及後向預測方向為雙向預測模式之兩個預測方向，且術語「前向」及「後向」未必具有幾何含義；實情為其對應於當前圖像之參考圖像清單0(RefPicList0)及參考圖像清單1(RefPicList1)。當僅一個參考圖像清單可用於圖像或截塊時，僅RefPicList0可用且截塊之每一區塊之運動資訊始終為前向的。
在一些狀況下，運動向量連同參考索引一起用於解碼程序中，此運動向量與相關聯參考索引被表示為運動資訊之單向預測性集合。
對於每一預測方向，運動資訊必須含有參考索引及運動向量。在一些狀況下，為簡單起見，可以假設運動向量自身具有相關聯參考索引的方式參考該運動向量。參考索引用於識別當前參考圖像清單(RefPicList0或RefPicList1)中之參考圖像。運動向量具有水平分量及垂直分量。
視訊寫碼標準中廣泛使用圖像次序計數(POC)以識別圖像之顯示次序。雖然存在一個經寫碼視訊序列內之兩個圖像可具有相同POC值的狀況，但經寫碼視訊序列內通常不發生此類狀況。當位元串流中存在多個經寫碼視訊序列時，就解碼次序而言，具有相同POC值之圖像可更接近於彼此。圖像之POC值通常用於參考圖像清單建構、如HEVC中之參考圖像集之推導及運動向量按比例調整。
在H.264/AVC中，每一框間巨集區塊(MB)可以四種不同方式分割，包括：一個16×16MB分割區；兩個16×8MB分割區；兩個8×16MB分割區；及四個8×8MB分割區。一個MB中之不同MB分割區針對每一方向可具有不同參考索引值(RefPicList0或RefPicList1)。當MB不被分割成四個8×8MB分割區時，對於每一方向上之每一MB分割區，其僅具有一個運動向量。
當MB被分割成四個8×8MB分割區時，每一8×8MB分割區可進一步被分割成子區塊，該等子區塊中之每一者在每一方向可具有不同運動向量。存在自8×8MB分割區得到子區塊之四種不同方式：一個8×8子區塊；兩個8×4子區塊；兩個4×8子區塊；及四個4×4子區塊。每一子區塊在每一方向上可具有不同運動向量。因此，運動向量以等於高於子區塊之層級呈現。
在AVC中，可在B截塊中針對跳過或直接模式而在MB或MB分割區層級啟用時間直接模式。對於每一MB分割區，與當前區塊之RefPicList1[0]中之當前MB分割區共置(co-located)的區塊之運動向量可用以推導運動向量。共置區塊中之每一運動向量可基於POC距離而按比例調整。在AVC中，直接模式亦可自空間相鄰者預測運動資訊，其可被稱作空間直接模式。
在HEVC中，為產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)之集合。CTU中之每一者可包含明度樣本之寫碼樹型區塊(CTB)、色度樣本之兩個對應CTB，及用以寫碼CTB之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包含單一CTB區塊及用以寫碼該寫碼樹型區塊之樣本的語法結構。
寫碼樹型區塊可為樣本之N×N區塊。CTB之大小可介於HEVC主規範中之16×16至64×64的範圍內(但技術上可支援8×8 CTB大小)。寫碼單元(CU)可與CTB具有相同大小，但可為且小如8×8。每一寫碼單 元係用一個模式寫碼。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。截塊可包括在光柵掃描次序中連續定序之整數數目個CTU。
為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名為「寫碼樹型單元」。寫碼區塊可為樣本之N×N區塊。CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊及色度樣本之兩個對應寫碼區塊，及用以寫碼該等寫碼區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單一寫碼區塊及用以寫碼該寫碼區塊之樣本的語法結構。
視訊編碼器20可將CU之寫碼區塊分割為一或多個預測區塊。預測區塊為供應用相同預測之樣本的矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含明度樣本之預測區塊、色度樣本之兩個對應預測區塊及用以預測該等預測區塊之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，PU可包含單一預測區塊及用以預測該預測區塊之語法結構。視訊編碼器20可針對CU之每一PU的明度預測區塊、Cb預測區塊及Cr預測區塊而產生預測性明度區塊、Cb區塊及Cr區塊。
視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測來產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之經解碼樣本而產生PU之預測性區塊。若視訊編碼器20使用框間預測來產生PU之預測性區塊，則視訊編碼器20可基於不同於相關聯於PU之圖像的一或多個圖像之經解碼樣本而產生PU之預測性區塊。當CU經框間寫碼時，CU可進一步被 分割成兩個或四個PU。當兩個PU存在於一個CU中時，PU在一些情況下可為一半大小的矩形或具有CU之四分之一或四分之三大小的兩個矩形大小。
在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、Cb區塊及Cr區塊之後，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中之對應樣本之間的差。此外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差。
此外，視訊編碼器20可使用四分樹分割以將CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊分解成一或多個明度變換區塊、Cb變換區塊及Cr變換區塊。變換區塊為供應用相同變換之樣本的矩形(亦即，正方形或非正方形)區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊及用以變換該等變換區塊樣本之語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊之子區塊。Cb變換區塊可為CU之Cb殘餘區塊的子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單一變換區塊及用以變換該變換區塊之樣本的語法結構。
視訊編碼器20可將一或多個變換應用於TU之明度變換區塊，以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用於TU之Cb變換 區塊，以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊，以產生TU之Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化係數區塊。量化大體上指變換係數經量化以可能減少用以表示變換係數的資料之量從而提供進一步壓縮的程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文自適應性二進位算術寫碼(CABAC)。
視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。位元串流可包含網路抽象層(NAL)單元的序列。NAL單元為含有NAL單元中之資料之類型的指示及含有彼資料的呈按需要穿插有仿真阻止位元之原始位元組序列有效負載(RBSP)之形式的位元組之語法結構。NAL單元中之每一者包括NAL單元標頭且囊封RBSP。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封圖像參數集(PPS)之RBSP，第二類型之NAL單元可囊封經寫碼截塊之RBSP，第三類型之NAL單元可囊封SEI之RBSP，等等。囊封視訊寫碼資料之RBSP(相對於參數集及SEI訊息之RBSP)的NAL單元可被稱作視訊寫碼層(VCL)NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。此外，視訊解碼器30可剖析位元串流以自該位元串流獲得語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素而重建構視訊資料之圖像。重建構視訊資料之程序可大體上與由視訊編碼器20執行之程序互逆。此外，視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反變換以重建構與當前CU之 TU相關聯的變換區塊。藉由將當前CU之PU之預測性區塊的樣本加至當前CU之TU之變換區塊的對應樣本，視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。
當CU經框間寫碼時，針對每一PU存在一個運動資訊集合。此外，每一PU藉由唯一框間預測模式寫碼以推導運動資訊集合。在HEVC標準中，對於預測單元(PU)存在兩個框間預測模式，分別命名為合併(跳過被視為合併之特殊狀況)及進階運動向量預測(AMVP)模式。
在AMVP或合併模式中，針對多個運動向量預測子維持運動向量(MV)候選者清單。當前PU之運動向量(以及合併模式中之參考索引)藉由自MV候選者清單獲取一個候選者而產生。
MV候選者清單針對合併模式含有至多五個候選者且針對AMVP模式含有兩個候選者。合併候選者可含有運動資訊集合，例如，對應於兩個參考圖像清單(清單0及清單1)之運動向量及參考索引。若由合併索引來識別合併候選者，則參考圖像用於預測當前區塊，以及判定相關聯之運動向量。然而，在AMVP模式下，對於自清單0或清單1之每一可能預測方向，需要明確地將參考索引連同針對MV候選者清單之MVP索引一起用信號發送，此係因為AMVP候選者僅含有運動向量。在AMVP模式中，可進一步改進經預測運動向量。
如可自上文看出，合併候選者對應於運動資訊之整個集合，而AMVP候選者僅含有用於特定預測方向之一個運動向量及參考索引。用於兩個模式之候選者係類似地自相同空間及時間相鄰區塊推導，如下文關於圖4及圖5所描述。
根據本發明之態樣，如下文更詳細地描述，視訊編碼器20及/或視訊解碼器30可經組態以執行本文中所描述之用於推導運動資訊、執 行區塊分割及/或內插視訊資料的技術之任何組合。關於運動資訊推導，視訊編碼器20及/或視訊解碼器30可經組態以藉由針對對應於當前區塊外部之第二參考資料集合的第一參考資料集合執行運動搜尋來推導運動資訊。對應性可基於參考資料之間的類似度的量而判定，且在本文中可被稱作判定「匹配」或「最佳匹配」。
在一些實例中，視訊編碼器20及/或視訊解碼器30可最初寫碼指示是否啟用運動推導程序之一或多個語法元素。在一些情況下，該一或多個語法元素可與另一模式(諸如，上文所描述之合併模式)相併。舉例而言，如關於圖10之實例更詳細地描述，視訊編碼器20及/或視訊解碼器30在執行合併模式時寫碼指示是否執行運動推導之一或多個語法元素(例如，旗標、合併候選者清單中之索引或其類似者)。
根據本發明之態樣，在啟用運動推導之情況下，視訊編碼器20及/或視訊解碼器30可執行型樣匹配式運動向量推導。舉例而言，視訊編碼器20及/或視訊解碼器30可寫碼指示將應用來自複數個運動資訊推導模式中之哪一運動資訊推導模式的一或多個語法元素。視訊編碼器20及/或視訊解碼器30可寫碼用以區分兩個運動推導資訊模式之旗標或用以區分兩個以上運動資訊推導模式之索引。如本文中所描述，實例型樣匹配式運動資訊推導模式包括雙側匹配或範本匹配。
在運動推導程序期間，視訊編碼器20及/或視訊解碼器30可基於選定運動推導程序而推導整個區塊(例如，整個PU)之初始運動向量。舉例而言，視訊編碼器20及/或視訊解碼器30可使用來自與合併模式相關聯之候選者清單的運動向量，且判定來自候選者清單之哪一運動向量產生最佳匹配。亦即，視訊編碼器20及/或視訊解碼器30可判定來自候選者清單之哪一運動向量在用於選定運動推導程序中時產生對應於當前區塊外部之一第二參考資料集合的一第一參考資料集合，例如，緊密地匹配當前圖像或另一參考圖像中之資料的參考資料。一般 而言，「最佳匹配」可指就像素差而言最類似的視訊資料。
作為出於說明之目的的實例，如關於圖8更詳細地描述，視訊編碼器20及/或視訊解碼器30可選擇範本匹配運動資訊推導模式。在此實例中，視訊編碼器20及/或視訊解碼器30可基於產生最緊密地匹配參考圖像中之範本之範本的最向量候選者而自合併模式選擇運動向量候選者。舉例而言，視訊編碼器20及/或視訊解碼器30可經組態以針對對應於當前區塊外部之一第二參考資料集合的一第一參考資料集合執行運動搜尋，其中第一資料集合包含當前圖像中之範本且第二參考資料集合包含參考圖像中之範本。在一些情況下，如下文更詳細地描述，視訊編碼器20及/或視訊解碼器30可另外或替代地基於最小匹配成本而選擇候選運動向量。
根據本發明之態樣，在判定候選運動向量之後，視訊編碼器20及/或視訊解碼器30可進一步改進候選運動向量以推導當前區塊之運動資訊。舉例而言，視訊編碼器20及/或視訊解碼器30可在由候選運動向量指示之參考圖像的預定義區域中執行搜尋(例如，使用運動資訊推導模式之搜尋)。視訊編碼器20及/或視訊解碼器30可基於指示預定義區域中關於當前圖像之視訊資料具有最佳匹配及/或最小匹配成本的參考資料的運動向量而推導當前區塊之運動資訊。
在一些情況下，根據本發明之態樣，視訊編碼器20及/或視訊解碼器30可在推導運動資訊時將視訊資料區塊分裂成子區塊。舉例而言，視訊編碼器20及/或視訊解碼器30可分別針對較大區塊之每一子區塊推導運動資訊。在一些情況下，視訊編碼器20及/或視訊解碼器30可使用針對區塊推導出(例如，使用上文所描述之程序)之運動資訊作為子區塊中之每一者的候選運動資訊。視訊編碼器20及/或視訊解碼器30可接著(例如)使用特定運動資訊推導模式(例如，雙側匹配技術、範本匹配技術或另一技術，如下文更詳細地描述)進一步改進子 區塊中之每一者的所推導出之運動資訊。
圖2為說明可實施用於推導運動資訊、執行區塊分割及/或內插視訊資料之技術的視訊編碼器20之實例的方塊圖。視訊編碼器20可執行視訊截塊內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。框內模式(I模式)可指若干基於空間之寫碼模式中的任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之寫碼模式中的任一者。
如圖2中所展示，視訊編碼器20接收待編碼之視訊圖框內之當前視訊區塊。在圖2之實例中，視訊編碼器20包括視訊資料記憶體38、模式選擇單元40、參考圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。為了達成視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。亦可包括解區塊濾波器(圖2中未展示)以便對區塊邊界進行濾波，從而自經重建構視訊中移除方塊效應假影。若需要，解區塊濾波器將通常對求和器62之輸出進行濾波。除解區塊濾波器外，亦可使用額外濾波器(迴路內或迴路後)。為簡潔起見未展示此類濾波器，但若需要，此類濾波器可對求和器50之輸出進行濾波(作為迴路內濾波器)。
在編碼程序期間，視訊編碼器20接收待寫碼之視訊圖框或截塊。可將該圖框或截塊劃分成多個視訊區塊。視訊資料記憶體38可儲存待由視訊編碼器20之組件編碼的視訊資料。可(例如)自視訊源18獲得儲存於視訊資料記憶體38中之視訊資料。參考圖像記憶體64可被稱作儲存參考視訊資料以供視訊編碼器20(例如)在框內或框間寫碼模式 中在編碼視訊資料時使用的DPB。視訊資料記憶體38及參考圖像記憶體64可由多種記憶體裝置中之任一者形成，諸如動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體裝置。視訊資料記憶體38及參考圖像記憶體64可由同一記憶體裝置或單獨記憶體裝置來提供。在各種實例中，視訊資料記憶體38可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。
運動估計單元42及運動補償單元44執行所接收視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性寫碼以提供時間預測。框內預測單元46可替代地執行所接收視訊區塊相對於與待寫碼區塊相同之圖框或截塊中之一或多個相鄰區塊的框內預測性寫碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次，(例如)以針對視訊資料之每一區塊選適當寫碼模式。
此外，分割單元48可基於對先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割為子區塊。舉例而言，分割單元48可最初將圖框或截塊分割成LCU，且基於位元率-失真分析(例如，位元率-失真最佳化)而將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示LCU成為子CU之分割的四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可(例如)基於誤差結果而選擇寫碼模式(框內或框間)中之一者，且將所得經框內寫碼或經框間寫碼區塊提供至求和器50以產生殘餘區塊資料，且提供至求和器62以重建構用作參看圖框之經編碼區塊。模式選擇單元40亦將語法元素(諸如，運動向量、框內模式指示符、分割資訊及其他此類語法資訊)提供至熵編碼單元56。
運動估計單元42及運動補償單元44可高度整合，但為概念目的 而分開說明。由運動估計單元42執行之運動估計為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示當前視訊圖框或圖像內之視訊區塊的PU相對於在參考圖框(或其他經寫碼單元)內的預測性區塊(其相對於當前圖框(或其他經寫碼單元)內正經寫碼的當前區塊)的移位。預測性區塊為就像素差而言被發現緊密地匹配待寫碼區塊之區塊，該像素差可藉由絕對差和(Sum of Absolute Difference；SAD)、平方差和(SSD)或其他差度量判定。
在一些實例中，視訊編碼器20可執行快速運動搜尋以判定區塊之運動向量。存在提議於文獻中之許多快速運動搜尋方法，諸如基於區塊之梯度下降搜尋(Block-Based Gradient Descent Search；BBGDS)，如描述於(例如)劉龍國、Ephraim Feig之「A block-based gradient descent search algorithm for block motion estimation in video coding」(IEEE視訊技術電路及系統彙刊，第6卷，第419至422頁，1996年8月)中；無限制中心偏置菱形搜尋(Unrestricted Center-Biased Diamond Search；UCBDS)，如描述於(例如)Jo Yew Tham、Surendra Ranganath、Maitreya Ranganath及Ashraf Ali Kassim之「A novel unrestricted center-biased diamond search algorithm for block motion estimation」(IEEE視訊技術電路及系統彙刊，第8卷，第369至377頁，1998年8月)中；及基於六邊形之搜尋(HEXagon-Based Search；HEBS)，如描述於(例如)朱策、林曉及Lap-Pui Chau之「Hexagon-Based Search Pattern for Fast Block Motion Estimation」(IEEE視訊技術電路及系統彙刊，第12卷，第349至355頁，2002年5月)中。基本上，此等技術包括基於預定義搜尋型樣而僅搜尋一搜尋窗口內之某數目個位置。此等技術通常在運動少量且適度時良好地起作用。
在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64中之參考圖像之子整數像素位置的值。舉例而言，視訊編碼器20可內 插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行相對於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。
運動估計-單元42藉由比較PU之位置與參考圖像之預測性區塊的位置來計算經框間寫碼截塊中之視訊區塊的PU之運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，其中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將計算出之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量而提取或產生預測性區塊。再次，在一些實例中，運動估計單元42與運動補償單元44可在功能上整合。在接收到當前視訊區塊之PU的運動向量後，運動補償單元44即可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。求和器50藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。一般而言，運動估計單元42相對於明度分量而執行運動估計，且運動補償單元44將基於該等明度分量所計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊截塊相關聯之語法元素以供視訊解碼器30在解碼視訊截塊之視訊區塊時使用。
如上文所描述，作為由運動估計單元42及運動補償單元44執行之框間預測的替代例，框內預測單元46可對當前區塊進行框內預測。詳言之，框內預測單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式編碼當前區塊，且框內預測單元46(或在一些實例中為模式選擇單元40)可自受測模式中選擇適當框內預測模式來使 用。
舉例而言，框內預測單元46可使用對於各種受測框內預測模式之速率-失真分析來計算速率-失真值，且在受測模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始未編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測單元46可自各種經編碼區塊之失真及速率來計算比率，以判定哪一框內預測模式展現區塊之最佳速率-失真值。
在為區塊選擇框內預測模式之後，框內預測單元46可將指示用於該區塊之選定框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可編碼指示選定框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括以下各者：組態資料，其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦被稱作碼字映射表)；各種區塊之編碼上下文的定義；及待用於該等上下文中之每一者的最有可能之框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
根據本發明之態樣，如本文中所描述，視訊編碼器20可經組態以執行本文中所描述之用於推導運動資訊、執行區塊分割及/或內插視訊資料的技術之任何組合。詳言之，本發明之某些技術可由推導單元49執行。舉例而言，推導單元49可經組態以判定當前區塊之運動資訊，而不將指示運動資訊之資料包括於位元串流中。
在一些情況下，推導單元49(及/或模式選擇單元40)可基於速率失真分析而判定是否對特定區塊執行運動推導(例如，對比框內預測或傳統的框間預測)。舉例而言，推導單元49可以類似於如在合併模式下對合併候選者執行之速率失真成本選擇的方式判定是否執行運動推導。在此實例中，推導單元49可使用速率失真成本選擇來檢查複數 個運動資訊推導模式(例如，雙側匹配模式、範本匹配模式或其類似者)中之每一運動資訊推導模式。推導單元49可進一步比較具有最小成本之運動資訊推導模式與其他PU模式(例如，框內預測模式、傳統的框間預測模式、調色板寫碼模式或其類似者)。在就寫碼效率而言運動推導模式為最有效模式之情況下，視訊編碼器20可編碼一或多個語法元素，該一或多個語法元素指示針對當前區塊推導(而非用信號發送)運動資訊。視訊編碼器20亦可編碼指示來自複數個運動資訊推導模式之運動推導模式的一或多個語法元素。
在其他實例中，根據本發明之態樣，推導單元49可內插不包括於視訊序列之經編碼位元串流中的視訊資料。舉例而言，推導單元49可執行運動推導技術之任何組合以內插不包括於位元串流中之圖像，例如，類似於圖框速率向上轉換。在一些情況下，視訊編碼器20可在編碼期間使用經內插圖像。舉例而言，推導單元49可內插圖像，且視訊編碼器20可相對於經內插圖像編碼當前圖像之資料。在此實例中，視訊編碼器20可將經內插圖像添加至參考圖像記憶體64，且基於經內插圖像之至少一部分而編碼其他圖像之資料。
在其他實例中，推導單元49可內插圖像，且視訊編碼器20可將經內插圖像設定為等於當前圖像。舉例而言，推導單元49可內插當前圖像，且視訊編碼器20可編碼用於待包括於位元串流中之當前圖像的語法資料(例如，截塊標頭資料及其類似者)，但可跳過當前圖像之視訊資料的編碼。
雖然如本文中所描述，推導單元49可經組態以執行某些推導及/或內插技術，但應理解，視訊編碼器20之一或多個其他單元亦可或替代地經組態以內插資料。舉例而言，視訊編碼器20可包括(例如)用於在運動補償期間在子像素(子像元)位置處內插像素的多種其他內插器或濾波器。
視訊編碼器20藉由自正經寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料來形成殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將變換(諸如，離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用小波變換、整數變換、次頻帶變換或其他類型之變換。
在任何狀況下，變換處理單元52將變換應用於殘餘區塊，從而產生殘餘變換係數區塊。該變換可將殘餘資訊自像素值域變換至變換域，諸如頻域。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減小位元速率。量化程序可減小與一些或所有係數相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。替代地，熵編碼單元56可執行掃描。
在量化之後，熵編碼單元56熵寫碼經量化變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的狀況下，上下文可基於相鄰區塊。在由熵編碼單元56進行熵寫碼之後，可將經編碼位元串流傳輸至另一裝置(例如，視訊解碼器30)或加以存檔以供稍後傳輸或擷取。
反量化單元58及反變換單元60分別應用反量化及反變換以在像素域中重建構殘餘區塊(例如)以供稍後用作參考區塊。運動補償單元44可藉由將殘餘區塊加至參考圖像記憶體64之圖框中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構殘餘區塊以計算用於在運動估計中使用之子整數像素 值。求和器62將經重建構殘餘區塊加至由運動補償單元44產生之經運動補償預測區塊，以產生經重建構視訊區塊以供儲存於參考圖像記憶體64中。經重建構視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間寫碼後續視訊圖框中之區塊。
圖3為說明可實施用於推導運動資訊、執行區塊分割及/或內插視訊資料之技術的視訊解碼器30之實例的方塊圖。在圖3之實例中，視訊解碼器30包括視訊資料記憶體68、熵解碼單元70、運動補償單元72、框內預測單元74、反量化單元76、反變換單元78、參考圖像記憶體82及求和器80。在一些實例中，視訊解碼器30可執行大體上與關於視訊編碼器20(圖2)所描述之編碼遍次互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量而產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符而產生預測資料。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊截塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。可(例如)自電腦可讀媒體(例如，自本端視訊源(諸如，攝影機))經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體而獲得儲存於視訊資料記憶體68中之視訊資料。視訊資料記憶體68可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。
參考圖像記憶體82可被稱作儲存參考視訊資料以供視訊解碼器30(例如)在框內或框間寫碼模式中在解碼視訊資料時使用的DPB。視訊資料記憶體68及參考圖像記憶體82可由多種記憶體裝置中之任一者形成，諸如動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體裝置。視訊資料記憶體68及參考圖像記憶體82可由同一記憶 體裝置或單獨記憶體裝置來提供。在各種實例中，視訊資料記憶體68可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。
視訊解碼器30之熵解碼單元70熵解碼位元串流以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可在視訊截塊層級及/或視訊區塊層級接收語法元素。
當視訊截塊經寫碼為經框內寫碼(I)截塊時，框內預測單元74可基於用信號發送之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊截塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即，B、P或GPB)截塊時，運動補償單元72基於自熵解碼單元70接收之運動向量及其他語法元素而產生當前視訊截塊之視訊區塊的預測性區塊。可自參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於參考圖像記憶體82中之參考圖像使用預設建構技術來建構參考圖框清單：清單0及清單1。
運動補償單元72藉由剖析運動向量及其他語法元素來判定當前視訊截塊之視訊區塊的預測資訊，且使用該預測資訊來產生正經解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元72使用所接收之語法元素中的一些來判定用以寫碼視訊截塊之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測截塊類型(例如，B截塊、P截塊或GPB截塊)、用於截塊之參考圖像清單中之一或多者的建構資訊、截塊之每一經框間編碼視訊區塊之運動向量、截塊之每一經框間寫碼視訊區塊之框間預測狀態及解碼當前視訊截塊中之視訊區塊的其他資訊。
運動補償單元72亦可執行基於內插濾波器之內插。運動補償單 元72可使用如由視訊編碼器20在視訊區塊之編碼期間所使用的內插濾波器，以計算參考區塊之子整數像素的內插值。在此狀況下，運動補償單元72可根據接收之語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。
根據本發明之態樣，視訊解碼器30可經組態以執行本文中所描述之用於推導運動資訊、執行區塊分割及/或內插視訊資料的技術之任何組合。詳言之，本發明之某些技術可由推導單元75執行。舉例而言，根據本發明之態樣，推導單元75可經組態以判定當前區塊之運動資訊，而不自經編碼位元串流解碼運動資訊。
在一些情況下，推導單元75可判定是否對特定區塊執行運動推導(例如，對比框內預測或傳統的框間預測)。舉例而言，視訊解碼器30可解碼一或多個語法元素，該一或多個語法元素指示針對正經解碼之區塊推導(而非用信號發送)運動資訊。視訊解碼器30亦可解碼指示來自複數個運動資訊推導模式之待用於解碼區塊之一個運動推導模式的一或多個語法元素。推導單元75可基於經解碼語法而判定是否執行運動推導及區塊之運動資訊推導模式。在一些實例中，如本文中所描述，語法可與一或多個其他模式(諸如，合併模式、AMVP)或其他解碼功能相關聯。
根據本發明之其他態樣，推導單元75可內插不包括於視訊序列之經編碼位元串流中的視訊資料。舉例而言，推導單元75可執行運動推導技術之任何組合以內插不包括於經剖析位元串流中之圖像，例如，類似於圖框速率向上轉換。在一些情況下，視訊解碼器30可在編碼期間使用經內插圖像。舉例而言，推導單元75可內插圖像，且視訊解碼器30可相對於經內插圖像解碼當前圖像之資料。在此實例中，視訊解碼器30可將經內插圖像添加至參考圖像記憶體82，且基於經內插圖像之至少一部分而解碼其他圖像之資料。
在其他實例中，推導單元75可內插圖像，且視訊解碼器30可將經內插圖像設定為等於當前圖像。舉例而言，推導單元75可內插當前圖像，且視訊解碼器30可自經編碼位元串流解碼用於當前圖像之語法元素(例如，截塊標頭資料及其類似者)，但可跳過當前圖像之視訊資料的解碼且替代地內插當前圖像。
雖然如本文中所描述，推導單元75可經組態以執行某些內插技術，但應理解，視訊解碼器30之一或多個其他單元亦可或替代地經組態以內插資料。舉例而言，視訊解碼器30可包括(例如)用於在運動補償期間在子像素(子像元)位置處內插像素的多種其他內插器或濾波器。
反量化單元76反量化(亦即，解量化)位元串流中所提供且由熵解碼單元70解碼之經量化變換係數。反量化程序可包括使用由視訊解碼器30針對視訊截塊中之每一視訊區塊計算之量化參數QPY以判定應要應用之量化程度及(同樣地)反量化程度。
反變換單元78將反變換(例如，反DCT、反整數變換或概念上類似之反變換程序)應用於變換係數，以便在像素域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素而產生當前視訊區塊之預測性區塊之後，視訊解碼器30藉由對來自反變換單元78之殘餘區塊與由運動補償單元72產生之對應預測性區塊求和來形成經解碼視訊區塊。求和器80表示執行此求和運算之一或多個組件。若需要，亦可應用解區塊濾波器來對經解碼區塊進行濾波以便移除方塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路中或在寫碼迴路之後)以使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體82中，該參考圖像記憶體儲存用於後續運動補償之參考圖像。參考圖像記憶體82亦儲存經解碼視訊以用於稍後在顯示裝置(諸如，圖1之顯示裝置32)上呈現。
圖4A及圖4B為說明HEVC中之空間相鄰候選者的概念圖。在一些實例中，視訊編碼器20及/或視訊解碼器30可針對PU0而自相鄰區塊0、相鄰區塊1、相鄰區塊2、相鄰區塊3或相鄰區塊4推導空間運動向量(MV)候選者。
在一些情況下，用於自區塊產生MV候選者之技術針對合併模式及AMVP模式而不同。圖4A說明用於合併模式之一個實例。舉例而言，在HEVC中，視訊寫碼器(例如，圖1至圖3之視訊編碼器20及/或視訊解碼器30)可推導至多四個空間MV候選者。該等候選者可包括於候選者清單中具有特定次序。在一個實例中，圖4A之實例的次序可為相鄰區塊0(A1)、相鄰區塊1(B1)、相鄰區塊2(B0)、相鄰區塊3(A0)及相鄰區塊4(B2)。
圖4B說明AMVP模式之一個實例。舉例而言，在HEVC中，視訊寫碼器可將相鄰區塊分成兩個群組：左方群組，其包括相鄰區塊0及相鄰區塊1；及上方群組，其包括相鄰區塊2、相鄰區塊3及相鄰區塊4。對於每一群組，與參考與由用信號發送之參考索引指示的參考圖像相同的參考圖像之相鄰區塊(對於當前經寫碼之區塊)相關聯的可能運動向量候選者可具有最高優先順序以被選擇來形成群組之最終候選者。有可能相鄰區塊中無一者含有指向同一參考圖像之運動向量。因此，若未找到此候選者，則視訊寫碼器可按比例調整第一可用候選者以形成最終候選者，因此可補償時間距離差。
根據本發明之態樣，運動向量候選者(諸如，與展示於圖4A及圖4B中所展示之相鄰區塊相關聯的運動向量)可用以推導區塊之運動向量。舉例而言，視訊寫碼器可產生包括來自展示於圖4A及圖4B中之相鄰區塊之運動向量候選者的候選者清單。在此實例中，視訊寫碼器可使用候選者清單之候選者中之一或多者作為運動資訊推導程序(例如，雙側匹配、範本匹配或其類似者)中之初始運動向量。視訊寫碼 器可在運動向量推導程序之運動搜尋中應用運動向量候選者中之一或多者以識別參考資料。視訊寫碼器可自清單選擇識別緊密匹配參考資料之候選者(例如，如下文關於圖8至圖9所描述)。舉例而言，視訊寫碼器可針對對應於當前區塊外部之第二參考資料集合的第一參考資料集合執行運動搜尋。在一些情況下，視訊寫碼器可(例如)藉由在由選定候選者指示之區域中執行額外運動搜尋來進一步改進候選者以使用運動資訊推導程序判定所推導出之運動向量。
圖5A及圖5B為說明HEVC中之時間運動向量預測的概念圖。時間運動向量預測子(TMVP)候選者在經啟用且可用時在空間運動向量候選者之後被添加至MV候選者清單中。在HEVC中，用於TMVP候選者之運動向量推導的程序對於合併模式及AMVP模式兩者為相同的，然而，在合併模式中用於TMVP候選者之目標參考索引通常設定成零。
圖5A說明TMVP候選者之主要區塊位置(展示為區塊「T」)，其為共置PU外部之右下方區塊。該位置可補償向用以產生空間相鄰候選者之上方區塊及左方區塊的偏置。然而，若區塊T位於當前CTB列外部或運動資訊不可用，則該區塊被PU之中心區塊取代，如在圖5A中由自區塊T之虛線箭頭說明。
圖5B說明自如在截塊層級(例如，在截塊標頭中)指示之共置圖像92的共置PU 90推導當前圖像88之當前區塊86的TMVP候選者84。類似於AVC中之時間直接模式，TMVP候選者之運動向量可經受運動向量按比例調整，其經執行以補償距離差(例如，圖像之間的時間距離)。關於運動向量按比例調整，視訊寫碼器(諸如，視訊編碼器20及/或視訊解碼器30)可經組態以最初判定運動向量之值與圖像在呈現時間上之距離成比例。運動向量與兩個圖像相關聯：參考圖像及含有運動向量之圖像(即，含有圖像)。當利用一運動向量預測另一運動向量時，基於圖像次序計數(POC)值而計算含有圖像與參考圖像之距離。
對於待預測之運動向量，運動向量之相關聯含有圖像及運動向量之參考圖像兩者可不同。因此，視訊寫碼器可基於POC值而計算新距離，且視訊寫碼器可基於此等兩個POC距離而按比例調整運動向量。對於空間相鄰候選者，兩個運動向量之含有圖像相同，而參考圖像不同。在HEVC中，對於空間及時間相鄰候選者，運動向量按比例調整適用於TMVP及AMVP兩者。
在一些實例中，視訊寫碼器可經組態以判定一或多個假造運動向量候選者。舉例而言，若運動向量候選者清單並不完整，則視訊寫碼器可產生假造運動向量候選者，且在清單末尾插入假造運動向量候選者直至該清單包括預定數目個條目。在合併模式中，存在兩種類型之假造MV候選者，包括僅針對B截塊推導出之組合候選者，及零候選者。在一些情況下，若組合類型並不提供足夠假造候選者，則針對AMVP僅使用零候選者。
對於業已在候選者清單中且具有必要運動資訊之每一對候選者，藉由參考清單0中之圖像的第一候選者之運動向量與參考清單1中之圖像的第二候選者之運動向量的組合來推導雙向組合運動向量候選者。
根據本發明之態樣，運動向量候選者(諸如，展示於圖5A及圖5B中之TMVP)可用以推導區塊之運動向量。舉例而言，視訊寫碼器可產生包括根據上文所描述之程序而判定之TMVP的候選者清單。在此實例中，視訊寫碼器可使用TMVP作為運動資訊推導程序(例如，雙側匹配、範本匹配或其類似者)中之初始運動向量。視訊寫碼器可在運動向量推導程序中應用TMVP以識別參考資料。視訊寫碼器可在TMVP識別緊密匹配參考資料之情況下選擇TMVP(例如，如下文關於圖8至圖9所描述)。在一些情況下，視訊寫碼器可進一步改進TMVP以使用運動資訊推導程序判定所推導出之運動向量。
在一些實例中，視訊寫碼器可修剪包括運動向量候選者(諸如，關於圖4A至圖5B所描述之彼等候選者)之候選者清單。舉例而言，在一些情況下，來自不同區塊之候選者可恰好相同，此降低合併/AMVP候選者清單之效率。視訊程式碼可應用修剪程序以解決此問題。視訊寫碼器可比較當前候選者清單中之一個候選者與其他候選者，以避免插入相同候選者。為降低複雜度，視訊寫碼器可僅應用有限數目次修剪程序而非比較每一可能候選者與所有其他現存候選者。
圖6為說明圖框速率向上轉換(FRUC)中之單側運動估計(ME)之實例的概念圖。詳言之，圖6說明當前圖框100、參考圖框102及經內插圖框104。在一些情況下，視訊解碼器或後處理裝置可基於一或多個參考圖像而內插圖像。視訊解碼器或後處理裝置可內插圖像以向上轉換經編碼位元串流之原始圖框速率。替代地，視訊解碼器或後處理裝置可內插圖像以插入被視訊編碼器跳過之一或多個圖像，從而以減小之圖框速率編碼視訊序列。在任一狀況下，視訊解碼器或後處理裝置使用已解碼之圖像(諸如，當前圖框100及參考圖框102)內插不包括於已由視訊解碼器接收之經編碼位元串流中的圖框(諸如，經內插圖框104)。視訊解碼器或後處理裝置可使用數種內插技術中之任一者內插圖像，例如，使用經運動補償圖框內插、圖框重複或圖框平均化。
上文所提到之圖框內插技術為通常實施之迴路後內插。舉例而言，視訊解碼器通常接收及解碼經編碼位元串流以產生包括當前圖框100及參考圖框102之視訊序列的經重建構表示。在解碼迴路之後，視訊解碼器或另一後處理裝置可內插待包括於包括經內插圖框104之經重建構表示內的圖像。在一些情況下，內插圖像之程序可被稱作圖框速率向上轉換(FRUC)，此係因為圖像之所得序列包括未包括於經編碼位元串流中之額外(經內插)圖像。
因此，FRUC技術可用以基於低圖框速率視訊而產生高圖框速率 視訊。FRUC已用於顯示器產業中。實例包括：劉宏斌、熊瑞勤、趙德斌、馬思維、高文之「Multiple Hypotheses Bayesian Frame Rate Up-Conversion by Adaptive Fusion of Motion-Compensated Interpolations」(IEEE視訊技術電路及系統彙刊，第22卷，第8期，2012年8月)；W.H.Lee、K.Choi、J.B.Ra之「Frame rate up conversion based on variational image fusion」(IEEE影像處理彙刊，第23卷，第1期，2014年1月)；及U.S.Kim、M.H.Sunwoo之「New frame rate up-conversion algorithms with low computational complexity」(IEEE視訊技術電路及系統彙刊，第24卷，第3期，2014年3月)。
FRUC演算法可分成兩種類型。一種類型之方法藉由簡單的圖框重複或平均化來內插中間圖框。然而，此方法在含有大量運動之圖像中提供不適當結果。被稱為經運動補償FRUC(MC-FRUC)之另一類型的方法在其產生中間圖框時考慮物件移動，且由兩個步驟構成：運動估計(ME)及經運動補償內插(MCI)。ME產生使用向量來表示物件運動之運動向量(MV)，而MCI使用MV來產生中間圖框。
區塊匹配演算法(BMA)廣泛地用於MC-FRUC中之ME，此係因為其實施簡單。BMA將影像分成區塊，且偵測彼等區塊之移動(例如)以判定區塊是否對應。兩個種類之ME主要用於BMA：單側ME及雙側ME。
如圖6中所展示，單側ME藉由自當前圖框100之參考圖框102搜尋最佳匹配區塊來獲得MV。接著，在經內插圖框中之運動軌跡上的區塊可經定位以使得獲得MV。如圖6中所展示，包括分別來自當前圖框100、參考圖框102及經內插圖框104之106A、106B及106C的三個區塊被涉及以遵循運動軌跡。儘管當前圖框100中之區塊106A屬於經寫碼區塊，但參考圖框102中之最佳匹配區塊106B可能不完全屬於經寫碼 區塊，經內插圖框104中之區塊106C亦不完全屬於經寫碼區塊。因此，區塊與未填充(孔)區之重疊區可出現於經內插圖框中。
為處置重疊，簡單FRUC演算法僅涉及平均化及覆寫經重疊像素。此外，孔由來自參考或當前圖框之像素值覆蓋。然而，此等演算法產生方塊假影及模糊。因此，提議運動場分段、使用離散哈特萊(Hartley)變換之連續外插及影像修復以處置孔及重疊而不增加方塊假影及模糊。
根據本發明之態樣，視訊寫碼器(諸如，視訊編碼器20及/或視訊解碼器30)可使用展示於圖6中之單側匹配技術在編碼或解碼迴路中產生經內插圖框104。舉例而言，視訊寫碼器可使用圖像層級FRUC來使用經重建構像素陣列內插經內插圖框104作為當前圖像之預測子。在一些實例中，此經內插圖像可被視為參考圖像或當前圖框100之重建構。在其他實例中，視訊寫碼器可將當前圖像設定為等於經內插圖像。此圖像可藉由語法元素或解碼程序標記為可捨棄圖像及/或非參考圖像。
在一些實例中，視訊寫碼器可內插當前圖像以使得FRUC模式為唯一允許模式，其中FRUC模式指示展示於圖6中之單側匹配技術或本文中所描述之任何其他運動資訊推導或內插技術。因此，替代基於四分樹之CU結構發信，所有區塊可具有相同的預定義或發信大小。在一些情況下，僅可允許有效CU寫碼模式(諸如，規則跳過、規則合併、FRUC模式及框內模式)之子集。替代地或另外，在此圖像或截塊中可允許用於FRUC之孔填充模式。
根據本發明之態樣，可引入SEI訊息以指示哪些圖像或圖像之子序列藉由圖像層級FRUC寫碼。可捨棄此類圖像而不影響其他圖像之品質。此SEI訊息可指示(或另外指示)哪一(些)時間層級含有經FRUC寫碼圖像或僅含有經FRUC寫碼圖像。SEI訊息中之此資訊亦可作為高 階語法之其他置放形式(諸如，PPS、SPS及VPS)而存在。
在一些實例中，視訊寫碼器可寫碼圖像之一部分且內插剩餘視訊資料。舉例而言，視訊寫碼器可寫碼所謂的「提示」以用於解碼器側圖框速率向上轉換，其可允許智慧型或資源豐富型解碼器視情況產生FRUC圖框。舉例而言，若干關鍵區(諸如，矩形區)可用信號發送作為用於此類FRUC圖框之提示。當接收到且視情況處理提示時，可首先將指定為解碼器之部分的FRUC方法用於並非關鍵區之區，而關鍵區必須藉由可能未由解碼器指定之手段(諸如，孔填充方法)來進一步處理。
根據本發明之態樣，關於孔填充，視訊寫碼器可實施基於區塊之孔填充技術。舉例而言，一種孔填充技術為使用空間相鄰框間區塊來預測同一CTU中之當前框內區塊。舉例而言，視訊寫碼器可編碼/解碼CTU兩次。第一次編碼/解碼如常。在第二輪次中，僅編碼/解碼及覆寫框內區塊。對於框內區塊，同一CTU中之所有其空間相鄰框間區塊(包括當前區塊右下方之彼等區塊)被標記為可供用於框內預測。孔填充方法亦可為截塊、影像塊、圖像、其他任何其他層級。另一孔填充方法可使用影像修復技術。亦可應用其他孔填充技術。
圖7為說明FRUC中之雙側運動估計(ME)之實例的概念圖。詳言之，圖7說明自當前圖框114之當前區塊112及參考圖框118之參考區塊116內插的經內插圖框110之經內插區塊108。如圖7中所展示，雙側ME為可用以避免由展示於圖6中之重疊及孔引起之問題的另一解決方案(在MC-FRUC中)。雙側ME分別使用當前圖框114之區塊112與參考圖框118之區塊116之間的時間對稱性來獲得通過經內插區塊108之MV。結果，其不產生重疊及孔。由於假設當前區塊為以某一次序正經處理之區塊(例如，如在視訊寫碼之狀況下)，因此此類區塊之序列將覆蓋整個中間圖像而不重疊。舉例而言，在視訊寫碼之狀況下，可 以解碼次序處理區塊。
根據本發明之態樣，展示於圖7之實例中的雙側運動估計可用以推導運動資訊。舉例而言，如下文關於圖9更詳細地描述，視訊寫碼器(諸如，視訊編碼器20或視訊解碼器30)可應用雙側匹配作為運動資訊推導模式以在寫碼期間推導運動資訊。在雙側匹配中，視訊寫碼器可針對對應於第二參考圖像中之第二參考資料集合的第一參考圖像中之第一參考資料集合執行運動搜尋。
根據本發明之其他態樣，視訊寫碼器(諸如，視訊編碼器20及/或視訊解碼器30)可使用展示於圖7中之雙側匹配技術在編碼或解碼迴路中產生經內插圖框。舉例而言，視訊寫碼器可使用圖像層級FRUC來使用經重建構像素陣列內插經內插圖像作為當前圖像之預測子。在一些實例中，此經內插圖像可被視為參考圖像或當前當前圖像之重建構。在其他實例中，視訊寫碼器可將當前圖像設定為等於經內插圖像。此圖像可藉由語法元素或解碼程序標記為可捨棄圖像及/或非參考圖像。
圖8為說明基於範本匹配之解碼器側運動向量推導(DMVD)之實例的概念圖。在進階視訊編碼解碼器之情況下，位元串流中之運動資訊的位元百分比變得愈來愈大。在一些情況下，DMVD可減小運動資訊之位元成本。基於範本匹配之DMVD可展現寫碼效率改良，如描述於(例如)S.KampM.Wien之「Decoder-side motion vector derivation for block-based video coding」(IEEE視訊技術電路及系統彙刊，第22卷，第12期，2012年12月)中。
在圖8之實例中，當前圖像120包括預測目標122(例如，當前正經寫碼之區塊)及範本124。參考圖像126包括共置範本128、最佳匹配130及移位向量132。視訊寫碼器(諸如，視訊編碼器20及/或視訊解碼器30)可使用範本124來搜尋預測目標122之最佳匹配(例如，而非使用 尚待寫碼之預測目標122自身)。舉例而言，視訊寫碼器可執行運動搜尋以識別對應於預測目標122外部之第二參考資料集合(例如，範本124)的第一參考資料集合(例如，最佳匹配130)。如上文所提到，對應性可基於參考資料之間的類似度的量而判定，且在本文中可被稱作判定「匹配」或「最佳匹配」。
在展示之實例中，視訊寫碼器可識別參考圖像126中之共置範本128。視訊寫碼器可接著搜尋最佳匹配130，其包括類似於範本124之像素值。視訊寫碼器可基於參考圖像126中之共置範本128及最佳匹配130的移位而判定移位向量132。
假設範本124及預測目標122來自同一物件，則範本之運動向量可用作預測目標之運動向量。因此，在圖8之實例中，視訊寫碼器可將移位向量132應用於預測目標122。由於在視訊編碼器及視訊解碼器兩者處進行範本匹配，因此可在解碼器側處推導運動向量以避免發信成本。
根據本發明之態樣，視訊寫碼器可應用範本匹配作為運動資訊推導模式。舉例而言，視訊寫碼器可應用範本匹配以藉由定位當前圖像之範本124與參考圖像126中之對應參考資料之間的最佳匹配來推導當前區塊之運動資訊。雖然圖8之實例將範本124說明為視訊資料之L形區塊，但應理解，可使用其他範本。舉例而言，視訊寫碼器可使用多個區塊作為範本，例如，定位於預測目標122左方之一或多個區塊及定位於預測目標122上方之一或多個區塊。
根據本發明之態樣，視訊寫碼器可應用展示於圖8中之範本匹配技術，其使用來自運動向量之候選者清單的一或多個運動向量。舉例而言，視訊寫碼器可經組態以使用本文中所描述之技術(例如，合併模式候選者、AMVP候選者、TMVP或其類似者)的任何組合來判定一或多個候選運動向量。視訊寫碼器可接著經組態以將候選運動向量中 之一或多者應用於範本124，從而定位共置範本128(在此實例中，共置範本128之位置藉由一或多個候選運動向量指示且未必精確地共置)。視訊寫碼器可經組態以判定候選運動向量中之哪一者產生範本124與共置範本128之間的最佳匹配。
根據本發明之態樣，視訊寫碼器可接著經組態以改進候選運動向量，從而推導預測目標122之運動資訊。舉例而言，視訊寫碼器可在參考圖像126之藉由候選運動向量識別的區中搜尋範本124之最佳匹配。在判定最佳匹配後，視訊寫碼器即可判定範本124與經判定最佳匹配之間的移位。視訊寫碼器可將該移位指明為預測目標122之所推導出之運動向量。
圖9為說明DMVD中之雙向運動向量推導之實例的概念圖。另一類別之DMVD為基於鏡像之雙向MV推導，如描述於(例如)邱義仁、徐立冬、張文浩、蔣洪之「Decoder-side Motion Estimation and Wiener filter for HEVC」(視覺通信及影像處理(VCIP)，2013年)。DMVD中之雙向運動向量推導的概念可類似於FRUC中之雙側ME。舉例而言，基於鏡像之MV推導可藉由以分數樣本準確度之圍繞搜尋中心的中心對稱運動估計來應用。
圖9之實例包括具有當前區塊142(當前正經寫碼之區塊)之當前圖像140、識別第一參考圖像146(L0 ref)之第一範本區塊144的第一候選運動向量PMV0及識別第二參考圖像150之第二範本區塊148的第二候選運動向量PMV1。視訊寫碼器可將dMV應用為偏移以在第一參考圖像146之搜尋窗口154中定位第一參考區塊152，且在第二參考圖像150之搜尋窗口158中定位第二參考區塊156。
舉例而言，視訊寫碼器可將dMV加至PMV0且自PMV1減去dMV以產生MV對：MV0及MV1。視訊寫碼器可檢查搜尋窗口154及158內部之dMV的所有值以判定dMV之哪一值產生L0 ref之第一參考區塊152 (例如，第一參考資料集合)與L1 ref之第二參考區塊156(例如，第二參考資料集合)之間的最佳匹配。在一些實例中，視訊寫碼器可基於絕對差和(SAD)而判定最佳匹配。在其他實例中，視訊寫碼器可使用另一量度來判定最佳匹配。搜尋窗口154及158之大小及位置可為預定義的或可在位元串流中用信號發送。
視訊寫碼器可選擇具有最小SAD之MV對作為中心對稱運動估計之輸出。由於此技術使用未來參考(在晚於當前圖框之時間位置處的參考)及較早參考(在早於當前圖框之時間位置處的參考)以用於SAD匹配，因此其無法應用於P圖框或低延遲B圖框，在該等圖框中僅前者參考可用。
根據本發明之態樣，視訊寫碼器可應用雙向運動向量推導技術作為運動資訊推導模式。在一些實例中，視訊寫碼器可應用展示於圖9中之使用來自運動向量之候選者清單之一或多個運動向量的技術。舉例而言，視訊寫碼器可經組態以使用本文中所描述之技術(例如，合併模式候選者、AMVP候選者、TMVP或其類似者)的任何組合來判定一或多個候選運動向量。視訊寫碼器可接著經組態以應用候選運動向量中之一或多者作為PMV0及/或PMV1，從而定位第一範本區塊144及第二範本區塊148。視訊寫碼器可經組態以判定候選運動向量中之哪一者產生第一範本區塊144與第二範本區塊148之間的最佳匹配。
根據本發明之態樣，視訊寫碼器可接著經組態以改進候選運動向量，從而推導當前區塊142之運動資訊。舉例而言，視訊寫碼器可藉由以上文所描述之方式應用dMV之多種值來搜尋最佳匹配。以此方式，視訊寫碼器可推導MV對：MV0及MV1。
圖11為說明基於擴展雙側匹配之運動向量推導的概念圖。基於鏡像之雙向MV推導(例如，如圖10中所展示)之一個潛在缺點為其在當前圖像之兩個參考皆早於或皆晚於當前圖像時不起作用。在一些情況 下，本文中所描述之擴展雙側匹配技術克服當前圖像之所有參考圖像處於與當前圖像相同之側(在顯示次序上)的缺點。
圖11之實例包括：包括當前區塊162之當前圖像160；包括第一參考區塊166之第一參考圖像(Ref0)164；及包括第二參考區塊170之第二參考圖像(Ref1)168。如圖11中所展示，第一參考圖像(Ref0)164及第二參考圖像(Ref1)168在時間方向上皆位於當前圖像之前。假設第一參考區塊166、第二參考區塊170及當前區塊162係沿同一運動軌跡，則MV0與MV1之間的比率將等於時間距離TD0與TD1之間的比率。換言之，給定與當前圖像具有時間距離TD0及TD1之兩個參考Ref0及Ref1，對於Ref0中之任何MV0，可按比例調整MV0來判定Ref1中之MV1。
視訊寫碼器可選擇最終MV0及MV1對作為最小化藉由MV0及MV1(例如，如上文關於圖10所描述)指向之區塊對之間的匹配成本的對。理論上，當前區塊162可被視為基於第一參考區塊166及第二參考區塊170之經外插區塊。應注意，擴展雙側匹配在當前圖像在時間上處於兩個參考之間的正常雙向狀況下亦起作用。在此狀況下，當前區塊162可被視為基於第一參考區塊166及第二參考區塊170之經內插區塊。此外，本文中所描述之雙側匹配技術並不需要MV0與MV1之間的「鏡像關係」，甚至在雙向狀況下亦不需要。雙側匹配之假設為MV0與MV1之間的比率與以下兩者之間的比率成比例：自Ref0至當前圖像之時間距離，及自Ref1至當前圖像之時間距離。
明顯地，對於除第一參考區塊166及第二參考區塊170外之參考區塊，視訊寫碼器可推導不同MV對。在一個實例中，視訊解碼器可選擇參考圖像以根據參考圖像在參考圖像清單中呈現之次序而執行雙側匹配。舉例而言，視訊寫碼器可選擇參考清單0中之第一參考作為Ref0，且選擇參考清單1中之第一參考作為Ref1。視訊寫碼器可接著 搜尋MV對(MV0、MV1)。在另一實例中，視訊寫碼器基於初始清單(例如，初始運動向量候選者清單)中之條目而選擇Ref0。視訊寫碼器可接著將Ref1設定為另一參考圖像清單中在時間上最接近當前圖像之參考圖像。因此，視訊寫碼器可在Ref0及Ref1中搜尋MV對(MV0、MV1)。
因此，根據本發明之態樣，視訊寫碼器可應用圖11中所說明之擴展雙向運動推導技術作為運動資訊推導模式。舉例而言，視訊寫碼器可使用雙側匹配以藉由找到兩個不同參考圖像中沿當前區塊之運動軌跡的兩個區塊(例如，第一參考區塊166及第二參考區塊170)之間的最佳匹配來推導當前區塊162之運動資訊。在假設連續運動軌跡之情況下，指向兩個參考區塊(第一參考區塊166及第二參考區塊170)之運動向量MV0及MV1將與當前圖像與兩個參考圖像之間的時間距離(亦即，TD0及TD1)成比例。作為特殊狀況，在當前圖像160在時間上處於兩個參考圖像之間(如圖10之實例中所展示)且自當前圖像至兩個參考圖像之時間距離相同時，雙側匹配變為基於鏡像之雙向MV。
圖11為說明使用DMVD解碼預測單元(PU)之實例的流程圖。在邱義仁、徐立冬、張文浩、蔣洪之「Decoder-side Motion Estimation and Wiener filter for HEVC」(視覺通信及影像處理(VCIP)，2013年)中，進一步提議組合基於鏡像之雙向MV推導與HEVC中之合併模式。在所提議技術中，針對B截塊之PU添加被稱為pu_dmvd_flag之旗標以指示是否將DMVD模式應用於當前PU。因為DMVD模式並不在位元串流中明確地傳輸任何MV資訊，所以pu_dmvd_flag語法元素與HEVC中之合併模式的語法(其使用表示運動向量之資料的索引而非運動向量自身)整合。
在圖11之實例中，視訊解碼器(諸如，視訊解碼器30)可開始解碼PU(180)。視訊解碼器30可(例如)基於包括於包括PU之位元串流中的 語法而判定用以解碼PU之模式是否為合併模式(182)。若不使用合併模式(步驟182之「否」分支)，則視訊解碼器30可使用用於非合併PU之規則程序來解碼PU(184)且結束程序(186)。
若使用合併模式(步驟182之「是」分支)，則視訊解碼器30可基於pu_dmvd_flag語法元素之值而判定DMVD是否用以判定PU之運動資訊(188)。若不使用DMVD(步驟188之「否」分支)，則視訊解碼器30可使用規則合併模式來解碼PU(190)且結束程序(186)。若使用DMVD(步驟188之「是」分支)，則視訊解碼器30可應用DMVD程序來判定PU之運動資訊(192)且結束程序(186)。
在一些情況下，當前視訊寫碼技術可具有某些限制。舉例而言，某些DMVD技術可被視為FRUC技術之子集。儘管DMVD已應用於視訊寫碼中，但其他有效FRUC技術尚未實施於視訊寫碼中，例如，在藉由視訊編碼器或視訊解碼器進行之視訊寫碼迴路中。此外，儘管已提議DMVD之不同技術，但在解碼器處未採用此類技術之互動及重疊。亦即，僅一個DMVD模式已用於其他視訊寫碼系統中。尚未研究出使用複數種DMVD技術以進一步改良寫碼效率的方式。
作為另一潛在限制，DMVD可僅應用於視訊資料之相對較大區塊且因此可能並非極有效的。將此類方法應用於較小區塊可歸因於發信成本而產生顯著附加項。在一些情況下，傳統DMVD技術之搜尋範圍可相對較小，且僅若干個點(例如，16個點)被搜尋到。此外，如上文所提到，基於鏡像之雙向MV推導無法應用於低延遲B狀況中，此係因為需要識別在顯示次序上處於當前圖像之前及之後的兩個參考圖像且此識別在低延遲狀況下為不可能的。
另一潛在限制可為：在解碼器處，傳統DMVD技術之匹配成本可僅考慮失真。然而，在匹配成本方面尚未考慮運動向量量值，此情形可(例如)歸因於像素域中之雜訊而導致匹配之局部最佳化或不準確結 果。此外，尤其歸因於在解碼器處之搜尋期間內插為分數像元運動向量所需要的事實，就記憶體頻寬及計算複雜度兩者而言，傳統DMVD技術之複雜度可為相對較高的。
本發明之技術可解決上文所描述之潛在限制中之一或多者。在一些實例中，可個別地應用用於推導運動資訊之技術。替代地，可一起應用本文中所描述之技術的任何組合。如本文中所描述，參考索引資訊可大體上被視為運動資訊之部分。在一些情況下，運動向量資訊及參考索引資訊可被稱作運動資訊集合。
本發明之某些技術包括自複數個可能運動推導模式中選擇一運動推導模式。舉例而言，根據本發明之態樣，視訊寫碼器(例如，視訊編碼器20或視訊解碼器30)可使用兩個或兩個以上運動推導技術來在視訊解碼器處提供對運動資訊之較好預測，從而避免在位元串流中用信號發送運動資訊。兩個或兩個以上運動推導技術可包括(但不限於)雙側匹配、範本匹配及任何其他匹配方法。此等技術可大體上被稱作運動資訊推導模式或FRUC模式。因此應理解，在一些情況下，被稱作FRUC模式之技術可替代地用以內插當前區塊之運動資訊(例如，而非內插視訊資料之新區塊)。
在一些實例中，當使用多個運動推導方法時，替代針對不同推導方法具有不同最佳化方法，就選擇搜尋開始點及如何圍繞開始點進行搜尋而言，可對準用以針對運動推導方法中之兩者或兩者以上找到最佳運動的程序。舉例而言，視訊寫碼器可建構運動向量候選者清單，自清單中選擇初始候選者，且使用相同搜尋及匹配技術來改進候選者。在此實例中，可在解碼器側處以自適應性方式使用雙向運動推導及基於範本匹配之運動推導。
根據本發明之態樣，引入區塊層級處之額外發信以識別哪一運動推導方法用於寫碼當前區塊。舉例而言，視訊寫碼器可寫碼一或多 個語法元素以指示是否啟用運動資訊推導。視訊寫碼器亦可寫碼一或多個語法元素以指示來自複數個可能模式之特定運動資訊推導模式。在其他實例中，可能不用信號發送待使用之運動資訊推導技術，而是在視訊解碼器處(例如)基於預測模式或在解碼當前區塊之前可用的其他資訊而推導該技術。在另外其他實例中，視訊寫碼器可執行多個運動資訊推導模式，且判定來自兩個或兩個以上推導技術之預測的加權平均以寫碼當前區塊。
在出於說明之目的的實例中，視訊解碼器(諸如，視訊解碼器30)可首先識別是否應用運動資訊內插模式(例如，基於位元串流中之語法)。視訊解碼器30可接著識別將應用哪一運動資訊推導模式(例如，基於位元串流中之語法)。在一個實例中，當同時支援多個運動推導方法(例如，擴展雙側匹配模式及範本匹配模式兩者)時，可在位元串流中用信號發送索引值以指示實際上哪一運動推導方法用於當前區塊。該索引可具有三個值，包括關閉、擴展雙側匹配及範本匹配。
當使用CABAC寫碼時，兩個二進位可用以表示索引。兩個二進位可皆使用空間相鄰者作為上下文，或僅其中之一者使用空間相鄰者上下文。替代地，一個或兩個二進位可使用其他經寫碼資訊(諸如，CU深度)作為上下文。索引之二進位化可為預定義的，諸如，「0」用於關閉，「10」用於擴展雙側匹配且「11」用於範本匹配。替代地，可在截塊標頭中用信號發送或自諸如截塊類型、時間層級或QP資訊之經寫碼資訊推導索引之二進位化。
根據本發明之態樣，可與另一寫碼模式一起包括指示運動資訊推導模式之語法。在一個實例中，運動資訊推導模式可被視為特定合併候選者，因此由合併索引指示。在此狀況下，合併候選者清單之大小可增加以容納額外索引。用於運動資訊推導模式之合併候選者索引可為預定義的或可在位元串流中用信號發送。
在一些實例中，擴展雙側匹配及範本匹配皆藉由合併模式支援。在此類實例中，當merge_flag等於1時，用信號發送新運動資訊推導旗標以指示是否針對當前PU推導運動資訊。該旗標可使用其空間相鄰者(諸如，上方及左方區塊)之相同旗標作為CABAC寫碼上下文。當此旗標開啟時，用信號發送第二旗標以指示哪一運動資訊推導模式(例如，擴展雙側匹配或範本匹配)用以推導區塊之運動資訊。當運動推導開啟時，甚至在當前模式為合併模式時，仍不用信號發送合併索引。替代地或另外，若PU按解碼次序並非CU之第一PU，則不允許進行特定運動資訊推導(例如，範本匹配)。在此狀況下，僅需要用信號發送旗標以指示擴展雙側匹配是否用於PU。
在另一實例中，運動資訊推導模式可(例如)在PU層級處與AMVP模式組合。在一個實例中，可用信號發送額外語法元素(例如，額外旗標)以指示運動資訊推導模式。當此模式開啟時，可能不在位元串流中用信號發送AMVP索引。否則，可在位元串流中用信號發送規則AMVP索引。在另一實例中，運動資訊推導模式可被視為AMVP候選者清單中之特定AMVP候選者，諸如第一AMVP候選者。在一些情況下，當與AMVP模式組合時，可能不在子PU層級處推導運動向量。
根據其他態樣，視訊寫碼器可最初有條件地寫碼CU層級旗標(例如，對於經框間寫碼CU)，以指示是否當前CU內之所有PU均使用運動資訊推導模式。在一個實例中，並不用信號發送PU層級旗標。在另一實例中，當CU旗標等於0(亦即，並非所有PU均藉由該模式寫碼)時，進一步用信號發送第一PU之PU層級旗標，而第二PU不包括PU層級旗標。
在一些實例中，可根據特定截塊類型、時間層級、區塊類型或區塊大小而停用運動資訊推導模式。在一個實例中，在當前截塊僅包括時間位置均在當前圖像之時間位置之前或之後的參考圖像時，不允 許進行運動資訊推導。在另一實例中，對於非2N×2N PU，不允許進行運動資訊推導。當停用運動資訊推導時，不需要關於運動資訊推導之區塊層級發信。
根據本發明之態樣，啟用或停用本文中所描述之運動資訊推導技術可由高階語法控制以對比效率取捨及/或編碼器/解碼器靈活性而提供較好複雜度。在一個實例中，可在SPS、PPS、截塊標頭或任何其他高階語法標頭中用信號發送旗標以指示對運動資訊推導模式之使用。當此旗標指示並不啟用此寫碼模式時，可能不在位元串流中寫碼CU/PU層級旗標。
在一些情況下，高階語法可另外或替代地用以指示運動資訊推導之其他參數。舉例而言，可在位元串流中SPS、PPS或截塊標頭內寫碼待用於搜尋PU層級運動向量之搜尋演算法的索引。在一些情況下，可在位元串流中SPS、PPS或截塊標頭內寫碼待用於搜尋子區塊層級運動向量之搜尋演算法的索引。在一些實例中，為在解碼器側處保持低計算複雜度，可約束PU層級中之區塊/分割區匹配之最大數目、子PU層級中之區塊/分割區匹配之最大數目及/或PU層級及子PU層級兩者中之總匹配數目。在一些情況下，此類最大數目可為預定義的或在位元串流中用信號發送。
本發明之技術包括用於推導運動資訊之多種技術。在一些實例中，視訊寫碼器可判定含有運動向量之條目的初始清單(開始候選者清單)，且最佳開始點被識別為來自初始清單之條目。含有運動向量之條目可為來自空間相鄰者、時間相鄰者之運動向量及/或由其他手段推導出之運動向量。替代地，可將最佳開始點(或最佳開始點之索引)用信號發送至解碼器。
在一些實例中，初始清單可含有來自空間及或時間相鄰者之運動向量。初始清單中之每一條目可為運動資訊之單向預測性集合，包 括一個運動向量及其參考索引。在一個實例中，可以與另一寫碼模式中所使用之運動預測候選者清單相同(例如，與合併候選者清單相同)的方式產生初始清單。在此狀況下，每一合併候選者之至多兩個運動向量可用以產生初始清單中之至多兩個條目。在一些情況下，可自另一寫碼模式中所使用之清單中的運動預測候選者之子集(例如，合併候選者清單之子集)產生初始清單中之條目。
在另一實例中，除另一寫碼模式中所使用之運動預測候選者清單中的彼等運動向量外(例如，除合併候選者清單中之彼等運動向量外)，亦可將額外運動向量添加至初始清單中。替代地或另外，可將當前區塊之空間相鄰者(諸如，上方區塊、左方區塊、右上方區塊或另一區塊)的運動向量添加至初始清單。在一些情況下，亦可將具有不同參考圖像索引之零運動向量添加至清單。
替代地或另外，可將當前區塊之時間上共置區塊的運動向量(例如，當前區塊之TMVP)及/或參考圖像中當前區塊之時間上共置右下方區塊的運動向量添加至初始清單。在將特定候選運動向量添加至清單之前，可能或可能不基於時間距離而按比例調整運動向量。
根據一些態樣，可自參考圖像內插及/或外插運動向量且可將其添加於初始清單中。舉例而言，在寫碼框間圖像之前，可藉由類似單側ME之技術基於圖像之參考圖像而產生圖像之經內插及/或外插運動場。區塊之經內插及/或外插運動場可用於MV預測，或用作運動資訊推導模式之MV搜尋中的額外開始候選者。應注意，經內插及/或外插運動場保存於4×4或8×8之單元或任何其他預定義/用信號發送之區塊層級中，且PU可含有多個此類區塊以使得可使用多個經內插及/或外插MV。
在一個實例中，兩個參考清單中之每一參考圖像的運動場橫穿N×N區塊×N×N區塊，其中N可為預定義的(諸如，4、8或16)或用信號 發送。對於每一區塊，若與區塊相關聯之運動通過當前圖像中之N×N區塊且該區塊尚未被指派任何經內插運動，則以與TMVP中之MV按比例調整之方式相同的方式相對於當前圖像按比例調整參考區塊之運動且將經按比例調整之運動指派至當前圖框中之區塊。若未將經按比例調整之MV指派至N×N區塊，則將區塊之運動標記為在經內插運動場中不可用。在另一實例中，當前圖像中之N×N區塊可指派有經內插運動場中之多個運動向量。
在一些情況下，視訊寫碼器可修剪來自候選者清單之一或多個候選者。可在最佳開始點選擇程序之前(例如，在針對清單中之每一候選者計算匹配成本之前)應用修剪以移除來自初始清單之相同條目。
在一些情況下，每一參考清單中之第一圖像可用作參考圖像，且運動向量候選者在必要時被相應地按比例調整。在此狀況下，可在基於(例如)POC距離按比例調整運動向量(類似於TMVP中)之後修改初始清單中之每一條目的參考索引。在一些情況下，每一條目之參考索引可固定至一個或兩個圖像，且相關聯運動向量可朝向此類圖像按比例調整。
在一個實例中，對於雙側匹配，可基於初始候選者清單中之每一條目獲得運動向量對，其為含有運動向量及其分別關於參考清單0及清單1之相關聯參考索引兩者的運動資訊之完整集合。視訊寫碼器可接著針對由初始清單中之所有條目產生的所有MV對執行雙側匹配，且選擇產生最小匹配成本之候選者。
為產生MV對，視訊寫碼器可選擇初始清單中之一條目作為第一運動向量，且產生第二運動向量。舉例而言，假設一個條目含有當前第一運動向量MVA，且其與關於參考圖像清單A(其中A等於0或1)中之第一參考圖像的參考索引(具有POC值POCA)相關聯。假設當前圖像 之POC值為POCC，視訊寫碼器可經組態以自參考圖像清單B(其中B等於1-A)找到第二參考圖像，以使得其POC值POCB等於(2×POCC-POCA)。若參考圖像清單B中無參考圖像具有等於(2×POCC-POC0)之POC值，則視訊寫碼器可藉由檢查清單B中之所有參考圖像以使得POCB不等於POCA且POCC-POCB之絕對值最小來選擇第二參考圖像。概言之，視訊寫碼器可選擇位於當前圖像之另一側(在顯示次序上)的具有相同POC距離的圖像。若其不可用，則視訊寫碼器可選擇另一側之與當前圖像具有最小距離的圖像。若相較於當前圖像，所有參考圖像在與具有POCA之第一參考相同的時間側，則視訊寫碼器可選擇在時間上最接近當前圖像且具有除POCA外之POC的參考。在前文假設之情況下，視訊寫碼器可(例如)基於POC差(如TMVP中)而按比例調整第一運動向量MVA以產生與第二參考圖像相關聯之第二運動向量。替代地，基於雙側MV假設之任何技術可用以產生第二參考圖像及其運動向量。
根據一些態樣，可自初始清單中選擇兩個開始運動向量。自初始清單之兩個子集中的條目選擇(依據最少匹配成本)此等兩個運動向量中之每一者。每一子子集含有與僅關於參考圖像清單0或僅關於參考圖像清單1之參考索引相關聯的運動向量。
根據本發明之態樣，視訊寫碼器可經組態以基於與運動向量相關聯之匹配成本而自候選者中選擇候選者。此外，在自候選者清單中選擇候選者之後，視訊寫碼器可改進候選運動向量以推導區塊之運動資訊。舉例而言，候選運動向量可用以指示參考圖像之開始點，該開始點可接著被搜尋以基於匹配成本找到最佳匹配。
根據本發明之態樣，可(例如)在針對初始運動向量候選者判定最佳匹配時及/或在改進初始運動向量候選者時使用多種匹配成本。在一個實例中，在搜尋區塊之運動時，MV成本可包括於匹配成本中以 避免雜訊之負面影響。舉例而言，表示為MVR之運動向量的改進部分(例如，當前MV與搜尋中心之間的差)可用以計算成本。在此實例中，成本可為w*(|MVR[0]|+|MVR[1]|)，其中w為可用信號發送或預定義之加權因子，且MVR[0]及MVR[1]為MVR之兩個分量。替代地，經改進運動向量MV可用以計算成本，例如，如w*(|MV[0]|+|MV[1]|)。
在一些實例中，當區塊相對較小(例如，4×4或更小)時，覆蓋區塊之較大區塊(例如，具有擴展邊界之區塊)可用於匹配成本計算中以便抑制雜訊。舉例而言，當搜尋4×4區塊之最佳匹配時，可基於8×8區塊而計算匹配成本，其中中心區塊為該區塊。
在一些實例中，匹配成本可為任何種類之距離/成本，諸如絕對差和(SAD)、預測平方誤差和(SSE)或絕對變換差和(SATD)。為降低計算複雜度，可在水平方向、垂直方向或兩個方向上以減小之解析度計算SAD、SSE或其他成本。舉例而言，對於8×8區塊，可僅基於奇數列而計算SAD。在另一實例中，可基於區塊之選定子集而計算匹配成本，例如，可僅使用區塊之中心區。
根據本發明之態樣，可在預定義或發信搜尋窗口內而非始終使用小窗口(例如，在2×2窗口內)執行用於最佳匹配(例如，基於匹配成本之選定候選者)之改進程序(此處，單元為像素且可在窗口內搜尋分數運動向量)，以達成更有效但複雜度低之搜尋。在此實例中，搜尋窗口之範圍(例如，具有16×16之大小)可為預定義的或在位元串流中用信號發送。
用於搜尋之搜尋演算法可為預定義的，諸如全面搜尋；三步搜尋；菱形搜尋；基於區塊之梯度下降搜尋演算法(BBGDS)，如描述於(例如)劉龍國、Ephraim Feig之「A block-based gradient descent search algorithm for block motion estimation in video coding」(IEEE視訊技術電路及系統彙刊，第6卷，第419至422頁，1996年8月)中；或無限制 中心偏置菱形搜尋演算法(UCBDS)，如描述於(例如)Jo Yew Tham、Surendra Ranganath、Maitreya Ranganath及Ashraf Ali Kassim之「A novel unrestricted center-biased diamond search algorithm for block motion estimation」(IEEE視訊技術電路及系統彙刊，第8卷，第369至377頁，1998年8月)中。
在一些情況下，不同搜尋技術可基於發信或預定義準則而用於不同情況中。舉例而言，為搜尋整個PU，可使用菱形搜尋。為搜尋子PU，可使用小菱形搜尋。另外或替代地，可在搜尋期間應用早期停止，例如，在匹配成本低於預定義或自適應性臨限值時。當使用範本匹配時，可進一步應用如下約束條件：兩個參考清單之兩個運動向量在改進之後不應指向同一參考圖像中之同一區塊。
如上文所提到，本發明描述用於現存DMVD程序之某些最佳化技術。舉例而言，如上文關於圖10之實例所描述，該等技術包括自雙向預測至單向預測之擴展雙側匹配。當兩個參考圖像之時間位置皆在當前截塊之時間位置之前或之後(亦即，POC值小於或大於當前圖像之POC值)時，亦可應用雙側匹配。此類技術在本文中可統稱為擴展雙側匹配。
本發明之其他態樣係關於內插技術。舉例而言，根據本發明之態樣，可簡化內插技術以降低複雜度。如上文關於圖2所提到，通常使用子像素精度執行運動搜尋。因此，非整數像素位置需要內插。為降低計算複雜度，根據本發明之態樣，視訊寫碼器可使用相比正常運動補償內插具有較短分接頭之內插濾波器。在一個實例中，視訊寫碼器可在運動搜尋期間使用雙線性內插濾波器，例如，在應用初始候選運動向量或改進此類運動向量時。在另一實例中，視訊寫碼器可經組態以最初使用整數像素位置執行運動搜尋，其後接著在與作為開始點之整數像素位置具有最佳匹配的分數像素位置處執行運動搜尋。
本發明之其他技術係關於推導子區塊之運動資訊。舉例而言，根據本發明之態樣，視訊寫碼器可基於任何運動推導技術而將區塊/PU分裂成(非重疊)子PU/子區塊。當將PU分裂成多個較小大小之子PU時，視訊寫碼器可針對每一子PU而推導運動資訊之唯一集合。
在出於說明之目的的實例中，可將一個32×32 PU分裂成16個8×8子PU。在此實例中，視訊寫碼器可針對8×8子PU中之每一者而判定不同參考索引及/或運動向量。在其他實例中，子PU可具有其他大小，例如，4×4、2×2或1×1。
在一些情況下，無關於區塊/PU之大小，子區塊/子PU之大小可為預定義且固定的。在其他實例中，可定義用於PU之分裂深度D，其控制可根據四分樹結構分裂PU之次數。在一些實例中，可預定義或用信號發送最小子PU/子區塊大小以指示當前區塊/PU將分裂成之子區塊/子PU的目標大小。目標大小可為最小子PU/子區塊大小與藉由根據四分樹結構將當前區塊分裂D次獲得之大小之間的較大者。
根據本發明之態樣，視訊寫碼器可在推導PU之子PU的運動資訊時利用PU之所推導出之運動資訊。舉例而言，對於每一子PU，視訊寫碼器可藉由將整個區塊之運動資訊設定為搜尋中心(初始搜尋點)來搜尋各別唯一運動資訊。視訊寫碼器可接著針對每一子PU而改進運動。替代地，可自開始點候選者之清單推導每一子PU之搜尋中心。
在另一實例中，可使用本文中所描述之技術中之任一者產生子PU之運動向量候選者清單。視訊寫碼器可接著在檢查搜尋中心(例如，自PU推導之初始搜尋點)之後檢查清單中之每一候選者。根據本發明之態樣，可使用本文中描述為適用於規則區塊之技術中之任一者改進子PU。在其他實例中，在以上文所描述之方式檢查運動向量候選者清單以查找最佳匹配之後，可針對子PU始終或有條件地跳過改進。一個可能條件可為在檢查候選者清單之後最佳匹配是否保持為由 PU之運動資訊(例如，初始搜尋點)指示的候選者。若條件成立，則視訊寫碼器可跳過改進。否則，視訊寫碼器可執行改進。
在一些實例中，可針對子PU執行運動向量濾波以校正隔離之錯誤運動向量。舉例而言，視訊寫碼器可針對當前子PU之運動向量及至多四個相鄰子PU之運動向量使用中值濾波器。根據本發明之態樣，當應用變換時，視訊寫碼器可將整個PU視為整個區塊以使得變換可越過子PU邊界。在其他實例中，視訊寫碼器可將變換應用於每一子PU以使得變換大小不大於子PU大小。在一些情況下，當使用範本匹配時，亦可進一步將整個PU分裂成較小子PU。對於空間相鄰者均在當前PU中之子PU(其範本不可用)，視訊寫碼器可將其運動向量設定為針對整個PU推導之運動向量。
在一些實例中，視訊寫碼器可寫碼指示是否分裂特定區塊之單獨語法元素。在另一實例中，進一步將使用擴展雙側匹配模式之所有2N×2N區塊分裂成小分割區，且不用信號發送額外旗標。可預定義或用信號發送子區塊之大小。替代地，子區塊之大小可基於當前區塊之大小。舉例而言，子區塊之大小可推導為兩個值中之較大數。第一值為預定義或用信號發送之最小子區塊大小(例如，4×4或8×8)。第二值為相對於當前區塊之大小，諸如(S>>d)×(S>>d)，其中S×S為當前區塊大小，而d為預定義或用信號發送之值以指示藉以將當前區塊分裂成子區塊之四分樹深度。在上文實例中，應理解，術語PU與術語區塊互換地使用，且術語子PU與術語子區塊互換地使用。
如上文所提到，本文中所描述之技術可獨立或組合地使用。作為一實例，與運動資訊推導模式(例如，擴展雙側匹配模式、範本匹配模式或任何其他模式)相關聯之運動資訊推導程序可包括三個步驟，但可基於截塊類型、時間層級、區塊類型、區塊大小或定義於位元串流中之語法而有條件地執行第三步驟。
在第一步驟中，視訊寫碼器可制訂當前區塊之運動資訊的單向預測性集合之初始候選者清單。視訊寫碼器可(例如)基於匹配成本而自清單中選擇具有最佳開始點之候選者。在第二步驟中，視訊寫碼器可改進選定候選者以推導當前區塊之運動資訊。該改進亦可基於匹配成本，如本文中所描述。視訊寫碼器可接著視情況進一步將當前區塊分裂成子區塊，如本文中所描述，且針對每一子區塊改進每一運動向量。最後，視訊寫碼器可使用所推導出之運動資訊來對當前區塊應用運動補償。若分裂已執行，則視訊寫碼器可在逐子區塊基礎上應用運動補償。
在一個實例中，以下偽程式碼可用以使用運動資訊推導模式重建構區塊，其中運動資訊係藉由雙側匹配或範本匹配推導。當使用雙側匹配時，進一步將區塊分裂成子區塊(應注意，MV在此處包括參考資訊)：
在FRUC中重建構區塊B(具有大小W×H)
建構初始清單
若B為雙側匹配
{
根據雙側匹配之量測結果在初始清單中找到最佳匹配(例如，雙側匹配)作為開始點
基於雙側匹配之開始點而改進MV以獲得區塊B之運動向量MVB
對於區塊B中之每一子區塊
{
採用MVB作為開始點，針對每一子區塊改進MV
藉由所推導出之MV資訊對子區塊進行運動補償
}
}
否則//範本匹配
{
根據範本匹配之量測結果在初始清單中找到最佳匹配(例如，範本匹配)作為開始點
基於範本匹配之開始點而改進MV
}
因此，根據本發明之態樣，視訊編碼器20或視訊解碼器30可判定運動資訊內插模式以判定當前區塊(當前正經編碼或解碼之區塊)之運動資訊。藉由使用運動資訊內插模式(例如，雙側匹配、範本匹配或另一技術)，視訊編碼器20或視訊解碼器30可判定運動向量候選者之清單中的最佳運動向量候選者，例如，識別緊密地匹配當前區塊之參考區塊的運動向量。視訊編碼器20或視訊解碼器30可使用運動向量候選者以識別參考圖像中之搜尋窗口。
視訊編碼器20或視訊解碼器30可基於搜尋窗口中緊密地匹配當前區塊之參考區塊而改進運動向量候選者。亦即，視訊編碼器20或視訊解碼器30可基於搜尋窗口中緊密地匹配當前區塊之參考區塊與當前區塊之間的運動而判定當前區塊之新的經內插運動向量。視訊編碼器20或視訊解碼器30可接著使用經內插運動向量對當前區塊執行運動補償。
在一些情況下，視訊編碼器20或視訊解碼器30可出於預測目的而將當前區塊分裂成一個以上子區塊。此外，在其他實例中，視訊編碼器20或視訊解碼器30可執行更多技術、更少技術或不同配置之技術以內插運動資訊。
因此，本發明之某些技術可一般化為區塊層級寫碼工具，其利用來自FRUC之某些概念，假設當前圖像之當前區塊可被視為以類似於在FRUC中當前圖像可被視為藉由參考圖像內插的方式藉由參考圖 像預測。在一個實例中，僅基於運動之程序用於區塊層級寫碼工具。在另一實例中，僅基於像素之程序用於區塊層級寫碼工具。在另一實例中，基於運動之程序或基於像素之程序用於給定區塊。在另一實例中，基於像素之程序及基於運動之程序兩者用於區塊層級寫碼工具。在另一實例中，其他語法可被重複使用或自其他時間圖框預測且可用於寫碼工具，諸如寫碼樹之資訊、SAO、ALF、RQT資訊。
圖12為說明用於判定運動資訊推導模式以供寫碼視訊資料之區塊的實例程序之流程圖。圖12之實例程序係關於可經組態為視訊編碼器20、視訊解碼器30或另一處理器之視訊寫碼器而描述。
在圖12之實例中，視訊寫碼器可自複數個運動推導模式中選擇一運動推導模式(200)。一般而言，運動推導模式中之每一者可包括針對對應於當前區塊外部之第二參考資料集合的第一參考資料集合執行運動搜尋。舉例而言，關於範本匹配，視訊寫碼器可執行運動搜尋以在當前圖像(例如，第一參考資料集合)中識別對應於參考圖像(例如，第二參考資料集合)中之範本的範本。在另一實例中，關於雙側運動，視訊寫碼器可執行運動搜尋以在第一參考圖像(例如，第一參考資料集合)中識別對應於第二參考圖像(例如，第二參考資料集合)中之第二參考區塊的參考區塊。實例運動推導模式可包括單側運動估計模式、雙側匹配模式、範本匹配模式或基於鏡像之模式。
根據一些態樣，視訊寫碼器可根據包括於位元串流中之一或多個語法元素而選擇運動資訊推導模式。舉例而言，視訊解碼器可剖析及解碼來自位元串流之一或多個語法元素，且基於語法而判定運動資訊推導模式。視訊編碼器可測試複數個運動資訊推導模式，選擇具有最佳RD成本之模式且在位元串流中編碼指示選定模式之一或多個語法元素。
視訊寫碼器可使用選定運動推導模式判定區塊之運動資訊，該 判定包括使用選定模式判定初始運動資訊(202)及使用最佳化程序改進初始運動資訊(204)。舉例而言，視訊寫碼器可建構具有用於判定初始運動資訊之候選者的運動向量候選者清單。初始運動資訊可提供用於改進運動資訊之開始點，如本文中所描述。
視訊寫碼器可接著使用經判定運動資訊且在不寫碼表示運動資訊之語法的情況下寫碼區塊(206)。舉例而言，在視訊寫碼器包含視訊解碼器之情況下，視訊解碼器可基於經判定運動資訊而判定參考圖像中之參考區塊，自經編碼位元串流解碼殘餘資料，且組合經解碼殘餘與經判定參考區塊以重建構當前區塊。在視訊寫碼器包含視訊編碼器之情況下，視訊編碼器可在經編碼位元串流中編碼當前區塊之殘餘資料而不寫碼殘餘資料之參考索引或運動向量。
圖13為說明用於推導運動向量以供寫碼視訊資料之區塊的實例程序之流程圖。圖13之實例程序係關於可經組態為視訊編碼器20、視訊解碼器30或另一處理器之視訊寫碼器而描述。
視訊寫碼器可產生候選運動向量清單(210)。候選運動向量清單可包括可用於推導當前區塊之運動資訊的一或多個運動向量候選者。在一些實例中，可自空間相鄰區塊、時間區塊或自其他位置判定運動向量候選者。
視訊寫碼器可判定來自清單之候選者以供推導運動資訊(212)。在一些實例中，視訊寫碼器可執行一或多個成本計算以使用特定運動推導模式來判定候選者。舉例而言，視訊寫碼器可針對第一參考資料集合及第二參考資料集合判定匹配成本，其可包括與各別運動向量相關聯之成本，如本文中所描述。
視訊寫碼器可接著基於經判定候選者而判定所推導出之運動向量(214)。舉例而言，視訊寫碼器可改進經判定候選者以使用運動推導模式來判定所推導出之運動向量。視訊寫碼器可接著使用所推導出 之運動向量來寫碼區塊(216)。舉例而言，在視訊寫碼器包含視訊解碼器之情況下，視訊解碼器可基於所推導出之運動向量而判定參考圖像中之參考區塊，自經編碼位元串流解碼殘餘資料，且組合經解碼殘餘與經判定參考區塊以重建構當前區塊。在視訊寫碼器包含視訊編碼器之情況下，視訊編碼器可在經編碼位元串流中編碼當前區塊之殘餘資料而不寫碼所推導出之運動向量。
圖14為說明用於針對視訊資料之區塊之子區塊推導運動資訊的實例程序之流程圖。圖14之實例程序係關於可經組態為視訊編碼器20、視訊解碼器30或另一處理器之視訊寫碼器而描述。
視訊寫碼器可推導當前區塊之運動資訊(220)。在一些實例中，視訊寫碼器可使用本文中所描述之運動資訊推導技術的任何組合來推導運動資訊。舉例而言，視訊寫碼器可使用本文中所描述之技術中的任一者來針對對應於當前區塊外部之第二參考資料集合的第一參考資料集合執行運動搜尋(例如，範本匹配、雙側匹配或其類似者)。
根據本發明之態樣，視訊寫碼器亦可將區塊分裂成複數個子區塊(222)。視訊寫碼器可針對各別子區塊分別推導運動資訊，包含針對對應於每一各別子區塊外部之第二參考資料集合的第一參考資料集合執行運動搜尋(224)。再次，視訊寫碼器可使用本文中所描述之任何技術來推導運動資訊，諸如範本匹配、雙側匹配或其類似者。舉例而言，視訊寫碼器可使用所推導出之運動向量作為開始點以供針對子區塊中之每一者推導運動資訊，且可使用本文中所描述之運動資訊推導技術的任何組合進一步改進所推導出之運動資訊。
視訊寫碼器可接著基於所推導出之運動資訊寫碼子區塊中之每一者，而不寫碼表示運動資訊之語法元素(226)。舉例而言，在視訊寫碼器包含視訊解碼器之情況下，視訊解碼器可基於經判定運動資訊而針對每一子區塊判定參考圖像中之參考區塊，自經編碼位元串流解 碼每一子區塊之殘餘資料，且組合經解碼殘餘與經判定參考區塊以重建構每一子區塊。在視訊寫碼器包含視訊編碼器之情況下，視訊編碼器可在經編碼位元串流中編碼每一子區塊之殘餘資料而不寫碼殘餘資料之參考索引或運動向量。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行、可被添加、合併或完全省去(例如，並非所有所描述動作或事件為實踐該等技術所必要)。此外，在某些實施例中，可同時(例如，經由多執行緒處理、中斷處理或多個處理器)而非順序地執行動作或事件。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體或包括促進將電腦程式自一處傳送至另一處(例如，根據通信協定)之任何媒體的通信媒體。以此方式，電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)通信媒體，諸如信號或載波。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此類電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存裝置、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)自網站、 伺服器或其他遠端源傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是針對非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟使用雷射以光學方式再現資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、一般用途微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效的積體或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。此外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或併入組合式編碼解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可在包括無線手機、積體電路(IC)或IC集合(例如，晶片組)之多種裝置或設備中實施。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之裝置的功能態樣，但未必要求由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。
210‧‧‧步驟
212‧‧‧步驟
214‧‧‧步驟
216‧‧‧步驟

Claims (36)

  1. 一種解碼視訊資料之方法，該方法包含：判定用於推導視訊資料之一當前區塊之運動資訊的一候選運動向量，其中該運動資訊指示該當前區塊相對於參考視訊資料之運動；使用一解碼器側運動向量推導程序在由該候選運動向量所指向之一參考圖像中來執行一運動搜尋，其中該候選運動向量指示用於該解碼器側運動向量推導程序之該參考圖像中之一開始點；基於使用該解碼器側運動向量推導程序之該運動搜尋而判定該當前區塊之一所推導出之運動向量；及使用該所推導出之運動向量來解碼視訊資料之該當前區塊。
  2. 如請求項1之方法，其中判定該候選運動向量包含自包含複數個條目之一候選者清單中選擇該候選運動向量。
  3. 如請求項2之方法，其進一步包含產生該候選者清單，其中該候選者清單中之每一條目包含一運動向量及其相關聯參考索引。
  4. 如請求項3之方法，其中產生該候選者清單包含自該當前區塊之一空間相鄰者、該當前區塊之一時間相鄰者識別一或多個運動向量，或使用一運動向量推導技術推導一運動向量。
  5. 如請求項3之方法，其中產生該候選者清單包含以相同方式產生該候選者清單及一合併模式運動向量候選者清單。
  6. 如請求項3之方法，其中產生該候選者清單包含外插或內插含有該當前區塊之一圖像的一運動場及自該經外插或經內插運動場判定一或多個候選運動向量。
  7. 如請求項3之方法，其中產生該候選者清單包含自該候選者清單 修剪重複的候選運動向量。
  8. 如請求項3之方法，其進一步包含使用該當前區塊之一參考圖像清單中的一固定參考圖像按比例調整該候選運動向量，其中該固定參考圖像為該當前區塊之該參考圖像清單中的一初始圖像。
  9. 如請求項2之方法，其中選擇該候選運動向量包含選擇指示該第一參考資料集合與該第二參考資料集合之間的一最佳匹配的該候選運動向量。
  10. 如請求項2之方法，其中選擇該候選運動向量包含基於與該候選運動向量相關聯之一運動向量成本而選擇該候選運動向量，其中該運動向量成本包含該候選運動向量與正被搜尋以判定該所推導出之運動向量的該參考圖像之一搜尋區域的一中心之間的一差。
  11. 如請求項2之方法，其進一步包含：針對來自該候選者清單之每一候選運動向量獲得一運動向量對；針對各別運動向量對執行一雙側匹配程序；且其中選擇該一或多個候選運動向量包含自該雙側匹配程序選擇一或多個運動向量。
  12. 如請求項11之方法，其中針對每一候選運動向量獲得該運動向量對包含自該各別候選運動向量判定該對中之一第一運動向量及基於該當前區塊之一參考圖像清單中的一特定參考圖像而判定該對中之一第二運動向量。
  13. 如請求項1之方法，其進一步包含改進該經判定之候選運動向量，其中改進該經判定之候選運動向量包含：基於該候選運動向量而判定該參考圖像中之一搜尋窗口； 使用解碼器側運動向量推導程序在該經判定搜尋窗口內搜尋最佳匹配參考資料；及基於該最佳匹配參考資料而判定該當前區塊之該所推導出之運動向量。
  14. 如請求項13之方法，其中搜尋該最佳匹配包含執行以下各者中之一或多者：一全面搜尋、一三步搜尋、一菱形搜尋、一基於區塊之梯度下降搜尋或一無限制中心偏置菱形搜尋。
  15. 如請求項13之方法，其中搜尋最佳匹配參考資料包含針對與該最佳匹配參考資料相關聯之一運動向量判定一運動向量成本。
  16. 如請求項1之方法，其中解碼該當前區塊包含：基於該所推導出之運動向量而判定一參考圖像中之一參考區塊；自一經編碼位元串流解碼殘餘資料；及組合該經解碼殘餘與該經判定參考區塊以重建構該當前區塊。
  17. 一種用於解碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存視訊資料之一當前區塊；及一或多個處理器，其經組態以進行以下操作：判定用於推導視訊資料之一當前區塊之運動資訊的一候選運動向量，其中該運動資訊指示該當前區塊相對於參考視訊資料之運動；使用一解碼器側運動向量推導程序在由該候選運動向量所指向之一參考圖像中來執行一運動搜尋，其中該候選運動向量指示用於該解碼器側運動向量推導程序之該參考圖像中之一開始點；基於使用該解碼器側運動向量推導程序之該運動搜尋而判 定該當前區塊之一所推導出之運動向量；及使用該所推導出之運動向量來解碼視訊資料之該當前區塊。
  18. 如請求項17之裝置，其中為判定該候選運動向量，該一或多個處理器經組態以自包含複數個條目之一候選者清單中選擇該候選運動向量。
  19. 如請求項18之裝置，其中該一或多個處理器經進一步組態以產生該候選者清單，其中該候選者清單中之每一條目包含一運動向量及其相關聯參考索引。
  20. 如請求項19之裝置，其中為產生該候選者清單，該一或多個處理器經組態以自該當前區塊之一空間相鄰者、該當前區塊之一時間相鄰者識別一或多個運動向量，或使用一運動向量推導技術推導一運動向量。
  21. 如請求項19之裝置，其中為產生該候選者清單，該一或多個處理器經組態而以相同方式產生該候選者清單及一合併模式運動向量候選者清單。
  22. 如請求項19之裝置，其中為產生該候選者清單，該一或多個處理器經組態以外插或內插含有該當前區塊之一圖像的一運動場及自該經外插或經內插運動場判定一或多個候選運動向量。
  23. 如請求項19之裝置，其中為產生該候選者清單，該一或多個處理器經組態以自該候選者清單修剪重複的候選運動向量。
  24. 如請求項19之裝置，其中該一或多個處理器經進一步組態以使用該當前區塊之一參考圖像清單中的一固定參考圖像按比例調整該候選運動向量，其中該固定參考圖像為該當前區塊之該參考圖像清單中的一初始圖像。
  25. 如請求項18之裝置，其中為選擇該候選運動向量，該一或多個 處理器經組態以選擇指示該第一參考資料集合與該第二參考資料集合之間的一最佳匹配的該候選運動向量。
  26. 如請求項18之裝置，其中為選擇該候選運動向量，該一或多個處理器經組態以基於與該候選運動向量相關聯之一運動向量成本而選擇該候選運動向量，其中該運動向量成本包含該候選運動向量與正被搜尋以判定該所推導出之運動向量的該參考圖像之一搜尋區域的一中心之間的一差。
  27. 如請求項18之裝置，其中該一或多個處理器經進一步組態以進行以下操作：針對來自該候選者清單之每一候選運動向量獲得一運動向量對；針對各別運動向量對執行一雙側匹配程序；且其中為選擇該一或多個候選運動向量，該一或多個處理器經組態以自該雙側匹配程序選擇一或多個運動向量。
  28. 如請求項27之裝置，其中為針對每一候選運動向量獲得該運動向量對，該一或多個處理器經組態以自該各別候選運動向量判定該對中之一第一運動向量及基於該當前區塊之一參考圖像清單中的一特定參考圖像而判定該對中之一第二運動向量。
  29. 如請求項17之裝置，其中該一或多個處理器進一步經組態以改進該經判定之候選運動向量，其中為改進該經判定之候選運動向量包含，該一或多個處理器經組態以進行以下操作：基於該候選運動向量而判定該參考圖像中之一搜尋窗口；使用該解碼器側運動向量推導程序在該經判定搜尋窗口內搜尋最佳匹配參考資料；及基於該最佳匹配參考資料而判定該當前區塊之該所推導出之運動向量。
  30. 如請求項29之裝置，其中為搜尋該最佳匹配，該一或多個處理器經組態以執行以下各者中之一或多者：一全面搜尋、一三步搜尋、一菱形搜尋、一基於區塊之梯度下降搜尋或一無限制中心偏置菱形搜尋。
  31. 如請求項29之裝置，其中為搜尋最佳匹配參考資料，該一或多個處理器經組態以針對與該最佳匹配參考資料相關聯之一運動向量判定一運動向量成本。
  32. 如請求項17之裝置，其中為解碼該當前區塊，該一或多個處理器經組態以進行以下操作：基於該所推導出之運動向量而判定一參考圖像中之一參考區塊；自一經編碼位元串流解碼殘餘資料；及組合該經解碼殘餘與該經判定參考區塊以重建構該當前區塊。
  33. 如請求項32之裝置，其進一步包含經組態以顯示該經解碼區塊之一顯示器。
  34. 如請求項17之裝置，其中該裝置包含以下各者中之至少一者：一積體電路；一微處理器；或一無線通信裝置。
  35. 一種用於解碼視訊資料之設備，該設備包含：用於判定用於推導視訊資料之一當前區塊之運動資訊的一候選運動向量的構件，其中該運動資訊指示該當前區塊相對於參考視訊資料之運動；用於使用一解碼器側運動向量推導程序在由該候選運動向量所指向之一參考圖像中來執行一運動搜尋的構件，其中該候選 運動向量指示用於該解碼器側運動向量推導程序之該參考圖像中之一開始點；用於基於使用該解碼器側運動向量推導程序之該運動搜尋而判定該當前區塊之一所推導出之運動向量的構件；及用於使用該所推導出之運動向量來解碼視訊資料之該當前區塊的構件。
  36. 一種非暫時性電腦可讀媒體，其具有儲存於其上之指令，該等指令在經執行時使一或多個處理器進行以下操作：判定用於推導視訊資料之一當前區塊之運動資訊的一候選運動向量，其中該運動資訊指示該當前區塊相對於參考視訊資料之運動；使用一解碼器側運動向量推導程序在由該候選運動向量所指向之一參考圖像中來執行一運動搜尋，其中該候選運動向量指示用於該解碼器側運動向量推導程序之該參考圖像中之一開始點；基於使用該解碼器側運動向量推導程序之該運動搜尋而判定該當前區塊之一所推導出之運動向量；及使用該所推導出之運動向量來解碼視訊資料之該當前區塊。
TW105109637A 2015-03-27 2016-03-25 視訊寫碼中運動向量推導 TWI714565B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201562139572P 2015-03-27 2015-03-27
US62/139,572 2015-03-27
US201562182367P 2015-06-19 2015-06-19
US62/182,367 2015-06-19
US15/080,478 2016-03-24
US15/080,478 US10200711B2 (en) 2015-03-27 2016-03-24 Motion vector derivation in video coding

Publications (2)

Publication Number Publication Date
TW201639369A TW201639369A (zh) 2016-11-01
TWI714565B true TWI714565B (zh) 2021-01-01

Family

ID=56974464

Family Applications (3)

Application Number Title Priority Date Filing Date
TW105109637A TWI714565B (zh) 2015-03-27 2016-03-25 視訊寫碼中運動向量推導
TW105109638A TW201639370A (zh) 2015-03-27 2016-03-25 視訊寫碼中運動資訊推導模式判定
TW105109601A TWI705703B (zh) 2015-03-27 2016-03-25 於視訊寫碼中針對子區塊推導運動資訊

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW105109638A TW201639370A (zh) 2015-03-27 2016-03-25 視訊寫碼中運動資訊推導模式判定
TW105109601A TWI705703B (zh) 2015-03-27 2016-03-25 於視訊寫碼中針對子區塊推導運動資訊

Country Status (27)

Country Link
US (3) US10200711B2 (zh)
EP (3) EP3275187B1 (zh)
JP (3) JP6740243B2 (zh)
KR (3) KR102519779B1 (zh)
CN (3) CN107409225B (zh)
AU (5) AU2016243518B2 (zh)
BR (2) BR112017020632A2 (zh)
CA (3) CA2976818A1 (zh)
CL (3) CL2017002384A1 (zh)
CO (3) CO2017009672A2 (zh)
DK (2) DK3275186T3 (zh)
ES (2) ES2898862T3 (zh)
HK (1) HK1243259A1 (zh)
HU (2) HUE057250T2 (zh)
IL (1) IL253849B (zh)
MX (3) MX2017012060A (zh)
MY (3) MY188593A (zh)
NZ (2) NZ734552A (zh)
PH (3) PH12017501440A1 (zh)
PL (2) PL3275186T3 (zh)
PT (2) PT3275186T (zh)
RU (3) RU2719296C2 (zh)
SA (3) SA517382334B1 (zh)
SG (3) SG11201706539PA (zh)
SI (2) SI3275188T1 (zh)
TW (3) TWI714565B (zh)
WO (3) WO2016160605A1 (zh)

Families Citing this family (212)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
US10200711B2 (en) 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
US10375413B2 (en) 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
EP3417618A4 (en) * 2016-02-17 2019-07-24 Telefonaktiebolaget LM Ericsson (publ) METHOD AND DEVICES FOR CODING AND DECODING VIDEO IMAGES
WO2017157281A1 (en) * 2016-03-16 2017-09-21 Mediatek Inc. Method and apparatus of pattern-based motion vector derivation for video coding
US11095898B2 (en) * 2016-03-28 2021-08-17 Lg Electronics Inc. Inter-prediction mode based image processing method, and apparatus therefor
KR20180136967A (ko) * 2016-04-22 2018-12-26 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10593015B2 (en) * 2016-05-04 2020-03-17 Texas Instruments Incorporated Apparatus and method for efficient motion estimation
CN109565592B (zh) * 2016-06-24 2020-11-17 华为技术有限公司 一种使用基于分割的视频编码块划分的视频编码设备和方法
CN116708782A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
CN116600111A (zh) * 2016-08-11 2023-08-15 Lx 半导体科技有限公司 图像编码/解码设备和图像数据的发送设备
US10368087B2 (en) * 2016-09-20 2019-07-30 Ati Technologies Ulc Dynamic reload of video encoder motion estimation search window under performance/power constraints
JP6700489B2 (ja) * 2016-09-30 2020-05-27 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． インター予測を介する画像符号化および復号のための方法および装置
US10778999B2 (en) 2016-09-30 2020-09-15 Qualcomm Incorporated Frame rate up-conversion coding mode with affine motion model
US10616582B2 (en) 2016-09-30 2020-04-07 Qualcomm Incorporated Memory and bandwidth reduction of stored data in image/video coding
JP6968228B2 (ja) * 2016-09-30 2021-11-17 華為技術有限公司Huawei Technologies Co., Ltd. インター予測を介する画像符号化および復号のための方法および装置
JP2019530299A (ja) * 2016-10-13 2019-10-17 富士通株式会社 画像コーディング／デコーディング方法、装置及び画像処理機器
CN106780363B (zh) * 2016-11-21 2019-07-23 北京金山安全软件有限公司 一种图片处理方法、装置及电子设备
JP7044778B2 (ja) 2016-11-28 2022-03-30 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読記録媒体
US20210136400A1 (en) * 2016-11-29 2021-05-06 Mediatek Inc. Method and apparatus of merge mode derivation for video coding
KR102414924B1 (ko) 2016-12-05 2022-06-30 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2018110180A1 (ja) * 2016-12-15 2018-06-21 シャープ株式会社 動きベクトル生成装置、予測画像生成装置、動画像復号装置、および動画像符号化装置
CN110140355B (zh) * 2016-12-27 2022-03-08 联发科技股份有限公司 用于视频编解码的双向模板运动向量微调的方法及装置
US10291928B2 (en) * 2017-01-10 2019-05-14 Blackberry Limited Methods and devices for inter-prediction using motion vectors for video coding
CN116962676A (zh) * 2017-01-16 2023-10-27 世宗大学校产学协力团 影像解码/编码方法以及传送比特流的方法
US20200007885A1 (en) * 2017-03-10 2020-01-02 Sony Corporation Image processing apparatus and method
US20200059657A1 (en) * 2017-03-10 2020-02-20 Sony Corporation Image processing apparatus and method
WO2018172609A2 (en) * 2017-03-21 2018-09-27 Nokia Technologies Oy Motion compensation in video encoding and decoding
WO2018173895A1 (ja) * 2017-03-21 2018-09-27 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置
WO2018174618A1 (ko) * 2017-03-22 2018-09-27 한국전자통신연구원 참조 블록을 사용하는 예측 방법 및 장치
US10595035B2 (en) * 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
US10491917B2 (en) * 2017-03-22 2019-11-26 Qualcomm Incorporated Decoder-side motion vector derivation
TWI782974B (zh) 2017-04-13 2022-11-11 美商松下電器（美國）知識產權公司 解碼裝置、解碼方法及非暫時性電腦可讀取媒體
JP6946419B2 (ja) * 2017-04-13 2021-10-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 復号装置、復号方法及びプログラム
WO2018193968A1 (ja) * 2017-04-19 2018-10-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2018193967A1 (ja) * 2017-04-19 2018-10-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN110583020B (zh) * 2017-04-27 2023-08-25 松下电器（美国）知识产权公司 编解码装置及记录介质
US10805630B2 (en) 2017-04-28 2020-10-13 Qualcomm Incorporated Gradient based matching for motion search and derivation
US10735761B2 (en) * 2017-05-19 2020-08-04 Mediatek Inc Method and apparatus of video coding
EP3637772A4 (en) * 2017-06-09 2020-12-09 Electronics and Telecommunications Research Institute VIDEO ENCODING / DECODING METHOD AND DEVICE AND RECORDING MEDIUM FOR STORING BITSTREAM
CN109089119B (zh) * 2017-06-13 2021-08-13 浙江大学 一种运动矢量预测的方法及设备
US11252464B2 (en) 2017-06-14 2022-02-15 Mellanox Technologies, Ltd. Regrouping of video data in host memory
US20200014918A1 (en) * 2018-07-08 2020-01-09 Mellanox Technologies, Ltd. Application accelerator
US20200014945A1 (en) * 2018-07-08 2020-01-09 Mellanox Technologies, Ltd. Application acceleration
US20190007699A1 (en) * 2017-06-28 2019-01-03 Futurewei Technologies, Inc. Decoder Side Motion Vector Derivation in Video Coding
WO2019001741A1 (en) * 2017-06-30 2019-01-03 Huawei Technologies Co., Ltd. MOTION VECTOR REFINEMENT FOR MULTI-REFERENCE PREDICTION
JP2020526114A (ja) * 2017-06-30 2020-08-27 ホアウェイ・テクノロジーズ・カンパニー・リミテッド デコーダ側の動きベクトルの導出に対するエラー耐性及び並列処理
GB2563936A (en) * 2017-06-30 2019-01-02 Canon Kk Method and apparatus for encoding or decoding a flag during video data encoding
CA3151032A1 (en) 2017-06-30 2019-01-03 Huawei Technologies Co., Ltd. Motion vector determination for video frame block inter-prediction
WO2019009567A1 (ko) * 2017-07-03 2019-01-10 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
KR20200014913A (ko) * 2017-07-04 2020-02-11 엘지전자 주식회사 인터 예측 기반의 영상 처리 방법 및 이를 위한 장치
GB2588563B (en) * 2017-07-04 2021-10-20 Canon Kk Method and apparatus for encoding or decoding video data with sub-pixel motion vector refinement
GB2564133B (en) * 2017-07-04 2021-03-17 Canon Kk Method and apparatus for encoding or decoding video data with sub-pixel motion vector refinement
EP3644608A4 (en) * 2017-07-11 2020-06-10 Huawei Technologies Co. Ltd. METHOD AND DEVICE FOR DECODING BASED ON A TEMPLATE
CN110999293B (zh) * 2017-07-31 2022-11-04 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
WO2019032765A1 (en) * 2017-08-09 2019-02-14 Vid Scale, Inc. CONVERSION-ELEVATION OF FRAME FREQUENCY WITH REDUCED COMPLEXITY
JP6994868B2 (ja) 2017-08-09 2022-01-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
US11917128B2 (en) * 2017-08-22 2024-02-27 Google Llc Motion field estimation based on motion trajectory derivation
US10659788B2 (en) 2017-11-20 2020-05-19 Google Llc Block-based optical flow estimation for motion compensated prediction in video coding
EP3451669A1 (en) * 2017-08-29 2019-03-06 Thomson Licensing Methods and apparatus for improved compression/decompression using frame rate up conversion tools
US11457235B2 (en) * 2017-08-29 2022-09-27 Kt Corporation Method for refining a motion vector derived under a merge mode using a difference vector
EP3451665A1 (en) * 2017-09-01 2019-03-06 Thomson Licensing Refinement of internal sub-blocks of a coding unit
CN116886900A (zh) * 2017-09-26 2023-10-13 松下电器（美国）知识产权公司 解码装置、编码装置、解码方法和编码方法
WO2019066602A1 (ko) * 2017-09-29 2019-04-04 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
EP3682634A1 (en) * 2017-10-09 2020-07-22 Huawei Technologies Co., Ltd. Motion vector refinement of a motion vector pointing to a fractional sample position
CN111201795B (zh) 2017-10-09 2022-07-26 华为技术有限公司 存储访问窗口和用于运动矢量修正的填充
CN111567047B (zh) * 2017-10-09 2022-07-22 华为技术有限公司 进行子预测块运动矢量推导的存储器访问窗口
WO2019072368A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. LIMITED MEMORY ACCESS WINDOW FOR MOTION VECTOR REFINEMENT
WO2019072369A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. PRUNING MOTION VECTOR LIST
WO2019072373A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. UPDATING MODELS FOR REFINING MOTION VECTORS
US10785494B2 (en) 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
WO2019087978A1 (ja) * 2017-10-30 2019-05-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
KR102483331B1 (ko) 2017-11-09 2022-12-30 삼성전자주식회사 움직임 정보의 부호화 장치 및 방법, 및 복호화 장치 및 방법
WO2019103564A1 (ko) * 2017-11-27 2019-05-31 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
CN109996081B (zh) * 2017-12-31 2023-09-12 华为技术有限公司 图像预测方法、装置以及编解码器
US20210006824A1 (en) * 2018-01-08 2021-01-07 Samsung Electronics Co., Ltd. Encoding and decoding method for motion information, and encoding and decoding device for motion information
CN111886867B (zh) * 2018-01-09 2023-12-19 夏普株式会社 运动矢量推导装置、运动图像解码装置以及运动图像编码装置
US11265551B2 (en) * 2018-01-18 2022-03-01 Qualcomm Incorporated Decoder-side motion vector derivation
CN118042151A (zh) * 2018-01-25 2024-05-14 三星电子株式会社 使用基于子块的运动补偿进行视频信号处理的方法和装置
US11310526B2 (en) * 2018-01-26 2022-04-19 Mediatek Inc. Hardware friendly constrained motion vector refinement
WO2019146718A1 (ja) * 2018-01-29 2019-08-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10523948B2 (en) 2018-02-05 2019-12-31 Tencent America LLC Method and apparatus for video coding
KR20200118861A (ko) * 2018-02-15 2020-10-16 애리스 엔터프라이지즈 엘엘씨 템플릿 매칭을 위한 가변 템플릿 크기
KR20200097811A (ko) 2018-02-22 2020-08-19 엘지전자 주식회사 영상 코딩 시스템에서 블록 분할 구조에 따른 영상 디코딩 방법 및 장치
KR102579526B1 (ko) * 2018-03-19 2023-09-15 퀄컴 인코포레이티드 어드밴스드 시간 모션 벡터 예측에 대한 개선들
WO2019182329A1 (ko) * 2018-03-19 2019-09-26 인텔렉추얼디스커버리 주식회사 영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체
CN111955008A (zh) * 2018-03-29 2020-11-17 世宗大学校产学协力团 用于对图像编码/解码的方法和设备
CN112040244B (zh) 2018-03-29 2021-06-29 华为技术有限公司 一种双向帧间预测方法及装置
WO2019188942A1 (en) * 2018-03-30 2019-10-03 Sharp Kabushiki Kaisha Systems and methods for performing motion compensated prediction for video coding
EP3777176A4 (en) 2018-03-30 2022-08-17 Hulu, LLC TEMPLATE REFINED BI PREDICTION FOR VIDEO CODING
CN111971966A (zh) * 2018-03-30 2020-11-20 韩国电子通信研究院 图像编码/解码方法和设备以及存储比特流的记录介质
JP7248013B2 (ja) 2018-03-30 2023-03-29 株式会社ソシオネクスト 復号方法、復号装置、符号化装置及びプログラム
TWI700922B (zh) * 2018-04-02 2020-08-01 聯發科技股份有限公司 用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置
CN110337810B (zh) * 2018-04-02 2022-01-14 北京大学 用于视频处理的方法和设备
KR20210157419A (ko) 2018-04-04 2021-12-28 닛폰 호소 교카이 예측 화상 보정 장치, 화상 부호화 장치, 화상 복호 장치, 및 프로그램
US10958928B2 (en) * 2018-04-10 2021-03-23 Qualcomm Incorporated Decoder-side motion vector derivation for video coding
WO2019200366A1 (en) * 2018-04-12 2019-10-17 Arris Enterprises Llc Motion information storage for video coding and signaling
WO2019203517A1 (ko) * 2018-04-15 2019-10-24 엘지전자 주식회사 영상 코딩 시스템에서 움직임 정보 도출 방법 및 장치
WO2019203513A1 (ko) * 2018-04-16 2019-10-24 엘지전자 주식회사 영상 코딩 시스템에서 dmvd 를 이용한 인터 예측에 따른 영상 디코딩 방법 및 장치
US10779002B2 (en) * 2018-04-17 2020-09-15 Qualcomm Incorporated Limitation of the MVP derivation based on decoder-side motion vector derivation
US20210120262A1 (en) * 2018-04-18 2021-04-22 Mediatek Inc. Candidate Reorganizing with Advanced Control in Video Coding
WO2019225932A1 (ko) * 2018-05-21 2019-11-28 엘지전자 주식회사 영상 코딩 시스템에서 dmvr을 사용하는 영상 디코딩 방법 및 그 장치
US20210136398A1 (en) * 2018-05-28 2021-05-06 Interdigital Vc Holdings. Inc. Data dependency in coding/decoding
WO2019228660A1 (en) 2018-06-01 2019-12-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video codec using template matching prediction
KR20210016581A (ko) 2018-06-05 2021-02-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Ibc 및 atmvp 간의 상호 작용
JP2021526329A (ja) 2018-06-07 2021-09-30 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 映像のコード化又は映像の復号のためのシンタックス要素
WO2019234676A1 (en) * 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Mv precision refine
EP3591969A1 (en) * 2018-07-02 2020-01-08 InterDigital VC Holdings, Inc. Syntax elements for video encoding or decoding
CA3100980A1 (en) * 2018-06-08 2019-12-12 Kt Corporation Method and apparatus for processing a video signal
US11647222B2 (en) * 2018-06-18 2023-05-09 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding/decoding image
TWI723430B (zh) * 2018-06-19 2021-04-01 大陸商北京字節跳動網絡技術有限公司 不同精度的多個候選
TWI739120B (zh) 2018-06-21 2021-09-11 大陸商北京字節跳動網絡技術有限公司 合併仿射模式與非合併仿射模式的統一拘束
EP3788782A1 (en) 2018-06-21 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Sub-block mv inheritance between color components
WO2020004931A1 (ko) * 2018-06-27 2020-01-02 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 처리 방법 및 장치
WO2020001578A1 (en) * 2018-06-28 2020-01-02 Huawei Technologies Co., Ltd. Motion vector refinement search with integer pixel resolution
WO2020005002A1 (ko) * 2018-06-28 2020-01-02 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 템플릿 영역 도출 방법 및 장치
CN110662052B (zh) 2018-06-29 2022-07-08 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
CN112335248B (zh) * 2018-06-29 2023-12-05 英迪股份有限公司 使用解码器侧的运动补偿的视频编码方法和装置
WO2020003282A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Managing motion vector predictors for video coding
CN110662054B (zh) 2018-06-29 2023-01-06 北京字节跳动网络技术有限公司 用于视频处理的方法、装置、计算机可读存储介质
BR112020024162A2 (pt) 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método de processamento de vídeo e aparelho para processar dados de vídeo, meios de armazenamento e de gravação legíveis por computador não transitórios, método para armazenar uma representação de fluxo de bits de um vídeo
WO2020003273A1 (en) * 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Extended merge mode
WO2020003269A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Selection of coded motion information for lut updating
CN110662032B (zh) 2018-06-29 2022-09-20 北京字节跳动网络技术有限公司 视频处理方法、装置以及非暂时性计算机可读记录介质
CN110662064B (zh) 2018-06-29 2022-06-14 北京字节跳动网络技术有限公司 Lut中的运动候选的检查顺序
US20210274217A1 (en) * 2018-06-29 2021-09-02 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus for throughput enhancement, and recording medium storing bitstream
BR112020024202A2 (pt) 2018-06-29 2021-02-17 Beijing Bytedance Network Technology Co., Ltd. método de processamento de dados de vídeo, aparelho de processamento de vídeo e meios de armazenamento e gravação legíveis por computador não transitório
TWI719522B (zh) * 2018-06-30 2021-02-21 大陸商北京字節跳動網絡技術有限公司 用於視頻編碼的對稱性雙向預測模式
CN112369035A (zh) * 2018-06-30 2021-02-12 金起佰 图像编码/解码方法和设备
US10638153B2 (en) * 2018-07-02 2020-04-28 Tencent America LLC For decoder side MV derivation and refinement
KR20240008952A (ko) 2018-07-02 2024-01-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측 모드들을 갖는 lut들 및 비인접 블록들로부터의 인트라 모드 예측
WO2020009427A1 (ko) * 2018-07-02 2020-01-09 엘지전자 주식회사 영상 코딩 시스템의 인터 예측에서 템플릿 기반의 후보 리스트 재정렬 방법 및 장치
US10516885B1 (en) * 2018-07-11 2019-12-24 Tencent America LLC Method and apparatus for video coding
US10701384B2 (en) 2018-08-01 2020-06-30 Tencent America LLC Method and apparatus for improvement on decoder side motion derivation and refinement
US11336914B2 (en) * 2018-08-16 2022-05-17 Qualcomm Incorporated History-based candidate list with classification
US10958932B2 (en) * 2018-09-12 2021-03-23 Qualcomm Incorporated Inter-prediction coding of video data using generated motion vector predictor list including non-adjacent blocks
CN116405666A (zh) * 2018-09-13 2023-07-07 华为技术有限公司 用于视频译码中的条件性解码器侧运动矢量修正的装置和方法
EP3827586A1 (en) 2018-09-19 2021-06-02 Beijing Bytedance Network Technology Co. Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
JP6976916B2 (ja) * 2018-09-21 2021-12-08 Kddi株式会社 画像復号装置、画像符号化装置、画像処理システム及びプログラム
TWI818086B (zh) 2018-09-24 2023-10-11 大陸商北京字節跳動網絡技術有限公司 擴展Merge預測
WO2020070729A1 (en) * 2018-10-06 2020-04-09 Beijing Bytedance Network Technology Co., Ltd. Size restriction based on motion information
WO2020084476A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
WO2020084460A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Decoder side motion vector derivation in the presence of multi-hypothesis prediction
CN111083489B (zh) * 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
WO2020084556A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block motion candidate list in video coding
CN112219400B (zh) * 2018-11-06 2024-03-26 北京字节跳动网络技术有限公司 依赖位置的对运动信息的存储
US11936868B2 (en) * 2018-11-08 2024-03-19 Interdigital Vc Holdings, Inc. Quantization for video encoding or decoding based on the surface of a block
AU2019375731A1 (en) 2018-11-08 2021-06-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for encoding/decoding image signal and device therefor
CN116886926A (zh) * 2018-11-10 2023-10-13 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
EP3857879A4 (en) 2018-11-12 2022-03-16 Beijing Bytedance Network Technology Co., Ltd. SIMPLIFICATION OF COMBINED INTER-INTRA PREDICTION
WO2020103852A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Difference calculation based on patial position
WO2020103870A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
WO2020103942A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Sub-block temporal motion vector prediction
WO2020103934A1 (en) * 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Construction method for inter prediction with geometry partition
US10778977B2 (en) * 2018-12-05 2020-09-15 Qualcomm Incorporated Triangle motion information for video coding
CN113196773B (zh) * 2018-12-21 2024-03-08 北京字节跳动网络技术有限公司 具有运动矢量差的Merge模式中的运动矢量精度
EP4277275A3 (en) * 2018-12-21 2023-12-13 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding for deriving affine motion vectors for chroma components
KR20200078378A (ko) * 2018-12-21 2020-07-01 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN113261290B (zh) 2018-12-28 2024-03-12 北京字节跳动网络技术有限公司 基于修改历史的运动预测
CN113302935A (zh) 2019-01-02 2021-08-24 瑞典爱立信有限公司 视频编码/解码系统中的端运动细化
WO2020140243A1 (zh) 2019-01-03 2020-07-09 北京大学 视频图像处理方法与装置
CN113545050B (zh) * 2019-01-03 2023-05-30 北京达佳互联信息技术有限公司 利用三角形预测的视频编解码方法及装置
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Ｌｕｔ更新の起動
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
JP7277590B2 (ja) * 2019-01-18 2023-05-19 ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド モーション補償を用いたビデオ信号処理方法及び装置
WO2020164575A1 (en) * 2019-02-14 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Decoder side motion derivation based on processing parameters
EP3903494A4 (en) 2019-02-28 2022-06-22 Huawei Technologies Co., Ltd. ENCODER, DECODER AND RELATED METHODS FOR INTERPREDICTION
KR102635518B1 (ko) 2019-03-06 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 변환된 단예측 후보의 사용
WO2020185506A1 (en) 2019-03-08 2020-09-17 Beijing Dajia Internet Information Technology Co., Ltd. Bi-directional optical flow and decoder-side motion vector refinement for video coding
CN112468814A (zh) 2019-03-11 2021-03-09 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
EP4274229A1 (en) 2019-03-12 2023-11-08 LG Electronics Inc. Inter-prediction method and device based on dmvr and bdof
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
KR102610709B1 (ko) 2019-04-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
CN113647102A (zh) * 2019-04-09 2021-11-12 北京达佳互联信息技术有限公司 用于在视频编解码中用信号发送合并模式的方法和装置
AU2020256658A1 (en) 2019-04-12 2021-10-28 Beijing Bytedance Network Technology Co., Ltd. Most probable mode list construction for matrix-based intra prediction
CN117499656A (zh) 2019-04-16 2024-02-02 北京字节跳动网络技术有限公司 帧内编解码模式下的矩阵推导
CN113767637B (zh) 2019-04-28 2023-09-22 北京字节跳动网络技术有限公司 对称运动矢量差编解码
WO2020221256A1 (en) * 2019-04-28 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Symmetric motion vector difference coding
CN117097912A (zh) 2019-05-01 2023-11-21 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
KR20220002318A (ko) 2019-05-01 2022-01-06 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 필터링을 이용한 행렬 기반 인트라 예측
JP2022533190A (ja) 2019-05-22 2022-07-21 北京字節跳動網絡技術有限公司 アップサンプリングを使用した行列ベースのイントラ予測
CN114175658A (zh) * 2019-05-26 2022-03-11 北京达佳互联信息技术有限公司 用于改进视频编解码中的运动估计的方法和装置
CN114051735A (zh) 2019-05-31 2022-02-15 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的一步下采样过程
CN117768652A (zh) 2019-06-05 2024-03-26 北京字节跳动网络技术有限公司 视频处理方法、装置、介质、以及存储比特流的方法
CN114026870A (zh) * 2019-06-27 2022-02-08 三星电子株式会社 用于对视频进行解码的方法和设备以及用于对视频进行编码的方法和设备
KR20220032520A (ko) 2019-07-20 2022-03-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 팔레트 모드 사용 지시의 조건 종속적인 코딩
CN114145013B (zh) * 2019-07-23 2023-11-14 北京字节跳动网络技术有限公司 调色板模式编解码的模式确定
JP7322277B2 (ja) 2019-07-27 2023-08-07 北京字節跳動網絡技術有限公司 参照ピクチャタイプに従ったツールの使用制限
KR20220043109A (ko) 2019-08-13 2022-04-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측의 모션 정밀도
CN114424553A (zh) 2019-09-22 2022-04-29 北京字节跳动网络技术有限公司 基于子块的帧间预测的缩放方法
WO2021061023A1 (en) * 2019-09-23 2021-04-01 Huawei Technologies Co., Ltd. Signaling for motion vector refinement
US20210092427A1 (en) * 2019-09-23 2021-03-25 Qualcomm Incorporated Harmonized early termination in bdof and dmvr in video coding
WO2021056205A1 (zh) * 2019-09-24 2021-04-01 北京大学 一种视频处理方法、设备及存储介质
CN110730350B (zh) * 2019-09-25 2021-08-24 杭州电子科技大学 结合编码深度估计和贝叶斯判决的shvc快速编码方法
WO2021056438A1 (zh) * 2019-09-27 2021-04-01 深圳市大疆创新科技有限公司 点云数据处理方法及其装置、激光雷达、可移动平台
WO2020251418A2 (en) * 2019-10-01 2020-12-17 Huawei Technologies Co., Ltd. Method and apparatus of slice-level signaling for bi-directional optical flow and decoder side motion vector refinement
WO2020256601A2 (en) * 2019-10-03 2020-12-24 Huawei Technologies Co., Ltd. Method and apparatus of picture-level signaling for bidirectional optical flow and decoder side motion vector refinement
KR20220082847A (ko) 2019-10-28 2022-06-17 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 색상 성분에 기초한 신택스 시그널링 및 파싱
US11936899B2 (en) * 2021-03-12 2024-03-19 Lemon Inc. Methods and systems for motion candidate derivation
US11671616B2 (en) 2021-03-12 2023-06-06 Lemon Inc. Motion candidate derivation
WO2022211492A1 (ko) * 2021-04-02 2022-10-06 현대자동차주식회사 디코더 측면의 움직임 보상을 이용하는 비디오 코딩방법 및 장치
US11936877B2 (en) * 2021-04-12 2024-03-19 Qualcomm Incorporated Template matching based affine prediction for video coding
US20230139186A1 (en) * 2021-10-28 2023-05-04 Tencent America LLC Template-matching based adaptive motion vector resolution (amvr)
WO2023104083A1 (en) * 2021-12-07 2023-06-15 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023163386A1 (ko) * 2022-02-24 2023-08-31 현대자동차주식회사 블록 경계 불연속성을 감소시키는 비디오 코딩을 위한 방법 및 장치
US20230300364A1 (en) * 2022-03-15 2023-09-21 Tencent America LLC Temporal based subblock type motion vector predictor
US11968356B2 (en) * 2022-03-16 2024-04-23 Qualcomm Incorporated Decoder-side motion vector refinement (DMVR) inter prediction using shared interpolation filters and reference pixels
US20230328225A1 (en) * 2022-04-11 2023-10-12 Tencent America LLC Bilateral matching with affine motion
US20230370604A1 (en) * 2022-05-16 2023-11-16 Tencent America LLC Flexible scaling factors for joint mvd coding
US20230421751A1 (en) * 2022-05-23 2023-12-28 Tencent America LLC Subblock-based motion vector predictor with mv offset derived by template matching
US20240022711A1 (en) * 2022-07-13 2024-01-18 Tencent America LLC Block vector refinement method for intra block copy

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020009143A1 (en) * 2000-06-27 2002-01-24 Bamboo Mediacasting, Inc. Bandwidth scaling of a compressed video stream
US20130188715A1 (en) * 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
US20130336404A1 (en) * 2011-02-10 2013-12-19 Panasonic Corporation Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
WO2015015436A2 (en) * 2013-07-30 2015-02-05 Riversilica Technologies Pvt Ltd System and method for performing optimal temporal predictive mode decision in h.264 video coding

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1578136A3 (en) 1998-01-27 2005-10-19 AT&T Corp. Method and apparatus for encoding video shape and texture information
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7728909B2 (en) * 2005-06-13 2010-06-01 Seiko Epson Corporation Method and system for estimating motion and compensating for perceived motion blur in digital video
EP1775954A1 (en) 2005-10-14 2007-04-18 Thomson Licensing Method and apparatus for reconstructing a video frame for spatial multi-layer video sequence
US20100184212A1 (en) 2007-05-30 2010-07-22 Steven Stice Human embryonic stem cell derived mesoderm-like epithelium transitions to mesenchymal progenitor cells
RU2477576C2 (ru) * 2008-04-10 2013-03-10 Квэлкомм Инкорпорейтед Поддержка интерполяционного фильтра для субпиксельного разрешения в видеокодировании
US9077971B2 (en) 2008-04-10 2015-07-07 Qualcomm Incorporated Interpolation-like filtering of integer-pixel positions in video coding
US8705622B2 (en) 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
JP5406465B2 (ja) 2008-04-24 2014-02-05 株式会社Ｎｔｔドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
US8055025B2 (en) 2008-06-14 2011-11-08 City University Of Hong Kong Motion estimation method
CN101686393B (zh) 2008-09-28 2012-10-17 华为技术有限公司 应用于模板匹配的快速运动搜索方法及装置
KR101279573B1 (ko) 2008-10-31 2013-06-27 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
TWI405469B (zh) 2009-02-20 2013-08-11 Sony Corp Image processing apparatus and method
JP2010268259A (ja) 2009-05-15 2010-11-25 Sony Corp 画像処理装置および方法、並びにプログラム
KR101671460B1 (ko) 2009-09-10 2016-11-02 에스케이 텔레콤주식회사 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
CN102577391A (zh) 2009-10-20 2012-07-11 夏普株式会社 图像编码装置、图像解码装置、以及编码数据的数据结构
KR101839629B1 (ko) 2009-12-08 2018-03-16 톰슨 라이센싱 비디오 인코딩 및 디코딩을 위한 적응적 템플릿 매칭 예측 방법 및 장치
US20110176611A1 (en) * 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
CN102131091B (zh) 2010-01-15 2013-01-23 联发科技股份有限公司 解码端运动向量导出方法
WO2011094871A1 (en) 2010-02-05 2011-08-11 Sensio Technologies Inc. Method and apparatus of frame interpolation
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US8837592B2 (en) 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
US9503743B2 (en) 2010-05-12 2016-11-22 Thomson Licensing Methods and apparatus for uni-prediction of self-derivation of motion estimation
US9165379B2 (en) 2010-09-02 2015-10-20 Lg Electronics Inc. Method for encoding and decoding video, and apparatus using same
WO2012045225A1 (en) 2010-10-06 2012-04-12 Intel Corporation System and method for low complexity motion vector derivation
CN102685504B (zh) 2011-03-10 2015-08-19 华为技术有限公司 视频图像的编解码方法、编码装置、解码装置及其系统
AU2011362447B2 (en) 2011-03-14 2015-09-24 Hfi Innovation Inc. Method and apparatus for deriving temporal motion vector prediction
US20130287111A1 (en) 2011-03-15 2013-10-31 Lidong Xu Low memory access motion vector derivation
US9143795B2 (en) 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
US9247266B2 (en) 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
IL290229B2 (en) 2011-06-16 2023-04-01 Ge Video Compression Llc Entropy coding of motion vector differences
US20130114717A1 (en) 2011-11-07 2013-05-09 Qualcomm Incorporated Generating additional merge candidates
KR101520369B1 (ko) 2011-11-08 2015-05-14 주식회사 케이티 예측 단위의 파티션 모드에 기초한 계수 스캔 방법 및 장치
WO2013095180A1 (en) * 2011-12-22 2013-06-27 Intel Corporation Complexity scalable frame rate up-conversion
WO2013100791A1 (en) 2011-12-30 2013-07-04 Intel Corporation Method of and apparatus for scalable frame rate up-conversion
US9749661B2 (en) 2012-01-18 2017-08-29 Qualcomm Incorporated Sub-streams for wavefront parallel processing in video coding
US9426463B2 (en) 2012-02-08 2016-08-23 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9998726B2 (en) 2012-06-20 2018-06-12 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US9325990B2 (en) 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
WO2014053099A1 (en) 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus for motion information inheritance in three-dimensional video coding
US10375405B2 (en) 2012-10-05 2019-08-06 Qualcomm Incorporated Motion field upsampling for scalable coding based on high efficiency video coding
US9438928B2 (en) 2012-11-05 2016-09-06 Lifesize, Inc. Mechanism for video encoding based on estimates of statistically-popular motion vectors in frame
WO2014078068A1 (en) 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
US9357212B2 (en) 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
US9350970B2 (en) 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
CN104104960B (zh) 2013-04-03 2017-06-27 华为技术有限公司 多级双向运动估计方法及设备
US9762927B2 (en) 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
US9967558B1 (en) * 2013-12-17 2018-05-08 Google Llc Adaptive motion search control for variable block size partitions in video coding
US10531116B2 (en) 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
US9967592B2 (en) * 2014-01-11 2018-05-08 Qualcomm Incorporated Block-based advanced residual prediction for 3D video coding
WO2015109598A1 (en) 2014-01-27 2015-07-30 Mediatek Singapore Pte. Ltd. Methods for motion parameter hole filling
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
US10200711B2 (en) 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
US10778999B2 (en) 2016-09-30 2020-09-15 Qualcomm Incorporated Frame rate up-conversion coding mode with affine motion model
US10616582B2 (en) 2016-09-30 2020-04-07 Qualcomm Incorporated Memory and bandwidth reduction of stored data in image/video coding
US10805630B2 (en) 2017-04-28 2020-10-13 Qualcomm Incorporated Gradient based matching for motion search and derivation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020009143A1 (en) * 2000-06-27 2002-01-24 Bamboo Mediacasting, Inc. Bandwidth scaling of a compressed video stream
US20130336404A1 (en) * 2011-02-10 2013-12-19 Panasonic Corporation Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US20130188715A1 (en) * 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
WO2015015436A2 (en) * 2013-07-30 2015-02-05 Riversilica Technologies Pvt Ltd System and method for performing optimal temporal predictive mode decision in h.264 video coding

Also Published As

Publication number Publication date
MX368146B (es) 2019-09-20
RU2719296C2 (ru) 2020-04-17
RU2017132847A (ru) 2019-04-10
TW201639369A (zh) 2016-11-01
EP3275187A1 (en) 2018-01-31
RU2017133236A3 (zh) 2019-09-20
RU2017133106A3 (zh) 2019-09-11
KR102519778B1 (ko) 2023-04-07
SI3275186T1 (sl) 2021-12-31
CA2976827A1 (en) 2016-10-06
DK3275188T3 (da) 2021-12-13
AU2020207821B2 (en) 2022-04-07
CO2017009672A2 (es) 2017-12-15
SI3275188T1 (sl) 2022-01-31
SG11201706537WA (en) 2017-10-30
PH12017501440A1 (en) 2018-01-15
CO2017009675A2 (es) 2017-12-15
CN107409225B (zh) 2020-01-07
PH12017501471A1 (en) 2018-01-29
US20160286232A1 (en) 2016-09-29
JP6783788B2 (ja) 2020-11-11
BR112017020632A2 (pt) 2018-06-26
CL2017002384A1 (es) 2018-06-15
AU2016243521A1 (en) 2017-08-31
SA517382337B1 (ar) 2021-05-30
US20160286229A1 (en) 2016-09-29
SA517382334B1 (ar) 2021-10-24
MY188593A (en) 2021-12-22
ES2900029T3 (es) 2022-03-15
MY187426A (en) 2021-09-22
AU2020207821A1 (en) 2020-08-06
PT3275186T (pt) 2021-11-25
WO2016160605A1 (en) 2016-10-06
JP6740243B2 (ja) 2020-08-12
MY187812A (en) 2021-10-26
MX2017012060A (es) 2018-01-12
AU2016243518B2 (en) 2020-07-30
MX2017012059A (es) 2018-01-12
PT3275188T (pt) 2021-12-17
CN107534766A (zh) 2018-01-02
PL3275188T3 (pl) 2022-01-31
PH12017501470A1 (en) 2018-01-15
MX2017012065A (es) 2018-01-12
EP3275188A1 (en) 2018-01-31
CA2976818A1 (en) 2016-10-06
CA2976827C (en) 2023-08-29
NZ734552A (en) 2023-04-28
CN107431820A (zh) 2017-12-01
KR102519779B1 (ko) 2023-04-07
AU2016243518A1 (en) 2017-08-31
CN107409225A (zh) 2017-11-28
CN107431820B (zh) 2020-01-10
CO2017009676A2 (es) 2017-12-15
US10958927B2 (en) 2021-03-23
EP3275188B1 (en) 2021-11-17
IL253849A0 (en) 2017-09-28
RU2017133236A (ru) 2019-04-05
BR112017020627A2 (pt) 2018-07-03
WO2016160608A1 (en) 2016-10-06
SG11201706534TA (en) 2017-10-30
AU2020204590A1 (en) 2020-07-30
SA517382335B1 (ar) 2022-02-06
KR102520296B1 (ko) 2023-04-10
DK3275186T3 (da) 2021-11-22
JP2018512810A (ja) 2018-05-17
CA2976828A1 (en) 2016-10-06
KR20170131448A (ko) 2017-11-29
US10200711B2 (en) 2019-02-05
BR112017020635A2 (pt) 2018-06-26
RU2017133106A (ru) 2019-04-04
CL2017002423A1 (es) 2018-07-13
KR20170131446A (ko) 2017-11-29
US20160286230A1 (en) 2016-09-29
CL2017002383A1 (es) 2018-06-15
JP2018513611A (ja) 2018-05-24
PL3275186T3 (pl) 2022-01-24
SG11201706539PA (en) 2017-10-30
ES2898862T3 (es) 2022-03-09
RU2705428C2 (ru) 2019-11-07
HUE056702T2 (hu) 2022-03-28
EP3275186A1 (en) 2018-01-31
JP2018513612A (ja) 2018-05-24
HK1243259A1 (zh) 2018-07-06
US11330284B2 (en) 2022-05-10
NZ734554A (en) 2023-03-31
KR20170131447A (ko) 2017-11-29
RU2742298C2 (ru) 2021-02-04
WO2016160609A1 (en) 2016-10-06
RU2017132847A3 (zh) 2019-09-25
TWI705703B (zh) 2020-09-21
IL253849B (en) 2021-03-25
TW201639368A (zh) 2016-11-01
TW201639370A (zh) 2016-11-01
HUE057250T2 (hu) 2022-04-28
EP3275186B1 (en) 2021-10-20
EP3275187B1 (en) 2021-09-29
AU2016243520A1 (en) 2017-08-31
CN107534766B (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
TWI714565B (zh) 視訊寫碼中運動向量推導
TWI718412B (zh) 用於訊框速率上升轉換(fruc)之低複雜度設計
TWI736872B (zh) 基於解碼器側運動向量推導之運動向量預測推導之限制
CN111602399B (zh) 改进的解码器侧运动矢量推导
US10757442B2 (en) Partial reconstruction based template matching for motion vector derivation
US11425387B2 (en) Simplified local illumination compensation
TW201830966A (zh) 用於雙向光學流（ｂｉｏ）之運動向量重建
TW201711463A (zh) 判定用於視訊寫碼之照明補償狀態之系統及方法
TW201703531A (zh) 判定用於視訊寫碼之照明補償狀態之系統及方法