TW202025727A - 向量預測器清單之產生 - Google Patents

向量預測器清單之產生 Download PDF

Info

Publication number
TW202025727A
TW202025727A TW108133115A TW108133115A TW202025727A TW 202025727 A TW202025727 A TW 202025727A TW 108133115 A TW108133115 A TW 108133115A TW 108133115 A TW108133115 A TW 108133115A TW 202025727 A TW202025727 A TW 202025727A
Authority
TW
Taiwan
Prior art keywords
block
motion vector
video
same
vector predictor
Prior art date
Application number
TW108133115A
Other languages
English (en)
Inventor
錢威俊
韓宇
黃漢
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202025727A publication Critical patent/TW202025727A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明描述一種用於寫碼視訊資料之實例器件，該實例器件包括一處理器，該處理器經組態以建構一當前視訊資料區塊之一運動向量預測器清單。該處理器添加與該當前區塊直接相鄰之一第一區塊集合的運動向量至該運動向量預測器清單。該處理器判定用於與該當前區塊分開一或多個區塊之一第二區塊集合的運動向量是否係該運動向量預測器清單中之運動向量的重複，若不是，則添加該等運動向量至該運動向量預測器清單。該處理器運用一運動向量對該當前區塊進行框間預測寫碼並使用該運動向量預測器清單對該運動向量進行寫碼。該處理器可進一步使用一時間運動向量作為該運動向量之一運動向量預測器。

Description

向量預測器清單之產生
本發明係關於視訊編碼及視訊解碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、ITU-T H.265/高效視訊寫碼(HEVC)定義之標準，及此等標準的擴展中所描述之技術。視訊器件可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除為視訊序列所固有的冗餘。對於基於區塊之視訊寫碼，視訊圖塊(例如，視訊圖像或視訊圖像的一部分)可分割成視訊區塊，視訊區塊亦可被稱作寫碼樹型單元(CTU)、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)之圖塊中的視訊區塊。圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
一般而言，本發明描述用於預測器選擇(諸如用於運動向量)之技術。該等技術可應用於現有視訊編碼解碼器(諸如，高效率視訊寫碼(HEVC))，或可為未來視訊寫碼標準中之高效寫碼工具。舉例而言，本發明描述用以自相鄰區塊及對應時間區塊產生當前區塊之運動向量預測器的實例技術。基於運動向量預測器導出當前區塊之運動向量。在一些實例中，該等技術可用以經由使用快速精簡演算法降低運動向量預測器清單產生之複雜度。運動向量預測器清單可用於合併候選者清單產生，或用於其他運動向量預測器清單產生之領域，諸如進階運動向量預測(AMVP)清單及仿射MVP清單。
在一個實例中，一種寫碼(編碼或解碼)一當前視訊資料區塊的方法包括建構一當前視訊資料區塊的一運動向量預測器清單，其中建構該運動向量預測器清單包含：判定一第一區塊集合中之區塊的運動向量，該第一區塊集合包含與該當前區塊直接相鄰之區塊；判定一第二區塊集合中之一第一區塊的一第一運動向量，該第二區塊集合包含與該當前區塊分開一或多個區塊的區塊；判定該第二區塊集合中之一第二區塊的一第二運動向量；判定該第二運動向量是否與該第二區塊集合中之該第一區塊的該第一運動向量相同或是否與來自該第一區塊集合中之一區塊子集中的一區塊的一運動向量相同；回應於判定該第二運動向量與該第二區塊集合中之該第一區塊的該第一運動向量不相同且與來自該第一區塊集合之該區塊子集中之任一區塊的任一運動向量不相同，將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中；回應於判定該第二運動向量與該第二區塊集合中之該第一區塊的該第一運動向量相同或與來自該第一區塊集合之該區塊子集中之任一區塊的一運動向量相同，略過將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中；使用該當前區塊之一運動向量對該當前區塊進行框間預測寫碼；及使用該運動向量預測器清單對該運動向量進行寫碼。
在另一實例中，一種寫碼一當前視訊資料區塊的器件包括：一記憶體，其經組態以儲存視訊資料；及一或多個處理器，其實施於電路中且經組態以：建構該視訊資料之一當前區塊的一運動向量預測器清單，其中為建構該運動向量預測器清單，該一或多個處理器經組態以：判定一第一區塊集合中之區塊的運動向量，該第一區塊集合包含與該當前區塊直接相鄰之區塊；判定一第二區塊集合中之一第一區塊的一第一運動向量，該第二區塊集合包含與該當前區塊分開一或多個區塊的區塊；判定該第二區塊集合中之一第二區塊的一第二運動向量；判定該第二運動向量是否與該第二區塊集合中之該第一區塊的該第一運動向量相同或是否與來自該第一區塊集合中之一區塊子集中的一區塊的一運動向量相同；回應於判定該第二運動向量與該第二區塊集合中之該第一區塊的該第一運動向量不相同且與來自該第一區塊集合之該區塊子集中之任一區塊的任一運動向量不相同，將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中；回應於判定該第二運動向量與該第二區塊集合中之該第一區塊的該第一運動向量相同或與來自該第一區塊集合之該區塊子集中之任一區塊的一運動向量相同，略過將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中；使用該當前區塊之一運動向量對該當前區塊進行框間預測寫碼；及使用該運動向量預測器清單對該運動向量進行寫碼。
在另一實例中，一種電腦可讀儲存媒體上儲存有指令，該等指令當經執行時促使一處理器建構一當前視訊資料區塊的一運動向量預測器清單，其中為建構該運動向量預測器清單，該等指令促使該處理器：判定一第一區塊集合中之區塊的運動向量，該第一區塊集合包含與該當前區塊直接相鄰之區塊；判定一第二區塊集合中之一第一區塊的一第一運動向量，該第二區塊集合包含與該當前區塊分開一或多個區塊的區塊；判定該第二區塊集合中之一第二區塊的一第二運動向量；判定該第二運動向量是否與該第二區塊集合中之該第一區塊的該第一運動向量相同或是否與來自該第一區塊集合中之一區塊子集中的一區塊的一運動向量相同；回應於判定該第二運動向量與該第二區塊集合中之該第一區塊的該第一運動向量不相同且與來自該第一區塊集合之該區塊子集中之任一區塊的任一運動向量不相同，將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中；回應於判定該第二運動向量與該第二區塊集合中之該第一區塊的該第一運動向量相同或與來自該第一區塊集合之該區塊子集中之任一區塊的一運動向量相同，略過將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中；使用該當前區塊之一運動向量對該當前區塊進行框間預測寫碼；及使用該運動向量預測器清單對該運動向量進行寫碼。
在另一實例中，一種用於寫碼視訊資料之器件包括用於建構一當前視訊資料區塊的一運動向量預測器清單的構件，其中用於建構該運動向量預測器清單的該構件包含：用於判定一第一區塊集合中之區塊的運動向量的構件，該第一區塊集合包含與該當前區塊直接相鄰之區塊；用於判定一第二區塊集合中之一第一區塊的一第一運動向量的構件，該第二區塊集合包含與該當前區塊分開一或多個區塊的區塊；用於判定該第二區塊集合中之一第二區塊的一第二運動向量的構件；用於判定該第二運動向量是否與該第二區塊集合中之該第一區塊的該第一運動向量相同或是否與來自該第一區塊集合中之一區塊子集中的一區塊的一運動向量相同的構件；用於回應於判定該第二運動向量與該第二區塊集合中之該第一區塊的該第一運動向量不相同且與來自該第一區塊集合之該區塊子集中之任一區塊的任一運動向量不相同，將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中的構件；用於回應於判定該第二運動向量與該第二區塊集合中之該第一區塊的該第一運動向量相同或與來自該第一區塊集合之該區塊子集中之任一區塊的一運動向量相同，略過將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中的構件；用於使用該當前區塊之一運動向量對該當前區塊進行框間預測寫碼的構件；及用於使用該運動向量預測器清單對該運動向量進行寫碼的構件。
在隨附圖式及以下描述中闡述一或多個實例之細節。其他特徵、目標及優勢自實施方式、圖式及申請專利範圍將為顯而易見的。
本申請案主張2018年9月12日申請之美國臨時申請案第62 /730 , 495 號及2018年9月17日申請之美國臨時申請案第62 /732 , 526 號之權利，該兩個文獻之全部內容以引用的方式併入本文中。
本發明係關於運動向量預測器選擇。在視訊寫碼中，諸如在框間預測中，基於預測區塊來預測當前區塊。當前區塊之運動向量識別一參考區塊以用以產生預測區塊。用信號發送運動向量之＜x,y＞座標可能需要比運動向量預測器技術更多之頻寬，藉由該運動向量預測器技術，視訊解碼器可導出運動向量。
舉例而言，在運動向量預測器技術(諸如合併/跳過模式、進階運動向量預測(AMVP)模式或仿射合併/AMVP模式之彼等技術)中，視訊編碼器及視訊解碼器各自建構相同運動向量預測器清單，該等運動向量預測器清單包括充當當前區塊之運動向量之候選者預測器的運動向量之清單。運動向量預測器清單中之運動向量預測器可為空間相鄰或鄰近之區塊的運動向量，或時間區塊(例如與包括經編碼或經解碼之當前區塊的當前圖像不同之圖像中的區塊)之運動向量。
並非用信號發送＜x,y＞座標，而是視訊編碼器將索引用信號發送至運動向量預測器清單中。視訊解碼器基於至運動向量預測器清單中之索引來判定運動向量預測器，且基於運動向量預測器來產生當前區塊之運動向量。舉例而言，在合併模式下，視訊解碼器將當前區塊之運動向量設置為等於運動向量預測器。在AMVP模式下，視訊解碼器亦接收運動向量與運動向量預測器之間的運動向量差(MVD)。視訊解碼器將MVD添加至運動向量預測器以判定當前區塊之運動向量。
本發明描述用於建構運動向量預測器清單之實例技術。舉例而言，可能出現的影響寫碼效率的一個技術問題為在運動向量預測器清單中可存在運動向量預測器之重複(例如同一運動向量預測器在運動向量預測器清單中之多個位置中存在)。在此情況下，在運動向量預測器清單中可不存在足夠的可用空間，且更佳運動向量預測器可不包括於運動向量預測器清單中，此係由於運動向量預測器之重複已用完運動向量預測器清單中之可用槽。
克服此類缺陷之一種方式為「精簡」運動向量預測器清單以移除運動向量預測器之重複。然而，當運動向量預測器清單之大小增加時，檢查以確保不存在重複所需之時脈循環的數目可促使視訊編碼或解碼程序之減速。
本發明描述即使在運動向量預測器清單之大小相對較大的情況下亦提供快速精簡之一或多種實例技術。舉例而言，視訊寫碼器(例如視訊編碼器或視訊解碼器)可將相鄰區塊分組成區塊集合(例如第一區塊集合、第二區塊集合等)。
另外或替代地，視訊寫碼器可判定是否已對運動向量預測器清單執行最大數目個精簡操作。在一些實例中，若精簡操作之數目達到最大允許數目，則視訊寫碼器可在不精簡情況下添加新的潛在候選者至清單。在一些實例中，若精簡操作之數目達到最大允許數目，則視訊寫碼器可不添加新的潛在候選者至清單。視訊寫碼器亦可添加預設候選者至清單。
視訊寫碼器可包括第二區塊集合中之第一區塊的運動向量。視訊寫碼器接著可判定第二區塊集合中之第二區塊的運動向量是否與第二區塊集合中之第一區塊的運動向量相同，或是否與第一區塊集合之區塊子集的運動向量相同。作為一個實例，該子集可包括具有運動向量之第一區塊集合中之前兩個區塊。
若第二區塊之運動向量與此等運動向量中之任一者相同，則視訊寫碼器可略過將第二區塊集合中之第二區塊的運動向量插入於運動向量預測器清單中(例如不插入或避免插入)。若第二區塊之運動向量與所有此等運動向量不同，則視訊寫碼器可將第二區塊集合中之第二區塊的運動向量插入於運動向量預測器清單中。
視訊寫碼器可針對第二區塊群組中之其他區塊重複此類操作，且針對第三區塊群組中之區塊重複此類操作。在以上實例中，第二區塊集合中之第一區塊為可以係與第二區塊集合中之第二區塊在空間上最接近的區塊之區塊，且第一區塊可為預先經檢查以判定是否要將第一區塊之運動向量包括在運動向量預測器清單中的區塊。
在一些實例中，第一區塊集合包括與當前區塊直接相鄰之區塊。第二區塊集合、第三區塊集合等包括與當前區塊分開一或多個區塊的區塊。
視訊寫碼器亦可判定額外運動向量預測器。舉例而言，視訊寫碼器可基於第一群組中之區塊的運動向量、第二群組中之區塊的運動向量、第三群組中之區塊的運動向量等來判定額外運動向量預測器。在一個實例中，視訊寫碼器可對第一區塊集合中之兩個或大於兩個區塊的運動向量及時間運動向量預測器求平均值，以判定第一額外運動向量預測器。視訊寫碼器可對第二區塊集合及第三區塊集合執行類似操作以再多判定兩個運動向量預測器。
以此方式，本發明描述用於以高效方式建構運動向量預測器清單的技術之實例，視訊編碼器及視訊解碼器使用該運動向量預測器清單進行框間預測。此等實例技術可解決視訊寫碼器之操作中所存在之技術問題，諸如當視訊寫碼器正判定是否要將運動向量預測器包括在運動向量預測器清單中時，縮減處理時間。
圖1為說明可執行本發明之技術之實例視訊編碼及解碼系統100的方塊圖。本發明之技術大體上係針對寫碼(編碼及/或解碼)視訊資料。一般而言，視訊資料包括用於處理視訊之任何資料。因此，視訊資料可包括原始未經寫碼之視訊、經編碼視訊、經解碼(例如經重建構)視訊及視訊後設資料，諸如用信號發送之資料。
如圖1中所示，在此實例中，系統100包括源器件102，其提供待由目的地器件116解碼及顯示之經編碼視訊資料。詳言之，源器件102經由電腦可讀媒體110將視訊資料提供至目的地器件116。源器件102及目的地器件116可為廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型(例如，膝上型)電腦、平板電腦、機上盒、諸如智慧型電話之電話手持機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或其類似者。在一些情況下，源器件102及目的地器件116可經裝備用於無線通信，且由此可稱為無線通信器件。
在圖1之實例中，源器件102包括視訊源104、記憶體106、視訊編碼器200及輸出介面108。目的地器件116包括輸入介面122、視訊解碼器300、記憶體120及顯示器件118。根據本發明，源器件102之視訊編碼器200及目的地器件116之視訊解碼器300可經組態以應用用於建構運動向量預測器清單之技術。由此，源器件102表示視訊編碼器件之實例，而目的地器件116表示視訊解碼器件之實例。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件102可自外部視訊源(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件116可與外部顯示器件介接，而非包括整合式顯示器件。
如圖1中所示的系統100僅為一個實例。一般而言，任何數位視訊編碼及/或解碼器件可執行用於建構運動向量預測器清單之技術。源器件102及目的地器件116僅為源器件102產生經寫碼視訊資料以供傳輸至目的地器件116的此類寫碼器件之實例。本發明將「寫碼」器件稱為對資料執行寫碼(編碼及/或解碼)之器件。由此，視訊編碼器200及視訊解碼器300表示寫碼器件之實例，特定而言分別表示視訊編碼器及視訊解碼器之實例。在一些實例中，器件102、116可以實質上對稱之方式操作，使得器件102、116中之每一者包括視訊編碼及解碼組件。因此，系統100可支援視訊器件102、116之間的單向或雙向視訊傳輸以(例如)用於視訊串流、視訊播放、視訊廣播或視訊電話。
一般而言，視訊源104表示視訊資料源(亦即，原始未經寫碼的視訊資料)且將視訊資料之依序圖像(亦稱為「圖框」)序列提供至視訊編碼器200，該視訊編碼器編碼圖像之資料。源器件102之視訊源104可包括視訊捕捉器件，諸如視訊攝影機、含有先前捕捉之原始視訊的視訊存檔及/或用於自視訊內容提供者接收視訊的視訊饋入介面。作為另一替代，視訊源104可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在每一情況下，視訊編碼器200對所捕捉、所預先捕捉或電腦產生之視訊資料進行編碼。視訊編碼器200可將圖像之接收次序(有時稱作「顯示次序」)重新配置成寫碼次序以供寫碼。視訊編碼器200可產生包括經編碼視訊資料之位元串流。源器件102接著可經由輸出介面108輸出經編碼視訊資料至電腦可讀媒體110上以由例如目的地器件116之輸入介面122接收及/或擷取。
源器件102之記憶體106及目的地器件116之記憶體120表示通用記憶體。在一些實例中，記憶體106、120可儲存原始視訊資料，例如來自視訊源104之原始視訊及來自視訊解碼器300之原始經解碼視訊資料。另外或替代地，記憶體106、120可儲存可分別由例如視訊編碼器200及視訊解碼器300執行之軟體指令。儘管在此實例中展示為與視訊編碼器200及視訊解碼器300分開，但應理解，視訊編碼器200及視訊解碼器300亦可包括功能上類似或同等目的之內部記憶體。此外，記憶體106、120可儲存例如自視訊編碼器200輸出及輸入至視訊解碼器300的經編碼視訊資料。在一些實例中，可分配記憶體106、120之部分作為一或多個視訊緩衝器，以例如儲存原始、經解碼及/或經編碼視訊資料。
電腦可讀媒體110可表示能夠將經編碼視訊資料自源器件102傳送至目的地器件116的任何類型的媒體或器件。在一個實例中，電腦可讀媒體110表示用以使源器件102能即時例如經由射頻網路或基於電腦之網路直接傳輸經編碼視訊資料至目的地器件116的通信媒體。根據諸如無線通信協定之通信標準，輸出介面108可調變包括經編碼視訊資料之傳輸信號，且輸入介面122可調變所接收之傳輸信號。通信媒體可包括無線或有線通信媒體中之一者或兩者，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件102至目的地器件116的通信之任何其他裝備。
在一些實例中，源器件102可將經編碼資料自輸出介面108輸出至儲存器件116。類似地，目的地器件116可經由輸入介面122自儲存器件116存取經編碼資料。儲存器件116可包括多種分散式或本端存取式資料儲存媒體中之任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料的任何其他合適之數位儲存媒體。
在一些實例中，源器件102可將經編碼視訊資料輸出至檔案伺服器114，或可儲存由源器件102產生之經編碼視訊的另一中間儲存器件。目的地器件116可經由串流傳輸或下載而自檔案伺服器114存取所儲存之視訊資料。檔案伺服器114可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件116的任何類型之伺服器器件。檔案伺服器114可表示網頁伺服器(例如用於網站)、檔案傳送協定(FTP)伺服器、內容遞送網路器件或網路附接儲存(NAS)器件。目的地器件116可經由包括網際網路連接之任何標準資料連接自檔案伺服器114存取經編碼視訊資料。此可包括適用於存取儲存於檔案伺服器114上之經編碼視訊資料的無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)或兩者之組合。檔案伺服器114及輸入介面122可經組態以根據串流傳輸協定、下載傳輸協定或其組合操作。
輸出介面108及輸入介面122可表示無線傳輸器/接收器、數據機、有線網路連接組件(例如，乙太網卡)、根據多種IEEE 802.11標準中之任一者來操作的無線通信組件或其他實體組件。在輸出介面108及輸入介面122包括無線組件之實例中，輸出介面108及輸入介面122可經組態以根據諸如4G、4G-LTE (長期演進)、進階LTE、5G等蜂巢式通信標準來傳送資料，諸如經編碼視訊資料。在輸出介面108包括無線傳輸器之一些實例中，輸出介面108及輸入介面122可經組態以根據諸如IEEE 802.11規格、IEEE 802.15規格(例如，ZigBee™)、Bluetooth™標準或類似者之其他無線標準來傳送資料，諸如經編碼視訊資料。在一些實例中，源器件102及/或目的地器件116可包括各別晶片上系統(SoC)器件。舉例而言，源器件102可包括SoC器件以執行歸於視訊編碼器200及/或輸出介面108之功能性，且目的地器件116可包括SoC器件以執行歸於視訊解碼器300及/或輸入介面122之功能性。
本發明之技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。
目的地器件116之輸入介面122自電腦可讀媒體110 (例如儲存器件112、檔案伺服器114或類似者)接收經編碼視訊位元串流。經編碼視訊位元串流電腦可讀媒體110可包括由視訊編碼器200界定的用信號發送資訊(其亦由視訊解碼器300使用)，諸如具有描述視訊區塊或其他經寫碼單元(例如圖塊、圖像、圖像之群組、序列或類似者)的特性及/或處理之值的語法元素。顯示器件118向使用者顯示經解碼視訊資料之經解碼圖像。顯示器件118可表示各種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
儘管圖1中未展示，但在一些實例中，視訊編碼器200及視訊解碼器300可各自與音訊編碼器及/或音訊解碼器整合，且可包括適當的MUX-DEMUX單元或其他硬體及/或軟體，以處置在共同資料串流中包括音訊及視訊兩者之多工串流。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器200及視訊解碼器300各自可被實施為多種合適編碼器及/或解碼器電路中的任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合的電路。當該等技術以軟體部分地實施時，器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器200及視訊解碼器300中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中的任一者可整合為各別器件中之組合式編碼器/解碼器(編碼解碼器)的部分。包括視訊編碼器200及/或視訊解碼器300之器件可包括積體電路、微處理器及/或無線通信器件(諸如蜂巢式電話)。
視訊編碼器200及視訊解碼器300可根據視訊寫碼標準操作，諸如ITU-T H.265，亦被稱作高效視訊寫碼(HEVC)或其擴展，諸如多視圖及/或可調式視訊寫碼擴展。可替代地，視訊編碼器200及視訊解碼器300可根據其他專有或工業標準操作，諸如聯合探索測試模型(JEM)用於當前處於開發中之通用視訊寫碼(VVC)標準。下文更詳細地描述該VCC標準。然而，本發明之技術不限於任何特定寫碼標準。
一般而言，視訊編碼器200及視訊解碼器300可執行圖像之基於區塊寫碼。術語「區塊」一般係指包括待處理(例如編碼、解碼或以其他方式在編碼及/或解碼程序中使用)之資料的結構。舉例而言，區塊可包括明度及/或色度資料之樣本的二維矩陣。一般而言，視訊編碼器200及視訊解碼器300可寫碼以YUV (例如Y、Cb、Cr)格式表示之視訊資料。亦即，視訊編碼器200及視訊解碼器300可寫碼明度及色度分量，而非寫碼圖像之樣本的紅色、綠色及藍色(RGB)資料，其中該等色度分量可包括紅色調及藍色調色度分量兩者。在一些實例中，視訊編碼器200在編碼之前將所接收的RGB格式資料轉換成YUV表示，且視訊解碼器300將YUV表示轉換成RGB格式。可替代地，預處理單元及後處理單元(圖中未示)可執行此等轉換。
本發明大體上可指對圖像進行寫碼(例如編碼及解碼)以包括編碼或解碼圖像之資料的程序。類似地，本發明可指對圖像之區塊進行寫碼以包括編碼或解碼區塊之資料的程序，例如，預測及/或殘餘寫碼。經編碼視訊位元串流大體上包括表示寫碼決策(例如寫碼模式)及圖像成區塊之分割的語法元素的一系列值。由此，對寫碼圖像或區塊之參考一般應理解為寫碼形成該圖像或區塊之語法元素的值。
HEVC定義各種區塊，包括寫碼單元(CU)、預測單元(PU)，以及變換單元(TU)。根據HEVC，視訊寫碼器(諸如視訊編碼器200)根據四分樹結構將寫碼樹型單元(CTU)分割成CU。亦即，視訊寫碼器將CTU及CU分割成四個相同的非重疊正方形，且四分樹之每一節點具有零個或四個子節點。不具有子節點之節點可被稱作「葉節點」，且此類葉節點之CU可包括一或多個PU及/或一或多個TU。視訊寫碼器可進一步分割PU及TU。舉例而言，在HEVC中，殘餘四分樹(RQT)表示TU之分割。在HEVC中，PU表示框間預測資料，而TU表示殘餘資料。經框內預測之CU包括框內預測資訊，諸如框內模式指示。
作為另一實例，視訊編碼器200及視訊解碼器300可經組態以根據用於VVC之JEM操作。根據JEM，視訊寫碼器(諸如視訊編碼器200)將圖像分割成複數個CTU。視訊編碼器200可根據樹狀結構(諸如四分樹二元樹(QTBT)結構)分割CTU。JEM之QTBT結構移除多個分割類型之概念，諸如HEVC之CU、PU及TU之間的間距。JEM之QTBT結構包括兩個層級：根據四分樹分割進行分割的第一層級，及根據二元樹分割進行分割的第二層級。QTBT結構之根節點對應於CTU。二進位樹之葉節點對應於寫碼單元(CU)。
在一些實例中，視訊編碼器200及視訊解碼器300可使用單一QTBT結構以表示明度及色度分量中之每一者，而在其他實例中，視訊編碼器200及視訊解碼器300可使用兩個或大於兩個QTBT結構，諸如用於明度分量之一個QTBT結構及用於兩個色度分量之另一QTBT結構(或用於各別色度分量之兩個QTBT結構)。
視訊編碼器200及視訊解碼器300可經組態以使用根據HEVC之四分樹分割、根據JEM之QTBT分割，或其他分割結構。出於解釋之目的，關於QTBT分割呈現本發明之技術的描述。然而，應理解，本發明之技術亦可應用於經組態以使用四分樹分割亦或其他類型之分割的視訊寫碼器。
本發明可能可互換地使用「N×N」及「N乘N」以指區塊(諸如CU或其他視訊區塊)在豎直及水平尺寸方面之樣本尺寸，例如16×16樣本或16乘16樣本。一般而言，16×16 CU在豎直方向上將具有16個樣本(y = 16)且在水平方向上將具有16個樣本(x = 16)。同樣地，N×N CU大體在豎直方向上具有N個樣本且在水平方向上具有N個樣本，其中N表示非負整數值。可按列及行來配置CU中之樣本。此外，CU不一定在水平方向上及豎直方向上具有相同數目個樣本。舉例而言，CU可包括N×M個樣本，其中M不必等於N。
視訊編碼器200編碼CU之表示預測及/或殘餘資訊及其他資訊的視訊資料。預測資訊指示將如何對CU進行預測以便形成CU之預測區塊。殘餘資訊大體上表示編碼前CU與預測區塊之樣本之間的逐樣本差。
為預測CU，視訊編碼器200大體上可經由框間預測或框內預測形成CU之預測區塊。框間預測一般係指自先前經寫碼圖像之資料預測CU，而框內預測一般係指自同一圖像之先前經寫碼資料預測CU。為執行框間預測，視訊編碼器200可使用一或多個運動向量來產生預測區塊。視訊編碼器200可大體上執行運動搜尋以例如依據在CU與參考區塊之間的差識別緊密匹配CU的參考區塊。視訊編碼器200可使用絕對差總和(SAD)、平方差總和(SSD)、平均絕對差(MAD)、均方差(MSD)或其他此類差計算來計算差度量，以判定參考區塊是否緊密匹配當前CU。在一些實例中，視訊編碼器200可使用單向預測或雙向預測來預測當前CU。
根據本發明之技術，如下文更詳細地論述，在執行運動搜尋以識別運動向量以產生預測區塊之後，視訊編碼器200可編碼運動向量。詳言之，視訊編碼器200可建構運動向量預測器清單以包括多種在空間上及/或在時間上與當前區塊相鄰的區塊之運動向量。詳言之，一第一相鄰區塊集合可與當前區塊直接相鄰，且第二相鄰區塊集合可與當前區塊分開一或多個區塊。若運動向量與第一區塊集合之運動向量相同，則視訊編碼器200可避免添加第二區塊集合之運動向量至運動向量預測器清單。視訊編碼器200接著可自運動向量預測器清單選擇一運動向量預測器並使用該運動向量預測器編碼用以產生預測區塊之運動向量。
JEM亦提供仿射運動補償模式，其可被視為框間預測模式。在仿射運動補償模式中，視訊編碼器200可判定表示非平移運動(諸如放大或縮小、旋轉、透視運動或其他不規則運動類型)之兩個或大於兩個運動向量。
為了執行框內預測，視訊編碼器200可選擇框內預測模式以產生預測區塊。JEM提供六十七種框內預測模式，包括各種定向模式以及planar模式及DC模式。一般而言，視訊編碼器200選擇描述預測當前區塊之樣本所藉以的當前區塊(例如CU之區塊)之相鄰樣本的框內預測模式。此類樣本可與當前區塊在同一圖像中，在當前區塊之上方、左上方或左側，假定視訊編碼器200以光柵掃描次序(左至右、上至下)寫碼CTU及CU。
視訊編碼器200編碼表示當前區塊之預測模式的資料。舉例而言，針對框間預測模式，視訊編碼器200可編碼表示使用多種可用框間預測模式中之何者以及對應模式之運動資訊的資料。舉例而言，對於單向或雙向框間預測，視訊編碼器200可使用進階運動向量預測(AMVP)或合併模式來編碼運動向量。視訊編碼器200可使用類似模式來對仿射運動補償模式之運動向量進行編碼。
在區塊之預測(諸如框內預測或框間預測)之後，視訊編碼器200可計算該區塊之殘餘資料。殘餘資料(諸如殘餘區塊)表示區塊與該區塊之使用對應預測模式所形成的預測區塊之間的逐樣本差。視訊編碼器200可將一或多個變換應用於殘餘區塊，以在變換域而非樣本域中產生經轉換資料。舉例而言，視訊編碼器200可將離散餘弦變換(DCT)、整數變換、小波變換或概念上類似的變換應用於殘餘視訊資料。另外，視訊編碼器200可在一級變換之後應用二級變換，諸如模式依賴不可分離二級變換(MDNSST)、信號依賴變換、Karhunen-Loeve變換(KLT)或其類似者。視訊編碼器200在應用一或多個變換之後產生變換係數。
如上文所提及，在產生變換係數的任何變換之後，視訊編碼器200可執行變換係數之量化。量化大體上指變換係數經量化以可能減少用以表示變換係數的資料之量，從而提供進一步壓縮之程序。藉由執行量化程序，視訊編碼器200可降低與係數中之一些或所有相關聯的位元深度。舉例而言，視訊編碼器200可在量化期間將n 位元值捨入至m 位元值，其中n 大於m 。在一些實例中，為了執行量化，視訊編碼器200可執行待量化值之按位元右移位。
在量化之後，視訊編碼器200可掃描變換係數，從而自包括經量化變換係數之二維矩陣產生一維向量。掃描可經設計以將較高能量(且因此較低頻率)係數置於向量前部，且將較低能量(且因此較高頻率)變換係數置於向量後部。在一些實例中，視訊編碼器200可利用預定義掃描次序來掃描經量化變換係數以產生串列化向量，且隨後熵編碼向量之經量化變換係數。在其他實例中，視訊編碼器200可執行適應性掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器200可例如根據上下文適應性二進位算術寫碼(CABAC)對一維向量進行熵編碼。視訊編碼器200亦可對描述與經編碼視訊資料相關聯的後設資料之語法元素之值進行熵編碼，以供由視訊解碼器300用於對視訊資料進行解碼。
為執行CABAC，視訊編碼器200可將上下文模型內之上下文指派給待傳輸之符號。上下文可係關於(例如)符號之相鄰值是否為零值。機率判定可基於經指派給符號之上下文而進行。
視訊編碼器200可進一步(例如)在圖像標頭、區塊標頭、圖塊標頭或其他語法資料(諸如序列參數集(SPS)、圖像參數集(PPS)或視訊參數集(VPS))中向視訊解碼器300產生語法資料(諸如基於區塊之語法資料、基於圖像之語法資料以及基於序列之語法資料)。視訊解碼器300可同樣地對此類語法資料進行解碼以判定如何對對應視訊資料進行解碼。
以此方式，視訊編碼器200可產生包括經編碼視訊資料(例如，描述圖像成區塊(例如CU)之分割的語法元素及用於區塊之預測及/或殘餘資訊)之位元串流。最後，視訊解碼器300可接收位元串流並對經編碼視訊資料進行解碼。
一般而言，視訊解碼器300執行與藉由視訊編碼器200執行之程序對等的程序，以對位元串流之經編碼視訊資料進行解碼。舉例而言，視訊解碼器300可使用CABAC以與視訊編碼器200之CABAC編碼程序實質上類似但對等的方式對位元串流之語法元素的值進行解碼。語法元素可定義圖像成CTU之分割資訊，及每一CTU根據對應分割結構(諸如QTBT結構)之分割，以定義CTU之CU。語法元素可進一步定義視訊資料之區塊(例如CU)的預測及殘餘資訊。
殘餘資訊可由例如經量化轉換係數表示。視訊解碼器300可將區塊之經量化變換係數反量化及反變換，以再生區塊之殘餘區塊。視訊解碼器300使用用信號發送之預測模式(框內或框間預測)及相關預測資訊(例如用於框間預測之運動資訊)以形成區塊之預測區塊。視訊解碼器300接著可(在逐樣本基礎上)使經預測區塊與殘餘區塊組合以再生初始區塊。視訊解碼器300可執行額外處理，諸如執行解區塊程序以減少沿區塊邊界之視覺假影。
下面描述與視訊寫碼(諸如聯合探索模型(JEM)之視訊寫碼)相關之一些技術。視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。
另外，高效視訊寫碼(HEVC)或ITU-T H.265(包括其範圍擴展、多視圖擴展(MV-HEVC)及可調式擴展(SHVC))已藉由視訊寫碼之聯合合作小組(JCT-VC)以及ITU-T視訊寫碼專家群(VCEG)及ISO/IEC動畫專家群(MPEG)的3D視訊寫碼擴展開發之聯合合作小組(JCT-3V)開發。
ITU-T VCEG (Q6/16)及ISO/IEC MPEG (JTC 1/SC 29/WG 11)研究了對未來視訊寫碼技術標準化之潛在需求，其壓縮能力顯著地超過當前HEVC標準之壓縮能力(包括其針對螢幕內容寫碼及高動態範圍寫碼之當前擴展及近期擴展)。該等群組正共同致力於聯合合作工作(被稱為聯合視訊探索小組(JVET))中之此探索活動，以評估由此領域中之專家提出的壓縮技術設計。
ITU-T WP3/16及ISO/IEC JTC 1/ SC 29/ WG 11之聯合視訊專家小組(JVET)於2018年7月10日至18日期間在GR-盧布爾雅那會議展覽中心(GR - Ljubljana Exhibition and Convention Centre)(杜納斯卡西斯塔(Dunajska cesta) 18，1000盧布爾雅那，斯洛文尼亞)處舉行其第十一次會議。多功能視訊寫碼(VVC)之名稱經選擇作為新標準之非正式名稱。
如上文所描述，在HEVC中，圖塊中之最大寫碼單元稱為寫碼樹型區塊(CTB)或寫碼樹型單元(CTU)。CTB含有四分樹，該四分樹之節點為寫碼單元。
CTB之大小可自HEVC主規範中之16×16至64×64(儘管技術上可支援8×8 CTB大小)。寫碼單元(CU)可與CTB具有相同大小，或小如8×8。每一寫碼單元係運用一個模式寫碼。當CU經框間寫碼時，CU可進一步分割成2個或4個預測單元(PU)或當不應用另一分割區時變為僅一個PU。當兩個PU存在於一個CU中時，兩個PU可為一半大小的矩形或具有CU之¼或¾大小的兩個矩形大小。
當CU經框間寫碼時，針對每一PU存在運動資訊之一個集合。另外，每一PU係運用唯一框間預測模式寫碼以導出運動資訊集合。
在HEVC標準中，對於預測單元(PU)存在兩個框間預測模式，分別命名為合併(跳過被視為合併之特殊情況)及進階運動向量預測(AMVP)模式。
在AMVP或合併模式中，針對多個運動向量預測器維持運動向量(MV)候選者清單。運動向量(MV)候選者清單亦被稱作運動向量預測器清單。當前PU之運動向量以及合併模式中之參考索引係藉由自MV候選者清單中取得一候選者而產生。
根據HEVC，MV候選者清單(或運動向量預測器清單)針對合併模式至多包括5個候選者(例如五個運動向量預測器)，且針對AMVP模式僅包括兩個候選者(例如兩個運動向量預測器)。合併候選者可含有運動資訊之集合，例如，對應於參考圖像清單(清單0及清單1)及參考索引兩者之運動向量。若由合併索引來識別合併候選者，則參考圖像用於當前區塊之預測，以及判定相關聯之運動向量。然而，在針對自清單0或清單1的每一潛在預測方向的AMVP模式下，可明確地將參考索引連同MV預測器(MVP)索引用信號發送至MV候選者清單，此係由於AMVP候選者僅含有一運動向量。在AMVP模式中，可進一步改進經預測運動向量。
如可自上文看出，合併候選者對應於運動資訊之整個集合，而AMVP候選者僅含有用於特定預測方向之一個運動向量及參考索引。以類似方式自相同空間及時間相鄰區塊導出用於兩個模式之候選者。
圖2A及圖2B為分別說明用於合併及進階運動向量預測(AMVP)模式之空間相鄰運動向量候選者的實例之概念圖。詳言之，圖2A描繪PU 130A及130B。PU 130A具有空間相鄰候選者132A至132E(空間相鄰候選者132)，可自該等候選者選擇運動資訊作為用於合併模式之運動向量預測器。圖2B描繪PU 134A及134B。PU 134A具有空間相鄰候選者136A至136E(空間相鄰候選者136)，可自該等候選者選擇運動資訊作為用於AMVP模式之運動向量預測器。
視訊編碼器200及視訊解碼器300可經組態以使用空間相鄰候選者132、136預測運動資訊。視訊編碼器200及視訊解碼器300可自(例如)如圖2A及圖2B中針對特定PU (圖2A中之PU 130A、圖2B中之PU 134A)所展示之相鄰區塊導出空間MV候選者，但用於自區塊產生候選者的技術針對合併模式及AMVP模式可不同。
根據HEVC，在合併模式中，至多四個空間MV候選者可以圖2A中用編號展示之次序導出。在HEVC的實例中，次序如下：左邊(0、A1，空間相鄰候選者132A)、上方(1、B1，空間相鄰候選者132B)、右上方(2、B0，空間相鄰候選者132C)、左下方(3、A0，空間相鄰候選者132D)及左上方(4、B2，空間相鄰候選者132E)，如圖2A中所示。在HEVC之AVMP模式中，相鄰區塊經分成兩個群組：包括區塊0及1 (分別為空間相鄰候選者136A、136B)之左邊群組；及包括區塊2、3及4 (分別為空間相鄰候選者136C至136E)之上方群組，如圖2B中所示。對於每一群組，參考與由用信號發送之參考索引指示之相同參考圖像的相鄰區塊中之潛在候選者具有待選擇之最高優先級以形成群組之最終候選者。有可能所有相鄰區塊均不含有指向相同參考圖像的運動向量。因此，若不能發現此候選者，則可按比例縮放第一可用候選者以形成最終候選者；因此，可補償時間距離差。
圖3A及圖3B為分別說明時間運動向量預測器(TMVP)候選者及用於TMVP之運動向量按比例縮放的實例之概念圖。詳言之，圖3A描繪包括PU 142A、142B之LCU 140。PU 142A具有TMVP候選者144A及144B，且LCU 140具有TMVP候選者144C。
視訊編碼器200及視訊解碼器300可在空間運動向量候選者之後添加TMVP候選者144A至144C (TMVP候選者144)中之一者(在允用及可用的情況下)至MV候選者清單(例如運動向量預測器清單)中。對於合併模式及AMVP模式兩者，用於TMVP候選者之運動向量導出之程序可為相同的。然而，在合併模式中，TMVP候選者之目標參考索引可設定成0。
在HEVC中，用於TMVP候選者導出之主區塊位置係在共置PU外部的右下區塊(如圖3A中所示之TMPV候選者144A)以補償用以產生空間相鄰候選者之上方及左邊區塊的偏置。然而，若TMVP候選者144A定位於當前CTB列外部或運動資訊不可用(例如，如同TMVP候選者144C)，則TMVP候選者144A被PU之中心區塊(亦即TMVP候選者144B)取代。
視訊編碼器200及視訊解碼器300可自圖塊層級中所指示的共置圖像之共置PU導出用於TMVP候選者144中的一者之運動向量。用於共置PU之運動向量稱為共置MV。如圖3B中所示，視訊編碼器200及視訊解碼器300可自共置MV 152導出當前圖像146之當前區塊的TMVP候選者運動向量150 (其參考當前參考圖像148A)，共置MV 152在共置圖像148C處開始並參考共置參考圖像148B。類似於AVC中之時間直接模式，為導出TMVP候選者運動向量150，共置MV 152可需要經按比例縮放以補償共置圖像148C與共置參考圖像148B之間的時間距離與當前圖像146與當前參考圖像148A之間的時間距離之間的差異，如圖3A中所示。
圖4A為說明用於合併/跳過模式之空間相鄰運動向量候選者的實例之概念圖。圖4A描繪當前區塊154及相鄰區塊156A至156E (相鄰區塊156)。視訊編碼器200及視訊解碼器300可執行合併/跳過模式中之運動向量預測。對於HEVC之跳過模式及合併模式，合併索引係用信號發送(例如用於運動向量預測器清單)以指示合併候選者清單中之相鄰區塊156中之哪一者(亦即，哪一候選者)被使用。不傳輸框間預測指示符、參考索引或MVD。在合併模式中可考慮兩種類型之合併候選者：空間運動向量預測器(SMVP)及時間運動向量預測器(TMVP)。對於根據HEVC之SMVP導出，在定位於如圖4A中所描繪的位置中之候選者之間選擇最大四個合併候選者。導出之次序在HEVC中為A1 à B1 à B0 à A0 à (B2 )，亦即相鄰區塊156A à 156B à 156C à 156D à 156E。在HEVC中，當位置A1 、B1 、B0 、A0 之任一PU不可用或經框內寫碼時僅僅考慮位置B2 或在精簡之後來自位置A1 、B1 、B0 、A0 的候選者之總數目小於四。
在根據HEVC之TMVP的導出中，如圖4B中所描繪，用於當前區塊158的按比例縮放之運動向量係基於屬於用信號發送之參考圖像清單內的當前圖像之參考圖像中之一者的共置PU而導出。在HEVC中在圖塊標頭中明確地用信號發送待用於共置PU之導出的參考圖像清單。根據HEVC，用於時間合併候選者之按比例縮放運動向量係使用POC距離(tb及td)運用共置PU之按比例縮放運動向量而獲得，其中tb經定義為當前圖像之參考圖像與當前圖像之間的POC差，且td經定義為共置圖像之參考圖像與共置圖像之間的POC差。在HEVC中，時間合併候選者之參考圖像索引經設定為等於零。在HEVC草案規格中描述按比例縮放程序之實際實現。對於B圖塊，兩個運動向量(用於參考圖像清單0之一個運動向量及用於參考圖像清單1之另一運動向量)經獲得並經組合以形成雙預測性合併候選者。
圖4B為說明用於合併/跳過模式之時間相鄰運動向量候選者的實例之概念圖。共置PU之位置係在兩個候選者位置C 160B與H 160A之間選擇，如圖4B中所描繪。若在位置H 160A處之PU並不可用，或經框內寫碼，或在當前CTU列外部，則使用位置C 160B。另外，根據HEVC，位置H 160A用於導出時間合併候選者。
除了SMVP及TMVP之外，在HEVC中，存在兩種額外類型合成合併候選者：組合之雙預測性MVP及零MVP。組合之雙預測性MVP係由利用SMVP及TMVP而產生。在HEVC中，組合之雙向預測性合併候選者僅僅用於B圖塊。舉例而言，在HEVC中，原始合併候選者清單中之兩個候選者(其具有mvL0及refIdxL0或mvL1及refIdxL1)用以建立組合之雙預測性合併候選者。
在根據HEVC的候選者選擇之程序中，具有與按處理次序之前一候選者相同之運動參數的複製候選者自候選者清單中移除。此程序在HEVC中經定義為精簡程序。此外，在HEVC中，不考慮同一合併估計區(MER)內部之候選者，以便有助於並行合併處理。在HEVC中，避免冗餘分割形狀，以便不仿真虛擬2N×2N分割。
在每一產生步驟之間，若候選者之數目達到MaxNumMergeCand，則停止導出程序。在HEVC之當前共同測試情況下，MaxNumMergeCand經設定為等於五。由於候選者之數目對於HEVC係恆定的，因此使用截短一元二進位化來編碼最佳合併候選者之索引。
下面描述HEVC中之運動預測之一些額外態樣。合併及AMVP模式之若干態樣經描述如下。其他標準及視訊寫碼程序可使用此等或類似程序用於運動預測。
視訊編碼器200及視訊解碼器300可執行運動向量按比例縮放。假定在呈現時間上運動向量之值與圖像之距離成比例。運動向量與兩個圖像相關聯：參考圖像及含有運動向量之圖像(亦即，含有圖像)。當運動向量用以預測其他運動向量時，含有圖像與參考圖像之距離可基於圖像之圖像次序計數(POC)值而計算。
對於待預測之運動向量，其相關聯之含有圖像及參考圖像兩者可不同。因此，可計算新距離(基於POC)。且可基於此等兩個POC距離按比例縮放運動向量。對於空間相鄰候選者，用於兩個運動向量之含有圖像係相同的，而參考圖像可不同。在HEVC中，運動向量按比例縮放適用於空間及時間鄰近候選者之TMVP及AMVP兩者。
視訊編碼器200及視訊解碼器300可執行人工運動向量候選者產生。若運動向量候選者清單不完整，則人工運動向量候選者可產生且插入在清單末端，直至清單具有規定數目個候選者為止。
在HEVC之合併模式中，存在兩種類型之人工MV候選者：僅針對B圖塊導出之組合候選者，及若第一類型(組合候選者)未提供足夠人工候選者，則僅針對AMVP使用之零候選者。
根據HEVC，對於已在候選者清單中且具有必要運動資訊之每一對候選者，雙向組合運動向量候選者係藉由參考清單0中之圖像之第一候選者的運動向量與參考清單1中之圖像之第二候選者的運動向量之組合導出。
視訊編碼器200及視訊解碼器300可執行用於候選者插入之精簡程序。來自不同區塊之候選者可恰巧相同，此降低合併/AMVP候選者清單之效率。根據HEVC，應用精簡程序以解決此問題。根據精簡程序，在某一程度上，視訊編碼器200及視訊解碼器300可將當前候選者清單中之一個候選者與其他候選者相比較以避免插入相同候選者。為降低複雜度，例如根據如在下文更詳細描述的本發明之技術，可應用僅有限數目個精簡程序，而非將每一潛在候選者與所有其他現有候選者進行比較。
圖5為說明用以導出空間合併候選者之空間相鄰區塊的實例之概念圖。視訊編碼器200及視訊解碼器300可使用非鄰近空間相鄰候選者之運動資訊來建構當前區塊162之運動向量預測候選者清單。非鄰近(例如不與當前區塊直接相鄰的區塊)空間合併候選者預測技術經提議用於未來視訊寫碼標準，諸如VVC。此類技術可藉由自非鄰近空間相鄰區塊在合併候選項清單中進行填充來增加合併候選項清單之大小。舉例而言，圖5說明非鄰近空間相鄰區塊(例如並未與當前區塊直接相鄰之區塊)之實例。在圖5中，經識別為1至5之區塊為鄰近區塊(例如直接相鄰)，且經識別為6至49之區塊與當前區塊162非鄰近(例如不直接相鄰但鄰近)。
相鄰區塊可分組如下。一般而言，群組可基於與當前區塊之鄰近度。在一個實例中，群組1包括區塊1至5；群組2包括區塊13、10、6、8、12、9、7、11、14及16；群組3包括區塊26、24、21、17、19、23、20、18、22、25及27；群組4包括區塊37、35、32、28、30、34、31、29、33、36及38；且群組5包括區塊48、46、43、39、41、45、42、40、44、47及49。
本發明認識到一些視訊寫碼方法可遇到以下問題。框間預測中之運動向量預測器之增加可改良寫碼效率。然而，精簡程序可係必要的，以便避免多次添加相同候選者(例如添加相同運動向量預測器)。舉例而言，當諸如運動向量預測器清單之清單大小增加時，可需要愈來愈多精簡操作，此增加視訊編碼器200及視訊解碼器300之複雜度(例如視訊編碼器200及視訊解碼器300可需要花費更多時脈循環以執行精簡操作，由此減速編碼及解碼)。
另外，本發明認識到當運動向量預測器清單之大小增加時，使用愈來愈多精簡操作，此增加視訊編碼器及視訊解碼器之複雜度。精簡操作可包括比較現有候選者與新候選者，若其相同，則新候選者不被添加至運動向量預測器清單。
根據本發明之技術，視訊寫碼器(例如視訊編碼器200或視訊解碼器300)可自當前區塊162之相鄰區塊(例如直接相鄰及非直接相鄰之區塊)及對應時間區塊產生運動向量預測器。視訊寫碼器可執行快速精簡演算法之一或多個實例技術以降低建構運動向量預測器清單之複雜度。視訊寫碼器可執行合併候選者清單產生或其他運動向量預測器清單產生之領域(諸如用於AMVP清單產生及仿射MVP清單產生)的實例技術。
另外或替代地，視訊寫碼器可根據本發明之技術而組態以自相鄰區塊及對應時間區塊產生運動向量預測器。此等實例技術可經由快速精簡演算法降低運動向量預測器清單產生之複雜度。此等實例技術可用於合併候選者清單產生，且亦可用於其他運動向量預測器清單產生之領域，諸如AMVP清單產生及仿射MVP清單產生。
圖6為說明用以導出空間合併候選者之空間相鄰區塊的額外實例之概念圖。在圖6中，當前CU 164之大小為寬度 ×高度 。編號區塊說明可用以導出空間合併候選者的候選者空間相鄰區塊之位置。CU 164與運動向量預測器候選者之間的距離在水平方向上為Offset _ X 且在豎直方向上為Offset _ Y 。Offset _ X 及Offset _ Y 可為固定值或取決於CU 164之大小。Offset _ X 及Offset _ Y 可在解碼器側及編碼器側兩者中指定，或在參數集(VPS、SPS、PPS或其類似者)中傳輸。
視訊寫碼器(視訊編碼器200或視訊解碼器300)可藉由按編號之遞增次序檢查所編號區塊而建構候選者清單(例如運動向量預測器清單)。圖6中展示的次序為一個實例。該次序可在解碼器側及編碼器側兩者中指定，或在參數集中傳輸。
若區塊經框間預測寫碼，則視訊寫碼器可自該區塊提取並儲存運動資訊且使用此運動資訊作為CU 164之潛在候選者。視訊寫碼器可藉由將潛在候選者與現有候選者進行比較來執行精簡程序。若視訊寫碼器判定現有候選者具有相同運動資訊，則潛在候選者可經精簡(例如候選者插入於運動向量預測器清單中被略過)。若視訊寫碼器不精簡潛在候選者，則視訊寫碼器可插入潛在候選者至候選者清單(例如運動向量預測器清單)中。當候選者之數目達到預定義最大數目時，候選者清單(例如運動向量預測器清單)建構程序可終止。
作為一個實例，假定候選者清單(例如運動向量預測器清單)之大小為10，且潛在運動向量預測器候選者之數目為25。視訊寫碼器可執行以下程序，當清單中之候選者的數目達到10時視訊寫碼器可終止該程序。 1.     運動向量預測器之位置可依賴於CU 164之大小。舉例而言，在圖6中，offset_xi等於CU寬度，且offset_yj等於CU高度。在圖6之實例中，offset_Xk等於CU寬度＞＞1 (1/2寬度)，且offset_Yl等於CU高度＞＞1 (1/2高度)。 2.     檢查區塊1、2、3、4及5之第一群組潛在候選者。若運動資訊係可用的，則添加運動資訊至運動向量預測器清單中。當檢查來自第二群組之候選者時，藉由比較來自第二群組之運動資訊與已經在運動向量預測器清單中之候選者而執行精簡。 3.     檢查第二群組潛在候選者：自區塊6至區塊10。當檢查來自第二群組之候選者時，藉由比較運動資訊與已經在運動向量預測器清單中之候選者而執行精簡。 4.     為了限制精簡之數目，將精簡操作之最大數目定義為MaxPruningNum；若精簡操作之數目達到MaxPruningNum，則不再精簡。 5.     重複添加候選者直至清單中之候選者的數目達到10或已檢查所有潛在候選者為止。
以此方式，區塊1至5表示與當前區塊直接相鄰之第一區塊集合的實例，且區塊6至25 (或其任一子集)可表示與當前區塊分開一或多個區塊之一第二區塊集合的實例。根據本發明之技術，視訊寫碼器(諸如視訊編碼器200或視訊解碼器300)可判定用於第一區塊集合(例如區塊1至5)之運動向量，且接著判定用於第二區塊集合之區塊(例如區塊6至25的區塊9)的運動向量。視訊寫碼器可添加區塊1至5 (第一區塊集合)之運動向量至運動向量預測器清單。視訊寫碼器可判定例如區塊9之運動向量是否與區塊1至5中之任一者的運動向量相同。若區塊9之運動向量不與區塊1至5之運動向量相同，則視訊寫碼器可添加區塊9之運動向量至運動向量預測清單；否則，視訊寫碼器可略過添加運動向量至運動向量預測清單。儘管在此實例中論述區塊1至5中之每一者，但應理解視訊寫碼器可例如比較運動向量與第一區塊集合之任一子集(例如，僅僅區塊1、2及5)。
另外，視訊寫碼器可判定第二區塊集合(例如區塊6至25之區塊8)的第二運動向量是否與第一區塊集合的運動向量或區塊9之運動向量中之任一者相同，繼續上文實例。若第二運動向量並不與用於第二區塊集合之區塊9的運動向量相同且不與第一區塊集合之任一區塊的任一運動向量相同，則視訊寫碼器可將第二運動向量作為運動向量預測器插入於運動向量預測器清單中。否則，若第二運動向量與用於第二區塊集合之區塊9的運動向量相同或與第一區塊集合中之任一者的運動向量相同，則視訊寫碼器可略過將第二運動向量作為運動向量預測器插入於運動向量預測器清單中。
在替代實例中，視訊寫碼器可執行限制精簡操作之數目的技術。舉例而言，視訊寫碼器可運用最接近於已經添加至運動向量候選者清單中之候選者的鄰近候選者執行精簡。舉例而言，當檢查區塊4處之候選者時，最接近之相鄰候選者為在區塊9處的候選者。
在其他替代實例中，視訊寫碼器可藉由比較當前候選者與候選者清單中之前N個可用候選者來執行精簡操作。N可在解碼器側及編碼器側兩者中指定，或在參數集中傳輸。
在其他替代實例中，視訊寫碼器可在候選者之間執行完整精簡。
在其他替代實例中，候選者清單之大小可為N，且潛在運動向量候選者之數目可為M。N及M可在視訊編碼器200及視訊解碼器300兩者中預先指定，或視訊編碼器200可在參數集(例如視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS))或其他資料集(諸如圖塊標頭、區塊(例如CTU)標頭或其類似者)中編碼表示N及M之資料。
在此實例中，精簡操作可經由在兩個運動向量預測器之間比較參考方向及/或參考索引及/或POC及/或運動向量(運用/不運用按比例縮放)而實現。若該運動向量預測器與清單中之運動向量預測器相同，則視訊寫碼器(視訊編碼器200或視訊解碼器300)可避免添加運動向量預測器至清單中。
視訊編碼器200及視訊解碼器300可經組態以執行基於計數之精簡演算法以用於自運動向量預測候選者清單精簡候選者。視訊編碼器200及視訊解碼器300可組態有在運動向量預測器清單產生期間允許的精簡操作之最大數目。舉例而言，視訊編碼器200可判定最大數目並在參數集、圖塊標頭、區塊標頭或其類似者中寫碼(例如用信號發送)最大數目。可替代地，視訊編碼器200及視訊解碼器300可經預先組態有最大數目。當精簡操作之數目已達到最大數目時，視訊編碼器200及視訊解碼器300可防止其他精簡操作。
在一個實例中，若精簡之數目達到最大允許數目，則視訊編碼器200及視訊解碼器300可在不精簡情況下添加新的潛在候選者至清單。在另一實例中，若精簡操作之數目達到最大允許數目，則新的潛在候選者將不被添加於清單中。視訊編碼器200及視訊解碼器300可在清單中添加預設候選者。舉例而言，若最大允許數目尚未達到，則視訊編碼器200及視訊解碼器300可在清單中添加組合之候選者(如HEVC方法中)。
本文中所描述的精簡操作之實例可藉由視訊編碼器200及視訊解碼器300執行。該等實例可分開執行或以任何組合執行。
在一個實例中，比較次序係根據清單中之候選者的次序。讓N表示運動向量預測器清單中之自1至N索引的候選者之數目。當檢查新的候選者時，視訊編碼器200及視訊解碼器300可首先比較新的候選者與清單中之第一候選者。若新的候選者不同於候選者1，則視訊編碼器200及視訊解碼器300可比較新的候選者與候選者2。比較次序係自候選者1至候選者N。若潛在候選者與清單中之候選者相同，則不在清單中添加該潛在候選者。在精簡操作之數目達到最大允許精簡數目以前或在已比較新的候選者與清單中之所有N候選者之後，視訊編碼器200及視訊解碼器300可執行精簡。
在一個實例中，比較次序係根據清單中之候選者的反向次序。讓N表示運動向量預測器清單中之自1至N索引的候選者之數目。當檢查新的候選者時，視訊編碼器200及視訊解碼器300可首先(亦即，在候選者N處開始)比較新的候選者與清單中最近添加的候選者。若新的候選者不同於候選者N，則視訊編碼器200及視訊解碼器300可比較新的候選者與候選者N-1。比較次序係自候選者N至候選者1。若新的候選者與清單中之任一候選者相同，則視訊編碼器200及視訊解碼器300可不添加新的候選者至清單。視訊編碼器200及視訊解碼器300可執行精簡直至精簡操作之數目達到最大允許精簡數目或潛在候選者已與清單中之所有候選者比較為止。
在一個實例中，比較次序係根據新的候選者與清單中之候選者之間的距離來判定。根據候選者在清單中的位置，視訊編碼器200及視訊解碼器300可計算候選者之清單以待按與新的候選者進行比較之次序檢查、配置。該次序可根據新的候選者與清單中之候選者之間的距離定義。視訊編碼器200及視訊解碼器300可比較新的候選者與清單中之第一最接近候選者，接著比較新的候選者與清單中之第二最接近候選者，且繼續直至精簡操作之數目達到最大允許精簡數目或潛在候選者已與清單中之所有候選者比較為止。
在一個實例中，精簡操作之最大數目可設定為在視訊編碼器200及視訊解碼器300兩者中指定的固定數目。在一些實例中，最大數目可根據當前區塊大小來設定。在一些實例中，最大數目可根據最大允許寫碼區塊大小來設定。在一些實例中，最大數目可根據最小允許寫碼區塊大小來設定。
在一個實例中，精簡操作之最大數目可經設定為在序列層級、圖像層級、圖塊層級或區塊層級自視訊編碼器200用信號發送至視訊解碼器300的一值。舉例而言，此值可在序列參數集(SPS)、圖像參數集(PPS)、圖塊標頭(SH)、寫碼樹型單元(CTU)或寫碼單元(CU)中用信號發送。
在一個實例中，比較次序可在視訊編碼器200及視訊解碼器300兩者中指定。在一個實例中，精簡次序(比較次序)可經設定為在序列層級、圖像層級、圖塊層級或區塊層級自視訊編碼器200用信號發送至視訊解碼器300的一值。舉例而言，此值可在序列參數集(SPS)、圖像參數集(PPS)、圖塊標頭(SH)、寫碼樹型單元(CTU)或寫碼單元(CU)中用信號發送。
圖7為說明根據本發明之技術可用以導出空間合併候選者的空間相鄰區塊之實例集合的概念圖。圖7展示與CU 166相鄰的候選者圖案之實例。 1. 待在每一輪(群組)中檢查的運動向量候選者之位置的數目可係不同的。每一輪中候選者的數目及輪之數目可在編碼器側及解碼器側兩者中指定，或在參數集中傳輸。 2. 兩個連續群組之間的距離可不同。候選者之位置可取決於CU 166之大小或基於固定值。 3. 如圖7之實例中所示，第一群組中之位置與HEVC中相同，亦即包括位置1、2、3、4及5。在第一群組之後的每一群組中之位置的數目可隨距CU 166之距離增加而增加。在圖7之實例中，第二群組包括位置7、8及9；第三群組包括自9至15之位置；且第四群組包括自16至23之位置。 舉例而言，如圖7中所示，CU 166之大小為CU.width及CU.height，且CU 166之左邊頂部位置為leftTop()。舉例而言，候選者5之位置經定義為leftTop.offset(-1,-1)。讓leftTop之位置為(x,y)，且由此標記「leftTop.offse(-1,-1)」意謂(x-1,y-1)。 潛在候選者之位置可定義如下： a.    對於候選者1至5，位置與HEVC中定義的相同； b.    對於候選者6至8： offsetX = CU.width, offsetY = CU.height candPos6 = leftTop.offset(-offsetX-1, CU.height+offset-1) candPos7 = leftTop.offset(CU.width+offsetX-1, -offsetY-1) candPos8 = leftTop.offset(-offsetX-1, -offsetY-1) c.    對於候選者9至15 offsetX = CU.width x 2, offsetY = CU.height x 2 candPos9 = leftTop.offset(-offsetX-1, CU.height+offset-1) candPos10 = leftTop.offset(CU.width+offsetX-1, -offsetY-1) candPos11 = leftTop.offset(CU.width＞＞1, -offsetY-1) candPos12 = leftTop.offset(-offsetX-1, CU.height＞＞1) candPos13 = leftTop.offset(CU.width+offsetX, -offsetY-1) candPos14 = leftTop.offset(-offsetX-1, CU.height+offset) candPos15 = leftTop.offset(-offsetX-1, -offsetY-1) d.    對於候選者16至24 offsetX = CU.width x 3, offsetY = CU.height x 3 candPos16 = leftTop.offset(-offsetX-1, CU.height+offset-1) candPos17 = leftTop.offset(CU.width+offsetX-1, -offsetY-1) candPos18 = leftTop.offset(CU.width＞＞1, -offsetY-1) candPos19 = leftTop.offset(-offsetX-1, CU.height＞＞1) candPos20 = leftTop.offset(CU.width+offsetX, -offsetY-1) candPos21 = leftTop.offset(-offsetX-1, CU.height+offset) candPos22 = leftTop.offset(-offsetX-1, -offsetY-1) candPos23 = leftTop.offset(CU.width+offsetX, -1) candPos24 = leftTop.offset(-1, CU.height+offset) 4.    如圖7中所示待檢查的區塊中之數目為檢查次序之實例。檢查次序可在其他實例中改變。檢查次序可在編碼器側及解碼器側兩者中指定，或在參數集中傳輸。 在另一實例中，群組中之位置的數目隨距CU 166之距離增加而減小。亦即，當靠近CU 166時所選擇位置可係密集的且當遠離CU 166時係稀疏的。
在一些實例中，空間-時間運動向量預測器(STMVP)可由空間相鄰區塊及對應時間區塊產生。STMVP可藉由對3個候選者求平均值產生，3個候選者可包括2個空間候選者及1個時間候選者。若此等候選者中的一者不可用，則STMVP可藉由對2個可用候選者求平均值而產生。
舉例而言，視訊編碼器200及視訊解碼器300可對來自第一群組之候選者3及4的運動向量及時間運動向量預測器(TMVP)求平均值以產生STMVP1。視訊編碼器200及視訊解碼器300可對來自第二群組之候選者6及候選者7的運動向量及TMVP求平均值以產生STMVP2。視訊編碼器200及視訊解碼器300可對來自第三群組之候選者11及候選者12的運動向量及TMVP求平均值以產生STMVP3，等等。
視訊編碼器200及視訊解碼器300可將STMVP作為前置候選者而添加於第二群組及第三群組中。亦即，視訊編碼器200及視訊解碼器300可在第二群組候選者之前添加STMVP1及STMVP2。視訊編碼器200及視訊解碼器300可在第三群組候選者之前添加STMVP3。
視訊編碼器200及視訊解碼器300可在STMVP與清單中之候選者之間執行精簡。精簡演算法可如上文關於圖6所論述而受限制。基於實例，候選者23、24及TMVP可用以產生STMVP。
在一些實例中，視訊編碼器200及視訊解碼器300可藉由對以下2個或3個候選者求平均值來導出STMVP1：1)候選者3及候選者2中之第一可用候選者；2)候選者4及候選者1中之第一可用候選者；3)TMVP。
在一些實例中，視訊編碼器200及視訊解碼器300可藉由對以下2個或3個候選者求平均值來導出STMVP1：1)候選者3，若候選者3不可用，則使用候選者2；2)候選者4，若候選者4不可用，則使用候選者1；3)TMVP。
在如上文所論述的圖7之實例的替代方案中，視訊編碼器200及視訊解碼器300可自其他候選者產生STMVP候選者，例如使用候選者9、8及TMVP，或使用候選者9、7及TMVP，或使用候選者6、8及TMVP以產生STMV。在另一替代方案中，視訊編碼器200及視訊解碼器300可自不同群組中之具有TMVP之候選者產生STMVP候選者。在另一替代方案中，視訊編碼器200及視訊解碼器300可在每一群組之末端或清單中之另一位置處添加STMVP候選者。清單中STMVP候選者之次序可在解碼器側及編碼器側兩者中指定，或在參數集中傳輸。
在一些實例中，視訊編碼器200及視訊解碼器300可自已添加於預測器清單中之候選者產生STMVP。視訊編碼器200及視訊解碼器300可對清單中之任何兩個空間候選者的運動向量及TMVP求平均值以產生STMVP。
在以上實例中，或許有可能限制考慮哪一相鄰區塊。舉例而言，線緩衝器限制可經應用以降低緩衝器消耗。潛在空間候選者可限於當前CTU及其線緩衝器內。亦即，視訊編碼器200及視訊解碼器300可僅使用當前CTU及其線緩衝器內之空間候選者作為潛在候選者。如圖6及以下函數中所示：
Figure 02_image001
下面描述可如何對參數進行寫碼。舉例而言，群組之數目、每一群組中之候選者的數目、群組中用於精簡的候選者之數目，及精簡操作及運動向量候選者之位置的最大數目可經預定義、固定或取決於CTU大小、當前寫碼區塊大小、候選者之位置及/或預測模式。群組之數目、不同群組中之候選者的數目、群組中用於精簡的候選者之數目，及精簡操作及運動向量候選者之位置的最大數目可經由SPS、PPS或圖塊標頭或在CU層級處用信號發送。
另外或替代地，視訊編碼器200及視訊解碼器300可經組態以使用以下實例候選者圖案。在此等實例中，視訊編碼器200及視訊解碼器300可組態有精簡操作之所定義最大數目。舉例而言，視訊編碼器200可例如在序列參數集(SPS)、圖像參數集(PPS)、視訊參數集(VPS)、圖塊標頭、區塊標頭或其類似者中用信號發送精簡操作之經判定最大數目。另外或替代地，視訊編碼器200及視訊解碼器300可預先組態有精簡操作之最大數目。 1.  1至5之候選者為HEVC候選者並用於VVC。視訊編碼器200及視訊解碼器300可檢查候選者1至5、子PU候選者(諸如ATMVP)、STMVP(基於子PU或不基於PU)及TMVP。視訊編碼器200及視訊解碼器300可計數精簡操作的數目。若精簡操作的數目達到最大數目，則視訊編碼器200及視訊解碼器300可避免添加候選者至清單。 2.  視訊編碼器200及視訊解碼器300可檢查非鄰近候選者6至23。若精簡操作的數目達到最大數目，則視訊編碼器200及視訊解碼器300可避免將候選者添加於清單中。 3.  若清單中候選者的數目未達到所定義預測器清單大小，則視訊編碼器200及視訊解碼器300可將組合候選者及/或預設候選者添加於清單中。
在一些實例中，視訊編碼器200及視訊解碼器300可經組態以使用以下圖案根據合併清單添加次序來精簡。 1.  1至5之候選者為HEVC候選者並用於VVC。視訊編碼器200及視訊解碼器300可檢查候選者1至5、子PU候選者(諸如ATMVP)、STMVP(基於子PU或不基於PU)及TMVP。視訊編碼器200及視訊解碼器300可計數精簡操作的數目。若精簡操作的數目達到最大數目，則視訊編碼器200及視訊解碼器300可避免添加候選者至清單。 2.  視訊編碼器200及視訊解碼器300可檢查非鄰近候選者6至24。若精簡操作的數目達到最大數目，則視訊編碼器200及視訊解碼器300可避免將候選者添加於清單中。 3.  若運動向量預測清單中候選者的數目未達到所定義預測器清單大小，則視訊編碼器200及視訊解碼器300可添加組合候選者及/或預設候選者至清單。
作為另一實例，類似於以上實例，視訊編碼器200及視訊解碼器300可根據檢查次序檢查候選者。當檢查潛在候選者時，視訊編碼器200及視訊解碼器300可比較潛在候選者與已經在清單中之候選者。比較次序可係根據距離。在此實例中，如圖6中所示，讓CU寬度、CU高度、offset_Xi及offset_Y相同，且使用以下函數1來計算距離。在此實例中，用於候選者7之比較次序為候選者{3,2,5,1,4,6}。視訊編碼器200及視訊解碼器300可首先比較潛在候選者與最接近候選者。舉例而言，當檢查候選者7時，視訊編碼器200及視訊解碼器300可首先比較候選者7與候選者3 (若候選者3可用且經添加於預測器清單中)，接著視訊編碼器200及視訊解碼器300可比較候選者7與下一最接近候選者。
視訊編碼器200及視訊解碼器300可依據候選者之位置計算距離。如以下函數中所展示，根據以上實例，讓候選者之位置經定義為候選者(x,y)：
Figure 02_image003
。
本發明大體上可指「用信號發送」某一資訊，諸如語法元素。術語「用信號發送」大體上可指用以解碼經編碼視訊資料之語法元素及/或其他資料的值之傳達。亦即，視訊編碼器200可在位元串流中用信號發送語法元素的值。一般而言，用信號發送係指在位元串流中產生值。如上文所提及，源器件102可實質上實時將位元串流運送至目的地器件116，或不實時運送，諸如可在將語法元素存儲至儲存器件112以供目的地器件116稍後擷取時發生。
圖8為說明可執行本發明之技術之實例視訊編碼器200的方塊圖。出於解釋之目的提供圖8，且不應將該圖視為對如本發明中廣泛例示及描述之技術的限制。出於解釋之目的，本發明在諸如HEVC視訊寫碼標準及研發中之H.266視訊寫碼標準的視訊寫碼標準之情況下描述視訊編碼器200。然而，本發明之技術不限於此等視訊寫碼標準，且大體可適用於視訊編碼及解碼。
在圖8之實例中，視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘餘產生單元204、變換處理單元206、量化單元208、反量化單元210、反變換處理單元212、重建構單元214、濾波器單元216、經解碼圖像緩衝器(DPB) 218及熵編碼單元220。
視訊資料記憶體230可儲存待由視訊編碼器200之組件編碼的視訊資料。視訊編碼器200可自(例如)視訊源104 (圖1)接收存儲於視訊資料記憶體230中之視訊資料。DPB 218可充當參考圖像記憶體，其儲存參考視訊資料以用於由視訊編碼器200預測後續視訊資料。視訊資料記憶體230及DPB 218可由諸如動態隨機存取記憶體(DRAM)(包括同步DRAM (SDRAM))、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件的各種記憶體器件中之任一者形成。視訊資料記憶體230及DPB 218可由同一記憶體器件或分開的記憶體器件提供。在各種實例中，視訊資料記憶體230可與視訊編碼器200之其他組件一起在晶片上，如所說明，或相對於彼等組件在晶片外。
在本發明中，對視訊資料記憶體230之參考不應解譯為將記憶體限於在視訊編碼器200內部(除非特定地如此描述)，或將記憶體限於在視訊編碼器200外部(除非特定地如此描述)。實際上，對視訊資料記憶體230之參考應理解為對儲存視訊編碼器200所接收以用於編碼的視訊資料(例如，待被編碼的當前區塊之視訊資料)之記憶體的參考。圖1之記憶體106亦可提供對來自視訊編碼器200之各種單元的輸出的暫時儲存。
圖8之各種單元經說明以輔助理解藉由視訊編碼器200執行的操作。單元可經實施為固定功能電路、可程式化電路或其組合。固定功能電路指提供特定功能性且預設可被執行之操作的電路。可程式化電路係指可經程式化以執行各種任務並在可執行之操作中提供可調整功能性的電路。舉例而言，可程式化電路可執行促使可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可執行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作之類型大體上係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。
視訊編碼器200可包括由可程式化電路形成的算術邏輯單元(ALU)、基本功能單元(EFU)、數位電路、類比電路及/或可程式化核心。在視訊編碼器200之操作係使用由可程式化電路執行之軟體執行的實例中，記憶體106 (圖1)可儲存視訊編碼器200接收並執行的軟體之目標程式碼，或視訊編碼器200內之另一記憶體(圖中未示)可儲存此類指令。
視訊資料記憶體230經組態以儲存所接收視訊資料。視訊編碼器200可自視訊資料記憶體230擷取視訊資料之圖像，並將視訊資料提供至殘餘產生單元204及模式選擇單元202。視訊資料記憶體230中之視訊資料可為待編碼之原始視訊資料。
模式選擇單元202包括運動估計單元222、運動補償單元224及框內預測單元226。模式選擇單元202可包括額外的功能單元以根據其他預測模式執行視訊預測。作為實例，模式選擇單元202可包括調色板單元、區塊內複製單元(其可為運動估計單元222及/或運動補償單元224之部分)、仿射單元、線性模型(LM)單元或其類似者。
模式選擇單元202大體協調多個編碼遍次，以測試編碼參數之組合，及用於此等組合之所得速率失真值。編碼參數可包括CTU成CU之分割、用於CU之預測模式、用於CU之殘餘資料的變換類型、用於CU之殘餘資料的量化參數等。模式選擇單元202可最終選擇相比其他所測試組合具有更佳速率失真值的編碼參數之組合。
視訊編碼器200可將自視訊資料記憶體230擷取之圖像分割成一系列CTU，並將一或多個CTU囊封於圖塊內。模式選擇單元210可根據樹狀結構分割圖像之CTU，諸如上文所描述之HEVC的QTBT結構或四分樹結構。如上文所描述，視訊編碼器200可用根據樹狀結構分割CTU來形成一或多個CU。此CU大體亦可被稱作「視訊區塊」或「區塊」。
一般而言，模式選擇單元202亦控制其組件(例如運動估計單元222、運動補償單元224及框內預測單元226)以產生當前區塊(例如當前CU，或在HEVC中，PU與TU之重疊部分)之預測區塊。對於當前區塊之框間預測，運動估計單元222可執行運動搜尋以識別一或多個參考圖像(例如儲存於DPB 218中的一或多個先前經寫碼圖像)中之一或多個緊密匹配參考區塊。特定而言，運動估計單元222可例如根據絕對差總和(SAD)、平方差總和(SSD)、平均值絕對差(MAD)、均方差(MSD)或類似者來計算表示潛在參考區塊與當前區塊之類似程度的值。運動估計單元222可使用當前區塊與所考慮之參考區塊之間的逐樣本差大體執行此等計算。運動估計單元222可識別具有由此等計算產生之最低值的參考區塊，從而指示最緊密匹配當前區塊之參考區塊。
運動估計單元222可形成一或多個運動向量(MV)，其關於當前圖像中之當前區塊的位置定義參考圖像中之參考區塊的位置。運動估計單元222接著可將運動向量提供至運動補償單元224。舉例而言，對於單向框間預測，運動估計單元222可提供單個運動向量，而對於雙向框間預測，運動估計單元222可提供兩個運動向量。運動補償單元224接著可使用運動向量產生預測區塊。舉例而言，運動補償單元224可使用運動向量擷取參考區塊之資料。作為另一實例，若運動向量具有分數樣本精確度，則運動補償單元224可根據一或多個內插濾波器為預測區塊內插值。此外，對於雙向框間預測，運動補償單元224可擷取用於藉由各別運動向量識別之兩個參考區塊的資料，並(例如)經由逐樣本求平均值或經加權求平均值來組合所擷取之資料。
作為另一實例，對於框內預測，或框內預測寫碼，框內預測單元226可自鄰近當前區塊之樣本產生預測區塊。舉例而言，對於方向模式，框內預測單元226可在數學上大體組合相鄰樣本之值，且在橫跨當前區塊之所定義方向上填入此等計算值以產生預測區塊。作為另一實例，對於DC模式，框內預測單元226可計算至當前區塊之相鄰樣本的平均值，並產生預測區塊以針對預測區塊之每一樣本包括此所得平均值。
模式選擇單元202將預測區塊提供至殘餘產生單元204。殘餘產生單元204自視訊資料記憶體230接收當前區塊之原始的未經寫碼版本，且自模式選擇單元202接收預測區塊之原始的未經寫碼版本。殘餘產生單元204計算當前區塊與預測區塊之間的逐樣本差。所得逐樣本差定義用於當前區塊之殘餘區塊。在一些實例中，殘餘產生單元204亦可判定殘餘區塊中之樣本值之間的差，以使用殘餘差分脈碼調變(RDPCM)產生殘餘區塊。在一些實例中，可使用執行二進位減法之一或多個減法器電路來形成殘餘產生單元204。
在模式選擇單元202將CU分割成PU之實例中，每一PU可與明度預測單元及對應色度預測單元相關聯。視訊編碼器200及視訊解碼器300可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測單元的大小。假定特定CU之大小為2N×2N，則視訊編碼器200可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器200及視訊解碼器300亦可支援用於框間預測的2N×nU、2N×nD、nL×2N以及nR×2N之PU大小的不對稱分割。
在模式選擇單元未將CU進一步分割為PU的實例中，每一CU可與明度寫碼區塊及對應色度寫碼區塊相關聯。如上，CU之大小可指CU之明度寫碼區塊的大小。視訊編碼器200及視訊解碼器120可支援2N×2N、2N×N或N×2N之CU大小。
對於諸如區塊內複製模式寫碼、仿射模式寫碼及線性模型(LM)模式寫碼之其他視訊寫碼技術，如少數實例，模式選擇單元202經由與寫碼技術相關聯之各別單元產生用於正編碼之當前區塊的預測區塊。在諸如調色板模式寫碼的一些實例中，模式選擇單元202可能不會產生預測區塊，而是產生指示基於所選擇調色板重建構區塊之方式的語法元素。在此類模式中，模式選擇單元202可將此等語法元素提供至待編碼之熵編碼單元220。
如上文所描述，殘餘產生單元204接收用於當前區塊及對應預測區塊之視訊資料。殘餘產生單元204接著產生用於當前區塊之殘餘區塊。為產生殘餘區塊，殘餘產生單元204計算預測區塊與當前區塊之間的逐樣本差。
變換處理單元206將一或多個變換應用於殘餘區塊以產生變換係數之區塊(在本文中被稱作「變換係數區塊」)。變換處理單元206可將各種變換應用於殘餘區塊以形成變換係數區塊。舉例而言，變換處理單元206可將離散餘弦變換(DCT)、定向變換、Karhunen-Loeve變換(KLT)或概念上類似之變換應用於殘餘區塊。在一些實例中，變換處理單元206可對殘餘區塊執行多個變換，例如初級變換及二次變換，諸如旋轉變換。在一些實例中，變換處理單元206不將變換應用於殘餘區塊。
量化單元208可量化變換係數區塊中之變換係數，以產生經量化變換係數區塊。量化單元208可根據與當前區塊相關聯之量化參數(QP)值量化變換係數區塊之變換係數。視訊編碼器200 (例如經由模式選擇單元202)可藉由調整與CU相關聯之QP值而調整應用於與當前區塊相關聯之係數區塊的量化程度。量化可引入資訊之損耗，且由此，經量化變換係數可相比由變換處理單元206產生之原始變換係數具有較低精確度。
反量化單元210及反變換處理單元212可將反量化及反變換分別應用於經量化變換係數區塊，以自變換係數區塊重建構殘餘區塊。重建構單元214可基於經重建構殘餘區塊及藉由模式選擇單元202產生之預測區塊來產生對應於當前區塊之經重建構區塊(儘管可能具有一定程度的失真)。舉例而言，重建構單元214可將經重建構殘餘區塊之樣本添加至來自由模式選擇單元202產生之預測區塊的對應樣本，以產生經重建構區塊。
濾波器單元216可對經重建構區塊執行一或多個濾波操作。舉例而言，濾波器單元216可執行解區塊操作以沿CU之邊緣減少區塊效應偽影。在一些實例中，可跳過濾波器單元216之操作。
視訊編碼器200將經重建構區塊儲存於DPB 218中。舉例而言，在不需要濾波器單元224之操作的實例中，重建構單元214可將經重建構區塊儲存至DPB 218。在需要濾波器單元224之操作的實例中，濾波器單元216可將經濾波經重建構區塊儲存至DPB 218。運動估計單元222及運動補償單元224可自DPB 218擷取由經重建構(及可能經濾波)區塊形成之參考圖像，以對隨後經編碼圖像之區塊進行框間預測。另外，框內預測單元226可使用當前圖像之DPB 218中的經重建構區塊，以對當前圖像中之其他區塊進行框內預測。
一般而言，熵編碼單元220可對自視訊編碼器200之其他功能組件所接收之語法元素進行熵編碼。舉例而言，熵編碼單元220可對來自量化單元208之經量化變換係數區塊進行熵編碼。作為另一實例，熵編碼單元220可對來自模式選擇單元202之預測語法元素(例如用於框間預測之運動資訊或用於框內預測之框內模式資訊)進行熵編碼。熵編碼單元220可對語法元素(其為視訊資料之另一實例)執行一或多個熵編碼操作以產生經熵編碼資料。舉例而言，熵編碼單元220可對資料執行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法的上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數-哥倫布編碼操作或另一類型之熵編碼操作。在一些實例中，熵編碼單元220可在旁路模式中操作，其中語法元素未經熵編碼。
視訊編碼器200可輸出位元串流，其包括重建構圖塊或圖像之區塊所需的經熵編碼語法元素。特定而言，熵編碼單元220可輸出該位元串流。
上文所描述之操作係關於區塊進行描述。此描述應理解為用於明度寫碼區塊及/或色度寫碼區塊的操作。如上文所描述，在一些實例中，明度寫碼區塊及色度寫碼區塊為CU之明度及色度分量。在一些實例中，明度寫碼區塊及色度寫碼區塊為PU之明度分量及色度分量。
在一些實例中，無需針對色度寫碼區塊重複相對於明度寫碼區塊執行之操作。作為一個實例，無需重複識別明度寫碼區塊之運動向量(MV)及參考圖像的操作用於識別色度區塊之MV及參考圖像。實情為，明度寫碼區塊之MV可經按比例縮放以判定色度區塊之MV，且參考圖像可為相同的。作為另一實例，框內預測程序可針對明度寫碼區塊及色度寫碼區塊係相同的。
視訊編碼器200表示經組態以對視訊資料進行編碼之器件的實例，該器件包括經組態以儲存視訊資料之記憶體，及一或多個處理單元，該一或多個處理單元被實施於電路中且經組態以建構當前區塊之運動向量預測器清單，且基於該運動向量預測器清單來對當前區塊進行框間預測編碼。
為建構運動向量預測器清單，視訊編碼器200可經組態以判定第一區塊集合中之區塊的運動向量，判定第二區塊集合中之第一區塊的第一運動向量，判定第二區塊集合中之第二區塊的第二運動向量，且判定該第二運動向量是否與第二區塊集合中之第一區塊的第一運動向量相同或是否與來自第一區塊集合中之區塊子集的區塊之運動向量相同。視訊編碼器200可經組態以進行以下中之一者：基於第二運動向量不與第二區塊集合中之第一區塊的第一運動向量相同且不與來自第一區塊集合中之區塊子集的任何區塊之任何運動向量相同的判定，將第二運動向量作為運動向量預測器插入於運動向量預測器清單中，或基於第二運動向量與第二區塊集合中之第一區塊的第一運動向量相同或與來自第一區塊集合中之區塊子集的任何區塊之運動向量相同的判定，略過將第二運動向量作為運動向量預測器插入於運動向量預測器清單中(例如不插入或避免插入)。
另外或替代地，為建構運動向量預測器清單，視訊編碼器200可經組態以回應於作為添加運動向量候選者至運動向量預測器清單中之部分判定最大數目之精簡操作尚未被執行：識別第一運動向量候選者；基於最大數目之精簡操作尚未被執行的判定，作為精簡操作之部分，判定是否存在第一運動向量候選者之重複運動向量候選者；作為添加運動向量候選者至運動向量預測器清單中之部分，判定最大數目之精簡操作已被執行；及略過(例如避免)是否存在被添加至運動向量預測器清單的一或多個後續運動向量候選者之重複運動向量候選者的判定。
在一些實例中，為對當前區塊進行框間預測編碼，視訊編碼器200可判定預測區塊。藉由當前區塊之運動向量來識別預測區塊，且當前區塊之運動向量可藉由視訊解碼器300基於在運動向量預測器清單中所識別之運動向量預測器而導出。視訊編碼器200可判定至運動向量預測器清單中之識別運動向量預測器的索引，基於預測區塊與當前區塊之間的差來判定殘餘區塊，且用信號發送指示殘餘區塊及至運動向量預測器清單中之索引的資訊。
視訊編碼器200進一步表示用於寫碼(亦即編碼)視訊資料之當前區塊的器件之實例，該器件包括：一記憶體，其經組態以儲存視訊資料；及一或多個處理器，其實施於電路中且經組態以：建構該視訊資料之一當前區塊的一運動向量預測器清單，其中為建構該運動向量預測器清單，該一或多個處理器經組態以：判定一第一區塊集合中之區塊的運動向量，該第一區塊集合包含與該當前區塊直接相鄰之區塊；判定一第二區塊集合中之一第一區塊的一第一運動向量，該第二區塊集合包含與該當前區塊分開一或多個區塊的區塊；判定該第二區塊集合中之一第二區塊的一第二運動向量；判定該第二運動向量是否與該第二區塊集合中之該第一區塊的該第一運動向量相同或是否與來自該第一區塊集合中之一區塊子集中的一區塊的一運動向量相同；回應於判定該第二運動向量與該第二區塊集合中之該第一區塊的該第一運動向量不相同且與來自該第一區塊集合之該區塊子集中之任一區塊的任一運動向量不相同，將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中；回應於判定該第二運動向量與該第二區塊集合中之該第一區塊的該第一運動向量相同或與來自該第一區塊集合之該區塊子集中之任一區塊的一運動向量相同，略過將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中；使用該當前區塊之一運動向量對該當前區塊進行框間預測寫碼；及使用該運動向量預測器清單對該運動向量進行寫碼。
圖9為說明可執行本發明之技術的實例視訊解碼器300的方塊圖。出於解釋之目的而提供圖9，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明描述視訊解碼器300係根據JEM及HEVC之技術來描述的。然而，本發明之技術可由經組態為其他視訊寫碼標準的視訊寫碼器件執行。
在圖9之實例中，視訊解碼器300包括經寫碼圖像緩衝器(CPB)記憶體320、熵解碼單元302、預測處理單元304、反量化單元306、反變換處理單元308、重建構單元310、濾波器單元312及經解碼圖像緩衝器(DPB) 314。預測處理單元304包括運動補償單元316及框內預測單元318。預測處理單元304可包括根據其他預測模式執行預測的額外單元。作為實例，預測處理單元304可包括調色板單元、區塊內複製單元(其可形成運動補償單元318之部分)、仿射單元、線性模型(LM)單元或類似者。在其他實例中，視訊解碼器300可包括更多、更少或不同功能組件。
CPB記憶體320可儲存待由視訊解碼器300之組件解碼的視訊資料，諸如經編碼視訊位元串流。可(例如)自電腦可讀媒體110 (圖1)獲得儲存於CPB記憶體320中之視訊資料。CPB記憶體320可包括儲存來自經編碼視訊位元串流之經編碼視訊資料(例如語法元素)的CPB。此外，CPB記憶體320可儲存除經寫碼圖像之語法元素之外的視訊資料，諸如表示來自視訊解碼器300之各種單元之輸出的暫時資料。DPB 314大體上儲存經解碼圖像，其中視訊解碼器300可在解碼經編碼視訊位元串流之後續資料或圖像時輸出該等經解碼圖像及/或將其用作參考視訊資料。CPB 記憶體320及DPB 314可由多種記憶體器件中之任一者形成，諸如動態隨機存取記憶體(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。CPB記憶體320及DPB 314可藉由同一記憶體器件或分開的記憶體器件提供。在各種實例中，CPB記憶體320可與視訊解碼器300之其他組件一起在晶片上，或相對於彼等組件在晶片外。
另外地或可替代地，在一些實例中，視訊解碼器300可自記憶體120 (圖1)擷取經寫碼視訊資料。亦即，記憶體120可運用CPB 記憶體320儲存如上文所論述之資料。同樣地，當視訊解碼器300之一些或所有功能性實施於軟體中以藉由視訊解碼器300之處理電路執行時，記憶體120可儲存待由視訊解碼器300執行之指令。
圖9中展示之各種單元經說明以輔助理解藉由視訊解碼器300執行的操作。單元可經實施為固定功能電路、可程式化電路或其組合。如關於圖8所論述， 固定功能電路指提供特定功能性且預設可被執行之操作的電路。可程式化電路係指可經程式化以執行各種任務並在可執行之操作中提供可調整功能性的電路。舉例而言，可程式化電路可執行促使可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可執行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作之類型大體上係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。
視訊解碼器300可包括ALU、EFU、數位電路、類比電路及/或由可程式化電路形成之可程式化核心。在視訊解碼器300之操作藉由在可程式化電路上執行之軟體執行的實例中，晶片上或晶片外記憶體可儲存視訊解碼器300接收並執行的軟體之指令(例如目標程式碼)。
熵解碼單元302可自CPB接收經編碼視訊資料，並對視訊資料進行熵解碼以再生語法元素。預測處理單元304、反量化單元306、反變換處理單元308、重建構單元310、及濾波器單元312可基於自位元串流提取之語法元素產生經解碼視訊資料。
一般而言，視訊解碼器300在逐區塊基礎上重建構圖像。視訊解碼器300可對每一區塊(其中當前經重建構(亦即經解碼)之區塊可被稱作「當前區塊」)個別地執行重建構操作。
熵解碼單元302可對定義經量化變換係數區塊之經量化變換係數的語法元素以及諸如量化參數(QP)及/或變換模式指示之變換資訊進行熵解碼。反量化單元306可使用與經量化變換係數區塊相關聯之QP判定量化程度，且同樣判定反量化程度供反量化單元306應用。反量化單元306可例如執行按位元左移操作以將經量化變換係數反量化。反量化單元306可從而形成包括變換係數之變換係數區塊。
在反量化單元306形成變換係數區塊後，反變換處理單元308可將一或多個反變換應用於變換係數區塊以產生與當前區塊相關聯的殘餘區塊。舉例而言，反變換處理單元308可將反DCT、反整數變換、反Karhunen-Loeve變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。
此外，預測處理單元304根據藉由熵解碼單元302熵解碼之預測資訊語法元素產生預測區塊。舉例而言，若預測資訊語法元素指示當前區塊經框間預測，則運動補償單元316可產生預測區塊。在此情況下，預測資訊語法元素可指示DPB 314中之參考圖像(自其擷取參考區塊)，以及運動向量，其識別參考圖像中之參考區塊相對於當前圖像中之當前區塊之位置的位置。運動補償單元316可大體上以實質上類似於關於運動補償單元224所描述之方式的方式執行框間預測程序(圖8)。
作為另一實例，若預測資訊語法元素指示當前區塊經框內預測，則框內預測單元318可根據藉由預測資訊語法元素指示之框內預測模式產生預測區塊。同樣，框內預測單元318可大體上以實質上類似於關於框內預測單元226(圖8)所描述之方式的方式執行框內預測程序。框內預測單元318可將相鄰樣本之資料自DPB 314擷取至當前區塊。
重建構單元310可使用預測區塊及殘餘區塊重建構當前區塊。舉例而言，重建構單元310可將殘餘區塊之樣本添加至預測區塊之對應樣本以重建構當前區塊。
濾波器單元312可對經重建構區塊執行一或多個濾波操作。舉例而言，濾波器單元312可執行解區塊操作以沿經重建構區塊之邊緣減少區塊效應偽影。濾波器單元312之操作不一定在所有實例中執行。
視訊解碼器300可將經重建構區塊存儲於DPB 314中。如上文所論述，DPB 314可將參考資訊提供至預測處理單元304，該參考資訊諸如用於框內預測之當前圖像及用於後續運動補償之經先前解碼圖像的樣本。此外，視訊解碼器300可輸出來自DPB之經解碼圖像用於後續呈現於顯示器件(諸如圖1之顯示器件118)上。
以此方式，視訊解碼器300表示視訊解碼器件之實例，該視訊解碼器件包括經組態以儲存視訊資料之記憶體，及一或多個處理單元，該一或多個處理單元經實施於電路中且經組態以建構當前區塊之運動向量預測器清單，且基於運動向量預測器清單來對當前區塊進行框間預測解碼。為建構運動向量預測器清單，視訊解碼器300可判定第一區塊集合中之區塊的運動向量，判定第二區塊集合中之第一區塊的第一運動向量，判定第二區塊集合中之第二區塊的第二運動向量，且判定該第二運動向量是否與第二區塊集合中之第一區塊的第一運動向量相同或是否與來自第一區塊集合中之區塊子集的區塊之運動向量相同。視訊解碼器300可經組態以進行以下中之一者：基於第二運動向量與第二區塊集合中之第一區塊的第一運動向量不相同且與來自第一區塊集合中之區塊子集的任何區塊之任何運動向量不相同的判定，將第二運動向量作為運動向量預測器插入於運動向量預測器清單中，或基於第二運動向量與第二區塊集合中之第一區塊的第一運動向量相同或與來自第一區塊集合中之區塊子集的任何區塊之運動向量相同的判定，略過將第二運動向量作為運動向量預測器插入於運動向量預測器清單中(例如不插入或避免插入)。
另外或替代地，為建構運動向量預測器清單，視訊編碼器300可經組態以作為添加運動向量候選者至運動向量預測器清單中之部分判定尚未執行最大數目之精簡操作；識別第一運動向量候選者；基於最大數目之精簡操作尚未被執行的判定，作為精簡操作之部分，判定是否存在第一運動向量候選者之重複運動向量候選者；作為添加運動向量候選者至運動向量預測器清單中之部分，判定最大數目之精簡操作已被執行；及略過(例如避免)是否存在被添加至運動向量預測器清單的一或多個後續運動向量候選者之重複運動向量候選者的判定。
在一些實例中，為進行框間預測解碼，視訊解碼器300可經組態以接收至運動向量預測器清單中之索引，基於該索引來判定運動向量預測器，基於該運動向量預測器來判定當前區塊之當前運動向量；基於該當前運動向量來判定預測區塊，判定指示預測區塊與當前區塊之間的差之殘餘區塊，且藉由將殘餘區塊添加至預測區塊來重建構當前區塊。
視訊解碼器300進一步表示用於寫碼(亦即解碼)視訊資料之當前區塊的器件之實例，該器件包括：一記憶體，其經組態以儲存視訊資料；及一或多個處理器，其實施於電路中且經組態以：建構該視訊資料之一當前區塊的一運動向量預測器清單，其中為建構該運動向量預測器清單，該一或多個處理器經組態以：判定一第一區塊集合中之區塊的運動向量，該第一區塊集合包含與該當前區塊直接相鄰之區塊；判定一第二區塊集合中之一第一區塊的一第一運動向量，該第二區塊集合包含與該當前區塊分開一或多個區塊的區塊；判定該第二區塊集合中之一第二區塊的一第二運動向量；判定該第二運動向量是否與該第二區塊集合中之該第一區塊的該第一運動向量相同或是否與來自該第一區塊集合中之一區塊子集中的一區塊的一運動向量相同；回應於判定該第二運動向量與該第二區塊集合中之該第一區塊的該第一運動向量不相同且與來自該第一區塊集合之該區塊子集中之任一區塊的任一運動向量不相同，將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中；回應於判定該第二運動向量與該第二區塊集合中之該第一區塊的該第一運動向量相同或與來自該第一區塊集合之該區塊子集中之任一區塊的一運動向量相同，略過將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中；使用該當前區塊之一運動向量對該當前區塊進行框間預測寫碼；及使用該運動向量預測器清單對該運動向量進行寫碼。
圖10為說明根據本發明之技術對視訊資料之當前區塊進行編碼之實例方法的流程圖。關於視訊編碼器200解釋圖10之方法，但應理解其他視訊寫碼器件可經組態以執行圖10之方法。
在此實例中，視訊編碼器200最初運用運動向量對視訊資料之當前區塊進行框間預測(350)。舉例而言，視訊編碼器200可執行運動搜尋以判定運動向量，接著使用運動向量產生預測區塊。
視訊編碼器200可使用本發明之技術(例如，使用運動向量預測器清單(有時亦被稱作「運動向量預測器候選者清單」))編碼運動向量。根據此等技術，視訊編碼器200可最初添加與該當前區塊直接相鄰的第一區塊集合之運動向量至運動向量預測器清單(352)。視訊編碼器200接著可插入包括由至少一個區塊與當前區塊分開之相鄰區塊的第二區塊集合之唯一運動向量至運動向量預測器清單(354)。同樣，視訊編碼器200可略過將包括由至少一個區塊與當前區塊分開的相鄰區塊的第二區塊集合之非唯一運動向量插入至運動向量預測器清單中(356)。視訊編碼器200可大體上根據運動向量是否與第一區塊集合的運動向量之子集及/或第二區塊集合的運動向量之子集相同或類似(例如在其臨限差內)來判定運動向量是否「唯一」。
視訊編碼器200接著可使用運動向量預測器清單編碼運動向量(358)。舉例而言，在合併模式中，視訊編碼器200可判定識別運動向量預測器清單中之匹配用以對當前區塊進行框間預測的運動向量之運動向量預測器的索引。在AMVP模式中，作為另一實例，視訊編碼器200可判定識別運動向量預測器清單中之最接近匹配運動向量預測器的索引，以及其他運動資訊(諸如參考圖像清單、參考圖像索引及運動向量差)。
視訊編碼器200可使用預測區塊進一步形成殘餘區塊(360)。舉例而言，視訊編碼器200可計算當前區塊與預測區塊之間的逐像素差並在殘餘區塊中儲存此等差。此外，視訊編碼器200可將變換應用於殘餘區塊以產生變換係數區塊，且接著根據量化參數量化該等變換係數。視訊編碼器200接著可對表示殘餘區塊之資料(亦即，經量化變換係數)以及運動資訊進行熵編碼(362)。
以此方式，圖10之方法表示一種編碼視訊資料之方法的實例，該方法包括建構一當前視訊資料區塊的一運動向量預測器清單，其中建構該運動向量預測器清單包含：判定一第一區塊集合中之區塊的運動向量，該第一區塊集合包含與該當前區塊直接相鄰之區塊；判定一第二區塊集合中之一第一區塊的一第一運動向量，該第二區塊集合包含與該當前區塊分開一或多個區塊的區塊；判定該第二區塊集合中之一第二區塊的一第二運動向量；判定該第二運動向量是否與該第二區塊集合中之該第一區塊的該第一運動向量相同或是否與來自該第一區塊集合中之一區塊子集中的一區塊的一運動向量相同；回應於判定該第二運動向量與該第二區塊集合中之該第一區塊的該第一運動向量不相同且與來自該第一區塊集合之該區塊子集中之任一區塊的任一運動向量不相同，將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中；回應於判定該第二運動向量與該第二區塊集合中之該第一區塊的該第一運動向量相同或與來自該第一區塊集合之該區塊子集中之任一區塊的一運動向量相同，略過將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中；使用該當前區塊之一運動向量對該當前區塊進行框間預測編碼；及使用該運動向量預測器清單對該運動向量進行編碼。
圖11為說明根據本發明之技術對視訊資料之當前區塊進行解碼之實例方法的流程圖。關於視訊解碼器300解釋圖11之方法，但應理解其他視訊寫碼器件可經組態以執行圖11之方法。
視訊解碼器300可對當前區塊之殘餘區塊及運動資訊進行熵解碼(380)。舉例而言，視訊解碼器300可對經量化變換係數進行熵解碼，接著反量化並反變換該等係數以再生當前區塊之殘餘區塊。視訊解碼器300亦可對至運動向量預測器清單中之索引(及在AMVP模式中，諸如參考圖像清單、參考索引及運動向量差之其他運動資訊)進行熵解碼。
視訊解碼器300接著可使用運動向量預測器清單及運動資訊對運動向量進行解碼。根據本發明之技術，視訊解碼器300可最初添加與當前區塊直接相鄰之第一區塊集合的運動向量至運動向量預測器清單(382)。視訊解碼器300接著可插入包括由至少一個區塊與當前區塊分開的相鄰區塊之第二區塊集合的唯一運動向量至運動向量預測器清單(384)。同樣，視訊解碼器300可略過插入包括由至少一個區塊與當前區塊分開之相鄰區塊的第二區塊集合之非唯一運動向量至運動向量預測器清單中(386)。視訊解碼器300可大體上根據運動向量是否與第一區塊集合的運動向量之子集及/或第二區塊集合的運動向量之子集相同或類似(例如在其臨限差內)來判定運動向量是否「唯一」。
視訊解碼器300接著可使用運動向量預測器清單對運動向量進行解碼(388)。詳言之，視訊解碼器300可使用經解碼索引判定運動向量預測器。在合併模式中，視訊解碼器300可使用運動向量預測器作為當前區塊之運動向量。在AMVP模式中，視訊解碼器300可添加運動向量差至運動向量預測器以獲得運動向量。
視訊解碼器300接著可運用運動向量對當前區塊進行框間預測(390)以產生預測區塊。視訊解碼器接著可在逐像素基礎上添加預測區塊至殘餘區塊以解碼當前區塊(392)。
以此方式，圖11之方法表示一種解碼視訊資料之方法的實例，該方法包括建構一當前視訊資料區塊的一運動向量預測器清單，其中建構該運動向量預測器清單包含：判定一第一區塊集合中之區塊的運動向量，該第一區塊集合包含與該當前區塊直接相鄰之區塊；判定一第二區塊集合中之一第一區塊的一第一運動向量，該第二區塊集合包含與該當前區塊分開一或多個區塊的區塊；判定該第二區塊集合中之一第二區塊的一第二運動向量；判定該第二運動向量是否與該第二區塊集合中之該第一區塊的該第一運動向量相同或是否與來自該第一區塊集合中之一區塊子集中的一區塊的一運動向量相同；回應於判定該第二運動向量與該第二區塊集合中之該第一區塊的該第一運動向量不相同且與來自該第一區塊集合之該區塊子集中之任一區塊的任一運動向量不相同，將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中；回應於判定該第二運動向量與該第二區塊集合中之該第一區塊的該第一運動向量相同或與來自該第一區塊集合之該區塊子集中之任一區塊的一運動向量相同，略過將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中；使用該當前區塊之一運動向量對該當前區塊進行框間預測解碼；及使用該運動向量預測器清單對該運動向量進行解碼。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行、可被添加、合併或完全省去(例如，並非所有所描述動作或事件為實踐該等技術所必要)。此外，在某些實例中，可例如經由多執行緒處理、中斷處理或多個處理器同時而非順序執行動作或事件。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體(其包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體)。以此方式，電腦可讀媒體大體上可對應於(1)為非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
以實例說明而非限制，此等電腦可讀儲存媒體可包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構形式之所要程式碼且可藉由電腦存取的任何其他媒體中之一或多者。而且，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟用雷射以光學方式再生資料。以上之組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，諸如一或多個DSP、通用微處理器、ASIC、FPGA或其他等效整合或離散邏輯電路。因此，如本文所用之術語「處理器」可指前述結構或適用於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文所描述之功能可經提供於經組態以供編碼及解碼或併入於經組合編碼解碼器中之專用硬體及/或軟體模組內。又，可在一或多個電路或邏輯元件中充分實施該等技術。
本發明之技術可實施於多種器件或裝置中，包括無線手機、積體電路(IC)或IC集合(例如晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切地說，如上文所描述，可將各種單元組合於可在編碼解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合而結合合適軟體及/或韌體來提供該等單元。
各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。
1:區塊 2:區塊 3:區塊 4:區塊 5:區塊 6:區塊 7:區塊 8:區塊 9:區塊 10:區塊 11:區塊 12:區塊 13:區塊 14:區塊 15:區塊 16:區塊 17:區塊 18:區塊 19:區塊 20:區塊 21:區塊 22:區塊 23:區塊 24:區塊 25:區塊 26:區塊 27:區塊 28:區塊 29:區塊 30:區塊 31:區塊 32:區塊 33:區塊 34:區塊 35:區塊 36:區塊 37:區塊 38:區塊 39:區塊 40:區塊 41:區塊 42:區塊 43:區塊 44:區塊 45:區塊 46:區塊 47:區塊 48:區塊 49:區塊 100:視訊編碼及解碼系統 102:源器件 104:視訊源 106:記憶體 108:輸出介面 110:電腦可讀媒體 112:儲存器件 114:檔案伺服器 116:目的地器件 118:顯示器件 120:記憶體 122:輸入介面 130A:預測單元(PU) 130B:預測單元(PU) 132A:空間相鄰候選者 132B:空間相鄰候選者 132C:空間相鄰候選者 132D:空間相鄰候選者 132E:空間相鄰候選者 134A:預測單元(PU) 134B:預測單元(PU) 136A:空間相鄰候選者 136B:空間相鄰候選者 136C:空間相鄰候選者 136D:空間相鄰候選者 136E:空間相鄰候選者 140:LCU 142A:預測單元/PU 142B:預測單元/PU 144A:時間運動向量預測器(TMVP)候選者 144B:時間運動向量預測器(TMVP)候選者 144C:時間運動向量預測器(TMVP)候選者 146:當前圖像 148A:當前參考圖像 148B:共置參考圖像 148C:共置圖像 150:時間運動向量預測器(TMVP)候選者運動向量 152:共置運動向量(MV) 154:當前區塊 156A:相鄰區塊 156B:相鄰區塊 156C:相鄰區塊 156D:相鄰區塊 156E:相鄰區塊 158:當前區塊 160A:位置H 160B:位置C 162:當前區塊 200:視訊編碼器 202:模式選擇單元 204:殘餘產生單元 206:變換處理單元 208:量化單元 210:反量化單元 212:反變換處理單元 214:重建構單元 216:濾波器單元 218:經解碼圖像緩衝器(DPB) 220:熵編碼單元 222:運動估計單元 224:運動補償單元 226:框內預測單元 230:視訊資料記憶體 300:視訊解碼器 302:熵解碼單元 304:預測處理單元 306:反量化單元 308:反變換處理單元 310:重建構單元 312:濾波器單元 314:經解碼圖像緩衝器(DPB) 316:運動補償單元 318:框內預測單元 320:經寫碼圖像緩衝器(CPB)記憶體 350:步驟 352:步驟 354:步驟 356:步驟 358:步驟 360:步驟 362:步驟 380:步驟 382:步驟 384:步驟 386:步驟 388:步驟 390:步驟 392:步驟 A0:位置 A1:位置 B0:位置 B1:位置
圖1為說明可執行本發明之技術之實例視訊編碼及解碼系統的方塊圖。
圖2A及圖2B為分別說明用於合併及進階運動向量預測(AMVP)模式之空間相鄰運動向量候選者的實例之概念圖。
圖3A及圖3B為分別說明時間運動向量預測器(TMVP)候選者及用於TMVP之運動向量按比例縮放的實例之概念圖。
圖4A為說明用於合併/跳過模式之空間相鄰運動向量候選者的實例之概念圖。
圖4B為說明用於合併/跳過模式之時間相鄰運動向量候選者的實例之概念圖。
圖5為說明用以導出空間合併候選者之空間相鄰區塊的實例之概念圖。
圖6為說明用以導出空間合併候選者之空間相鄰區塊的額外實例之概念圖。
圖7為說明根據本發明之技術可用以導出空間合併候選者的空間相鄰區塊之實例集合的概念圖。
圖8為說明可執行本發明之技術之實例視訊編碼器的方塊圖。
圖9為說明可執行本發明之技術的實例視訊解碼器的方塊圖。
圖10為說明根據本發明之技術對視訊資料之當前區塊進行編碼之實例方法的流程圖。
圖11為說明根據本發明之技術對視訊資料之當前區塊進行解碼之實例方法的流程圖。
380:步驟
382:步驟
384:步驟
386:步驟
388:步驟
390:步驟
392:步驟

Claims (28)

  1. 一種寫碼視訊資料之方法，該方法包含： 建構一當前視訊資料區塊的一運動向量預測器清單，其中建構該運動向量預測器清單包含： 判定一第一區塊集合之區塊的運動向量，該第一區塊集合包含與該當前區塊直接相鄰的區塊； 判定一第二區塊集合的一第一區塊之一第一運動向量，該第二區塊集合包含與該當前區塊分開一或多個區塊的區塊； 判定該第二區塊集合的一第二區塊之一第二運動向量； 判定該第二運動向量是否與該第二區塊集合中之該第一區塊的該第一運動向量相同，或是否與該第一區塊集合之一區塊子集的一區塊之一運動向量相同； 回應於判定該第二運動向量與用於該第二區塊集合之該第一區塊的該第一運動向量相同或與來自該第一區塊集合之該區塊子集的任一區塊的一運動向量相同，略過將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中； 使用該當前區塊之一運動向量對該當前區塊進行框間預測寫碼；及 使用該運動向量預測器清單對該運動向量進行寫碼。
  2. 如請求項1之方法，其進一步包含： 將該第一區塊集合的該等所判定之運動向量插入於該運動向量預測清單中。
  3. 如請求項1之方法，其中該第二區塊集合的該第一區塊為該空間上最接近於該第二區塊之區塊的一區塊，及先前經檢查以判定該第一運動向量是否將包括於該運動向量預測器清單中的一區塊。
  4. 如請求項1之方法，其進一步包含： 判定一第三區塊集合之一第三區塊的一第三運動向量； 判定該第三區塊集合之一第四區塊的一第四運動向量； 判定該第四運動向量是否與該第三區塊集合之該第三區塊的該第三運動向量相同或是否與來自該第一區塊集合之該區塊子集的任一區塊之任一運動向量相同；及 回應於判定該第四運動向量與用於該第三區塊集合之該第三區塊的該第三運動向量相同或與來自該第一區塊集合之該區塊子集的任一區塊的一運動向量相同，略過將該第四運動向量作為一運動向量預測器插入於該運動向量預測器清單中。
  5. 如請求項4之方法，其中該第三區塊集合之該第三區塊為該空間上最接近於該第四區塊之區塊的一區塊，及先前經檢查以判定該第三運動向量是否將包括於該運動向量預測器清單中的一區塊。
  6. 如請求項1之方法，其進一步包含，回應於判定該第二運動向量與用於該第二區塊集合之該第一區塊的該第一運動向量不相同且與來自該第一區塊集合之該區塊子集的任一區塊的任一運動向量不相同，將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中。
  7. 如請求項1之方法，其中該區塊子集限於該第一區塊集合之一數目N，N為一正整數值，該方法進一步包含寫碼表示N之一值。
  8. 如請求項1之方法，其中該區塊子集包含該完整第一區塊集合。
  9. 如請求項1之方法，其中判定該第二運動向量是否與該第一運動向量相同包含在該第一運動向量與該第二運動向量之間比較參考方向、參考索引或圖像次序計數(POC)值中之一或多者。
  10. 如請求項1之方法，其中寫碼視訊資料之該方法包含解碼視訊資料之一方法，其中框間預測寫碼包含框間預測解碼，且其中框間預測解碼包含： 接收至該運動向量預測器清單中之一索引； 基於該索引判定一運動向量預測器； 基於該運動向量預測器判定該當前區塊之該運動向量； 基於該運動向量判定一預測區塊； 判定指示該預測區塊與該當前區塊之間的差之一殘餘區塊；及 藉由添加該殘餘區塊至該預測區塊而重建構該當前區塊。
  11. 如請求項1之方法，其中寫碼視訊資料之該方法包含編碼視訊資料之一方法，其中框間預測寫碼包含框間預測編碼，且其中框間預測編碼包含： 判定一預測區塊，其中該預測區塊係藉由該當前區塊之一運動向量來識別，其中該當前區塊之該運動向量可藉由一視訊解碼器基於在該運動向量預測器清單中所識別之一運動向量預測器而導出； 判定至該運動向量預測器清單中之識別該運動向量預測器的一索引； 基於該預測區塊與該當前區塊之間的一差判定一殘餘區塊；及 用信號發送指示該殘餘區塊及至該運動向量預測器清單中之該索引的資訊。
  12. 一種用於寫碼視訊資料之器件，該器件包含： 一記憶體，其經組態以儲存視訊資料；及 一或多個處理器，其實施於電路中且經組態以： 建構該視訊資料之一當前區塊的一運動向量預測器清單，其中為建構該運動向量預測器清單，該一或多個處理器經組態以： 判定一第一區塊集合之區塊的運動向量，該第一區塊集合包含與該當前區塊直接相鄰的區塊； 判定一第二區塊集合之一第一區塊的一第一運動向量，該第二區塊集合包含與該當前區塊分開一或多個區塊的區塊； 判定該第二區塊集合的一第二區塊之一第二運動向量； 判定該第二運動向量是否與該第二區塊集合中之該第一區塊的該第一運動向量相同，或是否與來自該第一區塊集合之一區塊子集的一區塊之一運動向量相同； 回應於判定該第二運動向量與用於該第二區塊集合之該第一區塊的該第一運動向量不相同且與來自該第一區塊集合之該區塊子集的任一區塊的任一運動向量不相同，將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中； 回應於判定該第二運動向量與用於該第二區塊集合之該第一區塊的該第一運動向量相同或與來自該第一區塊集合之該區塊子集的任一區塊的一運動向量相同，略過將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中； 使用該當前區塊之一運動向量對該當前區塊進行框間預測寫碼；及 使用該運動向量預測器清單對該運動向量進行寫碼。
  13. 如請求項12之器件，其中該一或多個處理器經進一步組態以將該第一區塊集合之該等經判定運動向量插入於該運動向量預測清單中。
  14. 如請求項12之器件，其中該第二區塊集合之該第一區塊為空間上最接近於該第二區塊之區塊的一區塊，及先前經檢查以判定該第一運動向量是否將包括於該運動向量預測器清單中的一區塊。
  15. 如請求項12之器件，其中該區塊子集限於該第一區塊集合之一數目N，N為一正整數值，且其中該一或多個處理器經進一步組態以寫碼表示N之一值。
  16. 如請求項12之器件，其中為判定該第二運動向量是否與該第一運動向量相同，該一或多個處理器經組態以在該第一運動向量與該第二運動向量之間比較參考方向、參考索引或圖像次序計數(POC)值中之一或多者。
  17. 如請求項12之器件，其中該一或多個處理器經組態以對該運動向量進行解碼並對該當前區塊進行框間預測解碼。
  18. 如請求項12之器件，其中該一或多個處理器經組態以對該運動向量進行編碼並對該當前區塊進行框間預測編碼。
  19. 如請求項12之器件，其進一步包含經組態以顯示經解碼視訊資料之一顯示器。
  20. 如請求項12之器件，其中該器件包含一攝影機、一電腦、一行動器件、一廣播接收器器件或一機上盒中之一或多者。
  21. 一種其上儲存有指令之電腦可讀儲存媒體，該等指令在執行時促使一處理器： 建構一當前視訊資料區塊的一運動向量預測器清單，其中為建構該運動向量預測器清單，該等指令促使該處理器： 判定一第一區塊集合之區塊的運動向量，該第一區塊集合包含與該當前區塊直接相鄰的區塊； 判定一第二區塊集合之一第一區塊的一第一運動向量，該第二區塊集合包含與該當前區塊分開一或多個區塊的區塊； 判定該第二區塊集合的一第二區塊之一第二運動向量； 判定該第二運動向量是否與該第二區塊集合中之該第一區塊的該第一運動向量相同，或是否與來自該第一區塊集合之一區塊子集的一區塊之一運動向量相同； 回應於判定該第二運動向量與用於該第二區塊集合之該第一區塊的該第一運動向量不相同且與來自該第一區塊集合之該區塊子集的任一區塊的任一運動向量不相同，將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中； 回應於判定該第二運動向量與用於該第二區塊集合之該第一區塊的該第一運動向量相同或與來自該第一區塊集合之該區塊子集的任一區塊的一運動向量相同，略過將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中； 使用該當前區塊之一運動向量對該當前區塊進行框間預測寫碼；及 使用該運動向量預測器清單對該運動向量進行寫碼。
  22. 如請求項21之電腦可讀儲存媒體，其進一步包含促使該處理器將該第一區塊集合之該等經判定運動向量插入於該運動向量預測清單中的指令。
  23. 如請求項21之電腦可讀儲存媒體，其中該第二區塊集合之該第一區塊為空間上最接近於該第二區塊之區塊的一區塊，及先前經檢查以判定該第一運動向量是否將包括於該運動向量預測器清單中的一區塊。
  24. 如請求項21之電腦可讀儲存媒體，其中該區塊子集限於該第一區塊集合之一數目N，N為一正整數值，其進一步包含促使該處理器寫碼表示N之一值的指令。
  25. 如請求項21之電腦可讀儲存媒體，其中促使該處理器判定該第二運動向量是否與該第一運動向量相同的該等指令包含促使該處理器在該第一運動向量與該第二運動向量之間比較參考方向、參考索引或圖像次序計數(POC)值中之一或多者的指令。
  26. 如請求項21之電腦可讀儲存媒體，其中促使該處理器對該運動向量進行寫碼並對該當前區塊進行框間預測寫碼的該等指令包含促使該處理器對該運動向量進行解碼並對該當前區塊進行框間預測解碼的指令。
  27. 如請求項21之電腦可讀儲存媒體，其中促使該處理器對該運動向量進行寫碼並對該當前區塊進行框間預測寫碼的該等指令包含促使該處理器對該運動向量進行編碼並對該當前區塊進行框間預測編碼的指令。
  28. 一種用於寫碼視訊資料之器件，該器件包含： 用於建構一當前視訊資料區塊的一運動向量預測器清單的構件，其中用於建構該運動向量預測器清單的該構件包含： 用於判定一第一區塊集合之區塊的運動向量的構件，該第一區塊集合包含與該當前區塊直接相鄰的區塊； 用於判定一第二區塊集合之一第一區塊的一第一運動向量的構件，該第二區塊集合包含與該當前區塊分開一或多個區塊的區塊； 用於判定該第二區塊集合之一第二區塊的一第二運動向量的構件； 用於判定該第二運動向量是否與該第二區塊集合中之該第一區塊的該第一運動向量相同，或是否與來自該第一區塊集合之一區塊子集的一區塊之一運動向量相同的構件； 用於回應於判定該第二運動向量與用於該第二區塊集合之該第一區塊的該第一運動向量不相同且與來自該第一區塊集合之該區塊子集的任一區塊的任一運動向量不相同，將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中的構件； 用於回應於判定該第二運動向量與用於該第二區塊集合之該第一區塊的該第一運動向量相同或與來自該第一區塊集合之該區塊子集的任一區塊的一運動向量相同，略過將該第二運動向量作為一運動向量預測器插入於該運動向量預測器清單中的構件； 用於使用該當前區塊之一運動向量對該當前區塊進行框間預測寫碼的構件；及 用於使用該運動向量預測器清單對該運動向量進行寫碼的構件。
TW108133115A 2018-09-12 2019-09-12 向量預測器清單之產生 TW202025727A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862730495P 2018-09-12 2018-09-12
US62/730,495 2018-09-12
US201862732526P 2018-09-17 2018-09-17
US62/732,526 2018-09-17
US16/566,571 2019-09-10
US16/566,571 US10958932B2 (en) 2018-09-12 2019-09-10 Inter-prediction coding of video data using generated motion vector predictor list including non-adjacent blocks

Publications (1)

Publication Number Publication Date
TW202025727A true TW202025727A (zh) 2020-07-01

Family

ID=69720244

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108133115A TW202025727A (zh) 2018-09-12 2019-09-12 向量預測器清單之產生

Country Status (5)

Country Link
US (1) US10958932B2 (zh)
EP (1) EP3850838A1 (zh)
CN (1) CN112640451B (zh)
TW (1) TW202025727A (zh)
WO (1) WO2020056024A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10602176B2 (en) * 2016-04-15 2020-03-24 Google Llc Coding interpolation filter type
CN116866564A (zh) * 2016-10-04 2023-10-10 株式会社Kt 用于处理视频信号的方法和装置
WO2020114406A1 (en) * 2018-12-03 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Partial pruning method for inter prediction
WO2020156464A1 (en) * 2019-01-31 2020-08-06 Mediatek Inc. Method and apparatus of combined inter and intraprediction for video coding
CN115715465A (zh) * 2020-06-05 2023-02-24 抖音视界有限公司 使用非紧邻临近块的帧内块复制
CN115812306A (zh) * 2020-06-08 2023-03-17 抖音视界有限公司 使用非紧邻临近块的帧内块复制的约束
KR20240090265A (ko) * 2021-09-29 2024-06-21 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서 아핀 병합 모드에 대한 후보 도출
US12088793B2 (en) * 2022-08-30 2024-09-10 Tencent America LLC Temporal motion vector predictor candidates search

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100939917B1 (ko) * 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
KR101459714B1 (ko) 2009-10-28 2014-11-13 에스케이텔레콤 주식회사 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011095260A1 (en) * 2010-02-05 2011-08-11 Telefonaktiebolaget L M Ericsson (Publ) Managing predicted motion vector candidates
US8824558B2 (en) 2010-11-23 2014-09-02 Mediatek Inc. Method and apparatus of spatial motion vector prediction
US8711940B2 (en) 2010-11-29 2014-04-29 Mediatek Inc. Method and apparatus of motion vector prediction with extended motion vector predictor
KR102390352B1 (ko) 2011-01-07 2022-04-25 엘지전자 주식회사 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
ES2900107T3 (es) 2011-03-21 2022-03-15 Lg Electronics Inc Método para seleccionar un predictor de vector de movimiento
EP3849192B1 (en) 2011-06-28 2023-01-11 LG Electronics, Inc. Method for deriving a motion vector for video decoding and video encoding
GB2493755B (en) 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images
KR20130030181A (ko) 2011-09-16 2013-03-26 한국전자통신연구원 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치
CN110446037B (zh) 2011-11-08 2022-01-04 韩国电子通信研究院 用于共享候选者列表的方法和装置
KR101934277B1 (ko) * 2011-11-28 2019-01-04 에스케이텔레콤 주식회사 개선된 머지를 이용한 영상 부호화/복호화 방법 및 장치
US20130208795A1 (en) * 2012-02-09 2013-08-15 Google Inc. Encoding motion vectors for video compression
US9503720B2 (en) * 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US20130336406A1 (en) 2012-06-14 2013-12-19 Qualcomm Incorporated Redundancy removal for merge/skip mode motion information candidate list construction
US20130343459A1 (en) * 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
KR101908205B1 (ko) * 2014-02-21 2018-10-15 미디어텍 싱가폴 피티이. 엘티디. 인트라 화상 블록 카피에 기초한 예측을 이용하는 비디오 코딩 방법
US9756354B2 (en) 2014-03-17 2017-09-05 Qualcomm Incorporated Block vector predictor for intra block copying
WO2015169200A1 (en) * 2014-05-06 2015-11-12 Mediatek Singapore Pte. Ltd. Method of block vector prediction for intra block copy mode coding
US20170195677A1 (en) * 2014-05-22 2017-07-06 Mediatek Inc. Method of Intra Block Copy with Flipping for Image and Video Coding
KR101961385B1 (ko) * 2014-07-07 2019-03-25 에이치에프아이 이노베이션 인크. 인트라 블록 카피 검색 및 보상 범위의 방법
WO2016034058A1 (en) * 2014-09-01 2016-03-10 Mediatek Inc. Method of intra picture block copy for screen content and video coding
CN107079164B (zh) * 2014-09-30 2020-07-10 寰发股份有限公司 用于视频编码的自适应运动向量分辨率的方法
KR102128216B1 (ko) * 2014-11-20 2020-06-30 에이치에프아이 이노베이션 인크. 모션 벡터 및 블록 벡터 해상도 제어의 방법
FR3029055B1 (fr) * 2014-11-24 2017-01-13 Ateme Procede d'encodage d'image et equipement pour la mise en oeuvre du procede
US10200711B2 (en) * 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
EP3357245A4 (en) * 2015-11-05 2019-03-13 MediaTek Inc. METHOD AND DEVICE OF INTERPRESSATION USING AN AVERAGE MOTION VECTOR FOR VIDEO CODING
CN108293131B (zh) * 2015-11-20 2021-08-31 联发科技股份有限公司 基于优先级运动矢量预测子推导的方法及装置
WO2017131908A1 (en) * 2016-01-29 2017-08-03 Google Inc. Dynamic reference motion vector coding mode
US10368083B2 (en) 2016-02-15 2019-07-30 Qualcomm Incorporated Picture order count based motion vector pruning
US10735720B2 (en) * 2016-06-24 2020-08-04 Kt Corporation Method and apparatus for processing video signal
US10582209B2 (en) 2017-03-30 2020-03-03 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-PU TMVP) for video coding
CN111684805B (zh) 2018-02-06 2024-04-02 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
US10491902B1 (en) 2018-07-16 2019-11-26 Tencent America LLC Method and apparatus for history-based motion vector prediction
US10958934B2 (en) 2018-07-27 2021-03-23 Tencent America LLC History-based affine merge and motion vector prediction
US11019357B2 (en) 2018-08-07 2021-05-25 Qualcomm Incorporated Motion vector predictor list generation

Also Published As

Publication number Publication date
US10958932B2 (en) 2021-03-23
CN112640451B (zh) 2024-08-16
WO2020056024A1 (en) 2020-03-19
EP3850838A1 (en) 2021-07-21
US20200084468A1 (en) 2020-03-12
CN112640451A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
TWI846765B (zh) 以歷史為基礎之運動向量預測之簡化
TWI819100B (zh) 用於仿射模式之以歷史為基礎之運動向量預測
CN110771164B (zh) 视频译码中的帧间预测与帧内预测的组合
TWI843809B (zh) 用於視訊寫碼中具有運動向量差之合併模式之信令傳輸
TWI846773B (zh) 用於視訊寫碼之三角運動資訊
TWI845688B (zh) 用於視訊寫碼之合併模式寫碼
JP2022521979A (ja) デコーダ側動きベクトル改良に対する制約
TW202032994A (zh) 用於視訊寫碼之波前處理的以多重歷史為基礎的非鄰接之運動向量預測器
JP2022507683A (ja) デコーダ側動きベクトル改良
TW202044837A (zh) 視訊寫碼中之三角合併模式索引之發信
TW202025767A (zh) 具有適應性方向性資訊集合之最終動作向量表示
TW201924343A (zh) 視訊寫碼中之仿射預測
TW202123699A (zh) 具有協調的運動場儲存及運動補償的幾何分區模式
TW201743619A (zh) 在視訊寫碼中適應性迴路濾波中之多個濾波器之混淆
TW202025727A (zh) 向量預測器清單之產生
TW202021354A (zh) 運動向量預測器清單產生
TW202025777A (zh) 用於視訊寫碼之基於最終運動向量表示之刪剪
US10958928B2 (en) Decoder-side motion vector derivation for video coding
JP2022538061A (ja) ビデオコーディングのための組み合わされたインターおよびイントラ予測モード
TW202038614A (zh) 用於視訊寫碼之空間時間運動向量預測圖案
TW202038609A (zh) 用於視訊寫碼之共享候選清單及平行候選清單推導
TW202106021A (zh) 使用非矩形預測模式減少視訊資料之預測之運動場儲存
TW202123711A (zh) 解碼器側優化工具開關控制
TW202038613A (zh) 在視訊寫碼中用於平行處理之處理區域之推導
TW202114426A (zh) 視訊編碼中的ｂｄｏｆ和ｄｍｖｒ的協調提前終止