TWI538489B - 在高效率視訊寫碼及其擴充中之運動向量寫碼及雙向預測 - Google Patents

在高效率視訊寫碼及其擴充中之運動向量寫碼及雙向預測 Download PDF

Info

Publication number
TWI538489B
TWI538489B TW102109363A TW102109363A TWI538489B TW I538489 B TWI538489 B TW I538489B TW 102109363 A TW102109363 A TW 102109363A TW 102109363 A TW102109363 A TW 102109363A TW I538489 B TWI538489 B TW I538489B
Authority
TW
Taiwan
Prior art keywords
motion vector
current
type
value
video
Prior art date
Application number
TW102109363A
Other languages
English (en)
Other versions
TW201352008A (zh
Inventor
陳盈
王益魁
章立
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201352008A publication Critical patent/TW201352008A/zh
Application granted granted Critical
Publication of TWI538489B publication Critical patent/TWI538489B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

在高效率視訊寫碼及其擴充中之運動向量寫碼及雙向預測
本申請案主張以下美國臨時專利申請案之權利,該等申請案中之每一者的全部內容特此以引用之方式併入:在2012年3月16日申請之美國臨時申請案第61/611,959號;在2012年4月16日申請之美國臨時申請案第61/624,990號;在2012年6月11日申請之美國臨時申請案第61/658,344號;及在2012年6月22日申請之美國臨時申請案第61/663,484號。
本發明係關於視訊寫碼。
可將數位視訊能力併入至廣泛範圍之器件中,該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型電腦或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電話會議器件、視訊串流器件,及其類似者。數位視訊器件實施視訊寫碼技術,諸如在以下各者中所描述之技術:藉由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC))所定義之標準、目前在開發中之高效率視訊寫碼(HEVC)標準,及此等標準之擴充,諸如可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)。HEVC之工作草 案(WD)的版本6可得自http://phenix.int-evry.fr/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H1003-v21.zip。視訊器件可藉由實施此等視訊寫碼技術而更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測,以減少或移除視訊序列中所固有之冗餘。對於基於區塊之視訊寫碼,可將一視訊片段(例如,視訊圖框或視訊圖框之一部分)分割為多個視訊區塊,該等視訊區塊亦可被稱為樹區塊、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)片段中的視訊區塊係相對於同一圖像中之相鄰區塊中的參考樣本使用空間預測來編碼。圖像之經框間寫碼(P或B)片段中的視訊區塊可相對於同一圖像中之相鄰區塊中的參考樣本使用空間預測,或相對於其他參考圖像中之參考樣本使用時間預測。圖像可被稱為圖框,且參考圖像可被稱為參考圖框。
空間或時間預測產生待寫碼之區塊的預測性區塊。殘餘資料表示在待寫碼之原始區塊與預測性區塊之間的像素差。根據運動向量及殘餘資料來編碼經框間寫碼區塊,該運動向量指向形成預測性區塊之參考樣本之區塊,該殘餘資料指示在經寫碼區塊與預測性區塊之間的差。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為了進一步壓縮,可將殘餘資料自像素域變換至變換域,從而產生接著可量化之殘餘變換係數。可掃描最初以二維陣列配置之經量化變換係數,以便產生變換係數之一維向量,且可應用熵寫碼以達成甚至更大程度之壓縮。
一般而言,本發明描述用於寫碼運動向量且用於在高效率視訊寫碼(HEVC)及其擴充(諸如,多視圖或三維視訊(3DV)擴充)中執行雙向預測之技術。本發明之技術可支援與在基礎編解碼器設計中之多視 圖視訊編解碼器及/或3D視訊碼的較佳正向相容性。
在一實例中,一種解碼視訊資料之方法包括:判定視訊資料之一當前區塊的一當前運動向量之一第一類型;判定該當前區塊之一相鄰區塊的一候選運動向量預測子之一第二類型;在該第一類型不同於該第二類型時將表示該候選運動向量預測子是否可用之一變數設定為指示該候選運動向量預測子不可用之一值;及至少部分地基於該變數之該值而解碼該當前運動向量。
在另一實例中,一種編碼視訊資料之方法包括:判定視訊資料之一當前區塊的一當前運動向量之一第一類型;判定該當前區塊之一相鄰區塊的一候選運動向量預測子之一第二類型;在該第一類型不同於該第二類型時將表示該候選運動向量預測子是否可用之一變數設定為指示該候選運動向量預測子不可用之一值;及至少部分地基於該變數之該值而編碼該當前運動向量。
在另一實例中,一種用於解碼視訊資料之器件包括經組態以執行以下操作之一視訊解碼器:判定視訊資料之一當前區塊的一當前運動向量之一第一類型;判定該當前區塊之一相鄰區塊的一候選運動向量預測子之一第二類型;在該第一類型不同於該第二類型時將表示該候選運動向量預測子是否可用之一變數設定為指示該候選運動向量預測子不可用之一值;及至少部分地基於該變數之該值而解碼該當前運動向量。
在另一實例中,一種用於編碼視訊資料之器件包括經組態以執行以下操作之一視訊編碼器:判定視訊資料之一當前區塊的一當前運動向量之一第一類型;判定該當前區塊之一相鄰區塊的一候選運動向量預測子之一第二類型;在該第一類型不同於該第二類型時將表示該候選運動向量預測子是否可用之一變數設定為指示該候選運動向量預測子不可用之一值;及至少部分地基於該變數之該值而編碼該當前運 動向量。
在另一實例中,一種用於解碼視訊資料之器件包括:用於判定視訊資料之一當前區塊的一當前運動向量之一第一類型的構件;用於判定該當前區塊之一相鄰區塊的一候選運動向量預測子之一第二類型的構件;用於在該第一類型不同於該第二類型時將表示該候選運動向量預測子是否可用之一變數設定為指示該候選運動向量預測子不可用之值的構件;及用於至少部分地基於該變數之該值而解碼該當前運動向量的構件。
在另一實例中,一種用於編碼視訊資料之器件包括:用於判定視訊資料之一當前區塊的一當前運動向量之一第一類型的構件;用於判定該當前區塊之一相鄰區塊的一候選運動向量預測子之一第二類型的構件;用於在該第一類型不同於該第二類型時將表示該候選運動向量預測子是否可用之一變數設定為指示該候選運動向量預測子不可用之值的構件;及用於至少部分地基於該變數之該值而編碼該當前運動向量的構件。
在另一實例中,一種電腦可讀儲存媒體(例如,非暫時性電腦可讀儲存媒體)上儲存有指令,該等指令在執行時使一處理器執行以下操作:判定視訊資料之一當前區塊的一當前運動向量之一第一類型;判定該當前區塊之一相鄰區塊的一候選運動向量預測子之一第二類型;在該第一類型不同於該第二類型時將表示該候選運動向量預測子是否可用之一變數設定為指示該候選運動向量預測子不可用之一值;及至少部分地基於該變數之該值而解碼該當前運動向量。
在另一實例中,一種電腦可讀儲存媒體(例如,非暫時性電腦可讀儲存媒體)上儲存有指令,該等指令在執行時使一處理器執行以下操作:判定視訊資料之一當前區塊的一當前運動向量之一第一類型;判定該當前區塊之一相鄰區塊的一候選運動向量預測子之一第二類 型;在該第一類型不同於該第二類型時將表示該候選運動向量預測子是否可用之一變數設定為指示該候選運動向量預測子不可用之一值;及至少部分地基於該變數之該值而編碼該當前運動向量。
在隨附圖式及以下描述中闡述一或多個實例之細節。其他特徵、目標及優點將自該描述及該等圖式以及自申請專利範圍顯而易見。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
76‧‧‧反量化單元
78‧‧‧反變換單元
80‧‧‧求和器
82‧‧‧參考圖像記憶體
S0‧‧‧視圖ID/視圖
S1‧‧‧視圖ID/視圖
S2‧‧‧視圖ID/視圖
S3‧‧‧視圖ID/視圖
S4‧‧‧視圖ID/視圖
S5‧‧‧視圖ID/視圖
S6‧‧‧視圖ID/視圖
S7‧‧‧視圖ID/視圖
T0‧‧‧時間位置
T1‧‧‧時間位置
T2‧‧‧時間位置
T3‧‧‧時間位置
T4‧‧‧時間位置
T5‧‧‧時間位置
T6‧‧‧時間位置
T7‧‧‧時間位置
T8‧‧‧時間位置
T9‧‧‧時間位置
T10‧‧‧時間位置
T11‧‧‧時間位置
圖1為說明實例視訊編碼及解碼系統之方塊圖,該系統可利用用於寫碼運動向量且用於在高效率視訊寫碼(HEVC)及其擴充(諸如,多視圖或三維視訊(3DV)擴充)中執行雙向預測之技術。
圖2為說明視訊編碼器之實例的方塊圖,該視訊編碼器可實施用於寫碼運動向量且用於在HEVC及其擴充(諸如,多視圖或3DV擴充)中執行雙向預測之技術。
圖3為說明視訊解碼器30之實例的方塊圖,視訊解碼器30可實施用於寫碼運動向量且用於在HEVC及其擴充(諸如,多視圖或3DV擴充)中執行雙向預測之技術。
圖4為說明實例MVC預測型樣之概念圖。
圖5為說明根據本發明之技術的用於編碼當前區塊之實例方法的流程圖。
圖6為說明根據本發明之技術的用於解碼視訊資料之當前區塊之實例方法的流程圖。
一般而言,本發明描述用於寫碼多視圖視訊寫碼(MVC)資料之技術。當前,動畫專家組(MPEG)正基於即將到來之高效率視訊寫碼(HEVC)標準來開發三維視訊(3DV)標準。標準化努力之部分亦包括基於HEVC之多視圖視訊編解碼器的標準化。在二維視訊寫碼中,視訊 資料(亦即,圖像之序列)係逐圖像地(未必以顯示次序)寫碼。視訊寫碼器件將每一圖像劃分為多個區塊,且個別地寫碼每一區塊。基於區塊之預測模式包括亦稱為框內預測之空間預測及亦稱為框間預測之時間預測。
對於諸如基於HEVC之3DV的三維視訊資料,區塊亦可經視圖間預測。亦即,可自另一視圖之圖像預測區塊,其中每一視圖一般對應於各別攝影機位置。以此方式,在基於HEVC之3DV中,可啟用基於來自不同視圖之經重建構視圖分量的視圖間預測。本發明使用術語「視圖分量」來指代特定視圖之經編碼圖像。亦即,視圖分量可包含在特定時間(依據顯示次序或輸出次序)之特定視圖的經編碼圖像。視圖分量(或視圖分量之片段)可具有圖像次序計數(POC)值,該值一般指示視圖分量之顯示次序(或輸出次序)。
在時間框間預測或視圖間預測中,視訊寫碼器件可寫碼指示一或多個運動向量(時間框間預測)及/或一或多個位移向量(視圖間預測)之資料。在一些實例中,用一運動向量或一位移向量寫碼之區塊被稱為P區塊,而用兩個運動向量或兩個位移向量寫碼之區塊被稱為雙向預測性區塊或B區塊。適用於運動向量之技術亦一般適用於位移向量,且因此,本發明主要描述運動向量寫碼技術。然而,應理解,此等技術亦適用於位移向量,且同樣地,關於位移向量所描述之技術亦適用於運動向量,除非另外指示。
一般而言,指示運動向量或位移向量可參考之參考圖像的資料儲存於參考圖像清單中。因此,運動向量資料(或位移向量資料)可不僅包括運動向量之x分量及y分量的資料,而且包括參考圖像清單之輸入項的指示,此指示被稱為參考圖像索引。視訊寫碼器件可建構多個參考圖像清單。舉例而言,視訊寫碼器件可建構第一參考圖像清單(清單0或RefPicList0)以儲存POC值早於當前圖像之參考圖像的資料, 且建構第二參考圖像清單(清單1或RefPicList1)以儲存POC值晚於當前圖像之參考圖像的資料。此外,應注意,圖像之顯示或輸出次序未必與寫碼次序值(例如,圖框編號或「frame_num」值)相同。因此,圖像可以不同於圖像經顯示(或俘獲)之次序的次序來寫碼。
通常,針對B圖像之第一參考圖像清單或第二參考圖像清單的參考圖像清單建構包括兩個步驟:參考圖像清單初始化及參考圖像清單重排序(修改)。參考圖像清單初始化為顯式機制,其基於POC(圖像次序計數,其與圖像之顯示次序對準)值之次序將參考圖像記憶體(亦稱為經解碼圖像緩衝器)中之參考圖像置於清單中。參考圖像清單重排序機制可將在參考圖像清單初始化期間置於清單中之圖像的位置修改為任何新位置,或將參考圖像記憶體中之任何參考圖像置於任何位置,甚至在該圖像不屬於初始化清單之情況下亦如此。一些圖像在參考圖像清單重排序(修改)之後可置於清單中之另一位置。然而,若圖像之位置超出清單之作用中參考圖像的數目,則圖像不被視為最終參考圖像清單之輸入項。可針對每一清單在片段標頭中用信號發送作用中參考圖像之數目。在參考圖像清單經建構(例如,RefPicList0及RefPicList1,若可用)之後,參考索引可用以識別在任何參考圖像清單中之圖像。
如上文所提到,運動向量資料亦可包括水平分量(或x分量)及垂直分量(或y分量)。因此,運動向量可定義為<x,y>。視訊寫碼器件可相對於運動向量預測子寫碼運動向量,而非直接地寫碼運動向量之x分量及y分量。在各種實例中,運動向量預測子可選自當前區塊之空間相鄰者、時間上分離之圖像之同位區塊(亦即,先前經寫碼圖像中之同位區塊),或在同一時間執行個體另一視圖中之圖像的同位區塊。時間上分離之圖像之運動向量預測子被稱為時間運動向量預測子(TMVP)。
為了判定當前區塊(例如,HEVC中之當前寫碼單元(CU)的當前預測單元(PU))之TMVP,視訊寫碼器件可首先識別同置圖像。術語「同置」圖像指代包括特定同置區塊之圖像。同置區塊亦可包括於「同置分割區」中,如HEVC之WD6中所指示。若當前圖像為B片段,則可在當前圖像之片段的片段標頭中用信號發送collocated_from_l0_flag,以指示同置圖像是來自RefPicList0抑或RefPicList1。在參考圖像清單經識別之後,視訊寫碼器件可使用在片段標頭中用信號發送之collocated_ref_idx,以在參考圖像清單中識別同置圖像。接著藉由檢查同置圖像來識別同置PU。可將含有當前PU之CU之右下PU的運動向量抑或含有此PU之CU之中心PU內的右下PU之運動向量視為當前PU之TMVP。當藉由以上處理程序所識別之運動向量用以針對AMVP或合併模式產生運動候選者時,其可基於時間位置(藉由參考圖像之POC值反映)來按比例調整。根據本發明之技術,如下文所描述,TMVP可來自同一視圖或來自不同視圖。
在HEVC中,圖像參數集(PPS)包括旗標enable_temporal_mvp_flag。當temporal_id等於0之特定圖像參考具有等於0之enable_temporal_mvp_flag的PPS時,DPB中之所有參考圖像可標記為「不用於時間運動向量預測」,且來自在解碼次序上處於彼特定圖像之前的圖像之運動向量在解碼特定圖像或在解碼次序上處於該特定圖像之後的圖像時將不會用作時間運動向量預測子。
在H.264/AVC或HEVC中,對於P片段,當允許加權預測時,藉由將weighted_pred_flag設定為1,顯式地用信號發送預測權重。語法元素weighted_pred_flag係在片段標頭中用信號發送且其語義如下:在一些實例中,weighted_pred_flag等於0可指定,不應將加權預測應用於P片段。weighted_pred_flag等於1指定,應將加權預測應用於P片段。
對於B片段,當啟用加權預測時,藉由將weighted_bipred_idc設定為非零,可顯式地用信號發送或隱式地導出預測權重。語法亦可在片段標頭中用信號發送且其語義如下:在一些實例中,weighted_bipred_idc等於0指定,將預設加權預測應用於B片段。在一些實例中,weighted_bipred_idc等於1指定,將顯式加權預測應用於B片段。在一些實例中,weighted_bipred_idc等於2指定,應將隱式加權預測應用於B片段。weighted_bipred_idc之值可在0至2(包括0及2)之範圍內。
當weighted_bipred_idc等於1時,可藉由計算POC距離基於兩個參考圖框之時間距離而導出權重。
當前HEVC設計可能會阻礙未來擴充(諸如,多視圖或3DV擴充)之開發,尤其在此等擴充之開發者想要提供僅進行高階語法改變之能力時。舉例而言,若待用於TMVP之參考圖像來自不同視圖,則其可具有與當前圖像相同之POC。用於運動向量按比例調整之HEVC的當前設計可能不能夠準確地識別在此情形下用於TMVP之參考圖像。當隱式加權預測應用於B片段且一參考圖像來自不同視圖時,計算預測權重之處理程序可遇到問題,此係因為該處理程序僅基於POC距離而設計。
本發明之技術可解決此等問題。一般而言,本發明提供用於在HEVC設計上僅改變高階語法以支援MVC或3DV之技術。解決方案中之一些用於HEVC基礎規範,且由此用於正向相容性目的。視訊寫碼器(諸如,視訊編碼器或視訊解碼器)可經組態以單獨地或以任何組合實施本發明之各種技術中的任一者或全部。下文更詳細地描述各種技術。
作為一實例,視訊寫碼器可經組態以執行以下操作:判定視訊資料之當前區塊的當前運動向量之第一類型;判定當前區塊之相鄰區 塊的候選運動向量預測子之第二類型;在第一類型不同於第二類型時將表示候選運動向量預測子是否可用之變數設定為指示候選運動向量預測子不可用之值;及至少部分地基於變數之該值而寫碼當前運動向量。不同類型之運動向量可包含(例如)像差運動向量及時間運動向量。
多種技術中之任一者可用以判定運動向量之類型。舉例而言,視訊編碼器可基於在當前圖像與運動向量所參考之參考圖像之間的POC值之比較而判定該運動向量之類型(例如,時間對像差)。若POC值不同,則視訊寫碼器可判定運動向量為時間運動向量。另一方面,若POC值相同,則視訊寫碼器可判定運動向量為像差運動向量。
作為另一實例,視訊寫碼器可比較當前圖像及運動向量所參考之參考圖像出現的層(例如,視圖或可調性層)。若當前圖像及參考圖像出現於同一層中,則視訊寫碼器可判定運動向量為時間運動向量。另一方面,若當前圖像及參考圖像出現於不同的層中,則視訊寫碼器可判定運動向量為像差運動向量。
作為又一實例,視訊寫碼器可判定運動向量所參考之參考圖像為長期參考圖像抑或短期參考圖像。若參考圖像為短期參考圖像,則視訊寫碼器可判定運動向量為像差運動向量。然而,若參考圖像為長期參考圖像,則視訊寫碼器可判定運動向量為時間運動向量。
此外,根據本發明之某些技術,在當前運動向量具有不同於候選運動向量預測子之類型時,視訊寫碼器可經組態以判定候選運動向量預測子不可用。舉例而言,視訊寫碼器可將指示候選運動向量預測子是否可用作當前運動向量之預測子的「可用」旗標(或變數)設定為在當前運動向量與候選運動向量預測子之間的類型不同時指示候選運動向量預測子不可用之值。
圖1為說明實例視訊編碼及解碼系統10之方塊圖,該系統10可利 用用於寫碼運動向量且用於在HEVC及其擴充(諸如,多視圖或3DV擴充)中執行雙向預測之技術。如圖1中所展示,系統10包括源器件12,源器件12提供待在稍後時間藉由目的地器件14解碼之經編碼視訊資料。詳言之,源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者,該等器件包括桌上型電腦、筆記型(亦即,膝上型)電腦、平板電腦、機上盒、諸如所謂之「智慧型」電話的電話手機、所謂的「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件,或其類似者。在一些狀況下,可配備源器件12及目的地器件14以用於無線通信。
目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移至目的地器件14之任何類型的媒體或器件。在一實例中,電腦可讀媒體16可包含通信媒體,以使得源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。可根據通信標準(諸如,無線通信協定)來調變經編碼視訊資料,且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體,諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成諸如區域網路、廣域網路或全球網路(諸如,網際網路)之基於封包之網路的部分。通信媒體可包括路由器、交換器、基地台,或可用以促進自源器件12至目的地器件14之通信的任何其他設備。
在一些實例中,可將經編碼資料自輸出介面22輸出至儲存器件。類似地,可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取式資料儲存媒體中之任一者,諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體,或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。 在另一實例中,儲存器件可對應於檔案伺服器,或可儲存藉由源器件12所產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流傳輸或下載自儲存器件存取所儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之任何類型之伺服器。實例檔案伺服器包括網路伺服器(例如,用於網站)、FTP伺服器、網路附接儲存(NAS)器件,或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機等),或兩者之組合。經編碼視訊資料自儲存器件之傳輸可為串流傳輸、下載傳輸,或其組合。
本發明之技術未必限於無線應用或設定。該等技術可應用於支援諸如以下應用之多種多媒體應用中之任一者的視訊寫碼:空中電視廣播、有線電視傳輸、衛星電視傳輸、諸如HTTP動態自適應性串流(DASH)之網際網路串流視訊傳輸、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊的解碼,或其他應用。在一些實例中,系統10可經組態以支援單向或雙向視訊傳輸,以支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中,源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。根據本發明,源器件12之視訊編碼器20可經組態以應用用於寫碼運動向量且用於在HEVC及其擴充(諸如,多視圖或3DV擴充)中執行雙向預測之技術。在其他實例中,源器件及目的地器件可包括其他組件或配置。舉例而言,源器件12可自外部視訊源18(諸如,外部攝影機)接收視訊資料。同樣地,目的地器件14可與外部顯示器件介接,而非包括整合式顯示器件。
圖1之所說明系統10僅為一實例。用於寫碼運動向量且用於在HEVC及其擴充(諸如,多視圖或3DV擴充)中執行雙向預測之技術可藉由任何數位視訊編碼及/或解碼器件執行。儘管一般藉由視訊編碼器件來執行本發明之技術,但亦可藉由通常稱為「編解碼器(CODEC)」之視訊編碼器/解碼器來執行該等技術。此外,亦可藉由視訊預處理器來執行本發明之技術。源器件12及目的地器件14僅為此等寫碼器件之實例,其中源器件12產生經寫碼視訊資料以供傳輸至目的地器件14。在一些實例中,器件12、14可以實質上對稱之方式操作,使得器件12、14中之每一者包括視訊編碼及解碼組件。因此,系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸,(例如)以用於視訊串流傳輸、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源18可包括諸如視訊攝影機之視訊俘獲器件、含有先前俘獲之視訊的視訊封存檔,及/或自視訊內容提供者接收視訊之視訊饋入介面。作為另一替代例,視訊源18可產生基於電腦圖形之資料作為源視訊,或實況視訊、經封存視訊與電腦產生之視訊的組合。在一些狀況下,若視訊源18為視訊攝影機,則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而,如上文所提及,本發明中所描述之技術一般可適用於視訊寫碼,且可應用於無線及/或有線應用。在每一狀況下,可藉由視訊編碼器20來編碼所俘獲、預俘獲或電腦產生之視訊。經編碼視訊資訊可接著藉由輸出介面22輸出至電腦可讀媒體16上。
電腦可讀媒體16可包括暫時性媒體,諸如無線廣播或有線網路傳輸;或儲存媒體(亦即,非暫時性儲存媒體),諸如硬碟、隨身碟、緊密光碟、數位影音光碟、藍光光碟或其他電腦可讀媒體。在一些實例中,網路伺服器(未圖示)可自源器件12接收經編碼視訊資料,且(例如)經由網路傳輸將經編碼視訊資料提供至目的地器件14。類似地, 媒體生產設施(諸如,光碟壓印設施)之計算器件可自源器件12接收經編碼視訊資料且產生含有經編碼視訊資料之光碟。因此,在各種實例中,可將電腦可讀媒體16理解為包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括藉由視訊編碼器20所定義之語法資訊(其亦藉由視訊解碼器30使用),該語法資訊包括描述區塊及其他經寫碼單元(例如,GOP)之特性及/或處理的語法元素。顯示器件32向使用者顯示經解碼視訊資料,且可包含多種顯示器件中之任一者,諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器,或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據諸如目前在開發中之高效率視訊寫碼(HEVC)標準之視訊寫碼標準而操作,且可遵照HEVC測試模型(HM)。同樣地,視訊編碼器20及視訊解碼器30可根據HEVC標準之擴充(例如,多視圖擴充或三維視訊(3DV)擴充)來組態。或者,視訊編碼器20及視訊解碼器30可根據諸如ITU-T H.264標準(或者稱為MPEG-4第10部分(進階視訊寫碼(AVC)))之其他專屬或工業標準或此等標準之擴充而操作。然而,本發明之技術不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。儘管未展示於圖1中,但在一些態樣中,視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合,且可包括適當的MUX-DEMUX單元或其他硬體及軟體,以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用,則MUX-DEMUX單元可遵照ITU H.223多工器協定,或諸如使用者資料報協定(UDP)之其他協定。
ITU-T H.264/MPEG-4(AVC)標準藉由ITU-T視訊寫碼專家組(VCEG)連同ISO/IEC動畫專家組(MPEG)一起闡明為稱為聯合視訊小 組(JVT)之集體合作的產品。在一些態樣中,本發明中所描述之技術可應用於一般遵照H.264標準之器件。H.264標準藉由ITU-T研究組且在日期2005年3月描述於ITU-T國際標準H.264(用於一般視聽服務之進階視訊寫碼)中,其在本文中可稱為H.264標準或H.264規範,或H.264/AVC標準或規範。聯合視訊小組(JVT)繼續致力於對H.264/MPEG-4 AVC之擴充。
可將視訊編碼器20及視訊解碼器30各自實施為多種合適之編碼器電路中的任一者,諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分地以軟體實施時,器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中,且使用一或多個處理器在硬體中執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,其中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器(CODEC))的部分。
JCT-VC正致力於HEVC標準之開發。HEVC標準化努力係基於視訊寫碼器件之演進模型,其被稱為HEVC測試模型(HM)。HM假定視訊寫碼器件相對於根據(例如)ITU-T H.264/AVC之現有器件的若干額外能力。舉例而言,H.264提供九個框內預測編碼模式,而HM可提供多達三十三個框內預測編碼模式。
一般而言,HM之工作模型描述,視訊圖框或圖像可劃分為包括明度樣本及色度樣本兩者之樹區塊或最大寫碼單元(LCU)的序列。位元串流內之語法資料可定義LCU之大小,LCU為就像素之數目而言的最大寫碼單元。一片段包括按寫碼次序之數個連續樹區塊。可將一視訊圖框或圖像分割為一或多個片段。每一樹區塊可根據四分樹分裂為多個寫碼單元(CU)。一般而言,四分樹資料結構每CU包括一節點, 其中根節點對應於樹區塊。若一CU分裂為四個子CU,則對應於該CU之節點包括四個葉節點,該等葉節點中之每一者對應於子CU中之一者。
四分樹資料結構之每一節點可提供對應CU之語法資料。舉例而言,四分樹中之節點可包括分裂旗標,從而指示對應於該節點之CU是否分裂為多個子CU。CU之語法元素可以遞迴方式定義,且可取決於CU是否分裂為多個子CU。若CU並不進一步分裂,則其被稱為葉CU。在本發明中,葉CU之四個子CU亦將被稱為葉CU,即使不存在原始葉CU之顯式分裂亦如此。舉例而言,若16×16大小之CU並不進一步分裂,則儘管16×16 CU絕不分裂,但四個8×8子CU亦將被稱為葉CU。
除CU不具有大小區別以外,CU具有與H.264標準之巨集區塊類似的目的。舉例而言,一樹區塊可分裂為四個子代節點(亦稱為子CU),且每一子代節點又可為親代節點且分裂為另外四個子代節點。稱為四分樹之葉節點的最終未分裂子代節點包含寫碼節點,該寫碼節點亦被稱為葉CU。與經寫碼位元串流相關聯之語法資料可定義可分裂樹區塊之最大次數(稱為最大CU深度),且亦可定義寫碼節點之最小大小。因此,位元串流亦可定義最小寫碼單元(SCU)。本發明使用術語「區塊」指代在HEVC之內容脈絡中之CU、PU或TU中的任一者,或在其他標準之內容脈絡中之類似資料結構(例如,在H.264/AVC中之巨集區塊及其子區塊)。
CU包括寫碼節點及與該寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小,且形狀必須為正方形。CU之大小的範圍可自8×8像素直至具有最大64×64像素或大於64×64像素之樹區塊的大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。 分割模式可視CU係經跳過或直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼而不同。PU之形狀可分割為非正方形。與CU相關聯之語法資料亦可描述(例如)CU根據四分樹至一或多個TU之分割。TU之形狀可為正方形或非正方形(例如,矩形)。
HEVC標準允許根據TU之變換,該變換對於不同CU可不同。通常基於針對經分割LCU所定義之給定CU內之PU的大小而設定TU大小,但可能並非總是如此狀況。TU通常具有與PU相同的大小,或小於PU。在一些實例中,可使用稱為「殘餘四分樹」(RQT)之四分樹結構將對應於CU之殘餘樣本再分為較小單元。RQT之葉節點可被稱為變換單元(TU)。可變換與TU相關聯之像素差值以產生可量化之變換係數。
葉CU可包括一或多個預測單元(PU)。一般而言,PU表示對應於對應CU之全部或一部分之空間區域,且可包括用於擷取PU之參考樣本的資料。此外,PU包括與預測有關之資料。舉例而言,當PU經框內模式編碼時,PU之資料可包括於殘餘四分樹(RQT)中,殘餘四分樹可包括描述對應於PU之TU之框內預測模式的資料。作為另一實例,當PU經框間模式編碼時,PU可包括定義該PU之一或多個運動向量的資料。定義PU之運動向量的資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如,四分之一像素精度或八分之一像素精度)、運動向量所指向之參考圖像,及/或運動向量之參考圖像清單(例如,清單0、清單1,或清單C)。
具有一或多個PU之葉CU亦可包括一或多個變換單元(TU)。可使用RQT(亦稱為TU四分樹結構)指定變換單元,如上文所論述。舉例而言,分裂旗標可指示葉CU是否分裂為四個變換單元。接著,每一變換單元可進一步分裂為其他子TU。當TU並不進一步分裂時,其可被稱為葉TU。一般而言,對於框內寫碼,屬於葉CU之所有葉TU共用相 同框內預測模式。亦即,一般應用相同框內預測模式以計算葉CU之所有TU的預測值。對於框內寫碼,視訊編碼器20可使用框內預測模式將每一葉TU之殘餘值計算為在對應於TU之CU之部分與原始區塊之間的差。TU未必限於PU之大小。因此,TU可大於或小於PU。對於框內寫碼,PU可與同一CU之對應葉TU同位。在一些實例中,葉TU之最大大小可對應於對應葉CU之大小。
此外,葉CU之TU亦可與稱為殘餘四分樹(RQT)之各別四分樹資料結構相關聯。亦即,葉CU可包括指示葉CU分割為TU之方式的四分樹。TU四分樹之根節點一般對應於葉CU,而CU四分樹之根節點一般對應於樹區塊(或LCU)。RQT之不分裂的TU被稱為葉TU。一般而言,除非另有指示,否則本發明分別使用術語CU及TU來指代葉CU及葉TU。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)一般包含一系列一或多個視訊圖像。GOP可在GOP之標頭、圖像中之一或多者的標頭中或在其他位置包括語法資料,該語法資料描述包括於GOP中之圖像的數目。圖像之每一片段可包括描述該各別片段之編碼模式的片段語法資料。視訊編碼器20通常對個別視訊片段內之視訊區塊操作,以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小,且可根據所指定之寫碼標準而在大小上不同。
作為一實例,HM支援以各種PU大小進行預測。假設特定CU之大小為2N×2N,則HM支援以2N×2N或N×N之PU大小進行框內預測,及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行框間預測之非對稱分割。在非對稱分割中,CU之一方向未分割,而另一方向分割為25%及75%。CU之對應於25%分割區之部分藉由「n」繼之以 「上」、「下」、「左」或「右」之指示來指示。因此,例如,「2N×nU」指代以頂部2N×0.5N PU及底部2N×1.5N PU水平分割之2N×2N CU。
在本發明中,「N×N」及「N乘N」可互換地使用以依據垂直尺寸及水平尺寸指代視訊區塊之像素尺寸,例如,16×16像素或16乘16像素。一般而言,16×16區塊在垂直方向上將具有16個像素(y=16),且在水平方向上將具有16個像素(x=16)。同樣地,N×N區塊一般在垂直方向上具有N個像素且在水平方向上具有N個像素,其中N表示非負整數值。可以列及行來配置區塊中之像素。此外,區塊未必需要在水平方向上及在垂直方向上具有相同數目個像素。舉例而言,區塊可包含N×M個像素,其中M未必等於N。
視訊編碼器20及視訊解碼器30可經組態以單獨地或以任何組合執行本發明之各種技術中的一或多者。舉例而言,根據本發明之某些技術,視訊編碼器20及視訊解碼器30可經組態以執行與多視圖視訊寫碼(MVC)或三維視訊(3DV)寫碼(例如,作為H.264/AVC或HEVC之擴充)有關之各種技術。在一些例子中,可使用對基礎標準之高階語法(HLS)改變來達成視訊寫碼標準之MVC及/或3DV擴充。舉例而言,替代引入新寫碼結構,可重新定義或以不同方式使用某些現有寫碼結構以達成僅HLS擴充。
作為一實例,為了根據MVC及3DV擴充寫碼視訊資料,視訊編碼器20及視訊解碼器30可經組態以執行層間或視圖間預測。亦即,視訊編碼器20及視訊解碼器30可經組態以使用先前經寫碼視圖之先前經寫碼圖像的資料來預測當前視圖中之當前圖像的區塊。通常,先前經寫碼圖像(亦即,視圖間參考圖像)及當前圖像具有相同之圖像次序計數(POC)值,使得視圖間參考圖像及當前圖像出現於同一存取單元中,且同樣地,具有實質上相同之輸出次序(或顯示次序)。
視訊編碼器20及視訊解碼器30可經組態以利用像差運動向量來使用視圖間預測寫碼當前圖像之當前區塊。因此,在一些實例中,像差運動向量可據稱為包含如下運動向量:對於包括使用該運動向量所預測之當前區塊的當前圖像,當前POC值等於藉由該運動向量所參考之參考圖像的POC值。因此,視訊編碼器20及視訊解碼器30可經組態以在藉由運動向量所預測之區塊的POC值等於運動向量所參考之參考圖像的POC值時,判定該運動向量為像差運動向量。類似地,視訊編碼器20及視訊解碼器30可經組態以在藉由運動向量所預測之區塊的POC不等於運動向量所參考之參考圖像的POC值時,判定該運動向量包含時間運動向量。
或者或另外,視訊編碼器20及視訊解碼器30可經組態以在包括使用運動向量所預測之當前區塊的當前圖像處於不同於藉由運動向量所參考之參考圖像的層中時,判定該運動向量包含像差運動向量。類似地,視訊編碼器20及視訊解碼器30可經組態以在包括使用運動向量所預測之當前區塊的當前圖像處於與藉由運動向量所參考之參考圖像相同的層中時,判定該運動向量包含時間運動向量。
作為又一實例,HEVC區分長期參考圖像與短期參考圖像。在HEVC之技術中,與短期參考圖像相比,長期圖像儲存於經解碼圖像緩衝器(DPB)中之時間較長。另外,語法元素用以指示參考圖像為長期參考圖像抑或短期參考圖像。在一些實例中,在MVC及3DV中,長期參考圖像可替代地對應於時間參考圖像(亦即,與正寫碼之當前圖像相同的層或視圖之圖像),而短期參考圖像可替代地對應於視圖間參考圖像(亦即,與正寫碼之當前圖像不同的層或視圖之圖像)。因此,長期及短期參考圖像之使用亦可提供參考圖像為時間參考圖像抑或視圖間參考圖像之指示。同樣地,參考長期參考圖像之運動向量可包含時間運動向量,而參考短期參考圖像之運動向量可包含像差運動 向量。
根據本發明之某些技術,視訊編碼器20及視訊解碼器30可經組態以停用不同類型之運動向量作為彼此之運動向量預測子的使用。舉例而言,若當前運動向量為時間運動向量,則視訊編碼器20及視訊解碼器30可經組態以不將像差運動向量用作運動向量預測子來預測時間運動向量。同樣地,若當前運動向量為像差運動向量,則視訊編碼器20及視訊解碼器30可經組態以不將時間運動向量用作運動向量預測子來預測像差運動向量。
視訊編碼器20及視訊解碼器30可經組態以執行各種模式之運動向量預測。在一實例(合併模式)中,視訊編碼器20及視訊解碼器30可經組態以寫碼合併旗標,其表示自複數個相鄰區塊中之哪一者繼承運動參數,諸如參考圖像所選自之參考圖像清單、指示參考清單中之參考圖像的參考索引、水平運動向量分量及垂直運動向量分量。
在另一實例(進階運動向量預測(AMVP))中,視訊編碼器20及視訊解碼器30可經組態以寫碼以下各者之指示:參考圖像所選自之參考圖像清單、指示參考圖像清單中之參考圖像的參考索引、運動向量差值,及表示運動向量預測子所選自之相鄰區塊的AMVP索引。
在合併模式及/或AMVP模式或其他此等運動向量寫碼模式中,視訊編碼器20及視訊解碼器30可經組態以不使用來自相鄰區塊之運動資訊,該相鄰區塊使用不同於當前區塊之運動向量的類型之運動向量。亦即,視訊編碼器20及視訊解碼器30可經組態以執行以下操作:判定當前運動向量之第一類型;判定候選運動向量預測子之第二類型;及若第一類型與第二類型不相同,則停用候選運動向量預測子作為當前運動向量之運動向量預測子的使用。
為了停用候選運動向量預測子,視訊編碼器20及視訊解碼器30可設定表示候選運動向量預測子是否可用作當前運動向量之運動向量 預測子的變數。視訊編碼器20及視訊解碼器30可設定此變數之值以指示候選運動向量預測子不可用,甚至在候選運動向量預測子先前已基於指示候選運動向量預測子可用之其他條件而視為可用時亦如此。舉例而言,如下文更詳細地解釋,視訊編碼器20及視訊解碼器30可使變數與候選運動向量預測子相關聯,其中該變數之值指示候選運動向量預測子是否可用作當前運動向量之運動向量預測子。
詳言之,視訊編碼器20可經組態以判定可用以預測當前運動向量之運動向量預測子之集合。視訊解碼器30亦可經組態以建構此集合,或替代地,視訊編碼器20可用信號發送可用之運動向量預測子之集合。在任何狀況下,視訊編碼器20及視訊解碼器30可判定可用運動向量預測子之集合,且選擇運動向量預測子之集合中之一者作為實際運動向量預測子來用以寫碼當前運動向量。
在AMVP模式中,視訊編碼器20可計算在當前運動向量與運動向量預測子之間的運動向量差值,且寫碼運動向量差值。同樣地,視訊解碼器30可組合運動向量差值與所判定之運動向量預測子,以重建構當前運動向量(亦即,視訊資料之當前區塊(例如,當前PU)的運動向量)。在合併模式中,實際運動向量預測子可用作當前運動向量。因此,在合併模式中,視訊編碼器20及視訊解碼器30可將運動向量差值視為零值。
根據本發明之某些技術,視訊編碼器20及視訊解碼器30可經組態以執行以下操作:基於候選運動向量預測子(其中之任一者或全部先前可能已基於其他準則而判定為可用)之清單中的一或多個候選運動向量預測子是否具有不同於當前運動向量之類型,判定該一或多個候選運動向量預測子是否不可用於預測當前運動向量。視訊編碼器20及視訊解碼器30可經進一步組態以執行以下操作:(例如)藉由將不可用候選運動向量預測子之可用旗標(或變數)設定為指示不可用候選運 動向量預測子不可用之值,停用使用經判定為不可用之彼等候選運動向量預測子之運動向量預測。
或者或另外,在自可用候選運動向量預測子之集合選擇運動向量預測子之後,視訊編碼器20及視訊解碼器30可經組態以判定選定運動向量預測子是否為像差運動向量(亦即,選定運動向量預測子是否參考視圖間參考圖像)。若選定運動向量預測子為像差運動向量,則視訊編碼器20及視訊解碼器30可在寫碼當前運動向量時停用運動向量預測子之按比例調整。亦即,假設當前運動向量及運動向量預測子皆為像差運動向量(亦即,參考視圖間參考圖像),則在當前圖像與視圖間參考圖像之間的POC值之差將為零(因為視圖間參考圖像一般出現於與正寫碼之當前圖像相同的存取單元內),且因此,按比例調整為不必要的。此外,根據本發明之技術,嘗試按比例調整運動向量預測子可引起誤差,該等誤差可藉由停用按比例調整來避免。
在一些實例中,在HEVC之MVC或3DV擴充中,對於任何作用中PPS,始終將enable_temporal_mvp_flag設定為0。亦即,視訊編碼器20可經組態以將HEVC之MVC或3DV擴充中的作用中PPS之enable_temporal_mvp_flag設定為0。同樣地,視訊解碼器30可經組態以解碼enable_temporal_mvp_flag,或在解碼遵照HEVC之MVC或3DV擴充的位元串流時推斷enable_temporal_mvp_flag之值為0。
在一些實例中,在HEVC之MVC或3DV擴充中,在僅具有高階語法(HLS)改變之設定檔中,視訊編碼器20及視訊解碼器30以同置圖像決不對應於來自不同視圖之參考圖像的方式設定collocated_ref_idx之值。此外,視訊編碼器20及視訊解碼器30可經組態以寫碼表示HEVC之MVC或3DV擴充之指示的資料,以使得利用低階改變之設定檔能夠具有同置圖像之更大靈活性。
在一些實例中,視訊編碼器20及視訊解碼器30可經組態以在片 段標頭中寫碼表示對根據HEVC寫碼之片段之指示的資料,以在TMVP期間顯式地停用經識別同置圖像之運動向量的按比例調整。此同置圖像可標記為「不用於時間運動向量預測」。
在一些實例中,在HEVC中,當相鄰區塊之運動向量具有不同於當前參考索引之參考索引,且亦具有不同於當前參考圖像之圖像次序計數(POC)值的POC值時,視訊編碼器20及視訊解碼器30可在進階運動向量預測期間停用運動向量按比例調整。視訊編碼器20及視訊解碼器30可經組態以可在片段標頭、適配參數集(APS)、圖像參數集(PPS)、序列參數集(SPS)、視訊參數集(VPS)或其他資料結構中寫碼表示指示之資料,以用信號發送停用AMVP係啟用抑或停用的。
在一些實例中,在HEVC中,視訊編碼器20及視訊解碼器30可在來自空間相鄰區塊之運動向量及待預測之運動向量中之一者且僅一者係來自具有與當前圖像相同之POC值的圖像時,將來自空間相鄰區塊之此運動向量判定為不可用。此等技術可適用於AMVP及合併模式中之任一者或兩者。或者,此等技術可僅適用於AMVP及合併模式之時間運動向量預測(TMVP)態樣。視訊編碼器20及視訊解碼器30可在片段標頭、APS、SPS、PPS或VPS中寫碼表示對啟用或停用此技術之指示的資料。
在HEVC之一些實例中,當待預測之運動向量的參考索引指向時間參考圖像(來自同一視圖/層)時,參考索引指向來自不同視圖/層之圖像的運動向量可被視為不可用作運動向量預測子。此情形可適用於AMVP及合併模式兩者。或者,此情形可僅適用於AMVP及合併模式之TMVP部分。
在一些實例中,在HEVC中,視訊編碼器20及視訊解碼器30可寫碼表示對每一參考圖像集(RPS)子集之指示的資料,以在來自特定RPS子集之任何同置圖像在TMVP期間經識別為同置圖像時,用信號 發送該同置圖像是否將用於運動向量按比例調整。RPS子集中之每一圖像可標記為「不用於時間運動向量預測」。
在一些實例中,在HEVC中,視訊編碼器20及視訊解碼器30可寫碼表示對每一RPS子集之指示的資料,以在此運動向量及待預測之運動向量屬於具有相同指示之RPS子集時,用信號發送自特定RPS子集中之圖像的任何空間相鄰運動向量預測在AMVP期間是否將視為不可用。
在一些實例中,在HEVC中,視訊編碼器20及視訊解碼器30可寫碼表示B片段之新類型之隱式加權預測的資料,使得對於RefPicList0及RefPicList1中之某些參考圖像對,若一對中之參考圖像中的任一者用於PU之加權雙向預測,則用於兩個參考圖像之權重可相同。對於來自RefPicList0及RefPiclist1之圖像的其他組合,HEVC或H.264/AVC中之當前隱式加權預測可適用。視訊編碼器20及視訊解碼器30可在片段標頭中寫碼表示哪些組合經啟用或停用之資料。
在一些實例中,視訊編碼器20及視訊解碼器30可經組態以不使用像差運動向量來預測正常(亦即,時間)運動向量,且不使用時間運動向量來預測像差運動向量。此外,視訊編碼器20及視訊解碼器30可經組態以不按比例調整像差運動向量。在一些實例中,在當前PU之一個或兩個參考圖像為視圖間參考圖像,且隱式加權預測模式開啟時,用於當前PU之此等兩個參考圖像的權重可設定為相同的(例如,½、½)。
在一些實例中,作為RPS子集之性質的推導,對於RefPicSetLtCurr、RefPicSetLtFoll、RefPicSetStCurrBefore、RefPicSetStCurrAfter及RefPicSetStFoll之每一RPS子集,視訊寫碼器可將RefTypeIdc導出為等於0。包括於RPS子集中之每一圖像可具有設定為等於RPS子集之RefTypeIdc的RefPicTypeIdc。作為此情形在 HEVC之可能MVC擴充中的實例用途,InterView RPS子集可設定為具有等於1之RefTypeIdc。
本發明定義函式RefPicTypeFunc(pic),該函式將傳遞至該函式之參考圖像「pic」的RefPicTypeIdc值作為引數傳回。此函式可作為解碼處理程序之部分(例如)藉由視訊編碼器20在解碼先前經編碼視訊資料以用作參考視訊資料時或藉由視訊解碼器30在視訊解碼處理程序期間執行。
本發明亦提供用於運動向量預測子候選者之推導處理程序的技術。除習知HEVC之程序之外或作為對該等程序之替代,諸如視訊編碼器20及視訊解碼器30之視訊寫碼器可使用以下程序導出運動向量mvLXA及可用性旗標availableFlagLXA。當對於自(xA0,yA0)至(xA1,yA1)之(xAk,yAk)(其中yA1=yA0-MinPuSize),availableFlagLXA等於0時,以下內容可重複適用,直至availableFlagLXA等於1為止(其中在此實例中,呈格式#-###之數字指代即將到來之HEVC標準之特定章節):
˙若涵蓋明度位置(xAk,yAk)之預測單元可用,則PredMode並非MODE_INTRA,predFlagLX[xAk][yAk]等於1,availableFlagLXA設定為等於1,運動向量mvLXA設定為等於運動向量mvLX[xAk][yAk],refIdxA設定為等於refIdxLX[xAk][yAk],ListA設定為等於LX。
˙否則,若涵蓋明度位置(xAk,yAk)之預測單元可用,則PredMode並非MODE_INTRA,predFlagLY[xAk][yAk](其中Y=!X)等於1,availableFlagLXA設定為等於1,運動向量mvLXA設定為等於運動向量mvLY[xAk][yAk],refIdxA設定為等於refIdxLY[xAk][yAk],ListA設定為等於LY。
˙若availableFlagLXA等於1,且RefPicTypeFunc(RefPicListListA(refIdxA))不等於 RefPicTypeFunc(RefPicListLX(refIdxLX)),則availableFlagLXA設定為0。
˙當availableFlagLXA等於1,且RefPicTypeFunc(RefPicListListA(refIdxA))及RefPicTypeFunc(RefPicListLX(refIdxLX))皆等於0時,mvLXA可如下文所指定而導出:tx=(16384+(Abs(td)>>1))/td (8-136)
DistScaleFactor=Clip3(-4096,4095,(tb * tx+32)>>6) (8-137)
mvLXA=Clip3(-8192,8191.75,Sign(DistScaleFactor * mvLXA) * ((Abs(DistScaleFactor * mvLXA)+127)>>8)) (8-138)
其中td及tb可導出為:td=Clip3(-128,127,PicOrderCntVal-PicOrderCnt(RefPicListListA(refIdxA))) (8-139)
tb=Clip3(-128,127,PicOrderCntVal-PicOrderCnt(RefPicListLX(refIdxLX))) (8-140)
˙當availableFlagLXA等於1,且RefPicTypeFunc(RefPicListListA(refIdxA))及RefPicTypeFunc(RefPicListLX(refIdxLX))皆等於非零值時,mvLAX設定為mvLXA而不按比例調整。
除習知HEVC之程序之外或作為對該等程序之替代,諸如視訊編碼器20及視訊解碼器30之視訊寫碼器可使用以下程序導出運動向量mvLXB及可用性旗標availableFlagLXB。當isScaledFlagLX等於0時,availableFlagLXB可設定為等於0,且對於自(xB0,yB0)至(xB2,yB2)之(xBk,yBk)(其中xB0=xP+nPSW,xB1=xB0-MinPuSize且xB2=xP-MinPuSize)時,以下內容可重複地適用直至availableFlagLXB等於1為止:
˙若涵蓋明度位置(xBk,yBk)之預測單元可用,則PredMode並非MODE_INTRA,predFlagLX[xBk][yBk]等於1,availableFlagLXB設定為等於1,運動向量mvLXB設定為等於運動向量mvLX[xBk][yBk],refIdxB設定為等於refIdxLX[xBk][yBk],ListB設定為等於LX。
˙否則,若涵蓋明度位置(xBk,yBk)之預測單元可用,則PredMode並非MODE_INTRA,predFlagLY[xBk][yBk](其中Y=!X)等於1,availableFlagLXB設定為等於1,運動向量mvLXB設定為等於運動向量mvLY[xBk][yBk],refIdxB設定為等於refIdxLY[xBk][yBk],ListB設定為等於LY。
˙若availableFlagLXA等於1,且RefPicTypeFunc(RefPicListListB(refIdxB))不等於RefPicTypeFunc(RefPicListLX(refIdxLX)),則availableFlagLXB設定為0。
˙當availableFlagLXB等於1且RefPicTypeFunc(RefPicListListA(refIdxA))及RefPicTypeFunc(RefPicListLX(refIdxLX))皆等於0,且PicOrderCnt(RefPicListListB(refIdxB))不等於PicOrderCnt(RefPicListLX(refIdxLX))時,mvLXB可如下文所指定而導出。
tx=(16384+(Abs(td)>>1))/td (8-144)
DistScaleFactor=Clip3(-4096,4095,(tb * tx+32)>>6) (8-145)
mvLXB=Clip3(-8192,8191.75,Sign(DistScaleFactor * mvLXA) * ((Abs(DistScaleFactor * mvLXA)+127)>>8)) (8-146)
其中td及tb可導出為td=Clip3(-128,127,PicOrderCntVal-PicOrderCnt(RefPicListListB(refIdxB))) (8-147)
tb=Clip3(-128,127,PicOrderCntVal-PicOrderCnt(RefPicListLX(refIdxLX))) (8-148)
˙當availableFlagLXB等於1,且RefPicTypeFunc(RefPicListListB(refIdxB))及RefPicTypeFunc(RefPicListLX(refIdxLX))皆等於非零值時,mvLAX設定為mvLXA而不按比例調整。
諸如視訊編碼器20及視訊解碼器30之視訊寫碼器可根據本發明之技術導出時間明度運動向量預測子。舉例而言,視訊寫碼器可如下導出變數mvLXCol及availableFlagLXCol:
˙若以下條件中之一者成立,則mvLXCol之兩個分量可設定為等於0,且availableFlagLXCol可設定為等於0:
○colPu係以框內預測模式寫碼。
○colPu標記為「不可用」。
○colPic標記為「不用於時間運動向量預測」。
○enable_temporal_mvp_flag等於0。
˙否則,可如下導出運動向量mvCol、參考索引refIdxCol及參考清單識別符listCol。
○若PredFlagL0[xPCol][yPCol]等於0,則mvCol、refIdxCol及listCol可分別設定為等於MvL1[xPCol][yPCol]、RefIdxL1[xPCol][yPCol]及L1。
○否則(PredFlagL0[xPCol][yPCol]等於1),以下內容可適用:
■若PredFlagL1[xPCol][yPCol]等於0,則mvCol、refIdxCol及listCol可分別設定為等於MvL0[xPCol][yPCol]、RefIdxL0[xPCol][yPCol]及L0。
■否則(PredFlagL1[xPCol][yPCol]等於1),可進行以下指派。
˙若每一參考圖像清單中之每一圖像pic的PicOrderCnt(pic)小於 或等於PicOrderCntVal,則mvCol、refIdxCol及listCol可分別設定為等於MvLX[xPCol][yPCol]、RefIdxLX[xPCol][yPCol]及LX,其中X為調用此處理程序時X之值。
˙否則(至少一參考圖像清單中之至少一圖像pic的PicOrderCnt(pic)大於PicOrderCntVal),mvCol、refIdxCol及listCol可分別設定為等於MvLN[xPCol][yPCol]、RefIdxLN[xPCol][yPCol]及LN,其中N為collocated_from_l0_flag之值。
且變數availableFlagLXCol可設定為等於1,且以下情形可適用:
■若RefPicTypeFunc(RefPicListLX(refIdxLX))不等於RefPicTypeFunc(listCol(refIdxCol)),則availableFlagLXCol設定為等於0。注意,listCol(refIdxCol)傳回時間運動向量之參考圖像。
○若availableFlagLXCol為1且RefPicTypeFunc(RefPicListLX(refIdxLX))及RefPicTypeFunc(listCol(refIdxCol))皆等於非零值,或PicOrderCnt(colPic)-RefPicOrderCnt(colPic,refIdxCol,listCol)等於PicOrderCntVal-PicOrderCnt(RefPicListLX(refIdxLX)),
■則mvLXCol=mvCol (8-153)
○否則,若RefPicTypeFunc(RefPicListLX(refIdxLX))及RefPicTypeFunc(listCol(refIdxCol))皆等於0,則mvLXCol可如下文所指定導出為運動向量mvCol之按比例調整版本:tx=(16384+(Abs(td)>>1))/td (8-154)
DistScaleFactor=Clip3(-4096,4095,(tb * tx+32)>>6) (8-155)
mvLXCol=Clip3(-8192,8191.75,Sign(DistScaleFactor * mvCol) * ((Abs(DistScaleFactor * mvCol)+127)>>8)) (8-156)
其中td及tb可導出為:td=Clip3(-128,127,PicOrderCnt(colPic)-RefPicOrderCnt (colPic,refIdxCol,listCol)) (8-157)
tb=Clip3(-128,127,PicOrderCntVal-PicOrderCnt(RefPicListLX(refIdxLX))) (8-158)
可針對隱式加權預測而導出本文所描述之變數。
本發明亦提供用於視訊編碼器20及視訊解碼器30可經組態以執行之加權樣本預測處理程序的技術。對處理程序之輸入可包括:
˙位置(xB,yB),其指定相對於當前寫碼單元之左上樣本的當前預測單元之左上樣本,
˙此預測單元之寬度nPSW及高度nPSH,
˙兩個(nPSW)×(nPSH)陣列predSamplesL0及predSamplesL1,
˙預測清單利用旗標predFlagL0及predFlagL1,
˙參考索引refIdxL0及refIdxL1,
˙運動向量mvL0及mvL1,
˙色度分量之位元深度bitDepth。
此處理程序之輸出可包括:
˙預測樣本值之(nPSW)×(nPSH)陣列predSamples。
在一實例中,如下導出變數shift1、shift2、offset1及offset2:
˙變數shift1設定為等於14-bitDepth,且變數shift2設定為等於15-bitDepth,
˙變數offset1設定為等於1<<(shift1-1),且變數offset2設定為等於1<<(shift2-1)。
在P片段中,若predFlagL0之值等於1,則以下內容可適用:
˙若weighted_pred_flag等於0,則調用如子條款8.5.2.2.3.1中所描述之預設加權樣本預測處理程序,其中輸入及輸出與此子條款中所描述之處理程序相同。
˙否則(weighted_pred_flag等於1),調用如子條款8.5.2.2.3.2中所 描述之顯式加權樣本預測處理程序,其中輸入及輸出與此子條款中所描述之處理程序相同。
˙在B片段中,若predFlagL0或predFlagL1等於1,則以下內容可適用:
˙若weighted_bipred_idc等於0,則調用如子條款8.5.2.2.3.1中所描述之預設加權樣本預測處理程序,其中輸入及輸出與此子條款中所描述之處理程序相同。
˙否則,若weighted_bipred_idc等於1且若predFlagL0或predFlagL1等於1,則調用如子條款8.5.2.2.3.2中所描述之顯式加權樣本預測處理程序,其中輸入及輸出與此子條款中所描述之處理程序相同。
˙否則(weighted_bipred_idc等於2),以下內容可適用:
○若predFlagL0等於1且predFlagL1等於1,且RefPicTypeFunc(RefPicListL0(refIdxL0))及RefPicTypeFunc(RefPicListL1(refIdxL1))兩者等於0,則調用如當前HEVC工作草案之子條款8.5.2.2.3.2中所描述的隱式加權樣本預測處理程序,其中輸入及輸出與此子條款中所描述之處理程序相同。
○否則(predFlagL0或predFlagL1等於1但並非皆等於1),調用如子條款8.5.2.2.3.1中所描述之預設加權樣本預測處理程序,其中輸入及輸出與此子條款中所描述之處理程序相同。
本發明亦提供用於預設加權樣本預測處理程序之技術。對此處理程序之輸入及自此處理程序之輸出可與上文針對加權樣本預測處理程序所描述之輸入及輸出相同。取決於predFlagL0及predFlagL1之值,可如下導出預測樣本predSamples[x,y],其中x=0..(nPSW)-1且y=0..(nPSH)-1:
˙若predFlagL0等於1且predFlagL1等於0,
○則predSamples[x,y]=Clip3(0,(1<<bitDepth)-1,(predSamplesL0[x,y]+offset1)>>shift1) (8-211)
˙否則,若predFlagL0等於0且predFlagL1等於1,
○則predSamples[x,y]=Clip3(0,(1<<bitDepth)-1,(predSamplesL1[x,y]+offset1)>>shift1) (8-212)
˙否則(predFlagL0及predFlagL1兩者等於1),若RefPicOrderCnt(currPic,refIdxL0,L0)等於RefPicOrderCnt(currPic,refIdxL1,L1)且mvL0等於mvL1,且RefPicTypeFunc(RefPicListL0(refIdxL0))及RefPicTypeFunc(RefPicListL1(refIdxL1))兩者等於0,
○則predSamples[x,y]=Clip3(0,(1<<bitDepth)-1,(predSamplesL0[x,y]+offset1)>>shift1) (8-213)
˙否則,
○predSamples[x,y]=Clip3(0,(1<<bitDepth)-1,(predSamplesL0[x,y]+predSamplesL1[x,y]+offset2)>>shift2) (8-214)
在另一實例中,可如下執行加權預測。可執行新類型之隱式加權,其可對應於修改之隱式加權預測。以下改變可在圖像參數集RBSP語義中進行:weighted_bipred_idc等於0可指定,將預設加權預測應用於B片段。weighted_bipred_idc等於1可指定,將顯式加權預測應用於B片段。weighted_bipred_idc等於2可指定,應將隱式加權預測應用於B片段。weighted_bipred_idc等於3可指定,將受約束隱式加權預測應用於B片段。weighted_bipred_idc之值可在0至3(包括0及3)之範圍內。
在一些實例中,本發明之技術可包括(例如)在解碼處理程序期間執行之以下加權樣本預測處理程序。對加權樣本預測處理程序之輸入可包括:
˙位置(xB,yB),其指定相對於當前寫碼單元之左上樣本的當前預測單元之左上樣本,
˙此預測單元之寬度nPSW及高度nPSH,
˙兩個(nPSW)×(nPSH)陣列predSamplesL0及predSamplesL1,
˙預測清單利用旗標predFlagL0及predFlagL1,
˙參考索引refIdxL0及refIdxL1,
˙運動向量mvL0及mvL1,
˙色度分量之位元深度bitDepth。
此處理程序之輸出可包括:
˙預測樣本值之(nPSW)×(nPSH)陣列predSamples。
可如下導出變數shift1、shift2、offset1及offset2:
˙變數shift1設定為等於14-bitDepth,且變數shift2設定為等於15-bitDepth,
˙變數offset1設定為等於1<<(shift1-1),且變數offset2設定為等於1<<(shift2-1)。
在P片段中,若predFlagL0之值等於1,則以下內容可適用:
˙若weighted_pred_flag等於0,則可調用如當前HEVC工作草案之子條款8.5.2.2.3.1中所描述之預設加權樣本預測處理程序,其中輸入及輸出與此子條款(例如,子條款4.2.2)中所描述之處理程序相同。
˙否則(weighted_pred_flag等於1),可調用如當前HEVC工作草案之子條款8.5.2.2.3.2中所描述之顯式加權樣本預測處理程序,其中輸入及輸出與此子條款(例如,子條款4.2.2)中所描述之處理程序相同。
在B片段中,若predFlagL0或predFlagL1等於1,則以下內容可適用:
˙若weighted_bipred_idc等於0,則可調用如當前HEVC工作草案 之子條款8.5.2.2.3.1中所描述之預設加權樣本預測處理程序用,其中輸入及輸出與此子條款(例如,子條款4.2.2)中所描述之處理程序相同。
˙否則,若weighted_bipred_idc等於1且若predFlagL0或predFlagL1等於1,則可調用如當前HEVC工作草案之子條款8.5.2.2.3.2中所描述之顯式加權樣本預測處理程序,其中輸入及輸出與此子條款(例如,子條款4.2.2)中所描述之處理程序相同。
˙否則,若weighted_bipred_idc等於2,則以下內容可適用:
○若predFlagL0等於1且predFlagL1等於1,則可調用如當前HEVC工作草案之子條款8.5.2.2.3.2中所描述之隱式加權樣本預測處理程序,其中輸入及輸出與此子條款(例如,子條款4.2.2)中所描述之處理程序相同。
○否則(predFlagL0或predFlagL1等於1但並不皆等於1),可調用如當前HEVC工作草案之子條款8.5.2.2.3.1中所描述之預設加權樣本預測處理程序,其中輸入及輸與此子條款(例如,子條款4.2.2)中所描述之處理程序相同。
˙否則(weighted_bipred_idc等於3),以下內容可適用:
○若predFlagL0等於1且predFlagL1等於1,且RefPicTypeFunc(RefPicListL0(refIdxL0))及RefPicTypeFunc(RefPicListL1(refIdxL1))兩者等於0,則可調用如當前HEVC工作草案之子條款8.5.2.2.3.2中所描述的隱式加權樣本預測處理程序,其中輸入及輸出與此子條款(例如,子條款4.2.2)中所描述之處理程序相同。
○否則(predFlagL0或predFlagL1等於1但並不皆等於1),可調用如當前HEVC工作草案之子條款8.5.2.2.3.1中所描述之預設加權樣本預測處理程序,其中輸入及輸出與此子條款(例如,子條款4.2.2)中所描述之處理程序相同。
在一些實例中,視訊編碼器20及視訊解碼器30可經組態以寫碼旗標,以停用正針對AMVP按比例調整之空間相鄰區塊的按比例調整。下文之表1提供此旗標之實例序列參數集RBSP語法:
一般而言,表2之序列參數集之語義保持與當前HEVC工作草案情況下之語義相同。然而,表2引入停用空間MV POC按比例調整旗標。下文提供此添加元素之語義的各種實例:在此實例中,disable_spatial_mv_poc_scaling_flag等於0指示,在目標運動向量對應於具有不同參考索引或不同POC之圖像時,空間運動向量將基於POC按比例調整。在此實例中,disable_spatial_mv_poc_scaling_flag等於1指示,在空間運動向量之參考索引不同於目標運動向量時,此運動向量被視為不可用。注意,目標運動向量為待在AMVP下預測之運動向量。
或者,disable_spatial_mv_poc_scaling_flag等於1可指示,在空間運動向量之參考索引不同於目標運動向量之參考索引且此運動向量之參考圖像的POC不同於目標運動向量之參考圖像的POC時,此運動向量被視為不可用。
或者,disable_spatial_mv_poc_scaling_flag可添加於PPS、APS或片段標頭中,以指示特定PPS、APS或片段標頭可適用於之圖像的相同功能性。
在又一實例中,視訊編碼器20及視訊解碼器30可經組態以在多視圖或3DV內容脈絡下在SPS中寫碼旗標,以停用視圖間運動向量(例如,像差運動向量)用於時間運動向量預測(TMVP)之使用。下文之表2提供與本發明之某些技術一致的實例序列參數集原始位元組序列有效負載(RBSP)語法:
一般而言,表2之序列參數集之語義保持與當前HEVC工作草案情況下之語義相同。然而,表2引入bit_equal_one、disable_inter_view_as_tmvp_flag、sps_extension_flag及_sps_extension_data_flag2。下文提供此等添加元素之實例語義:在此實例中,disable_inter_view_as_tmvp_flag等於1指示,對於經寫碼視訊序列中之所有片段,視圖間(僅)參考圖像決不選擇為TMVP模式之同置圖像。注意,此情形暗示對collocated_ref_idx之約束(亦即,collocated_ref_idx可以同置圖像決不對應於來自不同視圖之參考圖像的方式設定)。
在此實例中,disable_inter_view_as_tmvp_flag等於0指示,視圖間(僅)參考圖像可選擇為TMVP模式之同置圖像。
在一些實例中,除當前HEVC工作草案之元素中的任一者之外或 在其替代例中,序列參數集可包括上文所描述之表1及2中之任一者或兩者的元素。
可將當前語法作為用於MVC/3DV擴充之擴充位元的部分來用信號發送。或者,語法元素可在其他位置用信號發送,該等位置可含有用於多視圖/3DV序列之序列層級資訊(諸如,子集序列參數集(SPS))或甚至可能地較高層級語法表(諸如,視訊參數集)。或者,可能不將以上語法元素(disable_inter_view_as_tmvp_flag)用信號發送,但位元串流可始終遵照disable_inter_view_as_tmvp_flag等於1時之狀況。此情形可藉由如下操作來實現:以collocated_ref_idx決不對應於視圖間參考圖像之方式選擇collocated_ref_idx。
另外,圖像參數集(PPS)語法可根據本發明之技術來修改。舉例而言,語法元素「weighted_bipred_idc」可在PPS中用信號發送。用於此語法元素之語義可如下:weighted_bipred_idc等於0可指定,將預設加權預測應用於B片段。weighted_bipred_idc等於1可指定,將顯式加權預測應用於B片段。weighted_bipred_idc等於2可指定,應將隱式加權預測應用於B片段。weighted_bipred_idc等於3可指定,將受約束隱式加權預測應用於B片段。weighted_bipred_idc之值可在0至3(包括0及3)之範圍內。
下文之表3提供與本發明之某些技術一致的用於片段標頭之實例語法表:
一般而言,表3之片段標頭的語義保持與HEVC情況下之語義相同。然而,表3引入poc_sacling_tmvp_disabled旗標及約束隱式表。下文提供此等添加元素之語義(其中約束隱式表之實例關於下文之表4及5來描述):poc_scaling_tmvp_disabled_flag等於1可指示,不按比例調整自TMVP所導出之運動向量。此旗標等於0可指示,可如在TMVP之當前設計中來按比例調整自TMVP所導出之運動向量。
如上文所提到,(例如)根據下文之表4或表5,片段標頭可包括約束隱式表。
表5提供約束隱式表之替代實例:
下文提供表4及5中之語法元素的語義:implicit_disabled_pic_flag[i]等於1可指示,在隱式加權預測中,若使用組合式參考圖像清單中對應於參考索引i之參考圖像,則將在 隱式加權預測期間用於此參考圖像及另一參考圖像之權重皆設定為0.5,意謂無加權預測。
implicit_disabled_pic_l0_flag[i]等於1可指示,在隱式加權預測中,若使用RefPicList0中對應於參考索引i之參考圖像,則將在隱式加權預測期間用於此參考圖像及另一參考圖像之權重皆設定為0.5,意謂無加權預測。
implicit_disabled_pic_l1_flag[i]等於1可指示,在隱式加權預測中,若使用RefPicList1中對應於參考索引i之參考圖像,則將在加權預測期間用於此參考圖像及另一參考圖像圖像之權重皆設定為0.5,意謂無加權預測。
或者,可直接用信號發送將受約束而不能隱式加權預測之圖像的參考索引值。
或者,作為RPS發信號之部分,可直接用信號發送將受約束而不能進行隱式加權預測之圖像。
或者,在MVC或3DV編解碼器中,含有視圖間(僅)參考圖像之RPS子集可始終設定為受約束隱式加權預測圖像。
受約束隱式加權預測圖像為使得滿足以下情形之圖像:在用於隱式預測時,此圖像及雙向預測對之另一圖像的權重皆為0.5。
或者,視訊編碼器20及視訊解碼器30可經組態以針對每一RPS子集在PPS或SPS或片段標頭中寫碼指示RPS子集中之所有圖像是否為受約束隱式加權預測圖像之旗標。
作為另一實例,視訊編碼器20及視訊解碼器30可經組態以在SPS中寫碼refPicType。表6提供此SPS之語法的實例集合:
一般而言,表6之序列參數集之語義保持與當前HEVC工作草案情況下之語義相同。然而,表6引入numAdditionalRPSSubSets及for()迴圈內之ref_type_flag[i]。下文提供此等添加元素之實例語義:在此實例中,numAdditionalRPSSubSets指定除短期參考圖像之RPS子集及長期參考圖像之RPS子集以外的額外RPS子集。
在此實例中,ref_type_flag[i]指定用於額外RPS子集i之任何圖像的旗標。對於含有短期參考圖像之RPS子集及含有長期參考圖像之RPS子集,此旗標可推斷為等於0。
RefTypeIdc可設定為RPS子集之ref_type_flag。
或者,視訊編碼器20及視訊解碼器30無需寫碼此旗標,且可針對視圖間RPS子集將此旗標推斷為值1。
或者,若運動向量之參考圖像具有與當前圖像相同之POC,則視訊編碼器20及視訊解碼器30可將參考圖像之RefTypeIdc的值導出為1,且否則導出為0。
其他實例可類似於上文之第一實例(或其他實例),其中具有以下添加。在下文之實例中,若運動向量mv之參考索引指向時間參考圖像,則RefPicTypeFuncMV(mv)傳回0,且若運動向量mv之參考索引指向不同視圖/層中之圖像,則RefPicTypeFuncMV(mv)傳回1。或者,若pic為短期參考圖像,則RefPicTypeFunc(pic)傳回0,且若pic為長期圖像,則RefPicTypeFunc(pic)傳回1。若運動向量mv之參考索引指向短期參考圖像,則RefPicTypeFuncMV(mv)傳回0,且若運動向量mv之參 考索引指向長期參考圖像,則RefPicTypeFuncMV(mv)傳回1。另外,針對AMVP修改以下處理程序。
用於明度運動向量預測之推導處理程序
對此處理程序之輸入為
- 明度位置(xP,yP),其指定相對於當前圖像之左上樣本的當前預測單元之左上明度樣本,
- 指定用於明度之預測單元之寬度nPSW及高度nPSH的變數。
- 當前預測單元分割區之參考索引refIdxLX(其中X為0或1)。
此處理程序之輸出為
- 運動向量mvLX之預測mvpLX(其中X為0或1)。
用以下有序步驟導出運動向量預測子mvpLX。
1. 調用子條款8.5.2.1.6中用於來自相鄰預測單元分割區之運動向量預測子候選者的推導處理程序,其中明度位置(xP,yP)、預測單元之寬度nPSW及高度nPSH以及refIdxLX(其中X分別為0或1)作為輸入,且可用性旗標availableFlagLXN及運動向量mvLXN(其中N藉由A、B替換)作為輸出。
2. 若RefPicTypeFuncMV(mvLXA)不等於RefPicTypeFuncMV(mvpLX),則availableFlagLXA設定為等於0,若RefPicTypeFuncMV(mvLXB)不等於RefPicTypeFuncMV(mvpLX),則availableFlagLXB設定為等於0。
3. 若availableFlagLXA及availableFlagLXB兩者等於1且mvLXA不等於mvLXB,則availableFlagLXCol設定為等於0,否則,調用子條款5中用於時間明度運動向量預測之推導處理程序,其中明度位置(xP,yP)、預測單元之寬度nPSW及高度nPSH以及refIdxLX(其中X分別為0或1)作為輸入,且輸出為可用性旗標availableFlagLXCol及時間運動向量預測子mvLXCol。
4. 如下建構運動向量預測子候選者清單mvpListLX。
1. mvLXA,在availableFlagLXA等於1之情況下
2. mvLXB,在availableFlagLXB等於1之情況下,
3. mvLXCol,在availableFlagLXCol等於1之情況下,
5. 當mvLXA及mvLXB具有相同值時,將mvLXB自清單移除。將變數numMVPCandLX設定為mvpListLX內之元素的數目,且將maxNumMVPCand設定為2。
6. 如下修改運動向量預測子清單。
- 若numMVPCandLX小於2,則以下內容適用。
mvpListLX[numMVPCandLX][0]=0 (8-133)
mvpListLX[numMVPCandLX][1]=0 (8-134)
numMVPCandLX=numMVPCandLX+1 (8-135)
- 否則(numMVPCandLX等於或大於2),idx大於1之所有運動向量預測子候選者mvpListLX[idx]自清單移除。
7. mvpListLX[mvp_lX_flag[xP,yP]]之運動向量指派給mvpLX。
另外,以下修改可適用於TMVP。當在TMVP期間檢查每一參考圖像之POC值而非檢查每一圖像時,進行以下修改:僅檢查RefPicTypeFunc( )等於0之圖像。當在一替代例中,RefPicTypeFunc( )針對短期參考圖像傳回0時,此意謂僅短期參考圖像被檢查。
可藉由視訊編碼器20及視訊解碼器30實施之一詳細實施如下:用於時間明度運動向量預測之推導處理程序
對此處理程序之輸入為
- 明度位置(xP,yP),其指定相對於當前圖像之左上樣本的當前預測單元之左上明度樣本,
- 指定用於明度之預測單元之寬度nPSW及高度nPSH的變數,
- 當前預測單元分割區之參考索引refIdxLX(其中X為0或1)。
此處理程序之輸出為
- 運動向量預測mvLXCol,
- 可用性旗標availableFlagLXCol。
函式RefPicOrderCnt(picX,refIdx,LX)傳回來自圖像picX之參考圖像清單LX的具有索引refIdx之參考圖像的圖像次序計數PicOrderCntVal,且指定如下。
RefPicOrderCnt(picX,refIdx,LX)=PicOrderCnt(圖像picX之RefPicListLX(refIdx)) (8-141)
取決於slice_type、collocated_from_l0_flag及collocated_ref_idx之值,指定含有同位分割區之圖像的變數colPic如下導出。
- 若slice_type等於B且collocated_from_l0_flag等於0,則變數colPic指定如藉由RefPicList1[collocated_ref_idx]所指定的含有同位分割區之圖像。
- 否則(slice_type等於B且collocated_from_l0_flag等於1或slice_type等於P),變數colPic指定如藉由RefPicList0[collocated_ref_idx]所指定的含有同位分割區之圖像。
用以下有序步驟導出變數colPu及其位置(xPCol,yPCol):
1. 如下導出變數colPu yPRb=yP+nPSH (8-149)
- 若(yP>>Log2CtbSize)等於(yPRb>>Log2CtbSize),則當前預測單元之右下明度位置的水平分量藉由下式定義xPRb=xP+nPSW (8-150)
且變數colPu設定為涵蓋colPic內部之藉由((xPRb>>4)<<4,(yPRb>>4)<<4)所給出之經修改位置的預測單元。
- 否則((yP>>Log2CtbSize)不等於(yPRb>>Log2CtbSize)),colPu標記為「不可用」。
2. 當colPu以框內預測模式寫碼或colPu標記為「不可用」時,以下內容適用。
- 當前預測單元之中央明度位置藉由下式定義xPCtr=(xP+(nPSW>>1) (8-151)
yPCtr=(yP+(nPSH>>1) (8-152)
- 變數colPu設定為涵蓋colPic內部之藉由((xPCtr>>4)<<4,(yPCtr>>4)<<4)所給出之經修改位置的預測單元。
3. (xPCol,yPCol)設定為等於相對於colPic之左上明度樣本的colPu之左上明度樣本。
函式LongTermRefPic(picX,refIdx,LX)定義如下。若來自圖像picX之參考圖像清單LX的具有索引refIdx之參考圖像在picX為當前圖像時標記為「用於長期參考」,則LongTermRefPic(picX,refIdx,LX)傳回1;否則LongTermRefPic(picX,refIdx,LX)傳回0。
如下導出變數mvLXCol及availableFlagLXCol。
- 若以下條件中之一者成立,則mvLXCol之兩個分量設定為等於0,且availableFlagLXCol設定為等於0。
- colPu以框內預測模式寫碼。
- colPu標記為「不可用」。
- pic_temporal_mvp_enable_flag等於0。
- 否則,如下導出運動向量mvCol、參考索引refIdxCol及參考清單識別符listCol。
- 若PredFlagL0[xPCol][yPCol]等於0,則mvCol、refIdxCol及listCol分別設定為等於MvL1[xPCol][yPCol]、RefIdxL1[xPCol][yPCol]及L1。
- 否則(PredFlagL0[xPCol][yPCol]等於1),以下內容適用。
- 若PredFlagL1[xPCol][yPCol]等於0,則mvCol、refIdxCol及 listCol分別設定為等於MvL0[xPCol][yPCol]、RefIdxL0[xPCol][yPCol]及L0。
- 否則(PredFlagL1[xPCol][yPCol]等於1),進行以下指派。
- 若每一參考圖像清單中之RefPicTypeFunc(pic)等於0的每一圖像pic(或,在一替代例中,「每一短期圖像pic」)的PicOrderCnt(pic)小於或等於PicOrderCntVal,則mvCol、refIdxCol及listCol分別設定為等於MvLX[xPCol][yPCol]、RefIdxLX[xPCol][yPCol]及LX,其中X為調用此處理程序時X之值。
- 否則(至少一參考圖像清單中之至少一圖像pic的PicOrderCnt(pic)大於PicOrderCntVal),mvCol、refIdxCol及listCol分別設定為等於MvLN[xPCol][yPCol]、RefIdxLN[xPCol][yPCol]及LN,其中N為collocated_from_l0_flag之值。
在使用CU之PU進行框內預測性或框間預測性寫碼之後,視訊編碼器20可計算CU之TU的殘餘資料。PU可包含描述在空間域(亦稱為像素域)中產生預測性像素資料之方法或模式的語法資料,且TU可包含在對殘餘視訊資料應用變換之後在變換域中之係數,該變換例如離散餘弦變換(DCT)、整數變換、小波變換,或概念上類似之變換。殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU,且接著變換該等TU以產生CU之變換係數。
在應用任何變換以產生變換係數之後,視訊編碼器20可執行變換係數之量化。量化一般指代將變換係數量化以可能地減少用以表示該等係數之資料之量從而提供進一步壓縮的處理程序。量化處理程序可減小與係數中之一些或全部相關聯的位元深度。舉例而言,n位元值可在量化期間降值捨位至m位元值,其中n大於m
在量化之後,視訊編碼器可掃描變換係數,從而自包括經量化變換係數之二維矩陣產生一維向量。掃描可經設計以將較高能量(及因此較低頻率)係數置放於陣列前部,且將較低能量(及因此較高頻率)係數置放於陣列後部。在一些實例中,視訊編碼器20可利用預定義掃描次序來掃描經量化變換係數,以產生可經熵編碼之串列化向量。在其他實例中,視訊編碼器20可執行自適應性掃描。在掃描經量化變換係數以形成一維向量之後,視訊編碼器20可(例如)根據內容脈絡自適應性可變長度寫碼(CAVLC)、內容脈絡自適應性二進位算術寫碼(CABAC)、基於語法之內容脈絡自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法而熵編碼該一維向量。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯之語法元素,以供視訊解碼器30用於解碼視訊資料。
為了執行CABAC,視訊編碼器20可將內容脈絡模型內之內容脈絡指派給待傳輸之符號。該內容脈絡可與(例如)符號之相鄰值是否為非零相關。為了執行CAVLC,視訊編碼器20可針對待傳輸之符號選擇可變長度碼。可將VLC中之碼字建構成使得相對較短碼對應於更有可能的符號,而較長碼對應於較不可能的符號。以此方式,與(例如)針對待傳輸之每一符號使用相等長度碼字相比較,使用VLC可達成位元節省。機率判定可基於指派給符號之內容脈絡。
視訊編碼器20可(例如)在圖框標頭、區塊標頭、片段標頭或GOP標頭中進一步將語法資料(諸如,基於區塊之語法資料、基於圖框之語法資料及基於GOP之語法資料)發送至視訊解碼器30。GOP語法資料可描述各別GOP中之圖框的數目,且圖框語法資料可指示用以編碼對應圖框之編碼/預測模式。
可將視訊編碼器20及視訊解碼器30各自實施為多種合適之編碼器或解碼器電路中的任一者(在適用時),諸如一或多個微處理器、數 位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體,或其任何組合。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,其中之任一者可整合為組合式視訊編碼器/解碼器(CODEC)之部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器,及/或無線通信器件(諸如,蜂巢式電話)。
以此方式,視訊編碼器20及視訊解碼器30表示視訊寫碼器(例如,視訊編碼器或視訊解碼器)之實例,該視訊寫碼器經組態以執行以下操作:判定視訊資料之當前區塊的當前運動向量之第一類型;判定當前區塊之相鄰區塊的候選運動向量預測子之第二類型;在第一類型不同於第二類型時將表示候選運動向量預測子是否可用之變數設定為指示候選運動向量預測子不可用之值;及至少部分地基於該變數之值而寫碼當前運動向量。另外,當第一類型包含像差運動向量,第二類型包含像差運動向量,且候選運動向量預測子用以預測當前運動向量時,視訊寫碼器可經組態以在不按比例調整候選運動向量預測子之情況下寫碼當前運動向量。
圖2為說明視訊編碼器20之實例的方塊圖,視訊編碼器20可實施用於寫碼運動向量且用於在HEVC及其擴充(諸如,多視圖或3DV擴充)中執行雙向預測之技術。視訊編碼器20可執行視訊片段內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指代若干基於空間之寫碼模式中的任一者。框間模式(諸如,單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之寫碼模式中的任一者。
如圖2中所展示,視訊編碼器20接收待編碼之視訊圖框內之當前 視訊區塊。在圖2之實例中,視訊編碼器20包括模式選擇單元40、參考圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。為了達成視訊區塊重建構,視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。亦可包括解區塊濾波器(未展示於圖2中)以對區塊邊界進行濾波,從而自經重建構視訊移除方塊效應假影。在需要時,解區塊濾波器將通常對求和器62之輸出進行濾波。除解區塊濾波器之外,亦可使用額外濾波器(迴路內或迴路後)。為簡潔起見未展示此等濾波器,但在需要時此等濾波器可對求和器50之輸出進行濾波(作為迴圈內濾波器)。
在編碼處理程序期間,視訊編碼器20接收待寫碼之視訊圖框或片段。可將圖框或片段劃分為多個視訊區塊。運動估計單元42及運動補償單元44相對於一或多個參考圖框中之一或多個區塊執行所接收視訊區塊之框間預測性寫碼,以提供時間預測。框內預測單元46可替代地相對於與待寫碼之所接收視訊區塊相同之圖框或片段中的一或多個相鄰區塊而執行該區塊之框內預測性寫碼,以提供空間預測。視訊編碼器20可執行多個寫碼遍次,(例如)以針對視訊資料之每一區塊選擇適當寫碼模式。
此外,分割單元48可基於先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割為多個子區塊。舉例而言,分割單元48可最初將圖框或片段分割為多個LCU,且基於速率-失真分析(例如,速率-失真最佳化)將該等LCU中之每一者分割為多個子CU。模式選擇單元40可進一步產生指示LCU至子CU之分割的四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可(例如)基於誤差結果而選擇寫碼模式(框內或框間)中之一者,且將所得經框內或框間寫碼區塊提供至求和器50以 產生殘餘區塊資料,且提供至求和器62以重建構經編碼區塊以用作參考圖框。模式選擇單元40亦將語法元素(諸如,運動向量、框內模式指示符、分割資訊及其他此種語法資訊)提供至熵編碼單元56。
運動估計單元42及運動補償單元44可高度整合,但為概念性目的而單獨說明。藉由運動估計單元42所執行之運動估計為產生運動向量之處理程序,該等運動向量估計視訊區塊之運動。舉例而言,運動向量可指示在當前視訊圖框或圖像內之視訊區塊的PU相對於在參考圖框(或其他經寫碼單元)內之預測性區塊(其關於在當前圖框(或其他經寫碼單元)內正寫碼之當前區塊)之位移。預測性區塊為被發現就像素差而言緊密地匹配待寫碼之區塊的區塊,該像素差可藉由絕對差和(SAD)、平方差和(SSD)或其他差量度來判定。在一些實例中,視訊編碼器20可計算儲存於參考圖像記憶體64中之參考圖像之子整數像素位置的值。舉例而言,視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此,運動估計單元42可執行相對於全像素位置及分數像素位置之運動搜尋,且以分數像素精度輸出運動向量。
運動估計單元42藉由比較經框間寫碼片段中之視訊區塊的PU之位置與參考圖像之預測性區塊之位置而計算該PU之運動向量。參考圖像可自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)選擇,該等清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將計算出之運動向量發送至熵編碼單元56及運動補償單元44。
藉由運動補償單元44所執行之運動補償可涉及基於藉由運動估計單元42所判定之運動向量而取得或產生預測性區塊。此外,在一些實例中,運動估計單元42及運動補償單元44可在功能上整合。在接收到當前視訊區塊之PU的運動向量後,運動補償單元44即可將運動向 量所指向之預測性區塊定位於參考圖像清單中之一者中。求和器50藉由自正寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊,從而形成像素差值,如下文所論述。一般而言,運動估計單元42相對於明度分量而執行運動估計,且運動補償單元44將基於該等明度分量所計算之運動向量用於色度分量及明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊片段相關聯之語法元素,以供視訊解碼器30用於解碼視訊片段之視訊區塊。
根據本發明之技術,當模式選擇單元40推選使用運動估計單元42及運動補償單元44來框間預測視訊資料之區塊(例如,PU)時,視訊編碼器20可(例如)使用AMVP或合併模式進一步編碼運動向量。舉例而言,熵編碼單元56可自模式選擇單元40接收運動向量,且編碼該運動向量。熵編碼單元56可藉由選擇擷取運動向量預測子所自之相鄰區塊及計算運動向量與運動向量預測子之間的差(例如,水平運動向量差及垂直運動向量差)來使用AMVP熵編碼該運動向量,接著熵編碼表示該(等)差之一或多個語法元素。
根據本發明之技術,當候選運動向量預測子具有不同於當前運動向量之類型時,熵編碼單元56可將該候選運動向量預測子設定為不可用於AMVP(或合併模式)中來預測該當前運動向量。甚至在不同處理程序基於其他準則判定候選運動向量可用之後,以此方式將候選運動向量預測子設定為不可用仍可得以執行。舉例而言,若候選運動向量預測子為像差運動向量且當前運動向量為時間運動向量,則熵編碼單元56可將候選運動向量預測子設定為不可用作當前運動向量之預測子。同樣地,若候選運動向量預測子為時間運動向量且當前運動向量為像差運動向量,則熵編碼單元56可將候選運動向量預測子設定為不可用作當前運動向量之預測子。
熵編碼單元56可使用一或多種各種技術來判定正編碼之運動向 量及運動向量預測子為相同類型之運動向量抑或不同類型之運動向量。在一些實例中,熵編碼單元56可判定正編碼之運動向量及候選運動向量預測子是否參考具有不同於正編碼之當前圖像的POC值之參考圖像。若運動向量或候選運動向量預測子中之一者參考具有不同於正編碼之當前圖像的POC值之參考圖像,且另一者參考具有與正編碼之當前圖像相同之POC值的參考圖像,則熵編碼單元56可判定運動向量及候選運動向量預測子為不同類型之運動向量。詳言之,可將參考具有與正編碼之當前圖像相同之POC值的參考圖像之運動向量視為像差運動向量,而可將參考具有不同於當前圖像之POC值的參考圖像之運動向量視為時間運動向量。
作為另一實例,熵編碼單元56可判定當前運動向量參考包括正編碼之當前圖像的當前層或不同層中之參考圖像。同樣地,熵編碼單元56可判定候選運動向量預測子參考當前層或不同層中之參考圖像。若當前運動向量及候選運動向量預測子兩者參考當前層中之參考圖像或不同層中之參考圖像,則熵編碼單元56可判定當前運動向量及候選運動向量預測子為相同類型之運動向量。詳言之,若當前運動向量及候選運動向量預測子參考一或多個不同層中之參考圖像,則當前運動向量及候選運動向量預測子可包含像差運動向量。若當前運動向量及候選運動向量預測子參考當前層中之參考圖像,則當前運動向量及候選運動向量預測子可包含時間運動向量。若當前運動向量及候選運動向量預測子中之一者參考當前層中之參考圖像,且另一者參考不同層中之參考圖像,則熵編碼單元56可判定當前運動向量及候選運動向量預測子為不同類型之運動向量。
作為又一實例,熵編碼單元56可判定當前運動向量參考長期參考圖像抑或短期參考圖像,且同樣地,候選運動向量預測子參考長期參考圖像抑或短期參考圖像。若當前運動向量及候選運動向量預測子 兩者參考相同類型之參考圖像(亦即,皆參考長期參考圖像或皆參考短期參考圖像),則熵編碼單元56可判定當前運動向量及候選運動向量預測子為相同類型之運動向量。另一方面,若當前運動向量及候選運動向量預測子中之一者參考長期參考圖像,且另一者參考短期參考圖像,則熵編碼單元56可判定當前運動向量及候選運動向量預測子為不同類型之運動向量。參考長期參考圖像之運動向量可包含時間運動向量,而參考短期參考圖像之運動向量可包含像差運動向量。
如上文所論述,熵編碼單元56可判定具有不同於當前運動向量之類型的候選運動向量不可用作當前運動向量之運動向量預測子。因此,熵編碼單元56可自當前運動向量之候選運動向量預測子的清單移除此等候選運動向量預測子,或省略添加此候選運動向量預測子至候選運動向量預測子之清單。詳言之,熵編碼單元56可設定與候選運動向量預測子相關聯之變數的值,以指示候選運動向量預測子是否可用作當前運動向量之運動向量預測子。此外,熵編碼單元56可經組態以選擇具有與當前運動向量相同之類型的候選運動向量預測子來編碼當前運動向量,例如,對於該運動向量,與候選運動向量預測子相關聯之變數具有指示該候選運動向量預測子可用作當前運動向量之運動向量預測子的值。熵編碼單元56可使用諸如進階運動向量預測子(AMVP)或合併模式之各種運動向量編碼模式來編碼當前運動向量。
一般而言,在運動向量預測子參考不同於藉由當前運動向量所參考之參考圖像的參考圖像時(例如,在參考圖像之POC值不同時),熵編碼單元56可按比例調整所使用之運動向量預測子以預測當前運動向量。更特定言之,熵編碼單元56可基於參考圖像之POC值之間的差而按比例調整時間運動向量預測子。然而,當使用為像差運動向量之運動向量預測子預測亦為像差運動向量之運動向量時,熵編碼單元56可停用運動向量預測子按比例調整。
熵編碼單元56可藉由計算運動向量與運動向量預測子(例如,具有與正寫碼之運動向量相同之類型的運動向量預測子)之間的運動向量差值而編碼運動向量。一般而言,運動向量可藉由水平分量(或x分量)及垂直分量(或y分量)定義。熵編碼單元56可將MVDx(運動向量差之x分量)計算為正編碼之運動向量的x分量與運動向量預測子之x分量之間的差。同樣地,熵編碼單元56可將MVDy(運動向量差之y分量)計算為正編碼之運動向量的y分量與運動向量預測子之y分量之間的差。在運動向量為時間運動向量之狀況下,熵編碼單元56可相對於運動向量預測子之按比例調整版本計算運動向量差值(MVDx及MVDy)(基於藉由正編碼之運動向量與運動向量預測子所參考之參考圖像之間的POC差)。熵編碼單元56可接著(例如)使用CABAC熵編碼MVDx及MVDy。
作為對藉由運動估計單元42及運動補償單元44所執行之框間預測(如上文所描述)的替代,框內預測單元46可框內預測當前區塊。詳言之,框內預測單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中,框內預測單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊,且框內預測單元46(或在一些實例中,模式選擇單元40)可自所測試之模式選擇待使用之適當框內預測模式。
舉例而言,框內預測單元46可使用針對各種經測試之框內預測模式之速率-失真分析而計算速率-失真值,且在經測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析一般判定經編碼區塊與原始未經編碼區塊之間的失真(或誤差)之量以及用以產生經編碼區塊之位元速率(亦即,位元之數目),該原始未經編碼區塊經編碼以產生該經編碼區塊。框內預測單元46可自各種經編碼區塊之失真及速率計算比率,以判定哪一框內預測模式展現區塊之最佳速率- 失真值。
在為區塊選擇框內預測模式之後,框內預測單元46可將指示區塊之選定框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示選定框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流組態資料中包括各種區塊之編碼內容脈絡的定義及待用於該等內容脈絡中之每一者之最有可能的框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示,該位元串流組態資料可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦稱為碼字映射表)。
視訊編碼器20藉由自正寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之(多個)組件。變換處理單元52將變換(諸如,離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊,從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用小波變換、整數變換、次頻帶變換或其他類型之變換。
在任何狀況下,變換處理單元52將變換應用於殘餘區塊,從而產生殘餘變換係數之區塊。變換可將殘餘資訊自像素值域轉換至變換域(諸如,頻域)。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減小位元速率。量化處理程序可減小與係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中,量化單元54可接著執行包括經量化變換係數之矩陣的掃描。或者,熵編碼單元56可執行該掃描。
在量化之後,熵編碼單元56熵寫碼經量化變換係數。舉例而言,熵編碼單元56可執行內容脈絡自適應性可變長度寫碼(CAVLC)、內容脈絡自適應性二進位算術寫碼(CABAC)、基於語法之內容脈絡自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵 寫碼技術。在基於內容脈絡之熵寫碼的狀況下,內容脈絡可基於相鄰區塊。在藉由熵編碼單元56熵寫碼之後,可將經編碼位元串流傳輸至另一器件(例如,視訊解碼器30)或加以封存以供稍後傳輸或擷取。
反量化單元58及反變換單元60分別應用反量化及反變換,以在像素域中重建構殘餘區塊(例如)以供稍後用作參考區塊。運動補償單元44可藉由將殘餘區塊加至參考圖像記憶體64之圖框中之一者的預測性區塊而計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構殘餘區塊,以計算用於運動估計中之子整數像素值。求和器62將經重建構殘餘區塊加至藉由運動補償單元44所產生之運動補償預測區塊,以產生經重建構視訊區塊以供儲存於參考圖像記憶體64中。經重建構視訊區塊可藉由運動估計單元42及運動補償單元44用作參考區塊,以框間寫碼後續視訊圖框中之區塊。
以此方式,圖2之視訊編碼器20表示視訊編碼器之實例,該視訊編碼器經組態以執行以下操作:判定視訊資料之當前區塊的當前運動向量之第一類型;判定當前區塊之相鄰區塊的候選運動向量預測子之第二類型;在第一類型不同於第二類型時將表示候選運動向量預測子是否可用之變數設定為指示候選運動向量預測子不可用之值;及至少部分地基於該變數之值而編碼當前運動向量。另外,當第一類型包含像差運動向量,第二類型包含像差運動向量,且候選運動向量預測子用以預測當前運動向量時,視訊編碼器可經組態以在不按比例調整候選運動向量預測子之情況下寫碼當前運動向量。
圖3為說明視訊解碼器30之實例的方塊圖,視訊解碼器30可實施用於寫碼運動向量且用於在HEVC及其擴充(諸如,多視圖或3DV擴充)中執行雙向預測之技術。在圖3之實例中,視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、反量化單元76、反變換單元78、參考圖像記憶體82及求和器80。在一些實例中,視訊解碼 器30可執行與關於視訊編碼器20(圖2)所描述之編碼遍次大體上互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70所接收之運動向量產生預測資料,而框內預測單元74可基於自熵解碼單元70所接收之框內預測模式指示符產生預測資料。
在解碼處理程序期間,視訊解碼器30自視訊編碼器20接收表示經編碼視訊片段之視訊區塊及相關聯之語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元70熵解碼位元串流,以產生經量化係數、運動向量或框內預測模式指示符,及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可在視訊片段層級及/或視訊區塊層級處接收語法元素。
當視訊片段經寫碼為經框內寫碼(I)片段時,框內預測單元74可基於用信號發送之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊片段之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即,B、P或GPB)片段時,運動補償單元72基於自熵解碼單元70所接收之運動向量及其他語法元素而產生當前視訊片段之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單中之一者內的參考圖像中之一者產生。視訊解碼器30可基於儲存於參考圖像記憶體82中之參考圖像使用預設建構技術來建構參考圖框清單(清單0及清單1)。
運動補償單元72藉由剖析運動向量及其他語法元素而判定當前視訊片段之視訊區塊的預測資訊,且使用該預測資訊來產生正解碼之當前視訊區塊的預測性區塊。舉例而言,運動補償單元72使用所接收語法元素中之一些來判定用以寫碼視訊片段之視訊區塊的預測模式(例如,框內預測或框間預測)、框間預測片段類型(例如,B片段、P片段或GPB片段)、片段之參考圖像清單中之一或多者的建構資訊、片段之每一經框間編碼視訊區塊的運動向量、片段之每一經框間寫碼 視訊區塊的框間預測狀態,及用以解碼當前視訊片段中之視訊區塊的其他資訊。
熵解碼單元70可熵解碼經P及B寫碼區塊之運動向量。舉例而言,熵解碼單元70可使用AMVP或合併模式來解碼運動向量。詳言之,根據本發明之技術,熵解碼單元70可避免使用具有不同於正解碼之當前運動向量之類型的候選運動向量預測子來解碼當前運動向量。舉例而言,在當前運動向量包含像差運動向量時,熵解碼單元70可使用亦為像差運動向量之運動向量預測子來解碼當前運動向量。同樣地,當使用包含像差運動向量之運動向量預測子解碼當前運動向量時,熵解碼單元70可停用按比例調整。作為另一實例,在當前運動向量包含時間運動向量時,熵解碼單元70可使用亦為時間運動向量之運動向量預測子來解碼當前運動向量。
根據本發明之技術,當候選運動向量預測子具有不同於當前運動向量之類型時,熵解碼單元70可將該候選運動向量預測子設定為不可用於AMVP(或合併模式)中來預測該當前運動向量。舉例而言,若候選運動向量預測子為像差運動向量且當前運動向量為時間運動向量,則熵解碼單元70可將候選運動向量預測子設定為不可用作當前運動向量之預測子。同樣地,若候選運動向量預測子為時間運動向量且當前運動向量為像差運動向量,則熵解碼單元70可將候選運動向量預測子設定為不可用作當前運動向量之預測子。
熵解碼單元70可使用一或多種各種技術來判定正解碼之運動向量及運動向量預測子為相同類型之運動向量抑或不同類型之運動向量。在一些實例中,熵解碼單元70可判定正解碼之運動向量及候選運動向量預測子是否參考具有不同於正解碼之當前圖像的POC值之參考圖像。若運動向量或候選運動向量預測子中之一者參考具有不同於正解碼之當前圖像的POC值之參考圖像,且另一者參考具有與正解碼之 當前圖像相同之POC值的參考圖像,則熵解碼單元70可判定運動向量及候選運動向量預測子為不同類型之運動向量。詳言之,可將參考具有與正解碼之當前圖像相同之POC值的參考圖像之運動向量視為像差運動向量,而可將參考具有不同於當前圖像之POC值的參考圖像之運動向量視為時間運動向量。
作為另一實例,熵解碼單元70可判定當前運動向量參考包括正解碼之當前圖像的當前層抑或不同層中之參考圖像。同樣地,熵解碼單元70可判定候選運動向量預測子參考當前層抑或不同層中之參考圖像。若當前運動向量及候選運動向量預測子兩者參考當前層中之參考圖像或不同層中之參考圖像,則熵解碼單元70可判定當前運動向量及候選運動向量預測子為相同類型之運動向量。詳言之,若當前運動向量及候選運動向量預測子參考一或多個不同層中之參考圖像,則當前運動向量及候選運動向量預測子可包含像差運動向量。若當前運動向量及候選運動向量預測子參考當前層中之參考圖像,則當前運動向量及候選運動向量預測子可包含時間運動向量。若當前運動向量及候選運動向量預測子中之一者參考當前層中之參考圖像,且另一者參考不同層中之參考圖像,則熵解碼單元70可判定當前運動向量及候選運動向量預測子為不同類型之運動向量。
作為又一實例,熵解碼單元70可判定當前運動向量參考長期參考圖像抑或短期參考圖像,且同樣地,候選運動向量預測子參考長期參考圖像抑或短期參考圖像。若當前運動向量及候選運動向量預測子兩者參考相同類型之參考圖像(亦即,皆參考長期參考圖像或皆參考短期參考圖像),則熵解碼單元70可判定當前運動向量及候選運動向量預測子為相同類型之運動向量。另一方面,若當前運動向量及候選運動向量預測子中之一者參考長期參考圖像,且另一者參考短期參考圖像,則熵解碼單元70可判定當前運動向量及候選運動向量預測子為 不同類型之運動向量。參考長期參考圖像之運動向量可包含時間運動向量,而參考短期參考圖像之運動向量可包含像差運動向量。
如上文所論述,熵解碼單元70可判定具有不同於當前運動向量之類型的候選運動向量不可用作當前運動向量之運動向量預測子。因此,熵解碼單元70可自當前運動向量之候選運動向量預測子的清單移除此等候選運動向量預測子,或省略添加此候選運動向量預測子至候選運動向量預測子之清單。基於候選運動向量預測子是否具有與當前運動向量相同之類型,熵解碼單元70亦可設定與候選運動向量預測子相關聯之變數,該變數指示候選運動向量是否可用作當前運動向量之運動向量預測子。此外,熵解碼單元70可經組態以選擇具有與當前運動向量相同之類型的候選運動向量預測子來解碼當前運動向量,亦即,候選運動向量預測子是否具有相關聯之變數值,該變數值指示候選運動向量預測子可用作正解碼之當前運動向量的運動向量預測子。熵解碼單元70可使用諸如進階運動向量預測子(AMVP)或合併模式之各種運動向量解碼模式來解碼當前運動向量。
為了解碼當前運動向量,熵解碼單元70可選擇複數個候選運動向量預測子中之一者(例如,如藉由語法資料所指示,或根據隱式選擇處理程序)。當選定運動向量預測子為時間運動向量時,熵解碼單元70可基於運動向量預測子所參考之參考圖像與當前運動向量所參考之參考圖像之間的POC差而按比例調整選定運動向量預測子。熵解碼單元70亦可解碼表示MVDx值(亦即,運動向量差之水平或x分量)及MVDy值(亦即,運動向量差之垂直或y分量)的語法元素。熵解碼單元70亦可將MVDx值加至選定(及可能按比例調整之)運動向量預測子之x分量以再生當前運動向量之x分量,且將MVDy值加至選定(及可能按比例調整之)運動向量預測子之y分量以再生當前運動向量之y分量。熵解碼單元70可將經再生(亦即,經解碼)運動向量提供至運動補償單 元72。
運動補償單元72可使用經解碼運動向量自先前解碼圖像(例如,自參考圖像記憶體82)擷取資料。運動補償單元72亦可基於內插濾波器執行內插。運動補償單元72可在視訊區塊之編碼期間使用如藉由視訊編碼器20所使用之內插濾波器,以計算參考區塊之子整數像素的內插值。在此狀況下,運動補償單元72可自所接收語法元素判定藉由視訊編碼器20所使用之內插濾波器,且使用該等內插濾波器來產生預測性區塊。
反量化單元76反量化(亦即,解量化)在位元串流中提供且藉由熵解碼單元70解碼之經量化變換係數。反量化處理程序可包括針對視訊片段中之每一視訊區塊使用藉由視訊解碼器30計算之量化參數QPY,以判定量化程度及同樣地,應應用之反量化的程度。反變換單元78將反變換(例如,反DCT、反整數變換或概念上類似之反變換處理程序)應用於變換係數,以便在像素域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊之後,視訊解碼器30藉由對以下兩者求和而形成經解碼視訊區塊:來自反變換單元78之殘餘區塊,及藉由運動補償單元72所產生之對應預測性區塊。求和器90表示執行此求和運算之(多個)組件。在需要時,亦可應用解區塊濾波器來對經解碼區塊進行濾波,以便移除方塊效應假影。其他迴路濾波器(寫碼迴路中抑或寫碼迴路之後)亦可用以使像素轉變平滑,或以其他方式改良視訊品質。接著將給定圖框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體82中,參考圖像記憶體82儲存用於後續運動補償之參考圖像。參考圖像記憶體82亦儲存經解碼視訊以供稍後在顯示器件(諸如,圖1之顯示器件32)上呈現。
視訊解碼器30可經組態以根據本發明之一或多種技術執行解碼 處理程序。在一些實例中,對於每一圖像PIC,當implicit_disabled_pic_flag[i]或implicit_disabled_pic_lX_flag[i]對應於圖像PIC時,旗標ConsImplicitFlag導出為等於implicit_disabled_pic_flag[i]或implicit_disabled_pic_lX_flag[i](其中X針對RefPicList0等於0或針對RefPicList1等於1)。或者,當整個RPS子集指示為針對隱式加權預測受約束時,此RPS子集之每一圖像具有等於1之ConsImplicitFlag,否則,此RPS子集之每一圖像可具有等於0之ConsImplicitFlag。
作為一實例,視訊解碼器30可經組態以執行加權樣本預測處理程序。對此處理程序之輸入可包括:
- 位置(xB,yB),其指定相對於當前寫碼單元之左上樣本的當前預測單元之左上樣本,
- 此預測單元之寬度nPSW及高度nPSH,
- 兩個(nPSW)×(nPSH)陣列predSamplesL0及predSamplesL1,
- 預測清單利用旗標predFlagL0及predFlagL1,
- 參考索引refIdxL0及refIdxL1,
- 運動向量mvL0及mvL1,
- 色度分量之位元深度bitDepth。
此處理程序之輸出可包括:
- 預測樣本值之(nPSW)×(nPSH)陣列predSamples。
視訊解碼器30可如下導出變數shift1、shift2、offset1及offset2:
- 變數shift1可設定為等於(14-bitDepth),且變數shift2可設定為等於(15-bitDepth),
- 變數offset1可設定為等於1<<(shift1-1),且變數offset2可設定為等於1<<(shift2-1)。
在P片段中,若predFlagL0之值等於1,則以下內容可適用:
- 若weighted_pred_flag等於0,則可調用如HEVC之WD6的子條款8.5.2.2.3.1中所描述之預設加權樣本預測處理程序,其中輸入及輸出與此子條款中所描述之處理程序相同。
- 否則(weighted_pred_flag等於1),可調用如HEVC之WD6的子條款8.5.2.2.3.2中所描述之顯式加權樣本預測處理程序,其中輸入及輸出與此子條款中所描述之處理程序相同。
在B片段中,若predFlagL0或predFlagL1等於1,則以下內容可適用:
- 若weighted_bipred_idc等於0,則可調用如HEVC之WD6的子條款8.5.2.2.3.1中所描述之預設加權樣本預測處理程序,其中輸入及輸出與此子條款中所描述之處理程序相同。
- 否則,若weighted_bipred_idc等於1且若predFlagL0或predFlagL1等於1,則可調用如HEVC之WD6的子條款8.5.2.2.3.2中所描述之顯式加權樣本預測處理程序,其中輸入及輸出與此子條款中所描述之處理程序相同。
- 否則,若weighted_bipred_idc等於2,則以下內容可適用:
- 若predFlagL0等於1且predFlagL1等於1,則可調用如HEVC之WD6的子條款8.5.2.2.3.2中所描述之隱式加權樣本預測處理程序,其中輸入及輸出與此子條款中所描述之處理程序相同。
- 否則(predFlagL0或predFlagL1等於1但並非皆等於1),可調用如HEVC之WD6的子條款8.5.2.2.3.1中所描述之預設加權樣本預測處理程序,其中輸入及輸出與此子條款中所描述之處理程序相同。
- 否則(weighted_bipred_idc等於3),以下內容可適用:
- 若predFlagL0等於1且predFlagL1等於1,且ConsImplicitFlag(RefPicListL0(refIdxL0))及ConsImplicitFlag(RefPicListL1(refIdxL1))皆等於1,則可調用如HEVC之WD6的子條款8.5.2.2.3.2中所描述的隱式 加權樣本預測處理程序,其中輸入及輸出與此子條款中所描述之處理程序相同。
- 否則(predFlagL0或predFlagL1等於1但並非皆等於1),可調用如HEVC之WD6的子條款8.5.2.2.3.1中所描述之預設加權樣本預測處理程序,其中輸入及輸出與此子條款中所描述之處理程序相同。
或者,在weighted_bipred_idc等於2時之隱式方法可直接改變為上文針對等於3之weighted_bipred_idc所指定的方法。
以此方式,圖3之視訊解碼器30表示視訊解碼器之實例,該視訊解碼器經組態以執行以下操作:判定視訊資料之當前區塊的當前運動向量之第一類型;判定當前區塊之相鄰區塊的候選運動向量預測子之第二類型;在第一類型不同於第二類型時將表示候選運動向量預測子是否可用之變數設定為指示候選運動向量預測子不可用之值;及至少部分地基於該變數之值而解碼當前運動向量。另外,當第一類型包含像差運動向量,第二類型包含像差運動向量,且候選運動向量預測子用以預測當前運動向量時,視訊解碼器可經組態以在不按比例調整候選運動向量預測子之情況下寫碼當前運動向量。
圖4為說明實例MVC預測型樣之概念圖。在圖4之實例中,說明了八個視圖(具有視圖ID「S0」至「S7」),且針對每一視圖說明十二個時間位置(「T0」至「T11」)。亦即,圖4中之每一列對應於一視圖,而每一行指示一時間位置。
儘管MVC具有可藉由H.264/AVC解碼器解碼之所謂的基礎視圖,且立體視圖對可亦藉由MVC支援,但MVC之優點在於:其可支援使用兩個以上視圖作為3D視訊輸入且解碼藉由多個視圖所表示之此3D視訊的實例。具有MVC解碼器之用戶端的演現器可預期具有多個視圖之3D視訊內容。
使用包括字母之有陰影區塊在圖4中之每一列與每一行的相交處 指示圖4中之圖框,從而指明對應圖框經框內寫碼(亦即,I圖框),抑或在一方向上經框間寫碼(亦即,作為P圖框)或在多個方向上經框間寫碼(亦即,作為B圖框)。一般而言,藉由箭頭來指示預測,其中所指向至之圖框使用所指向物件以用於預測參考。舉例而言,自視圖S0之在時間位置T0處的I圖框預測視圖S2之在時間位置T0處的P圖框。
如同單視圖視訊編碼,多視圖視訊寫碼視訊序列之圖框可關於在不同時間位置處之圖框來預測性編碼。舉例而言,視圖S0之在時間位置T1處的b圖框具有自視圖S0之在時間位置T0處的I圖框指向至其之箭頭,從而指示自I圖框預測b圖框。然而,另外,在多視圖視訊編碼之情境下,圖框可經視圖間預測。亦即,視圖分量可使用其他視圖中之視圖分量以用於參考。舉例而言,在MVC中,視圖間預測實現為如同另一視圖中之視圖分量為框間預測參考。可能的視圖間參考係在序列參數集(SPS)MVC擴充中用信號發送且可藉由參考圖像清單建構處理程序來修改,此舉實現框間預測或視圖間預測參考之靈活排序。
在H.264/AVC之MVC擴充中,作為一實例,藉由像差運動補償(其使用H.264/AVC運動補償之語法)來支援視圖間預測,但允許不同視圖中之圖像用作參考圖像。兩個視圖之寫碼可藉由MVC支援,其一般被稱為立體視圖。MVC之優點中的一者在於:MVC編碼器可採取兩個以上視圖作為3D視訊輸入,且MVC解碼器可解碼此多視圖表示。因此,具有MVC解碼器之演現器件可預期具有兩個以上視圖之3D視訊內容。
在MVC中,允許同一存取單元(亦即,具有同一時間執行個體)中之圖像當中的視圖間預測。一般而言,存取單元為包括在共同時間執行個體之所有視圖分量(例如,所有NAL單元)之資料單元。因此,在MVC中,准許在同一存取單元中之圖像當中的視圖間預測。當寫碼非基礎視圖中之一者中的圖像時,若該圖像在不同視圖中但具有同一 時間執行個體(例如,相同的POC值,且由此,在同一存取單元中),則可將該圖像添加至參考圖像清單中。可將視圖間預測參考圖像置於參考圖像清單之任何位置中,正如任何框間預測參考圖像一般。
圖4提供視圖間預測之各種實例。在圖4之實例中,將視圖S1之圖框說明為自視圖S1之在不同時間位置處的圖框預測以及自視圖S0及S2之在相同時間位置處之圖框的視圖間預測。舉例而言,自視圖S1之在時間位置T0及T2處的B圖框中之每一者以及視圖S0及S2之在時間位置T1處的b圖框預測視圖S1之在時間位置T1處的b圖框。
在圖4之實例中,大寫字母「B」及小寫字母「b」意欲指示圖框之間的不同階層關係,而非不同編碼方法。一般而言,與小寫字母「b」圖框相比,大寫字母「B」圖框在預測階層中相對較高。圖4亦使用不同程度之陰影說明預測階層之變化,其中與具有較少陰影(亦即,相對較淺)之彼等圖框相比,較大量陰影(亦即,相對較暗)圖框在預測階層中較高。舉例而言,用全陰影說明圖4中之所有I圖框,而P圖框具有稍微較淺之陰影,且B圖框(及小寫字母b圖框)相對於彼此具有各種程度之陰影,但始終淺於P圖框及I圖框之陰影。
一般而言,預測階層與視圖次序索引有關,此係因為在預測階層中相對較高之圖框應在解碼在階層中相對較低之圖框之前解碼,使得在階層中相對較高之彼等圖框可在解碼在階層中相對較低之圖框期間用作參考圖框。視圖次序索引為指示存取單元中之視圖分量之解碼次序的索引。在如H.264/AVC(MVC修正案)之AnnexH中所指定的SPSMVC擴充中暗示視圖次序索引。在SPS中,對於每一索引i,用信號發送對應view_id。在一些實例中,視圖分量之解碼應遵循視圖次序索引之遞升次序。若所有視圖得以呈現,則視圖次序索引呈自0至num_views_minus_1之連續次序。
以此方式,用作參考圖框之圖框可在解碼參考該等參考圖框編 碼之圖框之前解碼。視圖次序索引為指示存取單元中之視圖分量之解碼次序的索引。對於每一視圖次序索引i,用信號發送對應view_id。視圖分量之解碼遵循視圖次序索引之遞升次序。若所有視圖得以呈現,則視圖次序索引之集合可包含自零至比視圖之全部數目小一的連續排序之集合。
對於在階層之相等層級處的某些圖框,解碼次序可能相對於彼此無關緊要。舉例而言,視圖S0之在時間位置T0處的I圖框用作視圖S2之在時間位置T0處之P圖框的參考圖框,該P圖框又用作視圖S4之在時間位置T0處之P圖框的參考圖框。因此,視圖S0之在時間位置T0處的I圖框應在視圖S2之在時間位置T0處的P圖框之前解碼,該P圖框應在視圖S4之在時間位置T0處的P圖框之前解碼。然而,在視圖S1與S3之間,解碼次序無關緊要,此係因為視圖S1及S3並不依賴於彼此來預測,而是僅自在預測階層中較高之視圖預測。此外,視圖S1可在視圖S4之前解碼,只要視圖S1在視圖S0及S2之後解碼即可。
以此方式,階層式排序可用以描述視圖S0至S7。令記法SA>SB意謂視圖SA應在視圖SB之前解碼。在圖4之實例中,使用此記法S0>S2>S4>S6>S7。又,關於圖4之實例,S0>S1,S2>S1,S2>S3,S4>S3,S4>S5且S6>S5。不違反此等要求之視圖的任何解碼次序係可能的。因此,在僅具有某些限制之情況下,許多不同的解碼次序係可能的。
圖5為說明根據本發明之技術的用於編碼當前區塊之實例方法的流程圖。當前區塊可包含當前CU或當前CU之一部分(例如,當前PU)。儘管關於視訊編碼器20(圖1及圖2)描述,但應理解,其他器件可經組態以執行類似於圖5之方法的方法。
在此實例中,視訊編碼器20最初預測當前區塊(150)。舉例而言,視訊編碼器20可計算當前區塊之一或多個預測單元(PU)。在此實 例中,假設視訊編碼器20框間預測當前區塊。舉例而言,運動估計單元42可藉由執行先前經寫碼圖像(例如,視圖間圖像及時間圖像)之運動搜尋而計算當前區塊之運動向量。因此,運動估計單元42可產生時間運動向量或像差運動向量,以編碼當前區塊。
視訊編碼器20可接著編碼運動向量。詳言之,熵編碼單元56可判定候選運動向量預測子之清單(152)。舉例而言,熵編碼單元56可選擇一或多個相鄰區塊之運動向量作為候選運動向量預測子。視訊編碼器20可基於除運動向量之類型以外的準則判定清單中之候選運動向量預測子中之每一者可用。熵編碼單元56可接著判定候選運動向量之清單中之任一者是否具有不同於當前運動向量之類型。熵編碼單元56可接著自候選運動向量預測子之清單移除具有不同於當前運動向量之類型的類型之候選運動向量預測子(154)。詳言之,熵編碼單元56可基於候選運動向量預測子是否具有不同於正編碼之當前運動向量預測子之類型的類型而設定變數,該變數指示候選運動向量預測子是否可用作運動向量預測子。以此方式,甚至在候選運動向量先前基於其他準則判定為可用時,視訊編碼器20仍可基於具有不同於當前運動向量之類型而將變數設定為指示候選運動向量預測子不可用之值。
如上文所論述,熵編碼單元56可使用多種不同方法中之一者判定候選運動向量預測子是否具有與當前運動向量相同之類型。舉例而言,熵編碼單元56可判定候選運動向量預測子參考具有與正編碼之當前圖像相同的POC值之參考圖像抑或具有不同於正編碼之當前圖像的POC值之參考圖像,且判定藉由當前運動向量所參考之參考圖像具有與正編碼之當前圖像相同的POC值,抑或具有不同於正編碼之當前圖像的POC值。作為另一實例,熵編碼單元56可判定候選運動向量預測子及當前運動向量皆參考與正編碼之當前圖像相同之層中的參考圖像,抑或不同於包括正編碼之當前圖像的層之一或多個不同層中之參 考圖像。作為又一實例,熵編碼單元56可判定候選運動向量預測子及當前運動向量皆參考長期參考圖像抑或短期參考圖像。
在形成候選運動向量預測子之清單,使得所有候選運動向量預測子具有與當前運動向量相同之類型之後,熵編碼單元56選擇候選運動向量預測子中之一者用作當前運動向量之運動向量預測子(156)。詳言之,熵編碼單元56選擇候選運動向量預測子中之一者,對於該候選運動向量預測子,該變數指示候選運動向量預測子是否可用作當前運動向量之運動向量預測子。在必要時,(例如)若選定運動向量預測子為參考如下參考圖像之時間運動向量,則熵編碼單元56可按比例調整選定運動向量預測子:該參考圖像之POC值不同於當前運動向量所參考之參考圖像的POC值。若選定運動向量為像差運動向量,則熵編碼單元56可停用運動向量預測子按比例調整。熵編碼單元56接著計算當前運動向量與選定(及可能按比例調整之)運動向量預測子之間的差(158)。
視訊編碼器20可接著計算當前區塊之殘餘區塊,(例如)以產生變換單元(TU)(160)。為了計算殘餘區塊,視訊編碼器20可計算原始未經編碼區塊與當前區塊之經預測區塊之間的差。視訊編碼器20可接著變換及量化殘餘區塊之係數(162)。接下來,視訊編碼器20可掃描殘餘區塊之經量化變換係數(164)。在掃描期間或在掃描之後,視訊編碼器20可熵編碼該等係數(166)。舉例而言,視訊編碼器20可使用CAVLC或CABAC編碼該等係數。視訊編碼器20可接著輸出區塊之經熵寫碼資料(168)。
以此方式,圖5之方法表示一方法之實例,該方法包括:判定視訊資料之當前區塊的當前運動向量之第一類型;判定當前區塊之相鄰區塊的候選運動向量預測子之第二類型;在第一類型不同於第二類型時將表示候選運動向量預測子是否可用之變數設定為指示候選運動向 量預測子不可用之值;及至少部分地基於該變數之值而編碼當前運動向量。
圖6為說明根據本發明之技術的用於解碼視訊資料之當前區塊之實例方法的流程圖。當前區塊可包含當前CU或當前CU之一部分(例如,PU)。儘管關於視訊解碼器30(圖1及圖3)描述,但應理解,其他器件可經組態以執行類似於圖6之方法的方法。
最初,視訊解碼器30接收當前區塊之變換係數及運動向量差值的資料(200)。熵解碼單元70熵解碼係數及運動向量差值之資料(202)。熵解碼單元70可接著判定候選運動向量預測子之清單(204)。舉例而言,熵解碼單元70可選擇一或多個相鄰區塊之運動向量作為候選運動向量預測子。視訊解碼器30可基於除運動向量之類型以外的準則判定清單中之候選運動向量預測子中之每一者可用。熵解碼單元70可接著判定候選運動向量之清單中之任一者是否具有不同於當前運動向量之類型。熵解碼單元70可接著自候選運動向量預測子之清單移除具有不同於當前運動向量之類型的類型之候選運動向量預測子(206)。詳言之,熵解碼單元70基於候選運動向量預測子是否具有不同於正編碼之當前運動向量預測子之類型的類型而設定變數,該變數指示候選運動向量預測子是否可用作運動向量預測子。以此方式,甚至在候選運動向量先前基於其他準則判定為可用時,視訊解碼器30仍可基於具有不同於當前運動向量之類型而將變數設定為指示候選運動向量預測子不可用之值。
如上文所論述,熵解碼單元70可使用多種不同方法中之一者判定候選運動向量預測子是否具有與當前運動向量相同之類型。舉例而言,熵解碼單元70可判定候選運動向量預測子參考具有與正解碼之當前圖像相同的POC值之參考圖像抑或具有不同於正解碼之當前圖像的POC值之參考圖像,且判定當前運動向量亦參考具有與正解碼之當前 圖像相同的POC值之參考圖像抑或具有不同於正解碼之當前圖像的POC值之參考圖像。作為另一實例,熵編碼單元76可判定候選運動向量預測子及當前運動向量皆參考與正編碼之當前圖像相同之層中的參考圖像,抑或不同於包括正編碼之當前圖像的層之一或多個不同層中之參考圖像。作為又一實例,熵編碼單元76可判定候選運動向量預測子及當前運動向量皆參考長期參考圖像抑或短期參考圖像。
熵解碼單元70接著選擇候選運動向量預測子中可用(亦即,具有指示候選運動向量可用作當前運動向量之運動向量預測子的變數值)作當前運動向量之運動向量預測子的一者(208)。在一些實例中,熵解碼單元70根據隱式預定義處理程序選擇運動向量預測子,而在其他實例中,熵解碼單元70解碼指示將選擇候選運動向量之清單中之哪一者的語法元素。熵解碼單元70接著以數學方式組合經解碼運動向量差值與運動向量預測子,以再生當前運動向量(210)。舉例而言,熵解碼單元70可將運動向量差之x分量(MVDx)加至選定運動向量預測子之x分量,且將運動向量差之y分量(MVDy)加至選定運動向量預測子之y分量。
視訊解碼器30可使用經解碼運動向量預測當前區塊(212)。視訊解碼器30可接著反向掃描經再生係數(214),以建立經量化變換係數之區塊。視訊解碼器30可接著反量化及反變換係數以產生殘餘區塊(216)。視訊解碼器30可最終藉由組合經預測區塊與殘餘區塊而解碼當前區塊(218)。
以此方式,圖6之方法表示一方法之實例,該方法包括:判定視訊資料之當前區塊的當前運動向量之第一類型;判定當前區塊之相鄰區塊的候選運動向量預測子之第二類型;在第一類型不同於第二類型時將表示候選運動向量預測子是否可用之變數設定為指示候選運動向量預測子不可用之值;及至少部分地基於該變數之值而解碼當前運動 向量。
應認識到,取決於實例,本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行、可添加、合併或完全省去(例如,對於實踐該等技術而言,並非所有所描述動作或事件係必要的)。此外,在某些實例中,可(例如)經由多執行緒處理、中斷處理或多個處理器同時而非順序地執行動作或事件。
在一或多個實例中,所描述功能可以硬體、軟體、韌體或其任何組合實施。若以軟體來實施,則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體而傳輸,且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體,通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式,電腦可讀媒體一般可對應於(1)非暫時性的有形電腦可讀儲存媒體,或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例且非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件,快閃記憶體,或可用以儲存呈指令或資料結構之形式的所要程式碼且可藉由電腦存取的任何其他媒體。又,將任何連接恰當地稱為電腦可讀媒體。舉例而言,若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL),或無線技術(諸如,紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令,則同軸纜線、光纖纜線、雙絞線、DSL,或無線技術(諸如,紅外線、無線電及微波)包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體 不包括連接、載波、信號或其他暫時性媒體,而替代地有關非暫時性有形儲存媒體。如本文所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數位多功能光碟(DVD)、軟碟及藍光光碟,其中磁碟通常以磁性方式再生資料,而光碟用雷射以光學方式再生資料。以上內容之組合亦應包括在電腦可讀媒體之範疇內。
可藉由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。因此,如本文所使用之術語「處理器」可指代前述結構或適於實施本文所描述之技術的任何其他結構中之任一者。另外,在一些態樣中,可將本文所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內,或併入於組合式編解碼器中。又,可將該等技術完全實施於一或多個電路或邏輯元件中。
本發明之技術可以廣泛多種器件或裝置實施,包括無線手機、積體電路(IC)或IC之集合(例如,晶片組)。各種組件、模組或單元描述於本發明中以強調經組態以執行所揭示之技術的器件之功能性態樣,但未必需要藉由不同硬體單元來實現。更確切而言,如上文所描述,各種單元可組合於編解碼器硬體單元中,或藉由交互操作之硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體來提供。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。

Claims (51)

  1. 一種解碼視訊資料之方法,該方法包含:判定視訊資料之一當前區塊的一當前運動向量之一第一類型;判定該當前區塊之一相鄰區塊的一候選運動向量預測子之一第二類型;設定表示該候選運動向量預測子是否可用作該當前運動向量之一運動向量預測子的一變數為一第一值,該第一值指示該候選運動向量預測子可用作該當前運動向量之該運動向量預測子,其中該變數可被設定為該第一值或一不同於該第一值之第二值,該第二值指示該候選運動向量預測子不可用作該當前運動向量之該運動向量預測子;判定該第一類型不同於該第二類型;在最初將該變數設定為該第一值之後,將該變數設定為該第二值,以回應於判定該第一類型不同於該第二類型;及至少部分地基於該變數之該第二值而解碼該當前運動向量。
  2. 如請求項1之方法,其中判定該當前運動向量之該第一類型包含基於一第一參考圖像子集判定該第一類型,藉由該當前運動向量所參考之一第一參考圖像屬於該第一參考圖像子集,且其中判定該候選運動向量之該第二類型包含基於一第二參考圖像子集判定該第二類型,藉由該候選運動向量預測子所參考之一第二參考圖像屬於該第二參考圖像子集。
  3. 如請求項2之方法,其中該當前區塊包括於一當前層之一圖像 內,且其中判定該第一類型不同於該第二類型包含:在該第一參考圖像包括於該當前層中且該第二參考圖像包括於除該當前層以外之一層中時,判定該第一類型不同於該第二類型。
  4. 如請求項2之方法,其中該當前區塊包括於一當前層之一圖像內,且其中判定該第一類型不同於該第二類型包含:在該第二參考圖像包括於該當前層中且該第一參考圖像包括於除該當前層以外之一層中時,判定該第一類型不同於該第二類型。
  5. 如請求項1之方法,其進一步包含在設定該變數為該第一值之前,基於除該第一類型是否不同於該第二類型以外之準則判定該候選運動向量可用。
  6. 如請求項1之方法,其中該當前運動向量之該第一類型表示藉由該當前運動向量所參考之一第一參考圖像的一當前參考圖像次序計數(POC)值是否與包括該當前區塊之一當前圖像的一當前POC值相同,且其中該候選運動向量預測子之該第二類型表示藉由該候選運動向量預測子所參考之一第二參考圖像的一候選參考POC值是否與該當前POC值相同。
  7. 如請求項6之方法,其進一步包含解碼指示以下情形之資訊:在該當前參考POC值及該候選參考POC值中之至少一者與該當前POC值相同時,將包括該候選運動向量預測子之一相鄰區塊設定為不可用於參考。
  8. 如請求項7之方法,其中解碼該當前運動向量包含:在藉由該當前運動向量所參考之一第一參考圖像的一類型不同於藉由該候選運動向量預測子所參考之一第二參考圖像的一類型時,在不按比例調整該候選運動向量預測子之情況下解碼該當前運動向量。
  9. 如請求項1之方法,其中解碼該當前運動向量包含使用進階運動向量預測(AMVP)模式及合併模式中之至少一者解碼該當前運動向量,該方法進一步包含:在使用AMVP解碼該運動向量時且在該變數指示該候選運動向量預測子不可用時,避免將該運動向量預測子添加至該當前運動向量之一AMVP候選者清單中,及在使用合併模式解碼該運動向量時且在該變數指示該候選運動向量預測子不可用時,避免將該運動向量預測子添加至該當前運動向量之一合併候選者清單中。
  10. 如請求項1之方法,其進一步包含解碼指示以下情形之資料:對於該視訊資料之一經解碼視訊序列中的所有片段,是否決不將一視圖間參考選擇為時間運動向量預測(TMVP)模式之一同置圖像。
  11. 如請求項10之方法,其中解碼該資料包含解碼一disable_inter_view_as_tmvp_flag。
  12. 如請求項10之方法,其中解碼該資料包含用以下各者中之至少一者解碼該資料:用於一多視圖視訊解碼(MVC)擴充之擴充位元、用於一三維視訊(3DV)擴充之擴充位元、一子集序列參數集(SPS),及一視訊參數集(VPS)。
  13. 如請求項1之方法,其進一步包含判定包括該當前運動向量所參考之一參考圖像的一參考圖像集(RPS)子集之一類型,其中判定該當前運動向量之該第一類型包含判定該第一類型等於該RPS子集之該類型。
  14. 一種編碼視訊資料之方法,該方法包含:判定視訊資料之一當前區塊的一當前運動向量之一第一類型;判定該當前區塊之一相鄰區塊的一候選運動向量預測子之一 第二類型;設定表示該候選運動向量預測子是否可用作該當前運動向量之一運動向量預測子的一變數為一第一值,該第一值指示該候選運動向量預測子可用作該當前運動向量之該運動向量預測子,其中該變數可被設定為該第一值或一不同於該第一值之第二值,該第二值指示該候選運動向量預測子不可用作該當前運動向量之該運動向量預測子;判定該第一類型不同於該第二類型;在最初將該變數設定為該第一值之後,將該變數設定為該第二值,以回應於判定該第一類型不同於該第二類型;及至少部分地基於該變數之該第二值而編碼該當前運動向量。
  15. 如請求項14之方法,其中判定該當前運動向量之該第一類型包含基於一第一參考圖像子集判定該第一類型,藉由該當前運動向量所參考之一第一參考圖像屬於該第一參考圖像子集,且其中判定該候選運動向量之該第二類型包含基於一第二參考圖像子集判定該第二類型,藉由該候選運動向量預測子所參考之一第二參考圖像屬於該第二參考圖像子集。
  16. 如請求項15之方法,其中該當前區塊包括於一當前層之一圖像內,且其中判定該第一類型不同於該第二類型包含:在該第一參考圖像包括於該當前層中且該第二參考圖像包括於除該當前層以外之一層中時,判定該第一類型不同於該第二類型。
  17. 如請求項15之方法,其中該當前區塊包括於一當前層之一圖像內,且其中在該第二參考圖像包括:於該當前層中且該第一參考圖像包括於除該當前層以外之一層中時,判定該第一類型不同於該第二類型。
  18. 如請求項14之方法,其進一步包含在設定該變數為該第一值之前,基於除該第一類型是否不同於該第二類型以外之準則判定該候選運動向量可用。
  19. 如請求項14之方法,其中該當前運動向量之該第一類型表示藉由該當前運動向量所參考之一第一參考圖像的一當前參考圖像次序計數(POC)值是否與包括該當前區塊之一當前圖像的一當前POC值相同,且其中該候選運動向量預測子之該第二類型表示藉由該候選運動向量預測子所參考之一第二參考圖像的一候選參考POC值是否與該當前POC值相同。
  20. 如請求項19之方法,其進一步包含編碼指示以下情形之資訊:在該當前參考POC值及該候選參考POC值中之至少一者與該當前POC值相同時,將包括該候選運動向量預測子之一相鄰區塊設定為不可用於參考。
  21. 如請求項20之方法,其中編碼該當前運動向量包含:在藉由該當前運動向量所參考之一第一參考圖像的一類型不同於藉由該候選運動向量預測子所參考之一第二參考圖像的一類型時,在不按比例調整該候選運動向量預測子之情況下編碼該當前運動向量。
  22. 如請求項14之方法,其中編碼該當前運動向量包含使用進階運動向量預測(AMVP)模式及合併模式中之至少一者編碼該當前運動向量,該方法進一步包含:在使用AMVP編碼該運動向量時且在該變數指示該候選運動向量預測子不可用時,避免將該運動向量預測子添加至該當前運動向量之一AMVP候選者清單中,及在使用合併模式編碼該運動向量時且在該變數指示該候選運動向量預測子不可用時,避免將該運動向量預測子添加至該當前 運動向量之一合併候選者清單中。
  23. 如請求項14之方法,其進一步包含編碼指示以下情形之資料:對於該視訊資料之一經編碼視訊序列中的所有片段,是否決不將一視圖間參考選擇為時間運動向量預測(TMVP)模式之一同置圖像。
  24. 如請求項23之方法,其中編碼該資料包含編碼一disable_inter_view_as_tmvp_flag。
  25. 如請求項23之方法,其中編碼該資料包含用以下各者中之至少一者編碼該資料:用於一多視圖視訊編碼(MVC)擴充之擴充位元、用於一三維視訊(3DV)擴充之擴充位元、一子集序列參數集(SPS),及一視訊參數集(VPS)。
  26. 如請求項14之方法,其進一步包含判定包括該當前運動向量所參考之一參考圖像的一參考圖像集(RPS)子集之一類型,其中判定該當前運動向量之該第一類型包含判定該第一類型等於該RPS子集之該類型。
  27. 一種用於解碼視訊資料之器件,該器件包含:一記憶體,其經組態以儲存視訊資料;及經組態以執行以下操作之一視訊解碼器:判定視訊資料之一當前區塊的一當前運動向量之一第一類型;判定該當前區塊之一相鄰區塊的一候選運動向量預測子之一第二類型;設定表示該候選運動向量預測子是否可用作該當前運動向量之一運動向量預測子的一變數為一第一值,該第一值指示該候選運動向量預測子可用作該當前運動向量之該運動向量預測子,其中該變數可被設定為該第一值或一不同於該第一值之第 二值,該第二值指示該候選運動向量預測子不可用作該當前運動向量之該運動向量預測子;判定該第一類型不同於該第二類型;在最初將該變數設定為該第一值之後,將該變數設定為該第二值,以回應於判定該第一類型不同於該第二類型;及至少部分地基於該變數之該第二值而解碼該當前運動向量。
  28. 如請求項27之器件,其中該視訊解碼器經組態以基於一第一參考圖像子集判定該當前運動向量之該第一類型,藉由該當前運動向量所參考之一第一參考圖像屬於該第一參考圖像子集,且其中該視訊解碼器經組態以基於一第二參考圖像子集判定該第二類型,藉由該候選運動向量預測子所參考之一第二參考圖像屬於該第二參考圖像子集。
  29. 如請求項27之器件,其中該視訊解碼器經進一步組態以在設定該變數為該第一值之前,基於除該第一類型是否不同於該第二類型以外之準則判定該候選運動向量可用。
  30. 如請求項27之器件,其中該當前運動向量之該第一類型表示藉由該當前運動向量所參考之一第一參考圖像的一當前參考圖像POC值是否與包括該當前區塊之一當前圖像的一當前POC值相同,且其中該候選運動向量預測子之該第二類型表示藉由該候選運動向量預測子所參考之一第二參考圖像的一候選參考POC值是否與該當前POC值相同。
  31. 如請求項30之器件,其中該視訊解碼器經進一步組態以解碼指示以下情形之資訊:在該當前參考POC值及該候選參考POC值中之至少一者與該當前POC值相同時,將該相鄰區塊設定為不可用於參考。
  32. 如請求項27之器件,其中為了解碼該當前運動向量,該視訊解碼器經組態以使用進階運動向量預測(AMVP)模式及合併模式中之至少一者解碼該當前運動向量,其中在使用AMVP解碼該運動向量時且在該變數指示該候選運動向量預測子不可用時,該視訊解碼器經組態以避免將該運動向量預測子添加至該當前運動向量之一AMVP候選者清單中,及在使用合併模式解碼該運動向量時且在該變數指示該候選運動向量預測子不可用時,該視訊解碼器經組態以避免將該運動向量預測子添加至該當前運動向量之一合併候選者清單中。
  33. 如請求項27之器件,其中該視訊解碼器經組態以解碼指示以下情形之資料:對於該視訊資料之一經解碼視訊序列中的所有片段,是否決不將一視圖間參考選擇為時間運動向量預測(TMVP)模式之一同置圖像。
  34. 如請求項33之器件,其中該資料包含一disable_inter_view_as_tmvp_flag。
  35. 如請求項27之器件,其中該視訊解碼器經組態以判定包括該當前運動向量所參考之一參考圖像的一參考圖像集(RPS)子集之一類型,其中為了判定該當前運動向量之該第一類型,該視訊解碼器經組態以判定該第一類型等於該RPS子集之該類型。
  36. 如請求項27之器件,其中該視訊解碼器經組態以執行以下操作:解碼該當前運動向量;解碼該當前區塊之殘餘資料;至少部分地基於該當前運動向量而形成該當前區塊之經預測資料;及組合該經預測資料與該殘餘資料以重建構該當前區塊。
  37. 如請求項27之器件,其進一步包含經組態以執行以下操作之一視訊編碼器:編碼該當前運動向量;至少部分地基於該當前運動向量而形成該當前區塊之經預測資料;基於在該當前區塊與 該經預測資料之間的差而計算該當前區塊之殘餘資料;及編碼該殘餘資料。
  38. 如請求項27之器件,其中該器件包含以下各者中之至少一者:一積體電路;一微處理器;及一無線通信器件,其包括該視訊解碼器。
  39. 一種用於編碼視訊資料之器件,該器件包含一記憶體,其經組態以儲存視訊資料;及經組態以執行以下操作之一視訊編碼器:判定視訊資料之一當前區塊的一當前運動向量之一第一類型;判定該當前區塊之一相鄰區塊的一候選運動向量預測子之一第二類型;設定表示該候選運動向量預測子是否可用作該當前運動向量之一運動向量預測子的一變數為一第一值,該第一值指示該候選運動向量預測子可用作該當前運動向量之該運動向量預測子,其中該變數可被設定為該第一值或一不同於該第一值之第二值,該第二值指示該候選運動向量預測子不可用作該當前運動向量之該運動向量預測子;判定該第一類型不同於該第二類型;在最初將該變數設定為該第一值之後,將該變數設定為該第二值,以回應於判定該第一類型不同於該第二類型;及至少部分地基於該變數之該第二值而編碼該當前運動向量。
  40. 如請求項39之器件,其中該視訊編碼器經組態以基於一第一參考圖像子集判定該當前運動向量之該第一類型,藉由該當前運動向量所參考之一第一參考圖像屬於該第一參考圖像子集,且 其中該視訊編碼器經組態以基於一第二參考圖像子集判定該第二類型,藉由該候選運動向量預測子所參考之一第二參考圖像屬於該第二參考圖像子集。
  41. 如請求項39之器件,其中該視訊編碼器經進一步組態以在設定該變數為該第一值之前,基於除該第一類型是否不同於該第二類型以外之準則判定該候選運動向量可用。
  42. 如請求項39之器件,其中該當前運動向量之該第一類型表示藉由該當前運動向量所參考之一第一參考圖像的一當前參考POC值是否與包括該當前區塊之一當前圖像的一當前POC值相同,且其中該候選運動向量預測子之該第二類型表示藉由該候選運動向量預測子所參考之一第二參考圖像的一候選參考POC值是否與該當前POC值相同。
  43. 如請求項42之器件,其中該視訊編碼器經進一步組態以編碼指示以下情形之資訊:在該當前參考POC值及該候選參考POC值中之至少一者與該當前POC值相同時,將該相鄰區塊設定為不可用於參考。
  44. 如請求項39之器件,其中為了編碼該當前運動向量,該視訊編碼器經組態以使用進階運動向量預測(AMVP)模式及合併模式中之至少一者編碼該當前運動向量,其中在使用AMVP編碼該運動向量時且在該變數指示該候選運動向量預測子不可用時,該視訊編碼器經組態以避免將該運動向量預測子添加至該當前運動向量之一AMVP候選者清單中,及在使用合併模式編碼該運動向量時且在該變數指示該候選運動向量預測子不可用時,該視訊編碼器經組態以避免將該運動向量預測子添加至該當前運動向量之一合併候選者清單中。
  45. 如請求項39之器件,其中該視訊編碼器經組態以編碼指示以下情形之資料:對於該視訊資料之一經編碼視訊序列中的所有片段,是否決不將一視圖間參考選擇為時間運動向量預測(TMVP)模式之一同置圖像。
  46. 如請求項45之器件,其中該資料包含一disable_inter_view_as_tmvp_flag。
  47. 如請求項39之器件,其中該視訊編碼器經組態以判定包括該當前運動向量所參考之一參考圖像的一參考圖像集(RPS)子集之一類型,其中為了判定該當前運動向量之該第一類型,該視訊編碼器經組態以判定該第一類型等於該RPS子集之該類型。
  48. 如請求項39之器件,其進一步包含經組態以執行以下操作之一視訊解碼器:解碼該當前運動向量;解碼該當前區塊之殘餘資料;至少部分地基於該當前運動向量形成該當前區塊之經預測資料;及組合該經預測資料與該殘餘資料以重建構該當前區塊。
  49. 如請求項39之器件,其中該視訊編碼器經組態以執行以下操作:編碼該當前運動向量;至少部分地基於該當前運動向量形成該當前區塊之經預測資料;基於在該當前區塊與該經預測資料之間的差而計算該當前區塊之殘餘資料;及編碼該殘餘資料。
  50. 一種用於編碼視訊資料之器件,該器件包含:用於判定視訊資料之一當前區塊的一當前運動向量之一第一類型的構件;用於判定該當前區塊之一相鄰區塊的一候選運動向量預測子之一第二類型的構件;用於設定表示該候選運動向量預測子是否可用作該當前運動 向量之一運動向量預測子的一變數為一第一值的構件,該第一值指示該候選運動向量預測子可用作該當前運動向量之該運動向量預測子,其中該變數可被設定為該第一值或一不同於該第一值之第二值,該第二值指示該候選運動向量預測子不可用作該當前運動向量之該運動向量預測子;用於判定該第一類型不同於該第二類型的構件;用於在最初將該變數設定為該第一值之後將該變數設定為該第二值以回應於判定在該第一類型不同於該第二類型的構件;及用於至少部分地基於該變數之該第二值而編碼該當前運動向量的構件。
  51. 一種電腦可讀儲存媒體,其上儲存有在執行時使一處理器執行以下操作之指令:判定視訊資料之一當前區塊的一當前運動向量之一第一類型;判定該當前區塊之一相鄰區塊的一候選運動向量預測子之一第二類型;設定表示該候選運動向量預測子是否可用作該當前運動向量之一運動向量預測子的一變數為一第一值,該第一值指示該候選運動向量預測子可用作該當前運動向量之該運動向量預測子,其中該變數可被設定為該第一值或一不同於該第一值之第二值,該第二值指示該候選運動向量預測子不可用作該當前運動向量之該運動向量預測子;判定該第一類型不同於該第二類型;在最初將該變數設定為該第一值之後,將該變數設定為該第二值,以回應於判定該第一類型不同於該第二類型;及至少部分地基於該變數之該第二值而解碼該當前運動向量。
TW102109363A 2012-03-16 2013-03-15 在高效率視訊寫碼及其擴充中之運動向量寫碼及雙向預測 TWI538489B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261611959P 2012-03-16 2012-03-16
US201261624990P 2012-04-16 2012-04-16
US201261658344P 2012-06-11 2012-06-11
US201261663484P 2012-06-22 2012-06-22
US13/801,350 US9503720B2 (en) 2012-03-16 2013-03-13 Motion vector coding and bi-prediction in HEVC and its extensions

Publications (2)

Publication Number Publication Date
TW201352008A TW201352008A (zh) 2013-12-16
TWI538489B true TWI538489B (zh) 2016-06-11

Family

ID=49157626

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102109363A TWI538489B (zh) 2012-03-16 2013-03-15 在高效率視訊寫碼及其擴充中之運動向量寫碼及雙向預測

Country Status (16)

Country Link
US (1) US9503720B2 (zh)
EP (1) EP2826247A1 (zh)
JP (1) JP6215295B2 (zh)
KR (1) KR101812381B1 (zh)
CN (1) CN104170381B (zh)
AU (1) AU2013232041C1 (zh)
CA (1) CA2865849C (zh)
HK (1) HK1200047A1 (zh)
IL (1) IL234159A (zh)
MY (1) MY168175A (zh)
PH (1) PH12014501923A1 (zh)
RU (1) RU2624560C2 (zh)
SG (1) SG11201405071UA (zh)
TW (1) TWI538489B (zh)
WO (1) WO2013138631A1 (zh)
ZA (1) ZA201407270B (zh)

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120082228A1 (en) * 2010-10-01 2012-04-05 Yeping Su Nested entropy encoding
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
SI2717574T1 (sl) * 2011-05-31 2021-04-30 JVC Kenwood Corporation Naprava za dekodiranje gibljivih slik, postopek za dekodiranje gibljivih slik, program za dekodiranje gibljivih slik
GB2559226B (en) * 2011-09-09 2018-11-28 Kt Corp Method for deriving a temporal predictive motion vector
CN107835414B (zh) 2011-10-18 2020-11-06 株式会社Kt 视频信号解码方法
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
JP2013207755A (ja) * 2012-03-29 2013-10-07 Sony Corp 画像処理装置および方法
EP3796651A1 (en) 2012-05-09 2021-03-24 Sun Patent Trust Method of performing motion vector prediction, encoding and decoding methods, and apparatuses thereof
US9420286B2 (en) 2012-06-15 2016-08-16 Qualcomm Incorporated Temporal motion vector prediction in HEVC and its extensions
US20150181232A1 (en) * 2012-07-18 2015-06-25 Sony Corporation Image processing device and method
US20140056356A1 (en) * 2012-08-21 2014-02-27 Motorola Mobility Llc Method and apparatus for efficient signaling of weighted prediction in advanced coding schemes
US9392268B2 (en) 2012-09-28 2016-07-12 Qualcomm Incorporated Using base layer motion information
US9357212B2 (en) 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
WO2014166328A1 (en) * 2013-04-08 2014-10-16 Mediatek Singapore Pte. Ltd. Method and apparatus for quantization matrix signaling and representation in scalable video coding
US10075735B2 (en) * 2013-07-14 2018-09-11 Sharp Kabushiki Kaisha Video parameter set signaling
CN105432086B (zh) * 2013-07-18 2019-04-12 Lg 电子株式会社 处理视频信号的方法和装置
FR3011429A1 (fr) * 2013-09-27 2015-04-03 Orange Codage et decodage video par heritage d'un champ de vecteurs de mouvement
US9648333B2 (en) * 2013-10-11 2017-05-09 Vid Scale, Inc. High level syntax for HEVC extensions
KR102275639B1 (ko) 2013-10-14 2021-07-08 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 영상 코딩 및 디코딩에 대한 기본 색상 인덱스 맵 모드의 특징
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
AU2013403224B2 (en) 2013-10-14 2018-10-18 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
US10432963B2 (en) 2013-11-05 2019-10-01 Arris Enterprises Llc Bit depth variable for high precision data in weighted prediction syntax and semantics
TWI538487B (zh) * 2013-12-05 2016-06-11 財團法人工業技術研究院 螢幕視訊之預測編碼的方法與系統
KR101658192B1 (ko) * 2014-01-02 2016-09-20 인텔렉추얼디스커버리 주식회사 다시점 영상을 위한 움직임 벡터를 부호화/복호화하는 방법 및 그 장치
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
WO2015100726A1 (en) 2014-01-03 2015-07-09 Microsoft Corporation Block vector prediction in video and image coding/decoding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
AU2014385769B2 (en) 2014-03-04 2018-12-06 Microsoft Technology Licensing, Llc Block flipping and skip mode in intra block copy prediction
CA2939009A1 (en) * 2014-03-13 2015-09-17 Qualcomm Incorporated Simplified advanced residual prediction for 3d-hevc
KR102311815B1 (ko) 2014-06-19 2021-10-13 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
WO2016008161A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Temporal derived bi-directional motion vector predictor
JP2017535145A (ja) 2014-09-30 2017-11-24 マイクロソフト テクノロジー ライセンシング,エルエルシー 波面並列処理が可能にされた場合のピクチャ内予測モードに関する規則
CN107005705B (zh) * 2014-10-07 2021-03-09 三星电子株式会社 使用层间预测对多层图像进行编码或解码的方法和装置
WO2016056754A1 (ko) * 2014-10-08 2016-04-14 엘지전자 주식회사 3d 비디오 부호화/복호화 방법 및 장치
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
WO2016197314A1 (en) 2015-06-09 2016-12-15 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
CN108600749B (zh) 2015-08-29 2021-12-28 华为技术有限公司 图像预测的方法及设备
EP3355578B1 (en) * 2015-09-24 2020-12-09 LG Electronics Inc. Motion vector predictor derivation and candidate list construction
US11032550B2 (en) * 2016-02-25 2021-06-08 Mediatek Inc. Method and apparatus of video coding
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
US11638027B2 (en) 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
US20180054613A1 (en) * 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
US10390015B2 (en) * 2016-08-26 2019-08-20 Qualcomm Incorporated Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
US10477238B2 (en) * 2016-09-07 2019-11-12 Qualcomm Incorporated Sub-PU based bi-directional motion compensation in video coding
MX2019003553A (es) * 2016-09-30 2019-08-12 Huawei Tech Co Ltd Metodo de codificacion de video, metodo de decodificacion de video y terminal.
EP3343924A1 (en) * 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US20180332298A1 (en) * 2017-05-10 2018-11-15 Futurewei Technologies, Inc. Bidirectional Prediction In Video Compression
CN109089119B (zh) 2017-06-13 2021-08-13 浙江大学 一种运动矢量预测的方法及设备
EP3435676A1 (en) * 2017-07-25 2019-01-30 Thomson Licensing Method and apparatus for encoding and decoding an omnidirectional video
EP3457695A1 (en) * 2017-09-18 2019-03-20 Thomson Licensing Method and apparatus for motion vector predictor adaptation for omnidirectional video
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
WO2019137735A1 (en) * 2018-01-15 2019-07-18 Telefonaktiebolaget Lm Ericsson (Publ) Restricted overlapped block motion compensation
KR20230074302A (ko) * 2018-02-28 2023-05-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 합성된 예측 및 제한된 병합
EP3777157A4 (en) * 2018-04-20 2021-05-19 Huawei Technologies Co., Ltd. LINE BUFFER FOR PREDICTOR CANDIDATE FOR SPATIAL MOTION VECTORS
US10469869B1 (en) * 2018-06-01 2019-11-05 Tencent America LLC Method and apparatus for video coding
JP7104186B2 (ja) 2018-06-05 2022-07-20 北京字節跳動網絡技術有限公司 Ibcとatmvpとの間でのインタラクション
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
EP4307671A3 (en) 2018-06-21 2024-02-07 Beijing Bytedance Network Technology Co., Ltd. Sub-block mv inheritance between color components
CN114900694A (zh) 2018-06-29 2022-08-12 抖音视界(北京)有限公司 哪个查找表需要更新或不更新
EP3791586A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
EP3794825A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Update of look up table: fifo, constrained fifo
TWI719525B (zh) * 2018-06-29 2021-02-21 大陸商北京字節跳動網絡技術有限公司 Lut與amvp之間的交互
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Lut更新条件
BR112020024142A2 (pt) 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório
EP4322533A3 (en) 2018-06-29 2024-03-06 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in lut
WO2020003282A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Managing motion vector predictors for video coding
TWI748202B (zh) 2018-07-02 2021-12-01 大陸商北京字節跳動網絡技術有限公司 Lamvr中取整和修剪的順序
CN112369028A (zh) * 2018-07-06 2021-02-12 三菱电机株式会社 利用自适应权重的双预测
US10511852B1 (en) * 2018-07-13 2019-12-17 Tencent America LLC Method and apparatus for video coding
KR102286460B1 (ko) 2018-07-18 2021-08-04 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 히스토리-기반 모션 벡터 예측을 사용한 비디오 코딩 방법 및 장치
KR102542433B1 (ko) 2018-08-10 2023-06-13 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 처리 방법, 비디오 처리 장치, 인코더, 디코더, 매체 및 컴퓨터 프로그램
CN111064961B (zh) 2018-09-12 2023-06-09 北京字节跳动网络技术有限公司 视频处理方法和装置
US10958932B2 (en) * 2018-09-12 2021-03-23 Qualcomm Incorporated Inter-prediction coding of video data using generated motion vector predictor list including non-adjacent blocks
CN112740704B (zh) * 2018-09-21 2024-04-16 夏普株式会社 图像解码装置以及图像编码装置
WO2020065518A1 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
US11064192B2 (en) * 2018-10-04 2021-07-13 Qualcomm Incorporated Simplification of spatial-temporal motion vector prediction
BR122022002096B1 (pt) 2018-10-08 2022-11-01 Lg Electronics Inc Método de decodificação/codificação de imagem realizado por um aparelho de decodificação/codificação, aparelho de decodificação/codificação para decodificação/codificação de imagem, método de transmissão de dados para imagem e mídia de armazenamento legível por computador não transitória
CN112889284A (zh) * 2018-10-22 2021-06-01 北京字节跳动网络技术有限公司 基于子块的解码器侧运动矢量推导
WO2020084554A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Searching based motion candidate derivation for sub-block motion vector prediction
JP7395580B2 (ja) * 2018-10-24 2023-12-11 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオデコーダおよび方法
CN112997495B (zh) 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 当前图片参考中的取整
CN111436228A (zh) 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 组合帧间-帧内预测的简化
WO2020103872A1 (en) * 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Prediction refinement for combined inter intra prediction mode
WO2020103944A1 (en) * 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Sub-block based motion candidate selection and signaling
US11146810B2 (en) * 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement
EP3900343A1 (en) * 2018-12-21 2021-10-27 VID SCALE, Inc. Symmetric motion vector difference coding
CN113196771B (zh) 2018-12-21 2023-12-22 北京字节跳动网络技术有限公司 基于运动矢量精度的运动矢量范围
CN113228643A (zh) 2018-12-28 2021-08-06 韩国电子通信研究院 图像编码/解码方法和设备以及用于存储比特流的记录介质
KR102658346B1 (ko) * 2018-12-30 2024-04-18 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 삼각형 예측을 위한 비디오 코딩 방법 및 장치
WO2020143741A1 (en) 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Invoke of lut updating
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147747A1 (en) * 2019-01-15 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Weighted prediction in video coding
CN113302937A (zh) 2019-01-16 2021-08-24 北京字节跳动网络技术有限公司 运动候选推导
PL3912357T3 (pl) * 2019-02-20 2024-03-25 Beijing Dajia Internet Information Technology Co., Ltd. Ograniczone wyprowadzanie wektora ruchu dla długotrwałych obrazów odniesienia w kodowaniu wideo
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
EP3939310A4 (en) * 2019-03-11 2022-07-27 Telefonaktiebolaget LM Ericsson (publ) MOTION REFINING AND WEIGHTED PREDICTION
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
CN113711609B (zh) * 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
EP4304178A3 (en) 2019-04-19 2024-03-06 Beijing Bytedance Network Technology Co., Ltd. Gradient calculation in different motion vector refinements
JP7391109B2 (ja) * 2019-05-11 2023-12-04 北京字節跳動網絡技術有限公司 ビデオ処理におけるコーディングツールの選択的使用
CN113382261B (zh) * 2019-06-21 2022-05-20 杭州海康威视数字技术股份有限公司 预测模式的解码、编码方法及装置
US11336900B2 (en) * 2019-06-26 2022-05-17 Qualcomm Incorporated Combined inter and intra prediction mode for video coding
MX2022000237A (es) * 2019-07-05 2022-03-17 Lg Electronics Inc Metodo y aparato de codificacion/decodificacion de imagenes para llevar a cabo prediccion bidireccional, y metodo para transmitir flujos de bits.
WO2021018031A1 (en) * 2019-07-27 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Restrictions of usage of tools according to reference picture types
CN114208184A (zh) 2019-08-13 2022-03-18 北京字节跳动网络技术有限公司 基于子块的帧间预测中的运动精度
EP4020992A4 (en) * 2019-08-22 2023-06-21 LG Electronics Inc. PICTURE CODING/DECODING METHOD AND DEVICE FOR PERFORMING WEIGHTED PREDICTION AND METHOD FOR TRANSMITTING A BIT STREAM
CN114287135A (zh) 2019-08-23 2022-04-05 北京字节跳动网络技术有限公司 参考图片重采样中的剪切
EP4011077A4 (en) * 2019-09-13 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SAMPLE WEIGHTED BIDIRECTIONAL PREDICTION IN VIDEO CODING
EP4035356A4 (en) 2019-10-23 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SIGNALING FOR RE-SAMPLING REFERENCE IMAGE
EP4035379A4 (en) 2019-10-23 2023-03-15 Beijing Bytedance Network Technology Co., Ltd. CALCULATION FOR MULTIPLE CODING TOOLS
WO2023200255A1 (ko) * 2022-04-12 2023-10-19 엘지전자 주식회사 Amvp(advanced motion vector prediction)-merge 모드에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023458A (ja) 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化/復号化方法及び装置
US7023921B2 (en) * 2002-08-06 2006-04-04 Motorola, Inc. Method and apparatus for determining block match quality
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
KR100584603B1 (ko) 2004-08-03 2006-05-30 학교법인 대양학원 다시점 영상의 다이렉트 모드 움직임 예측 방법 및 장치
US20070014346A1 (en) 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
WO2007011147A1 (en) 2005-07-18 2007-01-25 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
US8644386B2 (en) 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR101227601B1 (ko) * 2005-09-22 2013-01-29 삼성전자주식회사 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
KR101276720B1 (ko) 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
EP1982517A4 (en) 2006-01-12 2010-06-16 Lg Electronics Inc MULTIVATE VIDEO PROCESSING
KR100966567B1 (ko) 2006-03-30 2010-06-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
MX339121B (es) 2006-07-06 2016-05-12 Thomson Licensing Metodo y aparato para desacoplar el numero de cuadro y/o la cuenta del orden de imagen (poc) para la codificación y decodificación de video de múltiples vistas.
ZA200900102B (en) * 2006-07-06 2010-05-26 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (poc) for multi-view video encoding and decoding
KR101370919B1 (ko) 2006-07-12 2014-03-11 엘지전자 주식회사 신호처리방법 및 장치
US8179969B2 (en) 2006-08-18 2012-05-15 Gwangju Institute Of Science And Technology Method and apparatus for encoding or decoding frames of different views in multiview video using global disparity
CN102780883B (zh) 2006-10-13 2015-03-04 汤姆逊许可公司 用于包含多视点视频编码的参考图像管理的方法
ES2492923T3 (es) 2006-10-16 2014-09-10 Nokia Corporation Sistema y procedimiento para implementar una administración eficiente de memoria intermedia decodificada en codificación de video de vistas múltiples
KR20090085581A (ko) 2006-10-24 2009-08-07 톰슨 라이센싱 다중-뷰 비디오 코딩을 위한 화상 관리
BRPI0717639A2 (pt) 2006-10-30 2013-11-12 Nippon Telegraph & Telephone Método de geração de informações de referência preditas, métodos de codificação de decodificação de vídeo, aparelhos destinados aos mesmos, programas destinados aos mesmos, e mídias de armazenamento que armazenam os programas
JP5023739B2 (ja) 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
JP2010520697A (ja) 2007-03-02 2010-06-10 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング/エンコーディング方法及び装置
US20080240242A1 (en) * 2007-03-27 2008-10-02 Nokia Corporation Method and system for motion vector predictions
KR101946376B1 (ko) 2007-10-16 2019-02-11 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR101385884B1 (ko) 2008-01-30 2014-04-16 고려대학교 산학협력단 다시점 동영상의 부호화 및 복호화 방법 및 장치
ES2812473T3 (es) 2008-03-19 2021-03-17 Nokia Technologies Oy Vector de movimiento combinado y predicción de índice de referencia para la codificación de vídeo
EP2338281A4 (en) 2008-10-17 2012-08-15 Nokia Corp SHARING THE MOTION VECTOR IN 3D VIDEO CODING
KR101590511B1 (ko) 2009-01-23 2016-02-02 에스케이텔레콤 주식회사 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
WO2010086500A1 (en) 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
US20100246683A1 (en) 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding
US9060176B2 (en) 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
KR101768207B1 (ko) 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
US20120189060A1 (en) 2011-01-20 2012-07-26 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for encoding and decoding motion information and disparity information
US9749657B2 (en) 2011-01-21 2017-08-29 Sharp Kabushiki Kaisha Buffer compression for motion vector competition
KR20120095610A (ko) 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP5664762B2 (ja) 2011-03-17 2015-02-04 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
KR20120118780A (ko) 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오의 움직임 벡터 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
JP2013034171A (ja) * 2011-06-30 2013-02-14 Sony Corp 画像処理装置および方法
US10567786B2 (en) 2011-08-19 2020-02-18 Telefonaktiebolaget Lm Ericsson (Publ) Motion vector processing
US20130229485A1 (en) 2011-08-30 2013-09-05 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding

Also Published As

Publication number Publication date
AU2013232041A1 (en) 2014-09-25
ZA201407270B (en) 2017-08-30
SG11201405071UA (en) 2014-09-26
PH12014501923B1 (en) 2014-11-24
CA2865849C (en) 2020-05-26
EP2826247A1 (en) 2015-01-21
TW201352008A (zh) 2013-12-16
RU2014141677A (ru) 2016-05-10
HK1200047A1 (zh) 2015-07-31
MY168175A (en) 2018-10-11
WO2013138631A1 (en) 2013-09-19
JP2015514342A (ja) 2015-05-18
CA2865849A1 (en) 2013-09-19
KR101812381B1 (ko) 2017-12-26
PH12014501923A1 (en) 2014-11-24
CN104170381A (zh) 2014-11-26
IL234159A (en) 2017-07-31
AU2013232041C1 (en) 2018-05-17
RU2624560C2 (ru) 2017-07-04
CN104170381B (zh) 2017-12-08
AU2013232041B2 (en) 2017-10-05
US9503720B2 (en) 2016-11-22
JP6215295B2 (ja) 2017-10-18
US20130243093A1 (en) 2013-09-19
KR20140147102A (ko) 2014-12-29

Similar Documents

Publication Publication Date Title
TWI538489B (zh) 在高效率視訊寫碼及其擴充中之運動向量寫碼及雙向預測
CN110431845B (zh) 约束通过解码器侧运动向量推导导出的运动向量信息
CN110383839B (zh) 仿射运动信息导出
JP6585200B2 (ja) ビデオコード化における視差ベクトル予測
US9420286B2 (en) Temporal motion vector prediction in HEVC and its extensions
KR102156947B1 (ko) 고효율 비디오 코딩을 위한 하이-레벨 신택스 확장들
US9485517B2 (en) Motion vector prediction with motion vectors from multiple views in multi-view video coding
US9674542B2 (en) Motion vector prediction for video coding
KR20200108432A (ko) 개선된 디코더측 모션 벡터 도출
KR102264104B1 (ko) 백워드 뷰 합성 예측
KR20180061281A (ko) 비디오 코딩을 위한 향상된 양방향 광학 흐름
KR102312766B1 (ko) 비디오 코딩을 위한 디스패리티 벡터 및/또는 진보된 레지듀얼 예측
CA2916363A1 (en) Block identification using disparity vector in video coding

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees