TWI733774B - 視訊編碼之樣式基礎運動向量推導之方法及裝置 - Google Patents

視訊編碼之樣式基礎運動向量推導之方法及裝置 Download PDF

Info

Publication number
TWI733774B
TWI733774B TW106108488A TW106108488A TWI733774B TW I733774 B TWI733774 B TW I733774B TW 106108488 A TW106108488 A TW 106108488A TW 106108488 A TW106108488 A TW 106108488A TW I733774 B TWI733774 B TW I733774B
Authority
TW
Taiwan
Prior art keywords
current
template
block
motion vector
current block
Prior art date
Application number
TW106108488A
Other languages
English (en)
Other versions
TW201739256A (zh
Inventor
莊子德
陳慶曄
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201739256A publication Critical patent/TW201739256A/zh
Application granted granted Critical
Publication of TWI733774B publication Critical patent/TWI733774B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

揭露一種使用解碼器推導之運動訊息基於雙向匹配或模板匹配之視訊編碼方法及裝置。根據一種方法，包含雙向匹配合併候選以及/或模板匹配合併候選之合併候選組之合併索引被使用不同碼字發信。根據另一種方法，第一階段MV或第一階段MV對用做第二階段搜尋之唯一初始MV或MV對或搜尋窗口之中心MV。根據又一種方法，在找到第一參考表之參考模板之後，當前模板被修改以用於另一參考表中的模板搜尋。根據又一種方法，子PU搜尋在模板搜尋中被禁用。根據又一種方法，區塊差值計算是基於在解碼器端MV推導流程相關之MV搜尋中降低之位元深度。

Description

視訊編碼之樣式基礎運動向量推導之方法及裝置 【交叉引用】
本申請要求於2016年3月16日提交之美國臨時申請案62/309,001之優先權，本申請以引用方式包含該臨時案之全部。
本發明係有關於使用解碼端推導之運動訊息(decoder side derived motion information)之視訊編碼之運動補償。更具體地，本發明是有關於對以樣式為基礎之運動向量推導(pattern-based motion vector derivation)之性能改善或減少複雜度。
於採用運動補償幀間預測(motion-compensated Inter prediction)之普通視訊編碼系統中，運動訊息通常由編碼器端發送到解碼器端，如此解碼器能正確執行運動補償幀間預測。在這樣系統中，運動訊息會占用一些編碼位元。為了改進編碼效率，在VCEG-AZ07中揭露了一種解碼器端的運動向量推導方法(Jianle Chen等人，Further improvements to HMKTA-1.0,ITU - Telecommunications Standardization Sector, Study Group 16 Question 6, Video Coding Experts Group (VCEG), 52nd Meeting：19-26 June 2015，華沙，波蘭)。根據VCEG-AZ07，解碼器端運動向量推導方法使用兩個幀率升高轉換(Frame Rate Up-Conversion，FRUC)模式。FRUC模式中的一個被稱做B-片雙向匹配(bilateral matching)而FRUC模式中的另一個被稱做P-片或B-片之模板匹配(template matching)。
第1圖顯示FRUC雙向匹配模式的一個例子，其中當前區塊110的運動訊息是基於兩個參考圖像推導。當前區塊的運動訊息是藉由延著當前區塊的運動軌道(motion trajectory)140上找到在兩個不同參考圖像(即Ref0與ref1)中的兩個區塊(120與130)之間的最佳匹配來推導。在連續運動軌道的假定下，指向兩個參考區塊的與ref0相關的運動向量MV0以及與Ref1相關的運動向量MV1應該與時域距離(temporal distances)成比例，即TD0與TD1，在當前圖像(即Cur pic)與兩個參考圖像之間。
第2圖顯示FRUC模板匹配模式的一個例子。當前圖像(即Cur pic)中的當前區塊210的鄰接區域(neighbouring areas)(220a與220b)用做一個模板，來與參考圖像(即Ref0)中的對應模板(230a與230b)匹配。模板220a/220b與模板230a/230b之間的最佳匹配會決定一解碼器推導之運動向量(decoder derived motion vector)240。雖然Ref0如第2圖所示，Ref1也可做為參考圖像。
根據VCEG-AZ07，在merge_flag或skip_flag為真時發信(signalled)FRUC_mrg_flag。如果FRUC_mrg_flag為1，那麼FRUC_merge_mode被發信來指示雙向匹配合併模式(雙向匹 配merge mode)或模板匹配合併模式被選擇。如果FRUC_mrg_flag為0，這暗示使用一般合併模式(regular merge mode)且在此情況下發信一合併索引(merge index)。在視訊編碼中，為了改善編碼效率，一區塊之運動向量可用運動向量預測(motion vector prediction，MVP)來預測，其中會產生一候選表。在合併模式中可使用合併候選表(merge candidate list)來編碼一區塊。當使用合併模式來編碼一區塊時，區塊的運動訊息(e.g.motion vector)可用合併MV表中的候選MV中的一個表示。因此，取代直接傳輸區塊之運動訊息，傳輸一合併索引(merge index)給解碼器端。解碼器維持一同樣的合併表且使用合併索引來取回(retrieve)由合併索引發信的合併候選。一般來說，合併候選表(merge candidate list)包含少數候選並且傳輸合併索引比傳輸運動訊息更有效。當區塊在合併模式下編碼時，其運動訊息藉由發信一合併索引與臨近區塊之運動訊息“合併”，而非實際上傳輸運動訊息。可是，預測殘值(prediction residuals)仍要傳輸。在預測殘值為零或非常小的情況下，預測殘值被“跳過(skipped)”(即跳過模式)並且區塊用合併索引來確認合併表中的合併MV來於跳過模式下編碼。
雖然術語FRUC是指幀率上升轉換(Frame Rate Up-Conversion)之運動向量，但其技術是用於解碼器推導一或多個合併MV候選而無需實際傳輸運動訊息。如此，本申請中FRUC也被稱做解碼器推導之運動訊息。因為模板匹配方法是基於樣式之推導技術(pattern-based MV derivation technique)，FRUC的模板匹配方法在本申請中也被稱做基於樣 式之推導(Pattern-based MV Derivation，PMVD)。
於解碼器端MV推導方法，叫做時域推導之MVP的新的時域MVP是藉由掃描所有參考幀內的所有MV來推導。為了推導LIST_0時域推導之MVP，對於LIST_0參考幀中的每個LIST_0 MV，MV被縮放(scaled)以指向當前幀。被縮放之MV所指向之當前幀內的4x4區塊是目標當前區塊(target current block)。該MV進一步縮放以指向到在LIST_0中之refIdx等於0之參考圖像給該目標當前區塊。該進一步縮放之MV因目標當前區塊被儲存於LIST_0 MV欄位內。第3A圖與第3B圖分別顯示LIST_0與LIST_1的推導時域推導之MVP的例子。在第3A圖與第3B圖中，每個小正方形區塊對應於4x4區塊。時域推導之MVP的流程掃描所有參考圖像中所有4x4區塊內的所有MV，以產生當前幀的時域推導之LIST_0與LIST_1的MVP。例如，第3A圖中，區塊310，區塊312及區塊314分別對應當前圖像之4x4區塊，索引等於0(即refidx=0)的LIST_0參考圖像之4x4區塊以及索引等於1(即refidx=1)的LIST_0參考圖像之4x4區塊。索引等於1的LIST_0參考圖像的兩個區塊內的運動向量320與330是已知的。然後，時域推導之MVP 322與332能藉由分別縮放運動向量320與330推導。縮放之MVP接著被指派給一對應區塊。類似的，於第3B圖中，區塊340，區塊342與區塊344分別對應當前圖像的4x4區塊，索引等於0(即refidx=0)的LIST_1參考圖像之4x4區塊以及索引等於1(即refidx=1)的LIST_1參考圖像之4x4區塊。索引等於1的LIST_0參考圖像的兩個區塊內的運動向量350與360是已知的。然後，時域推導之MVP 352與362能藉 由分別縮放運動向量350與360推導。
對於雙向匹配合併模式及模板匹配合併模式，採用兩階段匹配(two-stage matching)。第一階段是PU-級(PU-level)匹配，且第二階段為子-PU-級匹配。於PU-級匹配中，分別選擇LIST_0與LIST_1中多個初始MV。這些MV包含來自合併候選之MV(即傳統之合併候選，例如HEVC標準中指定的那些)以及來自時域推導之MVP之MV。為兩個表產生兩個不同的主要(staring)MV組。對於一個表中的每個MV，藉由合成該MV與鏡像(mirrored)MV來產生MV對(pair)，該鏡像MV是藉由縮放該MV到另一表來推導。對於每個MV對，兩個參考區塊藉由使用該MV對來補償。計算這兩個區塊的絕對差之和(sum of absolutely differences，SAD)。選擇具有最小SAD之MV對為最佳MV對。
在推導PU之最佳MV之後，執行鑽石搜尋(diamond search)來改善MV對。改善精度為1/8-pel。改善的搜尋範圍限制在±1像素內。最終MV對是PU-級推導之MV對。鑽石搜尋是一種視訊編碼界熟知的快速區塊匹配運動估計算法。因此，鑽石搜尋算法之細節不再贅述。
對於第二階段子-PU-級搜尋，當前PU被劃分為子-PU。子-PU之深度(例如3)在序列參數組(sequence parameter set，SPS)中發信。最小子-PU尺寸為4x4區塊。對於每個子-PU，在LIST_0與LIST_1中選擇多個開始MV，其包含PU-級推導之MV，零MV，當前子-PU與右下(bottom-right)區塊之HEVC同位(collocated)TMVP，當前子-PU之時域推導之MVP，以及左面及 上面PU/子-PU之MV。藉由使用例如PU-級搜尋之類似機制，決定子-PU之最佳M對。執行鑽石搜尋來改善MV對。執行該子-PU之運動補償來產生該子-PU之預測子(predictor)。
對於模板匹配合併模式，上面4列與左面4行之重建(reconstructed)像素用來形成一模板。執行模板匹配來尋找最佳匹配之模板及其對應MV。模板匹配也採用兩階段匹配。於PU-級匹配中，分別選擇LIST_0與LIST_1中的多個開始MV。這些MV包含來自合併候選之MV(即傳統合併候選，例如在HEVC標準中指定的那些)以及來自時域推導之MVP之MV。產生兩個表之兩個不同開始MV。對於一個表中的每個MV，計算具有該MV之模板之SAD成本。具有最小成本之MV為最佳MV。接著執行鑽石搜尋來改善MV。改善精度為1/8-pel。改善搜尋範圍限制在±1像素內。最終MV是PU-級推導之MV。LIST_0與LIST_1中的MV是獨立產生的。
對於第二階段子-PU-級搜尋，當前PU被劃分為子-PU。子-PU之深度(例如3)在序列參數組SPS中發信。最小子-PU尺寸為4x4區塊。對於每個在左面或頂部PU邊界之子-PU，在LIST_0與LIST_1中選擇多個開始MV，其包含PU-級推導之MV之MV，零MV，當前子-PU與右下(bottom-right)區塊之HEVC同位(collocated)TMVP，當前子-PU之時域推導之MVP，以及左面及上面PU/子-PU之MV。藉由使用例如PU-級搜尋之類似機制，決定子-PU之最佳M對。執行鑽石搜尋來改善MV對。執行該子-PU之運動補償來產生該子-PU之預測子。因為這些PU不是在左面或頂部PU邊界，不採用第二階段子-PU-級搜尋，且對 應MV設為等於第一階段中的MV。
在此解碼器MV推導方法中，也用模板匹配來產生幀間模式編碼之MVP。當選擇一參考圖像時，執行模板匹配來於選擇之參考圖像上尋找一最佳模板。其對應MV為推導之MVP。該MVP被插入進AMVP中第一位置。AMVP表示進階MV預測，其中當前MV是使用候選表來預測編碼(coded predictively)。當前MV與候選表中選擇的MV候選之間的差被編碼。
雙向光流(Bi-directional optical flow，BIO)於JCTVC-C204中揭露(作者為Elena Alshina與Alexander Alshin，“Bi-directional optical flow”，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 3rd Meeting：廣州，中國，7-15 October,2010)以及VECG-AZ05中揭露(作者為E.Alshina等人，Known tools performance investigation for next generation video coding,ITU-T SG 16 Question 6,Video Coding Experts Group(VCEG),52nd Meeting：19-26 June 2015，華沙，波蘭，Document：VCEG-AZ05)。BIO使用光流與穩定運動(steady motion)之假定來達成取樣級運動改善(sample-level motion refinement)。這僅為真雙向預測區塊採用，其從兩個參考幀預測而來，其中一個是先前幀而另一個是後續幀。於VCEG-AZ05中，BIO使用5x5窗口來推導每個取樣之運動改善。因此，對於NxN區塊，一(N+4)x(N+4)區塊之運動補償結果與對應梯度訊息(gradient information)用於推導NxN區塊之取樣-基礎之運動改 善。根據VCEG-AZ05，使用一6-抽頭梯度濾波器(6-Tap gradient filter)與6-抽頭插值濾波器來產生BIO之梯度訊息。因此，BIO之計算複雜度比傳統之雙向預測更高。為了更進一步提升BIO之性能，提出下面方法。
於Marpe等人所寫之技術論文中(D.Marpe,H.Schwarz,and T.Wiegand,“Context-Based Adaptive Binary Arithmetic Coding in the H.264/AVC Video Compression Standard”,IEEE Transactions on Circuits and Systems for Video Technology,Vol.13,No.7,pp.620-636,July 2003)，提出HEVC CABAC之多參數機率(multi-parameter probability)更新(上下文適應性二進制編碼)。參數N=1/(1-α)是之前編碼之單元(bins)數量之量度，其對當前更新(up-date)有很重要影響(“窗口尺寸”)。該值在一定意義上決定系統所需之平均存儲。決定模型之靈敏度參數之選擇是一個困難且重要問題。靈敏之系統能迅速應對真實變化。另一方面，不靈敏之模型不會對噪聲及隨機誤差反應。兩個參數都有用，但是互相制約。藉由使用不同控制訊號，能於編碼中改變α。可是，這種方式非常費力與複雜。如此，不同αi可同時計算不同值：pi_new=(1-αi)y+α i pi_old. (1)
加權平均(Weighted average)用於下個單元機率預測：pnew=Σβi pi_new. (2)
上面等式中，βi是權重因子(weighting factor)。於AVC CABAC中，查找表(即m_aucNextStateMPS與 m_aucNextStateLPS)及索引網格(exponential mesh)用於機率更新。可是，機率更新可使用平均網格(uniform mesh)與無乘法之具體計算(explicit calculation with multiplication free formula)。
假定機率pi由從0到2k之整數表示，機率由下面決定：pi=Pi/2k.
若’αi是二次方數之反數(即αi=1/2Mi)，那麼我們就得到機率更新之無乘法方程式：Pi=(Y>>Mi)+P-(Pi>>Mi). (3)
上面等式中，“>>Mi”表示右移Mi位移操作。該等式預測機率為下個單元會是“1”，其中Y=2k如果最後編碼單元是“1”而Y=0如果最後編碼單元是“0”。
為了在複雜度增加與性能改善之間保持平衡，使用僅包含兩個參數之機率估計之線性組合：P0=(Y>>4)+P0-(P0>>4) (4)
P1=(Y>>7)+P1-(P0>>7) (5)
P=(P0+P1+1)>>1 (6)
對於AVC CABAC中的機率計算，浮點值總是小於或等於1/2。如果機率超過該限值，LPS(最不可能符號，least probable symbol)變成MPS(最有可能符號，most probable symbol)以此來保持上述間隔(interval)內之機率。這個概念具有一些明顯優點，例如減小查找表尺寸。
可是，多參數更新模型之上述方法之直接產生(direct generalization)可能會碰到一些困難。在實作中，一個機率估計能超過限值而另一個仍然小於1/2。因此，或者每個Pi需要MPS/LPS切換或者一些平均值需要MPS/LPS切換。在兩種情況下，其引入了額外複雜度但也並未取得顯著性能提升。因此，本申請提出提高機率的允許水平(以浮點值計)到最高1且禁止MPS/LPS切換。因此，推導到儲存RangeOne或RangeZero之查找表(LUT)。
有鑑於此，本申請特提供一種新型之使用運動補償之視訊編碼之方法及裝置。
揭露一種使用運動補償之視訊編碼之方法及裝置。根據本發明之一方法，使用雙向匹配，模板匹配或兩者基於一或多個第一階段運動向量候選來推導一第一階段運動向量或一第一階段運動向量對。藉由使用雙向匹配，模板匹配或兩者推導每個子區塊之一或多個第二階段運動向量來推導該多個子區塊之第二階段運動向量，其中該第一階段運動向量或該第一階段運動向量對作為第二階段雙向匹配，模板匹配或兩者之唯一初始運動向量或運動向量對使用或搜尋窗口之中心運動向量使用。自包含該第二階段運動向量之一組運動向量候選或運動向量預測子候選決定最終運動向量或最終運動向量預測子。分別在一編碼器端或一解碼器端使用該最終運動向量或最終運動向量預測子來編碼或解碼該當前區塊或當前區塊之一當前運動向量。多個子區塊之第二階段運動向量可用初始 運動向量或運動向量對作為第二階段雙向匹配，模板匹配或兩者之搜尋窗口之中心運動向量來搜尋。
於另一方法中，使用雙向匹配或模板匹配基於一或多個運動向量候選來推導第一階段運動向量或第一階段運動向量對。可是，第二階段運動向量推導僅對雙向匹配賦能。如果使用該模板匹配推導之該第一階段運動向量對與真雙向預測區塊相關，對該當前區塊採用雙向光流流程來推導該當前區塊改善之運動向量。
於又一方法中，推導該使用雙向匹配，模板匹配或兩者之當前區塊之一解碼器端合併候選。產生包含該解碼器端合併候選之一合併候選組。使用至少兩個不同碼字組其中之一或使用上下文基礎編碼的至少兩個上下文其中之一，在該編碼器端發信該當前區塊之選擇的一當前合併索引，或在該解碼器端解碼該當前區塊之選擇的該當前合併索引，其中該至少兩個不同碼字組或至少兩個上下文基礎編碼之上下文用於編碼與該合併候選組的合併候選相關的合併索引。根據包含該當前區塊之一圖片之一圖片類型選擇一碼字組。該至少兩個不同碼字組屬於一碼組，該碼組包含固定長度碼，一元碼及截斷一元碼。於一實施例中，對應一雙向匹配或模板匹配合併模式之一第一合併索引之第一上下文與對應一普通合併模式之一第二合併索引之第二上下文不同。於另一實施例中，固定長度碼用於屬於低延遲B/P圖片或屬於所有參考幀具有小於一當前圖像之一圖像序列號之一P/B圖片之該當前區塊。
於又一方法中，在與一解碼器端運動向量推導流 程相關之運動向量搜索中，使用基於降低位元深度之區塊差值計算，根據該解碼器端運動向量推導流程推導一解碼器端運動向量或解碼器端運動向量對。自包含該解碼器端運動向量或該解碼器端運動向量對之一組運動向量候選或運動向量預測子候選，決定最終運動向量或最終運動向量預測子。分別在一編碼器端或一解碼器端使用該最終運動向量或該最終運動向量預測子，編碼或解碼該當前區塊或該當前區塊之一當前運動向量。該降低位元深度對應像素值的K個最高位，其中K是一正整數。該區塊差值計算對應平方差值之和或絕對差值之和。
於又一方法中，使用模板匹配推導當前模板之第一參考表(例如表0/表1)內最佳模板。基於該當前模板，第一參考表內該最佳模板或兩者，決定一新當前模板。使用新當前模板推導第二參考表(例如表0/表1)內最佳模板。該流程在該第一參考表及該第二參考表重複直到重複達到一數量。該新當前模板之推導可取決於包含該當前區塊之圖片之圖片類型。
本發明所提供之使用運動補償之視訊編碼之方法及裝置能夠利用解碼器端推導之運動向量而不需要額外端訊息，因此，可降低MV成本。
410-440:步驟
510-550:步驟
610-660:步驟
710-770:步驟
1010-1040:步驟
810:當前區塊
910:當前區塊
820:參考區塊
920:參考區塊
第1圖顯示使用雙向匹配技術之運動補償之例子，其中當前區塊由沿著運動軌道之兩個參考區塊所預測。
第2圖顯示使用模板匹配技術之運動補償之例子，其中當前區塊之模板與參考圖像內之參考模板匹配。
第3A圖顯示LIST_0參考圖像之時域運動向量預測(temporal motion vector prediction，MVP)推導流程之例子。
第3B圖顯示LIST_1參考圖像之時域運動向量預測(temporal motion vector prediction，MVP)推導流程之例子。
第4圖顯示根據本發明一實施例之使用解碼器端推導之運動訊息之視訊編碼系統之流程圖，其中合併索引用不同碼字發信。
第5圖顯示根據本發明一實施例之使用解碼器端推導之運動訊息之視訊編碼系統之流程圖，其中第一階段MV或第一階段MV對被作為第二階段搜尋之唯一初始MV或MV對或搜尋窗口之中心MV。
第6圖顯示根據本發明一實施例之使用解碼器端推導之運動訊息之視訊編碼系統之流程圖，其中在找到第一參考表之參考模板之後，當前模板被修改以用於另一參考表內之模板搜尋。
第7圖顯示根據本發明一實施例之使用解碼器端推導之運動訊息之視訊編碼系統之流程圖，其中子PU搜尋在模板搜尋被禁用。
第8圖顯示在當前區塊與參考區塊之間計算差值之當前區塊與參考區塊內像素的例子。
第9圖顯示根據本發明一實施例之在當前區塊與參考區塊之間計算差值之當前區塊與參考區塊內像素的例子，其中具有虛擬像素值之子區塊用於減少計算差值之操作。
第10圖顯示根據本發明一實施例之使用解碼器端推導之 運動訊息之視訊編碼系統之流程圖，其中解碼器端MV或解碼器端MV對根據解碼器端MV推導流程推導，其中解碼器端MV推導流程在與解碼器端MV推導流程相關之MV推導中使用基於降低之位元深度之區塊差值計算。
後面的說明是實施本發明之最佳模式。該說明係用於展現本發明之總體原理之目的且不應以限制意味解讀。本發明之保護範圍最好由後附之申請專利範圍決定。
在本發明中，揭露了多個方法來為了解碼器端運動向量推導降低頻寬或複雜度或提升編碼效率。
用不同碼字發信合併索引(Signalling Merge Index with Different Codewords)
於雙向匹配合併模式與模板匹配合併模式中，合併候選中的LIST_0與LIST_1 MV用來作為開始MV。最佳MV是藉由搜尋所有這些MV來毫無疑問推導。這些合併模式會導致高存儲器頻寬。因此，本發明揭露一種方法來發信雙向匹配合併模式或模板匹配合併模式的合併索引(merge index)。如果合併索引發信了，LIST_0與LIST_1中的最佳開始MV就知道了。雙向匹配或模板匹配僅需要在發信之合併候選周圍執行改善搜尋。對於雙向匹配，如果合併匹配是單向(uni-directional)MV，其另一表中的對應MV可藉由使用鏡像(縮放)MV產生。
於另一實施例，藉由使用預定MV產生方法，LIST_0，LIST_1中的開始MV以及/或MV對是已知的。LIST_0及/或LIST_1中的最佳開始MV，或最佳MV對被明確發信以降 低頻寬要求。
雖然雙向匹配與模板匹配已經以兩階段方式常用，根據本發明之用不同碼字發信合併索引之方法並不限定於兩階段方式。
於另一實施例中，當一個合併索引被發信，選擇之MV還可用於在第一階段排除或選擇一些候選，即PU-級匹配時。例如，候選表中遠離選擇之MV的一些MV可被排除。另外，候選表中最接近選擇之MV但是在不同參考幀內的N個MV可被選擇。
在上述方法中，合併索引的碼字可為固定長度(fixed-length，FL)碼，一元碼(unary code)，或截斷一元(truncated unary，TU)碼。雙向匹配與模板匹配合併模式之合併索引之上下文(context)可與普通合併模式不同。可使用一個不同的上下文模型組。碼字可為依賴圖片型(slice-type dependent)或於圖片頭(slice header)中發信。例如，TU碼可在隨機存取(random-access，RA)圖片中使用或者當參考幀的圖像序列號(picture order count，POC)並不都小於當前圖像時用於B-圖片。FL碼可用於低延遲B/P圖片或可用於P-圖片或B-圖片，其中參考幀的POC並不都小於當前圖像。
第4圖顯示根據該實施例之使用解碼器端推導之訊息之時訊編碼系統之流程圖，其中合併索引被用不同碼字發信。下面流程圖或任何後續流程圖中所示之步驟，以及本揭露書中其他流程圖，可實施為編碼器端以及/或解碼器端之一個或多個處理器(例如一或多個CPU)上可執行之程式碼。流程圖 中所示的步驟也可基於硬件實施，例如用於執行流程圖之步驟的一或多個電子設備或處理器。根據本方法，在步驟410，在編碼器端接收與當前圖像中當前區塊相關之輸入資料，或者在解碼器端接收包含當前圖像中當前區塊相關之編碼資料之視訊串流。在步驟420，使用雙向匹配，模板匹配或兩者，推導當前區塊之解碼器端合併候選。在步驟430，產生包含解碼器端之合併候選之合併候選組。產生合併候選組的方法為業界所知。一般地，其包含空間(spatial)及/或時域鄰進區塊之運動訊息作為合併候選。根據本實施例推導之解碼器端之合併候選包含在合併候選組中。在步驟440，使用至少兩個不同碼字組中之一或使用上下文基礎編碼之至少兩個上下文之一，在編碼器端發信選擇之當前區塊之當前合併索引，或在解碼器端解碼選擇之當前區塊之當前合併索引。所述至少兩個不同碼字組或上下文基礎編碼之所述至少兩個上下文用於編碼與合併候選組之合併候選相關之合併索引。
無MV成本，自合併候選改善子區塊(No MV Cost,Sub-block Refined from Merge Candidate)
於雙向匹配合併模式與模板匹配合併模式，初始MV首先從鄰近區塊及模板同位區塊推導。於樣式基礎(pattern-based)MV搜尋中，MV成本(即MV差值乘lambda，λ)與預測失真(prediction distortion)相加。本發明該方法限定搜尋之MV在初始MV周圍。MV成本通常用在編碼器端來降低MVD(MV差值)之位元消耗(bit overhead)，因為發信MVD會消耗編碼位元。可是，解碼器端推導之運動向量是解碼器端程 序，其不需要額外端訊息。因此，在一實施例中，可消除MV成本。
於雙向匹配合併模式及模板匹配合併模式中，採用兩階段MV搜尋。第一搜尋階段(CU/PU-級階段)中最佳MV作為第二搜尋階段之初始MV之一。第二階段的搜尋窗口以第二搜尋階段之初始MV為中心。可是，其需要存儲器頻寬。為了進一步降低頻寬要求，本發明揭露一種方法使用第一搜尋階段的初始MV作為第二階段子區塊搜尋的搜尋窗口的中心MV。如此，第一階段的搜尋窗口可在第二階段再用。就不需要額外頻寬。
在VCEG-AZ07中，對於模板及雙向匹配中的子-PU MV搜尋，當前PU的左面及上面MV用來作為初始搜尋候選。在一實施例中，為了降低存儲器頻寬，第二階段子-PU搜尋，僅使用第一階段的最佳MV作為第二階段的初始MV。
在另一實施例中，與上述的發信合併索引的方法組合，在第一階段與第二階段搜尋中使用明確發信合併索引MV的搜尋窗口。
第5圖顯示根據本發明一實施例之使用解碼器端推導之運動訊息之視訊編碼系統之流程圖，其中使用該第一階段MV或第一階段MV對作為第二階段搜尋之唯一初始MV或MV對或作為搜尋窗口的中心MV。根據本方法，在步驟510，接收與當前圖像中當前區塊相關之輸入資料，其中每個當前區塊被劃分為多個子區塊。在編碼器端，輸入資料可對應要被編碼的像素資料且輸入資料可對應要在解碼器端被解碼之編碼 資料。在步驟520，使用雙向匹配，模板匹配或兩者基於一或多個第一階段MV候選推導第一階段MV或第一階段MV對。在步驟530，藉由使用雙向匹配，模板匹配或兩者推導每個子區塊之一或多個第二階段MV來推導多個子區塊之第二階段MV，其中第一階段MV或第一階段MV對作為第二階段雙向匹配，模板匹配或兩者的唯一初始MV或MV對或作為搜尋窗口的中心MV。在步驟540，自包含第二階段MV之一組MV候選或MVP候選推導最終MV或最終MVP。在步驟550，分別在編碼器端或解碼器端使用最終MV或最終MVP編碼或解碼當前區塊或當前區塊之當前MV。
禁用PMVD的加權預測(Disable Weighted Prediction for PMVD)
於模板匹配合併模式及雙向匹配合併模式中，根據本方法禁用加權預測。如果LIST_0與LIST_1兩者都包含匹配之參考區塊，權重為1：1。
匹配標準(Matching Criterion)
當找到最佳或幾個最佳LIST_0/LIST_1模板，LIST_0/LIST_1中的模板可用於搜尋LIST_1/LIST_0中的模板(即LIST_0中的模板用於搜尋LIST_1中的模板，反之亦然)。例如，LIST_0之當前模板可被修改為“2*(當前模板)-LIST_0模板”，其中LIST_0模板對應最佳LIST_0模板。新的當前模板用於在LIST_1中搜尋最佳模板。標記“2*(當前模板)-LIST_0模板”意思是當前模板與參考表0(即LIST_0模板)中找到之最佳模板之間的像素級操作(pixel-wise operation)。雖然傳統模板 匹配想要各自達成當前模板與參考表0中參考模板之間的最佳匹配以及當前模板與參考表1中參考模板之間的最佳匹配。另一參考表之修改後當前模板可幫助一起達成最佳匹配。可使用重複搜尋。例如，在找到最佳LIST_1模板之後，當前模板可被修改為“2*(當前模板)-LIST_1模板”。修改之新當前模板用於再次在LIST_0中搜尋最佳模板。重複次數與第一目標參考表應在標準中定義。
提出的LIST_1的匹配標準可以是依賴圖片型(slice-type dependent)。例如，當參考幀的圖像序列號不都小於當前圖像時，“2*(當前模板)-LIST_0模板”可用於隨機(random-access，RA)圖片或可用於B-圖片，“當前模板”可用於其他類型圖片；反之亦然。
第6圖顯示根據本發明之使用解碼器端推導之運動訊息之視訊編碼系統之流程圖，其中在找到第一參考表中的參考模板後，修改當前模板在其他參考表的模板搜尋中用。根據本方法，在步驟610，接收與當前圖像中的當前區塊或子區塊相關之輸入資料。在編碼器端，輸入資料可對應要被編碼之像素資料，且輸入資料可對應在解碼器端要被解碼之編碼資料。在步驟620，使用模板匹配推導當前區塊或子區塊的當前模板之一或多個第一最佳模板，其由第一參考表中一或多個第一最佳MV所指向，其中該一或多個第一最佳MV根據模板匹配推導。在步驟630，在推導所述一或多個第一最佳模板後，基於當前模板，所述一或多個第一最佳模板或兩者決定一新當前模板。在步驟640，使用模板匹配推導當前區塊或子區塊的新 當前模板之一或多個第二最佳模板，其由第二參考表中一或多個第二最佳MV所指向，其中該一或多個第二最佳MV根據模板匹配推導，且該第一參考表與該第二參考表屬於包含表0與表1之一組，該第一參考表與該第二參考表不同。在步驟650，自一組MV候選或MVP候選決定一或多個最終MV或最終MVP，所述MV候選或MVP候選包含與一或多個第一最佳MV及一或多個第二最佳MV相關之一或多個最佳MV。在步驟660，分別在編碼器端或解碼器端使用最終MV或最終MVP編碼或解碼當前區塊或子區塊或當前區塊或子區塊之當前MV。
禁用模板匹配的子-PU-級搜尋(Disable Sub-PU-Level Search for template Matching)
根據本發明之一方法，禁用模板匹配合併模式的子-PU搜尋。子-PU搜尋僅用於雙向匹配合併。對於模板匹配合併模式，因為整個PU/CU可具有同樣MV，BIO可用於模板匹配合併模式之編碼區塊。如前所述，BIO用於真雙向預測區塊(truly bi-directional predicted block)來改善運動向量。
第7圖顯示根據本方法之使用解碼器端推導之運動訊息之視訊編碼系統之流程圖，其中禁用模板搜尋的子-PU搜尋。根據本方法，在步驟710，接收與當前圖像中的當前區塊或子區塊相關之輸入資料。在編碼器端，輸入資料可對應要被編碼之像素資料，且輸入資料可對應在解碼器端要被解碼之編碼資料。在步驟720，使用雙向匹配或模板匹配基於一或多個MV候選推導第一階段MV或第一階段MV對。在步驟730，檢查是否使用雙向匹配或模板匹配。如果使用雙向匹配，則執行 步驟740與750。如果使用模板匹配，則執行步驟760。於步驟740，藉由使用雙向匹配基於第一階段MV或第一階段MV對推導每個子區塊之一或多個第二階段MV來產生多個子區塊之第二階段MV，其中當前區塊被劃分為該多個子區塊。在步驟750，自一組包含第二階段MV之MV候選或MVP候選決定最終MV或最終MVP。在步驟760，自一組包含第一階段MV之MV候選或MVP候選決定最終MV或最終MVP。在步驟770，在決定最終MV或最終MVP之後，分別在編碼器端或解碼器端使用最終MV或最終MVP編碼或解碼當前區塊或當前區塊之當前MV。
減少區塊匹配操作(Reduce the Operations of Block Matching)
對於解碼器端MV推導，計算具有多個MV之模板的SAD成本來尋找解碼器端的最佳MV。為了減少SAD計算的操作，揭露一種趨近(approximate)當前區塊810與參考區塊820之間SAD的方法。於傳統區塊匹配的SAD計算中，如第8圖所示，計算當前區塊(8x8區塊)與參考區塊(8x8區塊)對應像素對之間的平方差(squared differences)且進行加總如等式(1)以取得平方差值的最終和，其中Ci,j與Ri,j分別表示當前區塊810與參考區塊820內的像素，其中寬度等於N且高度等於M。
Figure 106108488-A0305-02-0023-1
為了加速，當前區塊與參考區塊被劃分為尺寸為KxL的子區塊，其中K與L可以是任何整數。如第9圖所示，當前區塊910與參考區塊920都是8x8區塊且被劃分為2x2子區塊。每個子區塊然後被作為虛擬像素(virtual pixel)對待並使用 虛擬像素值來表示每個子區塊。虛擬像素值可以是子區塊內的像素和，子區塊內的像素平均，子區塊內的主導像素值(dominate pixel values)，子區塊內一個像素，一個預設像素值，或使用子區塊內像素計算一個值的其他任何方式。SAD可以當前區塊與參考區塊的虛擬像素之間的絕對差值和來計算。另外，平方差值和(sum of the squared difference，SSD)可以當前區塊與參考區塊的虛擬像素之間的平方差值和來計算。因此，每像素(per-pixel)的SAD或SSD由虛擬像素的SAD或SSD來趨近，這需要更少操作(例如更少乘法)。
而且，為了保持類似搜尋結果，本方法也揭露了使用虛擬像素的SAD或SSD找到M最佳匹配之後的改善搜尋階段(refinement search stage)，其中M可以是任何正整數。為了M最佳候選的每個，可計算每像素SAD或SSD來尋找最終最佳匹配區塊。
為了降低SAD與SSD計算之複雜度，本發明的方法計算第一K-位元MSB(或截斷L-位元LSB)資料。例如，對於10-位元視訊輸入，其可使用MSB的8-位元來計算當前區塊與參考區塊的失真。
第10圖顯示根據本方法之使用解碼器端推導之運動訊息之視訊編碼系統之流程圖。根據本方法，在步驟1010，接收與當前圖像中的當前區塊或子區塊相關之輸入資料。在編碼器端，輸入資料可對應要被編碼之像素資料，且輸入資料可對應在解碼器端要被解碼之編碼資料。在步驟1020，在與解碼器端MV推導流程相關之MV搜尋中根據解碼器端MV推導流程 使用基於降低之位元深度的區塊差值計算推導一解碼器端MV或一解碼器端MV對。在步驟1030，自一組包含解碼器端MV或解碼器端MV對之MV候選或MVP候選決定最終MV或最終MVP。在步驟1040，分別在編碼器端或解碼器端使用最終MV或最終MVP編碼或解碼當前區塊或當前區塊之當前MV。
多參數CABAC的範圍推導(Range Derivation for Multi-Parameter CABAC)
在多參數CABAC中，本發明之方法使用LPS表來推導每個機率狀態(probability states)之RangeOne或RangeZero。平均RangeOne或RangeZero可藉由對RangeOnes或RangeZeros平均推導。編碼的RangeOne(RangeOne for coding，ROFC)及編碼的RangeZero(RangeZero for coding，RZFC)可用等式(8)推導：RangeZero_0=(MPS_0==1)？RLPS_0：(range-RLPS_0)；RangeZero_1=(MPS_1==1)？RLPS_1：(range-RLPS_1)；ROFC=(2*range-RangeZero_0-RangeZero_1)>>1；或ROFC=(2*range-RangeZero_0-RangeZero_1)>>1； (8)
在CABAC中，本發明的方法在一些語法(syntax)上使用“獨立(stand-alone)”上下文模型。獨立上下文的機率或機率狀態可與其他上下文不同。例如，“獨立”上下文模型的機率或機率轉換可使用不同數學模型。在一實施例中，具有固定機率的上下文模型可用於獨立上下文。在另一實施例中，具有固定機率範圍的上下文模型可用於獨立上下文。
上述的流程圖是要展示根據本發明之視訊編碼的 例子。本領域之技術人員可修改每個步驟，重新安排這些步驟，切分一步驟，或合併步驟來實現本發明而不偏離本發明之精神。在揭露書中，特定語法及語義(semantics)用於展現例子來實施本發明之實施例。技術人員可藉由用等同語法及語義替換語法及語義來實做本發明而不偏離本發明之精神。
上面展示的說明用於賦能本領域具有一般技藝人員來如提供之具體應用及其要求的上下文實現本發明。所述之實施例之各種變化對本領域技術人員是明顯的，其中定義的總體原理可採用至其他實施例。因此，本發明並不是要被限定於所示及描述之特定實施例，而是要與這裡揭露的原理及新特徵之最廣範圍保持一致。於上面具體說明中，描寫的各種具體細節是用於提供本發明之透徹理解。不僅如此，本領域之技術入員應理解本發明是可實做的。
本發明描述之實施例可用各種硬體，軟體碼，或兩者組合實施。例如，本發明一實施例可為集成於視訊壓縮晶片之一或多個電路或是集成於執行上述流程之視訊壓縮軟體中的軟體碼。本發明之一實施例也可為要於數位訊號處理器(DSP)上運行來執行上述流程之軟體碼。本發明也可涉及由計算機處理器，數位訊號處理器，微處理器，現場可程式閘門陣列(field programmable gate array，FPGA)等執行的多個功能。這些處理器可用於根據本發明執行特定任務，藉由運行定義本發明所實現之特定方法之機器可讀軟體碼或韌體碼。軟體碼或韌體碼可用不同編程語言及不同格式或風格開發。軟體碼也可針對不同目標平台匯編。可是，不同碼格式，風格及軟體碼語 言以及其他配置碼來根據本發明執行任務的方式並不偏離本發明之精神及範圍。
本發明可用其他特定形式實做而不偏離其精神或必要特徵。所述例子僅用於從各方面說明性地考慮而非限制性考慮。本發明之範圍因此由後附之申請專利範圍所確定而非前述之說明。所有落入申請專利範圍的含意及等同之內的變化都包含於範圍內。
410-440:步驟

Claims (11)

  1. 一種使用運動補償之視訊編碼或解碼方法，該方法包含：在一編碼器端接收與一當前圖像內一當前區塊相關之輸入資料，或在一解碼器端接收包含與該當前圖像內該當前區塊相關之編碼資料之視訊串流；使用雙向匹配，模板匹配或兩者，推導該當前區塊之一解碼器端合併候選；產生包含該解碼器端合併候選之一合併候選組；以及使用至少兩個不同碼字組其中之一或使用上下文基礎編碼的至少兩個上下文其中之一，在該編碼器端發信該當前區塊之選擇的一當前合併索引，或在該解碼器端解碼該當前區塊之選擇的該當前合併索引，其中該至少兩個不同碼字組或至少兩個上下文基礎編碼之上下文係用於編碼與該合併候選組的合併候選相關的合併索引。
  2. 如申請專利範圍第1項所述之方法，其中根據包含該當前區塊之一圖片之一圖片類型選擇一碼字組。
  3. 如申請專利範圍第1項所述之方法，其中該至少兩個不同碼字組屬於一碼組，該碼組包含固定長度碼，一元碼及截斷一元碼。
  4. 如申請專利範圍第1項所述之方法，其中對應一雙向匹配或模板匹配合併模式之一第一合併索引之第一上下文與對應一普通合併模式之一第二合併索引之第二上下文不同。
  5. 如申請專利範圍第1項所述之方法，其中固定長度碼用於屬於低延遲B/P圖片或屬於所有參考幀具有小於一當前圖像 之一圖像序列號之一P/B圖片之當前區塊。
  6. 一種使用運動補償之視訊編碼裝置，該裝置包含一或多個電子電路或處理器用於：在一編碼器端接收與一當前圖像內一當前區塊相關之輸入資料，或在一解碼器端接收包含與該當前圖像內該當前區塊相關之編碼資料之視訊串流；使用雙向匹配，模板匹配或兩者，推導該當前區塊之一解碼器端合併候選；產生包含該解碼器端合併候選之一合併候選組；以及使用至少兩個不同碼字組其中之一或使用上下文基礎編碼的至少兩個上下文其中之一，在該編碼器端發信該當前區塊之選擇的一當前合併索引，或在該解碼器端解碼該當前區塊之選擇的該當前合併索引，其中該至少兩個不同碼字組或至少兩個上下文基礎編碼之上下文係用於編碼與該合併候選組的合併候選相關的合併索引。
  7. 一種使用視訊補償之視訊編碼方法，該方法包含：接收與一當前圖像內一當前區塊或子區塊相關之輸入資料；使用模板匹配推導該當前區塊或子區塊之當前模板之一或多個第一最佳模板，其由一第一參考表內一或多個第一最佳運動向量所指向，其中該一或多個第一最佳運動向量是根據模板匹配推導；在推導該一或多個第一最佳模板之後，基於該當前模板，該一或多個第一最佳模板或兩者，決定一新當前模板； 使用模板匹配推導該當前區塊或子區塊之該新當前模板之一或多個第二最佳模板，其由一第二參考表內一或多個第二最佳運動向量所指向，其中該一或多個第二最佳運動向量是根據該模板匹配推導，且其中該第一參考表與該第二參考表屬於包含LIST_0與LIST_1之一組，且該第一參考表與該第二參考表不同；自一組運動向量候選或運動向量預測子候選，決定最終運動向量或最終運動向量預測子，該組運動向量候選或運動向量預測子候選包含與該一或多個第一最佳運動向量及該一或多個第二最佳運動向量相關的一或多個最佳運動向量；以及分別在一編碼器端或一解碼器端使用該最終運動向量或該最終運動向量預測子，編碼或解碼該當前區塊或子區塊或該當前區塊或子區塊之一當前運動向量。
  8. 如申請專利範圍第7項之方法，其中該新當前模板等於(2*(當前模板)-LIST_X模板)，且其中LIST_X模板對應該一或多個第一最佳模板，該一或多個第一最佳模板由一第一參考表中的一或多個第一最佳運動向量所指向，且“X”等於“0”或“1”。
  9. 如申請專利範圍第8項之方法，其中在推導一或多個第二最佳模板之後，為了再於該第一參考表中推導一或多個第一最佳模板，基於該當前模板，該一或多個第二最佳模板或兩者決定另一個新當前模板，最佳模板搜尋在該第一參考表及該第二參考表重複直到重複達到一數量。
  10. 如申請專利範圍第7項之方法，其中是否允許該新當前模板取決於包含該當前區塊之一圖片之一圖片類型。
  11. 一種使用運動補償之視訊編碼裝置，該裝置包含一或多個電子電路或處理器用於：接收與一當前圖像內一當前區塊或子區塊相關之輸入資料；使用模板匹配推導該當前區塊或子區塊之當前模板之一或多個第一最佳模板，其由一第一參考表內一或多個第一最佳運動向量所指向，其中該一或多個第一最佳運動向量是根據模板匹配推導；在推導該一或多個第一最佳模板之後，基於該當前模板，該一或多個第一最佳模板或兩者，決定一新當前模板；使用模板匹配推導該當前區塊或子區塊之該新當前模板之一或多個第二最佳模板，其由一第二參考表內一或多個第二最佳運動向量所指向，其中該一或多個第二最佳運動向量是根據該模板匹配推導，且其中該第一參考表與該第二參考表屬於包含LIST_0與LIST_1之一組，且該第一參考表與該第二參考表不同；自一組運動向量候選或運動向量預測子候選，決定最終運動向量或最終運動向量預測子，該組運動向量候選或運動向量預測子候選包含與該一或多個第一最佳運動向量及該一或多個第二最佳運動向量相關的一或多個最佳運動向量；以及分別在一編碼器端或一解碼器端使用該最終運動向量或該 最終運動向量預測子，編碼或解碼該當前區塊或子區塊或該當前區塊或子區塊之一當前運動向量。
TW106108488A 2016-03-16 2017-03-15 視訊編碼之樣式基礎運動向量推導之方法及裝置 TWI733774B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662309001P 2016-03-16 2016-03-16
US62/309,001 2016-03-16
PCT/CN2017/076622 WO2017157281A1 (en) 2016-03-16 2017-03-14 Method and apparatus of pattern-based motion vector derivation for video coding
WOPCT/CN2017/076622 2017-03-14

Publications (2)

Publication Number Publication Date
TW201739256A TW201739256A (zh) 2017-11-01
TWI733774B true TWI733774B (zh) 2021-07-21

Family

ID=59850118

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106108488A TWI733774B (zh) 2016-03-16 2017-03-15 視訊編碼之樣式基礎運動向量推導之方法及裝置

Country Status (4)

Country Link
US (2) US20190082192A1 (zh)
CN (4) CN108781295B (zh)
TW (1) TWI733774B (zh)
WO (1) WO2017157281A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116193111A (zh) * 2017-01-04 2023-05-30 三星电子株式会社 视频解码方法和设备以及视频编码方法和设备
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
GB2563943B (en) * 2017-06-30 2021-02-24 Canon Kk Method and apparatus for encoding or decoding video data in FRUC mode with reduced memory accesses
CN117615154A (zh) * 2017-08-29 2024-02-27 株式会社Kt 视频解码和编码方法及用于存储压缩视频数据的装置
CA3072323A1 (en) * 2017-09-26 2019-04-04 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method and decoding method
US10785494B2 (en) * 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
KR102306562B1 (ko) * 2017-11-27 2021-09-30 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
WO2019107916A1 (ko) * 2017-11-30 2019-06-06 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
WO2019110132A1 (en) * 2017-12-08 2019-06-13 Huawei Technologies Co., Ltd. Template matching function for bi-predictive mv refinement
EP3713236A4 (en) * 2017-12-14 2021-04-21 LG Electronics Inc. METHOD AND DEVICE FOR DECODING IMAGE ACCORDING TO INTER-PREDICTION IN AN IMAGE CODING SYSTEM
EP3780608A4 (en) 2018-04-02 2021-12-01 SZ DJI Technology Co., Ltd. IMAGE PROCESSING PROCESS AND IMAGE PROCESSING DEVICE
KR20230169429A (ko) * 2018-04-13 2023-12-15 엘지전자 주식회사 비디오 처리 시스템에서 인터 예측 방법 및 장치
KR20210015811A (ko) * 2018-05-28 2021-02-10 인터디지털 브이씨 홀딩스 인코포레이티드 코딩/디코딩에서의 데이터 종속
EP3804329A1 (en) * 2018-06-01 2021-04-14 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Video codec using template matching prediction
WO2019234598A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and stmvp
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
TWI729422B (zh) 2018-06-21 2021-06-01 大陸商北京字節跳動網絡技術有限公司 色彩分量間的子區塊移動向量繼承
WO2020009427A1 (ko) * 2018-07-02 2020-01-09 엘지전자 주식회사 영상 코딩 시스템의 인터 예측에서 템플릿 기반의 후보 리스트 재정렬 방법 및 장치
WO2020047788A1 (en) * 2018-09-05 2020-03-12 Huawei Technologies Co., Ltd. Method and apparatus for coding image of video sequence, and terminal device
GB2591906B (en) 2018-09-24 2023-03-08 Beijing Bytedance Network Tech Co Ltd Bi-prediction with weights in video coding and decoding
WO2020094150A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in current picture referencing
CN112806002B (zh) * 2018-12-13 2024-05-31 腾讯美国有限责任公司 视频解码的方法和视频解码器
US11889099B2 (en) * 2019-03-05 2024-01-30 Hfi Innovation Inc. Methods and apparatuses of video processing for bi-directional prediction with motion refinement in video coding systems
CN113632484A (zh) * 2019-03-15 2021-11-09 北京达佳互联信息技术有限公司 用于双向光流的比特宽度控制的方法和设备
CN113411609B (zh) 2019-06-21 2022-05-31 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
WO2021007133A1 (en) * 2019-07-06 2021-01-14 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatuses for decoder-side motion vector refinement in video coding
CN113301348B (zh) * 2021-07-27 2022-01-04 杭州博雅鸿图视频技术有限公司 运动矢量选择方法、装置、电子设备及存储介质
CN117917077A (zh) * 2021-08-19 2024-04-19 联发科技股份有限公司 用于视频编解码系统中硬件友好模板匹配的方法和装置
CN118451715A (zh) * 2021-10-15 2024-08-06 抖音视界有限公司 用于视频处理的方法、设备和介质
US20230134017A1 (en) * 2021-11-01 2023-05-04 Tencent America LLC Template-matching based adaptive motion vector resolution (amvr) for bi-prediction and an affine mode
US20240022711A1 (en) * 2022-07-13 2024-01-18 Tencent America LLC Block vector refinement method for intra block copy
WO2024153198A1 (en) * 2023-01-18 2024-07-25 Mediatek Inc. Methods and apparatus of fractional block vectors in intra block copy and intra template matching for video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7852936B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Motion vector prediction in bi-directionally predicted interlaced field-coded pictures

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070069615A (ko) * 2005-12-28 2007-07-03 삼성전자주식회사 움직임 추정장치 및 움직임 추정방법
BRPI0915061A2 (pt) 2008-06-12 2015-10-27 Thomson Licensing métodos e aparelho para codificação e decodificação de vídeo com modo de atualização de profundidade de bit reduzido e modo de atualização de amostragem de croma reduzido
US8873626B2 (en) 2009-07-02 2014-10-28 Qualcomm Incorporated Template matching for video coding
US8340188B2 (en) * 2010-01-08 2012-12-25 Research In Motion Limited Method and device for motion vector estimation in video transcoding using union of search areas
US9699456B2 (en) * 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
US20130329007A1 (en) * 2012-06-06 2013-12-12 Qualcomm Incorporated Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding
US20140212046A1 (en) 2013-01-31 2014-07-31 Sony Corporation Bit depth reduction techniques for low complexity image patch matching
EP3021588A4 (en) * 2013-07-12 2017-12-06 Samsung Electronics Co., Ltd. Video encoding method and apparatus therefor using modification vector inducement, video decoding method and apparatus therefor
US10349071B2 (en) * 2014-01-15 2019-07-09 Nec Corporation Motion vector searching apparatus, motion vector searching method, and storage medium storing motion vector searching program
US10958927B2 (en) * 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7852936B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Motion vector prediction in bi-directionally predicted interlaced field-coded pictures

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
E. Alshina, A. Alshin, J.-H. Min, K. Choi, A. Saxena, M. Budagavi, "Known tools performance investigation for next generation video coding", ITU-Telecommunications Standardization Sector, Study Group 16 Question 6, VCEG, 52nd Meeting: 19-26 June 2015, Warsaw, Poland。
JianLe Chen, Wei-Jung Chien, Marta Karczewicz, Xiang Li, Hongbin Liu, Amir Said, Li Zhang,Xin Zhao, "Further improvements to HMKTA-1.0", ITU-Telecommunications Standardization Sector, Study Group 16 Question 6, VCEG, 52nd Meeting: 19-26 June 2015, Warsaw, Poland.
JianLe Chen, Wei-Jung Chien, Marta Karczewicz, Xiang Li, Hongbin Liu, Amir Said, Li Zhang,Xin Zhao, "Further improvements to HMKTA-1.0", ITU-Telecommunications Standardization Sector, Study Group 16 Question 6, VCEG, 52nd Meeting: 19-26 June 2015, Warsaw, Poland. E. Alshina, A. Alshin, J.-H. Min, K. Choi, A. Saxena, M. Budagavi, "Known tools performance investigation for next generation video coding", ITU-Telecommunications Standardization Sector, Study Group 16 Question 6, VCEG, 52nd Meeting: 19-26 June 2015, Warsaw, Poland *

Also Published As

Publication number Publication date
CN108781295B (zh) 2022-02-18
US11659198B2 (en) 2023-05-23
US20210227248A1 (en) 2021-07-22
TW201739256A (zh) 2017-11-01
CN114449288A (zh) 2022-05-06
CN114466193A (zh) 2022-05-10
US20190082192A1 (en) 2019-03-14
CN108781295A (zh) 2018-11-09
CN114449287A (zh) 2022-05-06
WO2017157281A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
TWI733774B (zh) 視訊編碼之樣式基礎運動向量推導之方法及裝置
EP3342167B1 (en) Method and apparatus of decoder side motion derivation for video coding
US11451819B2 (en) Clipping of updated MV or derived MV
KR102613889B1 (ko) 적응적 움직임 벡터 해상도를 갖는 움직임 벡터 수정
KR102635047B1 (ko) 적응적 움직임 벡터 해상도를 가지는 어파인 모드에 대한 구문 재사용
US10856006B2 (en) Method and system using overlapped search space for bi-predictive motion vector refinement
CN110169061B (zh) 编解码电子装置与方法
KR101429409B1 (ko) 동화상 부호화 방법
KR102662036B1 (ko) 모션 벡터 차이 모드에서 병합시 모션 벡터 정밀도
US11240524B2 (en) Selective switch for parallel processing
KR20210153048A (ko) 대칭 모션 벡터 차이 코딩
KR101528361B1 (ko) 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램
KR20140083063A (ko) 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램
WO2020049540A1 (en) Affine mode in video coding and decoding
CN113767638B (zh) 对称运动矢量差编解码
CN113302917A (zh) 局部照明补偿的改进方法
JP7556090B2 (ja) デコーダ側精緻化ツールのサイズ選択アプリケーション